Zup Innovation
Vaga de Data Engineer Sênior Streaming em Juiz de Fora, com foco em construir e operar plataformas de dados em tempo real para suportar produtos digitais e analytics em escala. Setor de tecnologia e serviços digitais, com alto volume de eventos e integrações entre sistemas corporativos e aplicações cloud-native.
Responsabilidades:
- Desenhar, implementar e otimizar pipelines de dados em streaming (near real-time) usando ferramentas como Apache Kafka, Kafka Streams, Apache Flink e/ou Spark Structured Streaming.
- Modelar dados orientados a eventos (event-driven) e estruturar camadas de consumo (serving layer) para APIs, data products e dashboards de monitoração.
- Construir e manter arquitetura de dados escalável em nuvem (preferencialmente AWS), incluindo ingestão, processamento, storage e governança.
- Implementar observabilidade ponta a ponta (logs, métricas, tracing) e estratégias de confiabilidade: DLQs, exactly-once/at-least-once, retentativas e replay de eventos.
- Colaborar com times de produto, engenharia e analytics para definir SLAs/SLIs de dados e padrões de qualidade, catálogo e lineage.
- Automatizar CI/CD de pipelines e componentes de dados, com testes unitários e de integração, garantindo segurança e compliance.
Requisitos:
- Experiência sólida como engenheiro(a) de dados com foco em streaming e processamento distribuído (3–5+ anos em soluções de tempo real).
- Domínio de Kafka (tópicos, partitions, consumer groups, schemas/Avro/Protobuf) e pelo menos uma engine de streaming (Flink ou Spark).
- Proficiência em Python e/ou Scala/Java para desenvolvimento de jobs e microserviços de dados.
- Conhecimento de arquitetura em nuvem (AWS desejável: MSK/Kinesis, Glue, EMR, Lambda, S3, IAM) e infraestrutura como código (Terraform).
- Boas práticas de dados: particionamento, compactação, formatação (Parquet/Delta), catálogos (Glue/Unity), e governança (linhagem e data contracts).
- Experiência com mensageria e integração de sistemas (event-driven, CDC com Debezium/GoldenGate, e APIs).
- Observabilidade com ferramentas como Prometheus, Grafana, OpenTelemetry e monitoração de lag/throughput.
- Git, CI/CD (GitHub Actions/GitLab CI) e testes automatizados para pipelines.
- Perfil colaborativo, comunicação clara, mentalidade orientada a produto e foco em resultados.
Diferenciais:
- Experiência com Lakehouse (Delta Lake/Apache Hudi/Iceberg) e serving em tempo real (Materialized Views, ksqlDB).
- Conhecimento de MLOps/Feature Store e padrões de Data Mesh.
- Vivência com segurança de dados (encrypt-at-rest/in-transit, tokenização e políticas de acesso finas).
Sobre a Empresa:
A ‘Zup Innovation’ é uma empresa brasileira de tecnologia que desenvolve produtos e plataformas digitais, com atuação nacional e projetos de grande escala em nuvem. De porte médio-grande, incentiva autonomia, excelência técnica e colaboração contínua em um ambiente ágil e orientado a inovação.
* O VagasFlix é um agregador de vagas e não possui vínculo direto com as empresas mencionadas.
Compartilhe!
