Vaga de Data Engineer Sênior Streaming em Juiz de Fora, com foco em construir e operar plataformas de dados em tempo real para suportar produtos digitais e analytics em escala. Setor de tecnologia e serviços digitais, com alto volume de eventos e integrações entre sistemas corporativos e aplicações cloud-native.

Responsabilidades:

Desenhar, implementar e otimizar pipelines de dados em streaming (near real-time) usando ferramentas como Apache Kafka, Kafka Streams, Apache Flink e/ou Spark Structured Streaming.
Modelar dados orientados a eventos (event-driven) e estruturar camadas de consumo (serving layer) para APIs, data products e dashboards de monitoração.
Construir e manter arquitetura de dados escalável em nuvem (preferencialmente AWS), incluindo ingestão, processamento, storage e governança.
Implementar observabilidade ponta a ponta (logs, métricas, tracing) e estratégias de confiabilidade: DLQs, exactly-once/at-least-once, retentativas e replay de eventos.
Colaborar com times de produto, engenharia e analytics para definir SLAs/SLIs de dados e padrões de qualidade, catálogo e lineage.
Automatizar CI/CD de pipelines e componentes de dados, com testes unitários e de integração, garantindo segurança e compliance.

Requisitos:

Experiência sólida como engenheiro(a) de dados com foco em streaming e processamento distribuído (3–5+ anos em soluções de tempo real).
Domínio de Kafka (tópicos, partitions, consumer groups, schemas/Avro/Protobuf) e pelo menos uma engine de streaming (Flink ou Spark).
Proficiência em Python e/ou Scala/Java para desenvolvimento de jobs e microserviços de dados.
Conhecimento de arquitetura em nuvem (AWS desejável: MSK/Kinesis, Glue, EMR, Lambda, S3, IAM) e infraestrutura como código (Terraform).
Boas práticas de dados: particionamento, compactação, formatação (Parquet/Delta), catálogos (Glue/Unity), e governança (linhagem e data contracts).
Experiência com mensageria e integração de sistemas (event-driven, CDC com Debezium/GoldenGate, e APIs).
Observabilidade com ferramentas como Prometheus, Grafana, OpenTelemetry e monitoração de lag/throughput.
Git, CI/CD (GitHub Actions/GitLab CI) e testes automatizados para pipelines.
Perfil colaborativo, comunicação clara, mentalidade orientada a produto e foco em resultados.

Diferenciais:

Experiência com Lakehouse (Delta Lake/Apache Hudi/Iceberg) e serving em tempo real (Materialized Views, ksqlDB).
Conhecimento de MLOps/Feature Store e padrões de Data Mesh.
Vivência com segurança de dados (encrypt-at-rest/in-transit, tokenização e políticas de acesso finas).

Sobre a Empresa:

A ‘Zup Innovation’ é uma empresa brasileira de tecnologia que desenvolve produtos e plataformas digitais, com atuação nacional e projetos de grande escala em nuvem. De porte médio-grande, incentiva autonomia, excelência técnica e colaboração contínua em um ambiente ágil e orientado a inovação.

* O VagasFlix é um agregador de vagas e não possui vínculo direto com as empresas mencionadas.

Candidatar-se a essa Vaga

Compartilhe essa vaga!