Vaga de Data Engineer Sênior Streaming em Juiz de Fora, MG, para atuar em um ambiente de dados de alta criticidade e baixa latência no setor de tecnologia e serviços digitais. Buscamos alguém que lidere a arquitetura, desenvolvimento e operação de pipelines de streaming em escala, garantindo observabilidade, confiabilidade e custo-eficiência para produtos de dados em tempo real. Esta posição é ideal para quem domina ecossistemas distribuídos e quer impulsionar iniciativas data-driven de ponta a ponta, do evento à decisão, em um contexto de negócios em crescimento na região.
Responsabilidades:
- Arquitetar, desenvolver e manter pipelines de dados de streaming de ponta a ponta (ingestão, processamento, enriquecimento e entrega) com foco em baixa latência, alta disponibilidade e tolerância a falhas.
- Projetar modelos de dados e camadas de serving para consumo em real time por APIs, dashboards e modelos de machine learning online, garantindo governança, versionamento e linage.
- Implementar e otimizar plataformas de mensageria e processamento distribuído (ex.: Kafka, Kafka Streams, Flink, Spark Structured Streaming), incluindo particionamento, compactação, esquemas e SLAs.
- Estabelecer observabilidade ponta a ponta (métricas, logs e traces), SLOs e alertas proativos, além de testes automatizados e esteiras CI/CD para infra e código de dados.
- Trabalhar com times de produto, engenharia e analytics para definir contratos de dados, catálogos e qualidade, promovendo boas práticas de DataOps e segurança.
- Otimizar custos em cloud e workloads de streaming, aplicando autoscaling, storage tiering e políticas de retenção, bem como estratégias de backpressure e exactly-once quando aplicável.
Requisitos:
- Experiência sólida como Data Engineer Sênior em cenários de streaming e dados em tempo real, preferencialmente em ambientes de alta escala.
- Domínio prático de plataformas como Apache Kafka (incluindo Connect, Schema Registry, ACLs) e um ou mais frameworks de stream processing (Flink, Kafka Streams ou Spark Structured Streaming).
- Proficiência em Python e/ou Scala, com práticas de engenharia de software (testes, code review, versionamento Git) e design orientado a eventos.
- Vivência com arquiteturas em nuvem (AWS, GCP ou Azure), utilizando serviços gerenciados de mensageria, compute e storage, além de infraestrutura como código (Terraform ou similar).
- Conhecimentos de bancos de dados para streaming e analíticos (ex.: Apache Hudi, Delta Lake, Iceberg, Druid, ClickHouse) e de data warehousing/lakes modernos.
- Experiência em observabilidade (Prometheus, Grafana, OpenTelemetry) e práticas SRE aplicadas a dados: SLOs, incident response e post-mortems.
- Fundamentos fortes de sistemas distribuídos, consistência, particionamento, tolerância a falhas, backpressure e semânticas de entrega (at-most/at-least/exactly-once).
- Boas práticas de governança e segurança de dados: catálogo, lineage, controle de acesso, criptografia e mascaramento.
- Comunicação clara, colaboração multidisciplinar e mentalidade orientada a produto, com foco em resultados e experiência do consumidor de dados.
- Graduação em Computação, Engenharia, Sistemas de Informação ou áreas correlatas; pós-graduação é um plus.
Diferenciais:
- Experiência com arquitetura de dados orientada a eventos (Event-Driven Architecture) e CDC em tempo real (Debezium, GoldenGate ou similares).
- Conhecimento de feature stores online, serving de ML em real time e MLOps integrado a streams.
- Contribuições para comunidades open source de dados/streaming ou certificações relevantes (ex.: CKA, AWS/GCP/Azure Data).
Sobre a Empresa:
‘Zup Innovation’ é uma empresa brasileira privada de tecnologia, referência em engenharia de software e plataformas digitais, com atuação nacional e projetos de grande escala em diversos setores. De porte grande e cultura colaborativa, valoriza autonomia com responsabilidade, excelência técnica e aprendizado contínuo, promovendo um ambiente que incentiva inovação e soluções de alto impacto orientadas a dados.
* O VagasFlix é um agregador de vagas e não possui vínculo direto com as empresas mencionadas.
Compartilhe essa vaga!
