Data Engineer Streaming Tempo Integral NEW

Data Engineer Streaming em Niterói, RJ, para atuar em uma agroindústria em plena transformação digital, integrando dados de operações de campo, logística e produção em pipelines de alto desempenho e baixa latência.

Responsabilidades:

• Projetar, construir e manter pipelines de dados em tempo real usando Apache Kafka e/ou Redpanda, integrando dados de sensores, ERP e sistemas de logística.
• Desenvolver aplicações de streaming com Apache Flink ou Spark Structured Streaming para enriquecimento, agregação e detecção de eventos.
• Modelar dados orientados a consumo (lakehouse/Delta/Iceberg) e implementar camadas bronze, silver e gold com governança.
• Orquestrar jobs e fluxos de dados com Airflow e implementar CI/CD para data pipelines em ambientes cloud.
• Monitorar qualidade, observabilidade e confiabilidade dos dados com métricas, alertas e testes automatizados.
• Colaborar com times de Data Science, Supply Chain e Operações para definir SLAs e contratos de dados (data contracts).

Requisitos:

• Experiência comprovada como Data Engineer com foco em streaming e processamento em tempo real.
• Domínio de Kafka (tópicos, partitions, schemas/Confluent Schema Registry) e uma engine de streaming (Flink ou Spark).
• Sólidos conhecimentos em Python e/ou Scala; práticas de versionamento (Git) e testes.
• Experiência com arquitetura de dados em nuvem (preferencialmente AWS: S3, Glue, Lambda, EMR/Kinesis; ou GCP/Azure equivalentes).
• Conhecimento de formatos e tabelas transacionais (Parquet, Avro, Delta Lake ou Apache Iceberg) e query engines (Trino/Presto/Athena).
• Orquestração com Airflow e infraestrutura como código (Terraform) para provisionamento de recursos.
• Boas práticas de segurança e governança: IAM, encriptação, lineage, catálogos e data quality (Great Expectations/Deequ).
• Perfil analítico, comunicação clara e capacidade de trabalhar de forma colaborativa com áreas de negócio.

Diferenciais:

• Vivência em agroindústria, telemetria IoT, rastreabilidade e integração com sistemas de campo.
• Experiência com Redpanda, Debezium/CDC e contratos de dados baseados em Avro/Protobuf.
• Conhecimento em MLOps/Feature Store para servir features em tempo real.

Sobre a Empresa:

‘Camil Alimentos’ é uma empresa privada brasileira de grande porte no setor de alimentos e agroindústria, com operações integradas de origem, processamento e distribuição. Com cultura orientada a resultados, inovação e segurança, investe em tecnologia e dados para eficiência operacional e sustentabilidade em toda a cadeia.

* O VagasFlix é um agregador de vagas e não possui vínculo direto com as empresas mencionadas.