Data Engineer Streaming em Niterói, RJ, para atuar em uma agroindústria em plena transformação digital, integrando dados de operações de campo, logística e produção em pipelines de alto desempenho e baixa latência.
Responsabilidades:
- Projetar, construir e manter pipelines de dados em tempo real usando Apache Kafka e/ou Redpanda, integrando dados de sensores, ERP e sistemas de logística.
- Desenvolver aplicações de streaming com Apache Flink ou Spark Structured Streaming para enriquecimento, agregação e detecção de eventos.
- Modelar dados orientados a consumo (lakehouse/Delta/Iceberg) e implementar camadas bronze, silver e gold com governança.
- Orquestrar jobs e fluxos de dados com Airflow e implementar CI/CD para data pipelines em ambientes cloud.
- Monitorar qualidade, observabilidade e confiabilidade dos dados com métricas, alertas e testes automatizados.
- Colaborar com times de Data Science, Supply Chain e Operações para definir SLAs e contratos de dados (data contracts).
Requisitos:
- Experiência comprovada como Data Engineer com foco em streaming e processamento em tempo real.
- Domínio de Kafka (tópicos, partitions, schemas/Confluent Schema Registry) e uma engine de streaming (Flink ou Spark).
- Sólidos conhecimentos em Python e/ou Scala; práticas de versionamento (Git) e testes.
- Experiência com arquitetura de dados em nuvem (preferencialmente AWS: S3, Glue, Lambda, EMR/Kinesis; ou GCP/Azure equivalentes).
- Conhecimento de formatos e tabelas transacionais (Parquet, Avro, Delta Lake ou Apache Iceberg) e query engines (Trino/Presto/Athena).
- Orquestração com Airflow e infraestrutura como código (Terraform) para provisionamento de recursos.
- Boas práticas de segurança e governança: IAM, encriptação, lineage, catálogos e data quality (Great Expectations/Deequ).
- Perfil analítico, comunicação clara e capacidade de trabalhar de forma colaborativa com áreas de negócio.
Diferenciais:
- Vivência em agroindústria, telemetria IoT, rastreabilidade e integração com sistemas de campo.
- Experiência com Redpanda, Debezium/CDC e contratos de dados baseados em Avro/Protobuf.
- Conhecimento em MLOps/Feature Store para servir features em tempo real.
Sobre a Empresa:
‘Camil Alimentos’ é uma empresa privada brasileira de grande porte no setor de alimentos e agroindústria, com operações integradas de origem, processamento e distribuição. Com cultura orientada a resultados, inovação e segurança, investe em tecnologia e dados para eficiência operacional e sustentabilidade em toda a cadeia.
* O VagasFlix é um agregador de vagas e não possui vínculo direto com as empresas mencionadas.
Compartilhe essa vaga!
