Engenheiro(a) de Dados Streaming Estágio

Engenheiro(a) de Dados Streaming em Porto Velho, RO, para atuar no ecossistema de varejo alimentar, apoiando operações omnichannel, pricing dinâmico e supply chain orientado a dados em tempo real.

Responsabilidades:

• Projetar, implementar e manter pipelines de dados em streaming de ponta a ponta, garantindo baixa latência e alta disponibilidade para casos de uso como estoque em tempo real, antifraude e recomendações.
• Modelar eventos e camadas de dados (bronze, silver, gold) em arquitetura de lakehouse, assegurando governança, qualidade e versionamento de esquemas.
• Operar e otimizar clusters e serviços de mensageria e processamento (ex.: Kafka, Flink/Spark Structured Streaming), com observabilidade, métricas e alertas.
• Integrar fontes diversas (PDVs, e-commerce, ERP, WMS) via CDC e APIs, padronizando contratos e metadados para consumo por times de Analytics e Data Science.
• Implementar políticas de segurança, lineage e catálogo de dados, além de testes automatizados e CI/CD para workloads de dados.
• Colaborar com Engenharia de Software, Produto e Analytics para priorizar entregas e escalar soluções orientadas a negócio.

Requisitos:

• Experiência sólida com streaming: Apache Kafka (tópicos, partitions, consumer groups), conectores Kafka Connect e esquemas com Avro/Protobuf/JSON Schema.
• Domínio de processamento em tempo real com Apache Flink e/ou Spark Structured Streaming, incluindo stateful processing, watermarking e exatamente-uma-vez quando aplicável.
• Proficiência em Python e/ou Scala para desenvolvimento de jobs, bibliotecas internas e testes; Git e práticas de CI/CD.
• Conhecimento de arquiteturas de dados em nuvem (AWS, GCP ou Azure), incluindo storage (S3/GCS/ADLS), orquestração (Airflow/Cloud Composer), e catálogo/lineage.
• Experiência com data lakes/lakehouse (Delta Lake, Apache Hudi ou Iceberg) e formatação columnar (Parquet).
• Prática em observabilidade: logs estruturados, métricas, tracing e tuning de performance; ferramentas como Prometheus, Grafana e/ou OpenTelemetry.
• Noções de governança, segurança e LGPD: mascaramento, controle de acesso e gestão de chaves/segredos.
• Habilidade analítica, comunicação clara e postura colaborativa orientada a resultado.

Diferenciais:

• Vivência no varejo alimentar com integrações de PDV, pricing e supply chain near real time.
• Experiência com CDC (Debezium) e arquiteturas event-driven em microserviços.
• Conhecimento em recomendações online, feature stores e MLOps para inferência em streaming.

Sobre a Empresa:

‘Grupo Carrefour Brasil’ é uma empresa privada de grande porte no varejo alimentar, com atuação nacional e operações omnichannel que integram lojas físicas, e-commerce e logística. Valorizamos inovação, dados e colaboração, promovendo um ambiente dinâmico, inclusivo e focado em impacto escalável no cliente.

* O VagasFlix é um agregador de vagas e não possui vínculo direto com as empresas mencionadas.