Vaga de Engenheiro(a) de Dados Sênior Streaming em Niterói, RJ, para atuar em um ambiente de logística de alta complexidade, construindo e operando pipelines de dados em tempo real que suportam operações de transportes, roteirização e visibilidade de cargas em todo o Brasil.
Responsabilidades:
- Projetar, implementar e manter pipelines de streaming de dados de alta disponibilidade e baixa latência usando Apache Kafka, Kafka Streams/Flink/Spark Structured Streaming.
- Desenhar modelos de dados para eventos, criar esquemas versionados (Avro/Protobuf) e gerenciar contratos via Schema Registry.
- Construir camadas de ingestão, enriquecimento e consumo em arquiteturas data lakehouse (Delta/Iceberg/Hudi) e catálogos unificados.
- Orquestrar e monitorar workloads em nuvem (preferencialmente AWS) com ferramentas como Airflow, Kubernetes e Terraform, garantindo observabilidade ponta a ponta.
- Assegurar qualidade, governança e segurança dos dados com testes automatizados, SLAs/SLOs, lineage, mascaramento e políticas de acesso.
- Colaborar com times de produto, ciência de dados e operações para fornecer dados confiáveis em tempo real para decisões críticas e relatórios operacionais.
Requisitos:
- Experiência sólida em plataformas de streaming (Kafka obrigatório) e em um dos motores: Flink, Spark Streaming ou Kafka Streams.
- Domínio de Python e/ou Java/Scala, incluindo testes, packaging e boas práticas de engenharia.
- Vivência com arquitetura de dados em nuvem (AWS desejável: MSK/Kinesis, S3, Glue, EMR, Lambda) e infraestrutura como código (Terraform/CloudFormation).
- Conhecimento de formatos e storage: Parquet, Avro, Delta/Iceberg; particionamento, compactação e otimização de leitura.
- Experiência com observabilidade: métricas, tracing e logs (Prometheus/Grafana/OpenTelemetry) e ferramentas de monitoramento de dados (Great Expectations/Deequ).
- Prática com versionamento e CI/CD (Git, GitHub/GitLab Actions) e esteiras de deploy em ambientes conteinerizados (Docker/Kubernetes).
- Entendimento de princípios de arquitetura orientada a eventos, exatamente-once/at-least-once, idempotência e tolerância a falhas.
- Perfil analítico, comunicação clara e capacidade de atuar em ambiente ágil e colaborativo, com foco em entregas de impacto.
Diferenciais:
- Experiência prévia no setor de logística, transportes ou supply chain, com telemetria de frota e rastreamento.
- Conhecimento de Data Mesh, Contract Testing para dados e catálogos empresariais (Unity Catalog/Glue Data Catalog).
- Contribuições para projetos open source ou publicações sobre streaming e engenharia de dados.
Sobre a Empresa:
‘GRUPO JSL’ é um dos maiores operadores logísticos do país, com soluções completas em transporte, gestão de frotas, armazenagem e logística dedicada. De grande porte e atuação nacional, impulsiona a digitalização de suas operações com cultura orientada a dados, segurança, melhoria contínua e colaboração entre áreas.
* O VagasFlix é um agregador de vagas e não possui vínculo direto com as empresas mencionadas.
Compartilhe essa vaga!
