Engenheiro(a) de Dados Sênior Streaming Tempo Integral NEW

Vaga de Engenheiro(a) de Dados Sênior Streaming em Niterói, RJ, para atuar em um ambiente de logística de alta complexidade, construindo e operando pipelines de dados em tempo real que suportam operações de transportes, roteirização e visibilidade de cargas em todo o Brasil.

Responsabilidades:

• Projetar, implementar e manter pipelines de streaming de dados de alta disponibilidade e baixa latência usando Apache Kafka, Kafka Streams/Flink/Spark Structured Streaming.
• Desenhar modelos de dados para eventos, criar esquemas versionados (Avro/Protobuf) e gerenciar contratos via Schema Registry.
• Construir camadas de ingestão, enriquecimento e consumo em arquiteturas data lakehouse (Delta/Iceberg/Hudi) e catálogos unificados.
• Orquestrar e monitorar workloads em nuvem (preferencialmente AWS) com ferramentas como Airflow, Kubernetes e Terraform, garantindo observabilidade ponta a ponta.
• Assegurar qualidade, governança e segurança dos dados com testes automatizados, SLAs/SLOs, lineage, mascaramento e políticas de acesso.
• Colaborar com times de produto, ciência de dados e operações para fornecer dados confiáveis em tempo real para decisões críticas e relatórios operacionais.

Requisitos:

• Experiência sólida em plataformas de streaming (Kafka obrigatório) e em um dos motores: Flink, Spark Streaming ou Kafka Streams.
• Domínio de Python e/ou Java/Scala, incluindo testes, packaging e boas práticas de engenharia.
• Vivência com arquitetura de dados em nuvem (AWS desejável: MSK/Kinesis, S3, Glue, EMR, Lambda) e infraestrutura como código (Terraform/CloudFormation).
• Conhecimento de formatos e storage: Parquet, Avro, Delta/Iceberg; particionamento, compactação e otimização de leitura.
• Experiência com observabilidade: métricas, tracing e logs (Prometheus/Grafana/OpenTelemetry) e ferramentas de monitoramento de dados (Great Expectations/Deequ).
• Prática com versionamento e CI/CD (Git, GitHub/GitLab Actions) e esteiras de deploy em ambientes conteinerizados (Docker/Kubernetes).
• Entendimento de princípios de arquitetura orientada a eventos, exatamente-once/at-least-once, idempotência e tolerância a falhas.
• Perfil analítico, comunicação clara e capacidade de atuar em ambiente ágil e colaborativo, com foco em entregas de impacto.

Diferenciais:

• Experiência prévia no setor de logística, transportes ou supply chain, com telemetria de frota e rastreamento.
• Conhecimento de Data Mesh, Contract Testing para dados e catálogos empresariais (Unity Catalog/Glue Data Catalog).
• Contribuições para projetos open source ou publicações sobre streaming e engenharia de dados.

Sobre a Empresa:

‘GRUPO JSL’ é um dos maiores operadores logísticos do país, com soluções completas em transporte, gestão de frotas, armazenagem e logística dedicada. De grande porte e atuação nacional, impulsiona a digitalização de suas operações com cultura orientada a dados, segurança, melhoria contínua e colaboração entre áreas.

* O VagasFlix é um agregador de vagas e não possui vínculo direto com as empresas mencionadas.