Compass UOL
Vaga de Data Engineer Streaming em Porto Velho, RO, para atuar em um ambiente de tecnologia orientado a dados, construindo e operando pipelines de dados em tempo real para suportar produtos digitais e decisões analíticas estratégicas no Norte do Brasil.
Responsabilidades:
- Projetar, desenvolver e manter pipelines de streaming em tempo real utilizando ferramentas como Apache Kafka, Kafka Streams, Apache Flink ou Spark Structured Streaming.
- Modelar dados e implementar camadas de ingestão, transformação e entrega (CDC, eventos e micro-batches) garantindo baixa latência e alta disponibilidade.
- Orquestrar jobs e fluxos com ferramentas como Airflow/Argo, assegurando observabilidade, versionamento e reprocessamento seguro.
- Implantar e operar soluções em nuvem (preferencialmente AWS ou GCP), aplicando boas práticas de segurança, custo e confiabilidade.
- Colaborar com times de Data Science, Analytics e Engenharia de Produto para definir contratos de dados, esquemas e SLAs de qualidade.
- Implementar monitoramento, métricas e alertas (Prometheus, Grafana, CloudWatch, OpenTelemetry) para confiabilidade ponta a ponta.
Requisitos:
- Experiência comprovada como engenheiro(a) de dados com foco em streaming e processamento distribuído.
- Sólidos conhecimentos em Kafka (tópicos, partitions, schemas/Avro, Schema Registry) e ao menos uma engine de stream processing (Flink, Spark Streaming ou Kafka Streams).
- Domínio de Python ou Scala, Git e práticas de CI/CD para data pipelines.
- Experiência com data lakes/warehouses (S3/BigQuery/Redshift/Delta Lake) e formatos colunares (Parquet/ORC).
- Conhecimento de arquitetura orientada a eventos, CDC (Debezium) e design de APIs/contratos de dados.
- Familiaridade com Terraform/IaC, containers (Docker) e orquestração (Kubernetes) em ambientes de produção.
- Boas práticas de governança e qualidade de dados (linhagem, catalogação, testes de dados, gerenciamento de esquemas).
- Perfil colaborativo, comunicação clara e foco em resolver problemas de negócio com pragmatismo e escalabilidade.
Diferenciais:
- Experiência com pipelines near-real-time para personalização, antifraude ou IoT.
- Vivência com plataformas de mensageria adicionais (Pulsar) e lakes com Delta/Iceberg/Hudi.
- Atuação prévia em cenários de alta volumetria e compliance (LGPD) no mercado brasileiro.
Sobre a Empresa:
A ‘Compass UOL’ é uma empresa de tecnologia e serviços digitais de grande porte, com atuação nacional e projetos de transformação em múltiplos setores, incluindo iniciativas de dados em tempo real. Com cultura colaborativa, foco em excelência técnica e aprendizado contínuo, valorizamos autonomia, diversidade e entrega de impacto no cliente.
* O VagasFlix é um agregador de vagas e não possui vínculo direto com as empresas mencionadas.
Compartilhe!
