engenheiro(a) de dados sênior

Sobre a vaga

Buscamos um(a) Engenheiro(a) de Dados Sênior para atuar em projetos de arquitetura e otimização de data pipelines em ambiente cloud-native. Você será responsável por desenhar soluções escaláveis de ingestão, transformação e análise de dados usando Azure e ecossistema open-source.

Responsabilidades

• Arquitetar e implementar pipelines de dados robustos e escaláveis
• Otimizar queries SQL e processamento de dados em Spark
• Gerenciar orquestração de workflows com Airflow, Luigi ou Azkaban
• Trabalhar com Azure Data Factory, Databricks e Azure Synapse Analytics
• Implementar infraestrutura como código com Terraform e Azure CLI
• Mentorar e orientar engenheiros(as) de dados juniores
• Colaborar com times de analytics e engenharia para definir estratégias de dados

Requisitos

• 6+ anos de experiência em engenharia de dados
• Expertise em Python, SQL e Scala
• Sólido conhecimento de Spark, Hadoop e processamento distribuído
• Experiência com Azure (Data Factory, Synapse, Data Lake, Cosmos DB)
• Proficiência em ferramentas de orquestração (Airflow, Luigi, Azkaban)
• Familiaridade com Kafka para streaming de dados
• Conhecimento de Terraform e Infrastructure as Code
• Excelente comunicação em inglês

Diferenciais

• Experiência com Databricks e otimizações de Spark
• Conhecimento de Azure Analysis Services e Power BI
• Familiaridade com CI/CD em Azure DevOps
• Experiência em arquitetura de Data Lakes