Engenheiro de Dados Pleno
ExperianRemotely
pythonsparkdata qualityetldatabricksdelta lakespark structured streamingautoloader
Job Description
📋 Description
- Construir e manter pipelines de ingestão com Autoloader
- Processar dados em larga escala com Spark Structured Streaming
- Otimizar performance com Delta Lake
- Gerenciar versionamento com Git e PRs
- Otimizar custos/performance no Databricks
- Garantir Data Quality e documentação clara
🎯 Requirements
- Experiência com Databricks para dados grandes
- ETL sólido (Ingestão, Transformação, Carga)
- Experiência em engenharia de dados e pipelines escaláveis
- Arquitetura/modelagem de dados e integração entre fontes
- Soluções em nuvem e ecossistemas Big Data
- Boas práticas de governança, qualidade e performance