Engenheiro de Dados Sênior (Redshift, Airflow e DBT)

A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes.

Isso não poderia ser diferente com o nosso principal combustível: as pessoas!

Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade.

Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados.

Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você!

>> A LEEGA É PARA TODOS, ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro.

Cadastre-se agora mesmo em nossas vagas!

Buscamos um Engenheiro de Dados Sênior que, além de construir e operar pipelines, assuma responsabilidade arquitetural sobre a plataforma de dados: modelagem do data warehouse, padrões de ingestão, governança de camadas e decisões de performance e custo. É uma posição de execução técnica pesada — a pessoa escreve código, faz tuning de banco, revisa modelagem de terceiros e responde pela confiabilidade dos dados que alimentam painéis executivos, relatórios a clientes e obrigações regulatórias.

O ambiente é regulado, no mercado financeiro e de investimentos, onde rastreabilidade, reprodutibilidade e correção auditável dos números são requisitos de primeira ordem. A interlocução acontece com áreas como Wealth Management, Comercial, Risco, Compliance e Operações, além da atuação como referência técnica para engenheiros pleno e júnior.

Principais responsabilidades

• Projetar, construir e manter pipelines de ingestão e transformação orquestrados em Apache Airflow, com padrões consistentes de retry, idempotência, alerta e SLA.

• Desenvolver e evoluir modelos de transformação em dbt sobre o data warehouse, organizando as camadas (staging, intermediate e marts) com testes e documentação.

• Implementar ingestões de fontes heterogêneas, como bancos transacionais, APIs de terceiros (custodiantes, distribuidores, provedores de mercado), arquivos regulatórios e planilhas operacionais.

• Definir e defender o modelo de dados do warehouse (dimensional, Data Vault ou híbrido, com justificativa), incluindo chaves, granularidade, historização (SCD) e tratamento de correções retroativas.

• Estabelecer e fiscalizar padrões de distribuição, ordenação e particionamento no MPP (DISTKEY, SORTKEY e compressão em Redshift, ou equivalentes em outras engines).

• Conduzir tuning de performance e custo, com análise de planos, filas/WLM, concorrência, manutenção (VACUUM/ANALYZE), rewrite de queries e materializações.

• Instrumentar observabilidade e controles automatizados de qualidade dos dados, cobrindo freshness, volumetria, quebras de contrato e reconciliação entre origem e destino.

• Desenhar camadas e contratos de dados entre times, definindo fonte da verdade, quem escreve onde e o que é exposto para BI.

• Garantir linhagem e rastreabilidade ponta a ponta, de um número no painel até a origem e a versão do código que o produziu, aplicando controles de acesso, segregação por sensibilidade e conformidade com LGPD e com as normas do setor.

• Documentar decisões arquiteturais (ADRs), manter o dicionário de dados vivo e atuar em code review, pareamento e definição de padrões com o time.

Requisitos obrigatórios

• 6+ anos de experiência em engenharia de dados, sendo pelo menos 2 anos com responsabilidade arquitetural (ter desenhado o modelo, não apenas implementado o desenho de outra pessoa).

• Histórico comprovado de ter colocado em produção e operado uma plataforma de dados analítica, com incidentes, plantão e consequências reais.

• SQL avançado: window functions, CTEs recursivas, leitura de plano de execução, diagnóstico de skew e de spill em disco.

• Python aplicado a engenharia de dados, com código modular, testável e versionado (não apenas notebooks), incluindo pandas ou polars, tipagem e testes automatizados.

• Apache Airflow em produção: autoria de DAGs, sensores, backfill, gestão de dependências e de falhas.

• Data warehouse MPP em nuvem, preferencialmente Redshift (Snowflake, BigQuery ou Databricks são aceitos, com disposição para se aprofundar em Redshift).

• dbt ou ferramenta equivalente de transformação versionada, com testes.

• Modelagem dimensional (Kimball) com domínio real: fato e dimensão, granularidade, SCD tipos 1 e 2, tabelas ponte e snapshots.

• Git e cultura de code review, com CI/CD aplicado a dados.

• Diagnóstico de performance, sabendo explicar por que uma query está lenta e comprovar a correção com números antes e depois.

Diferenciais

• Experiência no mercado financeiro: investimentos, wealth management, custódia, renda fixa e variável, fundos, cálculo de rentabilidade (TIR/TWR), posição e movimentação.

• Vivência com dados regulatórios de CVM, BACEN, BSM e ANBIMA, incluindo prazos e formatos de entrega.

• Infraestrutura como código (Terraform) e serviços AWS (S3, Glue, Lambda, IAM, Step Functions).

• Formatos de tabela abertos (Iceberg, Delta), arquitetura lakehouse e streaming/CDC (Kafka, Debezium, Kinesis).

• Ferramentas de qualidade e catálogo (Great Expectations, Soda, DataHub, OpenMetadata) e experiência com camada semântica e BI (Power BI, Metabase, Looker).

• Ter conduzido uma migração relevante (legado para moderno, on-premises para nuvem ou planilha/VBA para pipeline versionado) com validação de paridade.

Competências comportamentais

• Rigor com correção numérica: em ambiente regulado, "quase certo" é errado.

• Comunicação escrita clara, capaz de registrar a arquitetura em documento que sobreviva à saída do autor.

• Autonomia para investigar do painel até a origem do dado sem depender de aprovação a cada passo.

• Postura de referência técnica, com code review, pareamento e mentoria de profissionais pleno e júnior.

• Capacidade de traduzir demandas de negócio em desenho de dados sustentável, inclusive recusando atalhos que geram dívida técnica.

• Honestidade na estimativa de escopo, risco e prazo no planejamento técnico.

INDISPENSÁVEL Conhecimento/Atuação em:

• SQL avançado, com leitura de plano de execução e diagnóstico de performance

• Apache Airflow em produção

• Data warehouse MPP em nuvem (preferencialmente Redshift)

• dbt ou ferramenta equivalente de transformação versionada

• Modelagem dimensional (Kimball), com SCD e definição de granularidade

Informações adicionais

Atuação: 100%Remoto.

Originally posted on Himalayas