Found Description
RESPONSABILIDADES
- Projetar, desenvolver e implantar pipelines de dados ETL/ELT escaláveis no Databricks usando PySpark, SQL e Delta Lake.
- Otimizar o desempenho dos pipelines de dados e gerenciar fluxos de trabalho utilizando Jobs, Workflows e notebooks do Databricks.
- Ingerir, limpar, transformar e processar dados estruturados e não estruturados provenientes de diversas fontes (armazenamento em nuvem, APIs, RDBMS, etc.).
- Implementar verificações de qualidade dos dados, validações e mecanismos de monitoramento.
- Gerenciar e monitorar a execução dos pipelines com Databricks Workflows.
- Garantir governança de dados, rastreabilidade e conformidade com boas práticas de segurança e privacidade (ex.: Unity Catalog, controle baseado em funções).
- Contribuir para a melhoria contínua da plataforma de dados por meio de automação, reutilização e documentação.