Found Description
O Que Você Vai Fazer
- Desenvolver, otimizar e manter pipelines de ingestão e processamento de dados (ETL/ELT) utilizando Python e SQL.
- Projetar e gerenciar arquiteturas de dados utilizando Databricks (PySpark/Spark SQL), garantindo escalabilidade e performance.
- Modelar dados em camadas (Bronze, Silver, Gold) seguindo as melhores práticas de arquitetura.
- Colaborar com os Engenheiros de Machine Learning para garantir que os dados de monitoramento e retraining estejam disponíveis e estruturados.
- Garantir a qualidade, governança e segurança dos dados ao longo de todo o ciclo de vida.
O Que Buscamos
- Sólida experiência em Engenharia de Dados.
- Conhecimento com Azure e AWS como diferencial.
- Atuação com Python e SQL.
- Experiência prática e comprovada com Databricks e Apache Spark.
- Conhecimento em orquestração de dados (ex: Apache Airflow, Databricks Workflows).