Found Description
Procuramos por um(a) Data Engineer Sênior para aumentar nossa equipe de Sistemas de Informação e Digital. Você será responsável por desenhar, desenvolver e manter pipelines de dados escaláveis e soluções de analytics em Azure Databricks , atuando em um ambiente de arquitetura moderna de dados e computação distribuída. Sua experiência, conhecimento e compromisso são essenciais!
Suas principais responsabilidades
- Arquitetar e implementar soluções de dados ponta a ponta na plataforma Databricks Unity Catalog .
- Desenhar e construir pipelines ETL/ELT para ingestão de dados de múltiplas fontes, transformação conforme requisitos de negócio e disponibilização para consumidores downstream (analytics, produtos de dados, relatórios).
- Desenvolver e otimizar jobs Apache Spark / PySpark para processamento eficiente de grandes volumes de dados.
- Implementar frameworks de qualidade de dados ...