Azure Databricks Data Engineer (Bilbao)

Bluetab, an IBM Company, is a leading tech company specializing in data, cloud, machine learning, and AI. As a Databricks and Gold Microsoft Partner, we develop and optimize strategies across various sectors.

Lo que harás en el día a día

• Desarrollar y optimizar pipelines de datos en Scala, Python o PySpark, ejecutando procesos en Spark o Databricks, garantizando rendimiento, calidad y escalabilidad.
• Diseñar y construir arquitecturas Data Lake y Data Warehouse en entornos cloud, principalmente Azure, y en ocasiones AWS o GCP.
• Transformar datos a gran escala mediante Spark, aplicando buenas prácticas de procesamiento distribuido.
• Optimizar consultas y almacenamiento en Databricks, asegurando eficiencia y reduciendo costes.
• Integrar múltiples fuentes de datos, garantizando calidad, consistencia y trazabilidad.
• Colaborar con equipos multidisciplinares, impulsando la mejora continua en procesos de ingesta, transformació...