Found Description
Senior Data Engineer
¡Forma parte del futuro en Paradigma Digital! Buscamos talento para una posición de Senior Data Engineer. Tienes la oportunidad de sumarte a un equipo innovador, flexible y comprometido.
Responsabilidades
- Diseñar e implementar la capa de almacenamiento masivo utilizando Apache Iceberg y Polaris Catalog sobre S3/Open S3 (MinIO) asegurando consistencia y rendimiento.
- Crear arquitecturas Lakehouse modernas.
- Desarrollar procesos ETL/ELT avanzados con Spark y Python para la ingesta de fuentes heterogéneas.
- Implementar la capa de observabilidad y catálogo de datos mediante OpenMetadata.
- Configurar flujos de trabajo con Airflow y gestionar eventos en tiempo real con Kafka.
- Implementar Trino como motor de consultas federadas para consulta de múltiples fuentes.
Experiencia requerida
- Python, Apache Spark (PySpark).
- Lakehouse, Apache Iceberg, Polaris Catalog, ...
Ready to Apply?
Submit your application for Senior Data Engineer (Barcelona) at Paradigma Digital
Apply Now