Found Description
En Arelance sabemos que las personas son el activo más importante dentro de una empresa y por tanto invertimos muchos esfuerzos en buscar los mejores profesionales para nuestros clientes y en ofrecer a nuestros candidatos los mejores proyectos. Buscamos profesionales de la ingeniería de datos para un proyecto de integración de plataformas de datos enfocado en la construcción y validación de pipelines de datos desde un Lakehouse hacia SingleStore, trabajando con grandes volúmenes de información y arquitecturas modernas.
Responsabilidades
- Desarrollo de pipelines de datos utilizando Python y PySpark.
- Transformación y procesamiento de datos mediante Apache Iceberg, PySpark y Dagster.
- Validación y despliegue de procesos de re-aggregación de datos.
- Integración de datos desde Lakehouse hacia SingleStore (por ejemplo, datasets de awards).
- Diseño y optimización de transformaciones y flujos de datos.
- Colaboración con equipos...