Desde Krell Consulting estamos buscando un Data Engineer
Desarrollo y mantenimiento de pipelines de datos y sistemas escalables dentro de las tecnologías y directrices del Grupo BNP Paribas, adaptándose a las necesidades del cliente.
Colaboración con equipos multidisciplinares para comprender los requisitos de negocio relacionados con los datos y proporcionar soluciones adecuadas.
Garantizar el rendimiento, la seguridad de la infraestructura de datos y la calidad e integridad de los datos, siguiendo las mejores prácticas de Data Engineering.
Optimizar los flujos de trabajo de datos para mejorar el rendimiento y la eficiencia, enriqueciendo y transformando grandes volúmenes de información mediante reglas de negocio complejas.
Automatizar los pipelines de datos y optimizar los procesos de ingesta mediante la implementación de orquestadores y procesos de planificación, principalmente Airflow as a Service.
Diseñar e implementar pipelines de procesamiento de datos escalables y seguros utilizando Scala, Spark y Cloud Object Storage (COS), entre otras tecnologías.
Configurar pipelines de CI/CD para automatizar despliegues, pruebas unitarias y la gestión del ciclo de desarrollo.
Desarrollar y ejecutar pruebas unitarias y de validación para garantizar la precisión e integridad del código.
Elaborar documentación técnica (especificaciones y documentación operativa) para asegurar la transferencia y conservación del conocimiento.
Dar soporte a los diferentes equipos en la resolución de incidencias relacionadas con los datos.
Garantizar la creación y el mantenimiento de documentación completa sobre los pipelines, sistemas y procesos de datos, asegurando que sea accesible para todos los miembros del equipo.
Mantener una comunicación efectiva con los miembros del equipo y los diferentes interlocutores para garantizar la alineación en las iniciativas relacionadas con los datos.
Proporcionar orientación técnica y mentoría a ingenieros de datos con menor experiencia.
Fomentar una cultura de aprendizaje continuo y mejora constante dentro del equipo.
