De un vistazo
- Tareas: Contribuir al soporte y mantenimiento de DataHub, resolver problemas de datos y optimizar procesos.
- Empresa: Empresa internacional de servicios tecnológicos con más de 2000 empleados en 5 países.
- Beneficios: Plan de carrera personalizado, horarios flexibles y oportunidades de progresión.
- Otra información: Modelo híbrido de trabajo con un ambiente colaborativo y oportunidades de crecimiento.
- Por qué este empleo: Únete a un proyecto estable y mejora tus habilidades técnicas en un entorno dinámico.
- Cualificaciones: Experiencia en ingeniería de datos y habilidades en programación como Scala y SQL.
Somos una empresa internacional de servicios tecnológicos fundada en 1983 y actualmente contamos con más de 2,000 empleados en 5 países: Francia, España, Rumanía, Portugal y Luxemburgo.
¿Qué estamos buscando?
Un Data Engineer para unirse a un proyecto internacional estable, basado en Madrid.
Responsabilidades
- Contribuir al soporte de producción y mantenimiento del DataHub, corregir incidentes y anomalías, resolver problemas relacionados con los datos e implementar desarrollos funcionales y técnicos para garantizar la estabilidad de los procesos de producción y asegurar que el DataHub esté disponible para los usuarios con una interrupción mínima durante los requisitos de tiempo de actividad acordados.
- Modificar el código existente de acuerdo con los requisitos comerciales y mejorarlo continuamente para un mejor rendimiento y mantenibilidad.
- Asegurar el rendimiento y la seguridad de la infraestructura de datos y seguir las mejores prácticas de ingeniería de datos.
- Modelado de datos y desarrollo de pipelines de datos eficientes para enriquecer y transformar grandes volúmenes de datos con reglas comerciales complejas, automatizar pipelines de datos y optimizar la ingestión de datos.
- Diseñar e implementar pipelines de procesamiento de datos escalables y seguros utilizando Scala, Spark, almacenamiento de objetos en la nube, Hadoop y Airflow como servicio.
- Integrar datos de múltiples fuentes y formatos en la capa bruta del DataHub.
- Implementar transformación de datos y calidad para asegurar la consistencia y precisión de los datos.
- Utilizar lenguajes de programación como Scala y SQL y herramientas como Spark para operaciones de transformación y enriquecimiento de datos.
- Configurar pipelines de CI/CD para automatizar despliegues, pruebas unitarias y gestión del desarrollo.
- Escribir y realizar pruebas unitarias y de validación para asegurar la precisión e integridad del código desarrollado.
- Implementar varios orquestadores y procesos de programación para automatizar la ejecución de pipelines de datos (Airflow como servicio).
- Migrar la infraestructura de Hadoop existente a la infraestructura en la nube en Kubernetes Engine, COS, Spark como servicio y Airflow como servicio.
- Escribir documentación técnica (especificaciones, documentos operativos) para asegurar la capitalización del conocimiento.
Requisitos
- HDFS y bases de datos estructuradas (SQL)
- Shell Script
- Elasticsearch y Kibana
- HVault
- Dremio como herramienta para virtualizar datos
- Inglés y Francés
Modelo de trabajo
Híbrido. Horarios flexibles, de lunes a viernes.
Ofrecemos un plan de carrera adaptado a las preferencias del empleado. Progresión dentro de la empresa. Horarios de trabajo flexibles.
¿Te gustaría unirte a nuestro equipo? Si tienes experiencia en datos y estás buscando crecer técnica y profesionalmente, no dudes en postularte para este puesto. ¡Contáctanos!
Data Engineer empresa: HN Services España
HN Services España se destaca como un excelente empleador al ofrecer un entorno de trabajo colaborativo y dinámico, ideal para aquellos apasionados por la automatización y la calidad del software. Con oportunidades de crecimiento profesional en un proyecto internacional dentro del sector financiero, los empleados disfrutan de beneficios competitivos y un enfoque en el desarrollo continuo, todo ello en un ambiente que valora la innovación y la excelencia.