Data Engineer – Spark / Scala / AWS - REMOTO in Valencia

Data Engineer – Spark / Scala / AWS - REMOTO in Valencia

Valencia Full Time 51300 - 62700 € / año (est.) Remoto
A

De un vistazo

  • Tareas: Desarrolla y optimiza pipelines de datos con Spark y Scala en un entorno financiero.
  • Empresa: AD4 Octógono, una empresa innovadora en tecnología y datos.
  • Beneficios: Salario competitivo, trabajo remoto y participación en proyectos especializados.
  • Otra información: Entorno dinámico con oportunidades de crecimiento profesional.
  • Por qué este empleo: Únete a un equipo que transforma datos en soluciones técnicas impactantes.
  • Cualificaciones: Experiencia en Data Engineering y dominio de Spark y Scala.

El salario previsto está entre 51300 - 62700 € por año.

En AD4 Octógono estamos buscando talento. Buscamos un/a Data Engineer especializado/a en Spark y Scala, con experiencia en desarrollo y mantenimiento de procesos de tratamiento de grandes volúmenes de datos y conocimientos de servicios cloud de AWS. La persona seleccionada participará en un proyecto de ingeniería de datos dentro de un entorno financiero y de reporting regulatorio, colaborando con analistas de negocio y especialistas en modelado de datos para transformar los requisitos funcionales y regulatorios en soluciones técnicas.

Buscamos un perfil con capacidad para desarrollar procesos ETL, gestionar migraciones de datos, automatizar flujos de procesamiento y garantizar la calidad, integridad y disponibilidad de la información en entornos productivos.

Requisitos imprescindibles

  • Experiencia profesional de al menos 2 años en Data Engineering, con experiencia práctica en desarrollo con Spark y Scala.
  • Conocimientos sólidos de Apache Spark, Scala y Hadoop.
  • Experiencia en desarrollo y mantenimiento de pipelines de procesamiento de grandes volúmenes de datos.
  • Experiencia en transformaciones, migraciones y sustitución de tablas, garantizando la integridad y consistencia de los datos.
  • Conocimientos de servicios AWS: AWS EMR, AWS Glue, AWS Lambda, AWS Step Functions.
  • Experiencia en orquestación, planificación y monitorización de procesos batch.
  • Conocimientos de Terraform para configuración de infraestructura.
  • Experiencia en monitorización y resolución de incidencias en producción, incluyendo análisis de logs Hadoop/YARN.
  • Dominio de SQL y experiencia con Amazon Athena o motores de consulta equivalentes.
  • Experiencia en controles de calidad de datos, reconciliación, detección de duplicados y validación de información.
  • Conocimientos de scripting con Bash y Python.
  • Experiencia trabajando en entornos Unix/Linux.
  • Control de versiones con Git y herramientas de construcción como Maven.
  • Conocimientos de procesos CI/CD y herramientas como Jenkins.
  • Experiencia con Jira.
  • Inglés C1, imprescindible para la comunicación en un entorno profesional internacional.

Funciones y responsabilidades

  • Desarrollo e ingeniería de datos: Diseñar, desarrollar, mantener y optimizar pipelines de procesamiento de datos mediante Spark y Scala.
  • Implementar procesos ETL y transformaciones complejas de información.
  • Desarrollar estrategias de migración y sustitución de tablas, garantizando la integridad y consistencia de los datos.
  • Colaborar con analistas de negocio y especialistas en modelado de datos para trasladar los requisitos funcionales y regulatorios a especificaciones técnicas.
  • Arquitectura y servicios AWS: Orquestar y monitorizar procesos batch utilizando servicios AWS, especialmente Step Functions.
  • Trabajar con AWS EMR, Glue y Lambda.
  • Gestionar ejecuciones parametrizadas y flujos de procesamiento.
  • Participar en la configuración y automatización de infraestructura mediante Terraform.
  • Calidad y validación de datos: Desarrollar y ejecutar procesos de validación y reconciliación de datos.
  • Realizar controles de calidad mediante SQL y Amazon Athena.
  • Detectar valores nulos, duplicados e inconsistencias.
  • Implementar pruebas automatizadas y controles que garanticen la fiabilidad de la información.
  • Operación y soporte de producción: Monitorizar y solucionar incidencias en procesos productivos.
  • Analizar logs de Hadoop/YARN, incluyendo stdout y stderr, para identificar errores y determinar sus causas.
  • Realizar análisis de causa raíz y proponer medidas correctivas y preventivas.
  • Documentar desarrollos, cambios técnicos, pruebas y procedimientos operativos.
  • Garantizar el cumplimiento de los estándares de desarrollo y los requisitos regulatorios.

Se valorará especialmente

  • Experiencia en banca o servicios financieros.
  • Conocimiento de procesos de reporting regulatorio.
  • Experiencia en banca minorista, empresarial o corporativa.
  • Capacidad para interpretar requisitos de negocio y convertirlos en especificaciones técnicas.
  • Experiencia en definición de escenarios de prueba y validación independiente de desarrollos.
  • Conocimientos de Control-M para planificación y gestión de procesos batch.
  • Familiaridad con plataformas de Business Intelligence, especialmente Power BI.
  • Experiencia elaborando documentación técnica y operativa.

Competencias personales

  • Capacidad analítica y resolución estructurada de problemas.
  • Autonomía y responsabilidad sobre los entregables.
  • Orientación a resultados y atención al detalle.
  • Capacidad para investigar incidencias y encontrar su causa raíz.
  • Organización y gestión de prioridades.
  • Adaptabilidad y facilidad para comprender arquitecturas y sistemas existentes.
  • Capacidad para trabajar de forma autónoma y colaborar con equipos multidisciplinares.

¿Qué ofrecemos?

  • Salario: 25000€ - 32000€
  • Modalidad Remota
  • Participación en un proyecto especializado en ingeniería y procesamiento de datos.
  • Entorno tecnológico basado en Apache Spark, Scala y servicios cloud de AWS.
  • Trabajo sobre procesos de datos críticos y reporting regulatorio.
  • Posibilidad de incorporación en alguna de nuestras oficinas, valorando también otras ubicaciones.

Si tienes experiencia en Data Engineering, dominas Spark y Scala y quieres participar en proyectos de procesamiento de datos en entornos cloud, ¡queremos conocerte!

Data Engineer – Spark / Scala / AWS - REMOTO in Valencia empresa: AD4 Octógono

AD4 Octógono es un empleador excepcional que fomenta un ambiente de trabajo colaborativo y dinámico, donde la innovación y el desarrollo profesional son prioritarios. Ofrecemos oportunidades de crecimiento continuo en un entorno híbrido, permitiendo a nuestros empleados equilibrar su vida laboral y personal mientras trabajan en proyectos desafiantes y significativos en Madrid o Andalucía. Además, valoramos la diversidad de ideas y la creatividad, lo que hace de nuestra empresa un lugar ideal para aquellos que buscan dejar una huella en el campo de la inteligencia artificial.

A

Datos de contacto:

Equipo de selección de AD4 Octógono

Consejo de los expertos de StudySmarter🤫

Creemos que así podrías conseguir Data Engineer – Spark / Scala / AWS - REMOTO in Valencia

✨Conéctate a Comunidades de Ciencia de Datos

Participa en foros y comunidades online como Kaggle o GitHub, donde puedes compartir proyectos de ciencia de datos y mostrar tus habilidades. Esto no solo te ayuda a aprender más, sino que también te da visibilidad ante reclutadores que están buscando talento.

✨Asiste a Meetups y Conferencias

Las conferencias de ciencia de datos y los meetups locales son una excelente manera de conocer a personas en la industria. Intenta asistir a eventos como PyData o Data Science Meetups en tu ciudad; así podrás establecer conexiones importantes y enterarte de oportunidades laborales como la de Data Engineer – Spark / Scala / AWS - REMOTO en AD4 Octógono.

✨Demuestra tus Habilidades con Proyectos Personales

Crea un portafolio en línea donde puedas presentar proyectos realizados por ti. Asegúrate de incluir muestras de tu trabajo en Python, R, o cualquier otra herramienta que domines. Esto hará que te destaques cuando postules a Data Engineer – Spark / Scala / AWS - REMOTO en AD4 Octógono.

✨Conéctate con Profesionales en LinkedIn

Haz uso de LinkedIn para seguir a empresas de ciencia de datos y conectar con quienes trabajan en ellas. Este tipo de estrategia puede abrirte puertas, ya que muchos reclutadores revisan perfiles antes de decidir a quién invitar a entrevistas para roles como Data Engineer – Spark / Scala / AWS - REMOTO.

Creemos que necesitas estas habilidades para triunfar como Data Engineer – Spark / Scala / AWS - REMOTO in Valencia

Spark
Scala
AWS EMR
AWS Glue
AWS Lambda
AWS Step Functions
ETL

Algunos consejos para tu solicitud 🫡

Destaca tus habilidades técnicas:En el mundo de la ciencia de datos, es fundamental que tu CV incluya herramientas y lenguajes de programación específicos. No te olvides de mencionar tus conocimientos en Python, R o SQL, y cualquier experiencia relevante con bibliotecas como Pandas o TensorFlow. ¡Esto le dará un gran empujón a tu perfil ante AD4 Octógono!

Proyectos y experiencias prácticas:Además de tu formación académica, es clave incluir proyectos anteriores donde hayas aplicado tus habilidades en ciencia de datos. Asegúrate de mencionar cualquier trabajo que hayas hecho, ya sea en la universidad o de manera independiente. Esto demuestra tu capacidad para resolver problemas reales y tu motivación para aprender en un entorno profesional.

Céntrate en resultados cuantificados:En tu carta de presentación y CV, incluye logros que puedas cuantificar. Por ejemplo, si has dirigido un proyecto que mejoró la eficiencia en un XX%, esto no solo impresiona, sino que demuestra tu capacidad para generar resultados concretos. Esto es especialmente atractivo para un puesto a tiempo completo en AD4 Octógono.

Personaliza tu carta de presentación:No te limites a copiar y pegar una carta estándar. Haz que tu carta sea única para AD4 Octógono. Comenta por qué te apasiona la ciencia de datos y cómo encajas en la misión de la empresa. Aunque el CV es importante, una carta que muestre tu motivación y visión puede hacer la diferencia.

Cómo prepararte para una entrevista de trabajo en AD4 Octógono

✨Prep para preguntas técnicas de datos

Sabemos que en el campo de la ciencia de datos es común que te hagan preguntas técnicas. Prepárate para discutir tus conocimientos en estadística, análisis de datos y programación en Python o R. Además, asegúrate de poder explicar tus proyectos anteriores y el proceso detrás de ellos, ¡es vital que muestres tu pensamiento crítico!

✨Demuestra tus habilidades con un portfolio impactante

Tener un portfolio que muestre tus proyectos de ciencia de datos es esencial. Asegúrate de incluir ejemplos de análisis complejos, visualización de datos e incluso modelos predictivos que hayas desarrollado. ¡Esto no solo muestra tu competencia técnica, sino que también puede dar pie a una conversación más profunda durante la entrevista!

✨Prepárate para discutir casos de uso de datos

En una entrevista para un puesto de ciencia de datos, a menudo te preguntarán sobre estudios de caso o situaciones del mundo real. Practica cómo explicar cómo aplicarías técnicas de análisis para resolver problemas específicos que podrían enfrentar en AD4 Octógono. Esto demuestra que entiendes la aplicabilidad de tus habilidades.

✨Muestra tu entusiasmo y curiosidad

Como candidato a un puesto a tiempo completo, es crucial que muestres tu pasión por la ciencia de datos y tu deseo de aprender. Comparte tus intereses en las últimas tendencias de la IA o el machine learning, y menciona proyectos futuros que te gustaría explorar. Esto puede hacer que te destaques entre otros candidatos.