Senior Databricks Data Engineer

Senior Databricks Data Engineer

Freelance 72000 - 88000 € / año (est.) Remoto
L

De un vistazo

  • Tareas: Diseña y optimiza soluciones de datos con Azure Databricks y crea pipelines ETL/ELT.
  • Empresa: Empresa innovadora en tecnología de datos, 100% remota y con un ambiente colaborativo.
  • Beneficios: Contrato de 12 meses, trabajo remoto y oportunidades de desarrollo profesional.
  • Otra información: Oportunidades de crecimiento en un entorno dinámico y ágil.
  • Por qué este empleo: Únete a un equipo que transforma datos en decisiones estratégicas y mejora la seguridad de datos.
  • Cualificaciones: 5 años de experiencia en ingeniería de datos y dominio de Azure Databricks.

El salario previsto está entre 72000 - 88000 € por año.

Nuestro cliente está buscando un ingeniero de datos senior altamente calificado en Databricks con un mínimo de 5 años de experiencia práctica en la construcción, orquestación y optimización de soluciones de datos utilizando Azure Databricks y la plataforma de datos de Azure. El candidato ideal se destaca en el diseño de tuberías de datos seguras y escalables; gestión de espacios de trabajo y clústeres de Databricks; publicación de conjuntos de datos gobernados; e implementación de controles de seguridad y gobernanza de datos sólidos. Este es un rol de contrato/freelance que es completamente remoto, pero los candidatos deben estar ubicados dentro de la UE. Este es un contrato inicial de 12 meses.

Responsabilidades Clave

  • Diseñar, construir y optimizar tuberías de datos ETL/ELT utilizando Azure Databricks (Python, PySpark, SQL, Delta Lake).
  • Crear, configurar y mantener espacios de trabajo, clústeres, repositorios y horarios de trabajos de Databricks para la entrega de productos de datos de múltiples equipos.
  • Desarrollar marcos robustos de ingestión, transformación y procesamiento de datos para datos estructurados, semi-estructurados y no estructurados.
  • Implementar las mejores prácticas de gobernanza y seguridad de datos utilizando Databricks y tecnologías de Azure, asegurando un acceso controlado y auditable a los conjuntos de datos.
  • Gestionar la publicación de conjuntos de datos de alta calidad y bien documentados para análisis, informes y cargas de trabajo de IA posteriores.
  • Integrar tuberías de Databricks con la plataforma de datos de Azure, asegurando una orquestación confiable, observabilidad y automatización CI/CD.
  • Construir y mantener arquitecturas de Delta Lake, incluyendo estructuras de capas medallón (bronce/plata/oro).
  • Colaborar estrechamente con arquitectos de datos, propietarios de datos y equipos de seguridad para alinearse con los estándares empresariales.
  • Diagnosticar cuellos de botella de rendimiento, optimizar costos de computación y aplicar estrategias de ajuste a nivel de clúster y código.

Habilidades Técnicas Requeridas

  • Experiencia en Databricks
    • Espacios de trabajo de Databricks (configuración, controles de seguridad, repositorios, clústeres)
    • Notebooks de Databricks (Python, SQL, PySpark)
    • Trabajos, flujos de trabajo, repositorios, catálogo de unidad de Databricks
    • Azure Entra ID (AAD) para identidad y RBAC
    • Experiencia previa con el proveedor de Terraform de Databricks es un plus.
  • Seguridad y Gobernanza de Datos
    • Catálogo de unidad (catálogos, esquemas, tablas gestionadas, políticas de acceso)
    • Seguridad a nivel de tabla y columna, enmascaramiento, acceso a nivel de fila
    • Etiquetas gobernadas y ABAC
    • Prácticas de linaje de datos y auditabilidad
    • CI/CD para implementaciones seguras (Azure DevOps o GitHub Actions)
  • Habilidades de Ingeniería de Datos y Software
    • Python, SQL, PySpark
    • Pipelines CI/CD para Databricks (es decir, paquete de activos de Databricks)
    • Ajuste de rendimiento de clústeres Spark y flujos de trabajo distribuidos
    • Fuerte comprensión de la modelación de datos y conceptos de computación distribuida
  • Habilidades de Ingeniería de IA y Software
    • Control de acceso a experimentos MLFlow
    • Servicio MLFlow

Calificaciones y Experiencia

  • Mínimo 5 años de experiencia profesional construyendo soluciones de ingeniería de datos con Azure Databricks.
  • Experiencia demostrada en la entrega de tuberías y conjuntos de datos gobernados para entornos a escala empresarial.
  • Capacidad probada para asegurar el acceso a los datos e implementar marcos de gobernanza.
  • Experiencia trabajando en equipos enfocados en Agile o DevOps.
  • Fuertes habilidades analíticas, de resolución de problemas y de comunicación.

Senior Databricks Data Engineer empresa: LA International

Nuestra empresa se destaca como un excelente empleador al ofrecer un entorno de trabajo colaborativo y dinámico, ideal para un Senior Databricks Data Engineer. Con oportunidades de crecimiento profesional y un enfoque en la innovación, nuestros empleados disfrutan de la flexibilidad del trabajo remoto desde cualquier lugar de la UE, además de beneficios competitivos que fomentan el bienestar y el desarrollo continuo. Aquí, valoramos la diversidad de ideas y promovemos una cultura de aprendizaje constante, asegurando que cada miembro del equipo pueda contribuir significativamente a proyectos impactantes.

L

Datos de contacto:

Equipo de selección de LA International

Consejo de los expertos de StudySmarter🤫

Creemos que así podrías conseguir Senior Databricks Data Engineer

✨Construye tu portafolio de proyectos

Como freelance en ciencia de datos, es clave que demuestres tus habilidades a través de un portafolio. Presenta proyectos anteriores o crea nuevos, mostrando tu proceso y resultados. Utiliza plataformas como GitHub o Kaggle para publicar tus trabajos y generar interés.

✨Únete a comunidades de ciencia de datos

Las comunidades de ciencia de datos, como Meetups o foros en línea, son perfectas para establecer contactos y encontrar oportunidades freelance. Participar en hackathons o desafíos de datos también puede abrirte puertas y poner tu nombre en circulación.

✨Hazte notar en redes sociales profesionales

Aprovecha LinkedIn para compartir tus conocimientos, escribir artículos sobre ciencia de datos y conectar con profesionales de la industria. Publica sobre tus proyectos y logros, y no dudes en interactuar con otros expertos en el campo.

✨Ofrece tus servicios en plataformas de freelance

Regístrate en plataformas como Upwork o Freelancer donde puedes ofrecer tus habilidades en ciencia de datos. Crea un perfil atractivo que destaque tus proyectos y experiencia, y aplica a los trabajos que más te interesen. Recuerda que, también, en nuestra página, puedes encontrar oportunidades y aplicar directamente a LA International.

Creemos que necesitas estas habilidades para triunfar como Senior Databricks Data Engineer

Azure Databricks
ETL/ELT
Python
PySpark
SQL
Delta Lake
Data Governance

Algunos consejos para tu solicitud 🫡

Muestra tu portafolio de proyectos:¡Es esencial que incluyas un portafolio que muestre tus proyectos de análisis de datos! Asegúrate de incluir ejemplos concretos que resalten tus habilidades en herramientas como Python, R, o SQL, y que muestren cómo has resuelto problemas reales con tus análisis. Esto dará a los reclutadores una idea clara de lo que puedes aportar.

Habla sobre tu experiencia práctica:Como freelance, tus experiencias previas son clave. Así que incluye trabajos anteriores donde hayas aplicado técnicas de ciencia de datos. Comenta sobre situaciones específicas, como proyectos donde aplicaste machine learning o trabajaste con grandes volúmenes de datos. Esto ayudará a LA International a entender tu capacidad de afrontar desafíos en el campo.

Define tus tarifas y disponibilidad claramente:No olvides incluir en tu propuesta una sección que hable sobre tus tarifas y disponibilidad. Esto mostrará que eres profesional y que tienes claridad sobre cómo trabajas. Además, es útil para que LA International sepa si puedes empezar de inmediato o si necesitas tiempo para la integración.

Redacta una introducción cautivadora:Tu carta de presentación es tu oportunidad de impresionar. Asegúrate de contar tu historia, por qué te apasiona la ciencia de datos y por qué quieres trabajar con LA International. Resalta tu motivación para colaborar y cómo tus habilidades pueden ser de valor para sus proyectos.

Cómo prepararte para una entrevista de trabajo en LA International

✨Muestra tu portafolio de proyectos

Como freelance en ciencia de datos, es crucial que tengas un portafolio bien estructurado. Asegúrate de incluir proyectos que destaquen tus habilidades en análisis de datos, modelado estadístico y visualización. No olvides hablar sobre las herramientas que usaste, como Python, R o SQL, y los resultados que obtuviste.

✨Prepárate para preguntas técnicas específicas

Es muy probable que te hagan preguntas sobre algoritmos y técnicas de machine learning, así que estar atento a conceptos como regresión, clustering y redes neuronales es esencial. Podrías practicar algunos casos reales o hacer algún ejercicio en plataformas como Kaggle para estar fresco y listo para resolver problemas en el momento.

✨Habla de tu enfoque en proyectos

Como freelance, los clientes querrán saber cómo manejas un proyecto desde su inicio hasta su finalización. Prepárate para explicar tu proceso de trabajo, desde la recolección de datos hasta la entrega final, y cómo manejas la comunicación con los stakeholders. Esto muestra tu profesionalismo y tu capacidad para adaptarte a diferentes necesidades.

✨Define tus tarifas y condiciones con claridad

Durante la entrevista, no dudes en abordar el tema de tus tarifas y las condiciones del trabajo. Es importante ser transparente y claro en este aspecto, así que asegúrate de tener una idea de lo que valen tus servicios en el mercado, así como flexibilidad para acomodarte a las necesidades de LA International.