Senior Databricks Administrator/Architect

Senior Databricks Administrator/Architect

Valencia 63000 - 77000 € / año (est.) Remoto
E

De un vistazo

  • Tareas: Colabora en la creación de soluciones de datos escalables utilizando Azure Databricks y otras tecnologías de Azure.
  • Empresa: European Dynamics, una empresa internacional líder en tecnología de la información.
  • Beneficios: Remuneración competitiva y un paquete completo de beneficios.
  • Otra información: Oportunidades de crecimiento profesional en un entorno dinámico y diverso.
  • Por qué este empleo: Únete a un equipo innovador y marca la diferencia en proyectos de datos de gran impacto.
  • Cualificaciones: Experiencia en plataformas de datos empresariales y Azure Databricks es esencial.

El salario previsto está entre 63000 - 77000 € por año.

Actualmente tenemos una vacante para un Administrador/Arquitecto de Databricks Senior, fluido en inglés, para ofrecer sus servicios como experto de forma remota. En el contexto de la primera asignación, el candidato seleccionado se integrará en el equipo de Desarrollo de la empresa que colaborará estrechamente con el equipo de TI de un importante cliente.

Sus tareas incluyen:

  • Colaborar con el equipo de Plataformas de Datos e Integración en la arquitectura e implementación de soluciones escalables de plataformas de datos empresariales utilizando Azure Databricks, Delta Lake, Unity Catalog, Azure Data Lake Storage Gen2, Azure Data Factory, Azure Event Hub, Azure SQL y servicios relacionados de Azure;
  • Diseñar y desarrollar marcos de ingeniería de datos empresariales que soporten cargas de trabajo de análisis por lotes, streaming, ELT/ETL y en tiempo real;
  • Administrar y mantener los espacios de trabajo de Azure Databricks, incluyendo configuración de clústeres, programación de trabajos, administración de espacios de trabajo, implementación de Unity Catalog, gestión de secretos, políticas de computación, políticas de clústeres y gobernanza de espacios de trabajo;
  • Definir e implementar la arquitectura de seguridad empresarial, incluyendo integración de identidad con Microsoft Entra ID (Azure AD), Control de Acceso Basado en Roles (RBAC), Gestión de Identidades Privilegiadas (PIM), cifrado de datos, redes privadas, identidades gestionadas, integración de Key Vault y patrones de acceso seguro;
  • Establecer estándares de gobernanza de datos empresariales utilizando Unity Catalog, incluyendo linaje de datos, calidad de datos, gestión de metadatos, organización de catálogos, políticas de acceso y capacidades de auditoría;
  • Desplegar y configurar pipelines de CI/CD utilizando Azure DevOps y Databricks Asset Bundles (DAB), Infraestructura como Código (Terraform/Bicep donde sea aplicable), automatización de despliegues, gestión de versiones y estrategias de promoción de entornos;
  • Optimizar las cargas de trabajo de Databricks a través de ajuste de rendimiento, optimización de Spark, dimensionamiento de clústeres, aislamiento de cargas de trabajo, estrategias de caché, particionamiento, optimización de Delta, Photon y mejores prácticas de optimización de costos;
  • Diseñar monitoreo empresarial, registro, paneles operativos, alertas y monitoreo de salud de la plataforma utilizando Azure Monitor, Log Analytics, Application Insights y tablas del sistema de Databricks;
  • Desarrollar patrones de arquitectura reutilizables, implementaciones de referencia, estándares de desarrollo, convenciones de nomenclatura, estándares de codificación, procedimientos operativos y documentación de la plataforma;
  • Apoyar la migración de almacenes de datos empresariales heredados, soluciones ETL y plataformas de informes a Azure Databricks y arquitectura moderna de Lakehouse;
  • Proporcionar soporte técnico y resolución de problemas para incidentes de producción relacionados con Azure Databricks, cargas de trabajo de Spark, pipelines de datos e infraestructura de la plataforma.

Se requiere título universitario combinado con experiencia profesional relevante en TI de 9 años; al menos 8 años de experiencia en diseño e implementación de plataformas de datos empresariales; al menos 5 años de experiencia práctica en Azure Databricks en entornos empresariales; experiencia en la arquitectura de soluciones modernas de Lakehouse utilizando Azure Databricks y Delta Lake; experiencia en la administración de espacios de trabajo de Azure Databricks, clústeres, Unity Catalog, políticas de computación, orquestación de trabajos y seguridad de espacios de trabajo; experiencia en el desarrollo de soluciones de ingeniería de datos utilizando Apache Spark (PySpark y/o Spark SQL); experiencia en la implementación de gobernanza de datos empresariales utilizando Unity Catalog, gestión de metadatos, linaje de datos y controles de acceso granulares; experiencia en la implementación de Infraestructura como Código utilizando Terraform y/o Bicep; sólida experiencia en la implementación de pipelines de CI/CD utilizando Azure DevOps, pruebas automatizadas, gestión de versiones y automatización de despliegues; experiencia en el diseño y trabajo con arquitecturas de seguridad empresarial, incluyendo RBAC, Identidades Gestionadas, Puntos Finales Privados, integración de Key Vault, cifrado y seguridad de red; experiencia en la implementación de marcos de calidad de datos empresariales, monitoreo, observabilidad y paneles operativos; sólido entendimiento de técnicas de modelado de datos, incluyendo modelado dimensional, Data Vault, arquitectura de medallón y conceptos de almacén de datos empresarial; sólido conocimiento de Azure Data Lake Storage Gen2, Azure Data Factory, Azure Event Hub, Azure SQL Database, Azure Key Vault, Azure Monitor, Microsoft Entra ID (Azure AD) y redes de Azure; sólidas habilidades de programación SQL y competencia en desarrollo en Python y PySpark; conocimiento de cargas de trabajo de IA/ML, Databricks ML, Feature Store, Model Serving y arquitecturas de IA Generativa se considera un activo; experiencia con Power BI, Microsoft Fabric, Synapse Analytics u otras plataformas de análisis empresariales es altamente deseable; experiencia trabajando en grandes organizaciones internacionales, ONG o agencias de las Naciones Unidas es deseable; las siguientes certificaciones son deseables: Plataforma Certificada de Databricks, Arquitectura/Microsoft Azure Solution Architecture Expert/Databricks, Certificado de Ingeniero de Datos Asociado/Profesional; excelente dominio del idioma inglés.

Ofrecemos una remuneración competitiva (ya sea en base a contrato o remuneración con paquete completo de beneficios), basada en calificaciones y experiencia. Todas las solicitudes serán tratadas como confidenciales.

Senior Databricks Administrator/Architect empresa: EUROPEAN DYNAMICS Group

EUROPEAN DYNAMICS es un empleador excepcional que ofrece un entorno de trabajo colaborativo y dinámico, ideal para profesionales apasionados por la tecnología y la innovación. Con oportunidades de crecimiento profesional y un enfoque en la diversidad, los empleados pueden disfrutar de un paquete de beneficios competitivo y la posibilidad de trabajar en proyectos internacionales desde diversas ubicaciones. La cultura de la empresa fomenta la creatividad y el desarrollo continuo, lo que la convierte en un lugar atractivo para aquellos que buscan un empleo significativo y gratificante.

E

Datos de contacto:

Equipo de selección de EUROPEAN DYNAMICS Group

Creemos que necesitas estas habilidades para triunfar como Senior Databricks Administrator/Architect

Azure Databricks
Delta Lake
Unity Catalog
Azure Data Lake Storage Gen2
Azure Data Factory
Azure Event Hub
Azure SQL