De un vistazo
- Tareas: Diseña y mantiene infraestructuras de evaluación para sistemas de IA avanzados.
- Empresa: Axiomatic AI, innovando en IA para aplicaciones científicas y de ingeniería.
- Beneficios: Compensación competitiva, opciones de acciones y herramientas de vanguardia.
- Otra información: Ambiente dinámico con oportunidades de crecimiento profesional y trabajo flexible.
- Por qué este empleo: Contribuye a revolucionar el diseño de hardware con IA interpretativa y verificable.
- Cualificaciones: Máster en campos relacionados y experiencia en infraestructura de IA.
El salario previsto está entre 63000 - 77000 € por año.
About Us
Axiomatic AI is building a new class of AI systems designed to reason with the rigor of the scientific method.
By combining deep learning with formal logic and physics-based modeling, we create verifiable, interpretable AI systems that collaborate with and support human researchers in high-stakes scientific and engineering workflows.
Our mission, 30×30 is to deliver a 30× improvement in the speed, accessibility, and cost of semiconductor and photonic hardware development by 2030.
We aim to revolutionize hardware design and simulation in these industries and are building a team of highly motivated professionals to bring these innovations from research into commercial products.
- Position Overview
- As an
AI Engineer/Scientist specializing in Evaluation and Benchmarking , you will design, implement, and maintain scalable, reliable evaluation pipelines for advanced agentic AI systems.
Your work will enable fast, reproducible, and rigorous measurement of model and agent performance across research and production settings.
You will bring strong engineering skills to build and maintain robust evaluation infrastructure end‑to‑end, and scientific rigor to define state‑of‑the‑art evaluation metrics, interpret results critically, and continuously improve evaluation methodologies over time.
The role is based in Barcelona, Spain, but we support relocation and global talent.
- Your Mission
- Evaluation Infrastructure: Design, implement, and maintain reliable, scalable evaluation pipelines to measure model and agent performance efficiently and reproducibly.
- Benchmarking & Metrics: Develop automated benchmarks, performance metrics, and regression tests to enable systematic comparison and continuous performance tracking.
- Failure Analysis & Iteration: Analyze failure modes and evaluation blind spots, and iteratively improve tasks, metrics, and protocols to better capture real‑world agent behavior.
- Experimentation Support: Partner with AI Scientists and Engineers to translate research goals into robust evaluation protocols and tooling that support rapid experimentation.
- Communication & Reporting: Clearly communicate evaluation results through concise reports, dashboards, and presentations, enabling both internal teams and external stakeholders to interpret and act on performance insights.
- Collaboration: Work closely with a cross‑functional team of engineers and scientists, collaborating to solve challenging problems at the intersection of AI, physics, and engineering.
- Key Requirements
- Master’s degree in Data Science, Computer Science, Information Technology, Artificial Intelligence, or a related field.
- 2+ years of experience in an AI, engineering, scientific, or technical setting.
- 1+ years of industry experience building AI infrastructure and applications.
- Strong software engineering skills, with experience building reliable, maintainable systems in production environments.
- Understanding of evaluation methodology and experimental design, with attention to reproducibility and statistical rigor.
- Ability to collaborate effectively within a multidisciplinary and multicultural environment.
- Curiosity and a proactive, solution‑oriented mindset, with the ability to work autonomously and own the evaluation framework end‑to‑end.
- Excitement to work in a dynamic and fast‑paced environment, and the ability to thrive in ambiguity.
- Personal interest in exploring recent AI developments and staying up to date with the state of the art.
- Nice To Have
- Experience building or maintaining evaluation and benchmarking pipelines for ML/LLM systems.
- Familiarity with LLM/agent evaluation methods, including rubric‑based scoring, judge models, or regression testing.
- Experience with experiment tracking and evaluation tooling such as Weights & Biases, Lang Smith, or similar platforms.
- Research experience in AI/ML, demonstrated through publications, a thesis, or research projects.
- Evidence of strong technical initiative, such as open‑source contributions, personal projects, or leading complex technical work.
What We Offer
- Competitive compensation
- Stock Options Plan: Empowering you to share in our success and growth.
- Cutting‑Edge
Tools: Access to state‑of‑the‑art tools and collaborative opportunities with leading experts in artificial intelligence, physics, hardware and electronic design automation.
- Work‑Life Balance: Flexible work arrangements in one of our offices with potential options for remote work.
- Professional Growth: Opportunities to attend industry conferences, present research findings, and engage with the global AI research community.
- Impact‑Driven Culture: Join a passionate team focused on solving some of the most challenging problems at the intersection of AI and hardware.
Why Join Us?
At Axiomatic AI, you will be working on technology that drives innovation in AI for scientific and engineering applications aligned with our 30 × 30 mission.
This is your opportunity to contribute to the development of new AI architectures that can reason coherently and produce interpretable and verifiable solutions, ultimately shaping the future of hardware and computing.
We believe in pushing the boundaries of what is possible and continuously seek to redefine the intersection of AI and physics.
If you’re ready to take your expertise to the next level, we want to hear from you!
We are dedicated to creating a diverse, inclusive, and authentic workplace.
If this role excites you but your background doesn’t perfectly match every qualification, we still encourage you to apply.
You could be the perfect fit for this position or another opportunity with us.
AI Engineer/Scientist - Evaluation & Benchmarking empresa: Axiomatic_AI
Axiomatic_AI es un empleador excepcional que ofrece un entorno de trabajo colaborativo en Barcelona, donde la innovación y la investigación se encuentran en el corazón de su misión. Con oportunidades de crecimiento profesional y un enfoque en el desarrollo de tecnologías de IA verificables, los empleados disfrutan de un equilibrio entre la vida laboral y personal, así como de un equipo diverso y multidisciplinario que fomenta la creatividad y el aprendizaje continuo.
Consejo de los expertos de StudySmarter🤫
Creemos que así podrías conseguir AI Engineer/Scientist - Evaluation & Benchmarking
✨Conéctate con la comunidad tech
Asistir a meetups y conferencias de software en tu área es una gran manera de conocer a la gente clave en la industria. Compartir tus intereses y proyectos en estos eventos puede abrirte puertas inesperadas.
✨Aprovecha las plataformas de código abierto
Contribuir a proyectos de código abierto no solo demuestra tus habilidades técnicas, sino que también te ayuda a hacer contactos valiosos. Además, ¡es una excelente forma de mostrar tu trabajo a futuros empleadores como Axiomatic_AI!
✨Política de puertas abiertas
No dudes en hacer ‘walk-ins’ en empresas tech locales. Lleva tu CV y una sonrisa, ¡nunca sabes quién puede estar buscando talento nuevo como el tuyo!
✨Aplica directamente en Axiomatic_AI
Si encuentras una oportunidad que te emociona, como un puesto de AI Engineer/Scientist - Evaluation & Benchmarking, no esperes. Aplica a través de nuestra web y asegúrate de destacar tus proyectos y contribuciones, ¡eso puede marcar la diferencia!
Creemos que necesitas estas habilidades para triunfar como AI Engineer/Scientist - Evaluation & Benchmarking
Algunos consejos para tu solicitud 🫡
Destaca tus proyectos personales:En ingeniería y desarrollo de software, es fundamental mostrar que no solo sabes hacer lo que se te pide, sino que también eres proactivo. Incluye un enlace a tu GitHub o proyectos personales en tu CV para que podamos ver de lo que eres capaz. Esto realmente añade un plus a tu aplicación.
Personaliza tu CV con tus habilidades técnicas:Asegúrate de destacar las habilidades técnicas que son relevantes para el puesto de AI Engineer/Scientist - Evaluation & Benchmarking en Axiomatic_AI. ¿Conoces lenguajes de programación específicos, frameworks o herramientas que usamos? Menciónalos y, si tienes certificaciones, ¡añádelas! Esto nos muestra que estás preparado para el trabajo desde el primer día.
Carta de motivación sincera:Como estás aplicando a un puesto a tiempo completo, aprovecha la carta de motivación para contarnos por qué eres un buen fit para Axiomatic_AI. Cuéntanos sobre tu pasión por la tecnología y cómo quieres contribuir al equipo. Queremos saber más sobre tu enfoque y cómo te ves creciendo con nosotros.
Formato claro y conciso:En el mundo del software, la claridad y la concisión son clave. Asegúrate de que tu CV y carta de motivación sean fáciles de leer y bien estructurados. Usa viñetas para resaltar logros y habilidades, y no te olvides de revisar el formato para que se vea profesional, ¡aunque no tienes que ser excesivamente formal!
Cómo prepararte para una entrevista de trabajo en Axiomatic_AI
✨Prepárate para los retos técnicos
En el mundo de la ingeniería y desarrollo de software, es probable que enfrentes preguntas técnicas y ejercicios de codificación en tu entrevista. Asegúrate de practicar algoritmos y estructuras de datos, porque los reclutadores en Axiomatic_AI querrán ver cómo resuelves problemas en tiempo real.
✨Muestra tu portafolio de proyectos
Como candidato a un puesto a tiempo completo, es crucial que muestres un portafolio sólido. Presenta tus proyectos anteriores, especialmente aquellos que demuestran habilidades técnicas relevantes y tu capacidad para trabajar en equipo. ¡No dudes en explicar las tecnologías que utilizaste y los desafíos que superaste!
✨Conoce la cultura de trabajo
Investiga a fondo la cultura de trabajo de Axiomatic_AI. Como ingeniere, a menudo trabajarás en equipo, por lo que demostrar que puedes integrarte bien y que compartes sus valores es clave. Prepara ejemplos de cómo has colaborado en el pasado para alinearte con lo que ellos buscan.
✨Repasa conceptos clave
Haz una lista de conceptos y herramientas clave que son esenciales en el desarrollo de software, como lenguajes de programación, frameworks, y metodologías ágiles. Esto no solo te ayudará a responder preguntas, sino que también te permitirá hacer preguntas inteligentes que demuestren tu interés en el puesto y en las prácticas de Axiomatic_AI.