Evaluation Scenario Writer - AI Agent Testing Specialist

Evaluation Scenario Writer - AI Agent Testing Specialist

25.2 - 30.8 € / hora (est.) Remoto
M

De un vistazo

  • Tareas: Crea casos de prueba estructurados para evaluar sistemas de IA y simular flujos de trabajo humanos.
  • Empresa: Mindrift, conectando especialistas con oportunidades de IA en empresas tecnológicas líderes.
  • Beneficios: Pago competitivo de hasta 30€/hora y flexibilidad en la gestión del tiempo.
  • Otra información: Participación en proyectos temporales con oportunidades de pago por contribuciones.
  • Por qué este empleo: Contribuye a mejorar la IA mientras trabajas en proyectos innovadores y desafiantes.
  • Cualificaciones: 3+ años de experiencia en desarrollo de software, especialmente en Python y Git.

El salario previsto está entre 25.2 - 30.8 € por hora.

Mindrift conecta a especialistas con oportunidades de IA basadas en proyectos para empresas tecnológicas líderes, centradas en probar, evaluar y mejorar sistemas de IA. La participación es por proyecto, no empleo permanente.

Lo que implica esta oportunidad:

  • Crear casos de prueba estructurados que simulen flujos de trabajo humanos complejos.
  • Definir el comportamiento estándar y la lógica de puntuación para evaluar las acciones del agente.
  • Analizar registros de agentes, modos de fallo y caminos de decisión.
  • Trabajar con repositorios de código y marcos de prueba para validar tus escenarios.
  • Iterar sobre indicaciones, instrucciones y casos de prueba para mejorar la claridad y dificultad.
  • Asegurarse de que los escenarios estén listos para producción, sean fáciles de ejecutar y reutilizables.

Lo que buscamos:

  • Más de 3 años de experiencia en desarrollo de software con un fuerte enfoque en Python.
  • Experiencia con Git y repositorios de código.
  • Cómodo con formatos estructurados como JSON/YAML para la descripción de escenarios.
  • Comprensión de las limitaciones básicas de LLM (alucinaciones, sesgo, límites de contexto) y cómo afectan el diseño de evaluación.
  • Familiaridad con Docker.
  • Dominio del inglés – B2.

Cómo funciona:

  • Aplicar → Pasar calificaciones → Unirse a un proyecto → Completar tareas → Recibir pago.

Expectativas de tiempo del proyecto:

Las tareas para este proyecto se estiman en 6–10 horas para completar, dependiendo de la complejidad. Esta es una estimación y no un requisito de programación; tú eliges cuándo y cómo trabajar. Las tareas deben ser enviadas antes de la fecha límite y cumplir con los criterios de aceptación listados para ser aceptadas.

Pago:

  • Contribuciones pagadas, con tarifas de hasta $30/hora.
  • Tasa fija del proyecto o tarifas individuales, dependiendo del proyecto.
  • Algunos proyectos incluyen pagos por incentivos.

Nota: Las tarifas varían según la experiencia, evaluación de habilidades, ubicación, necesidades del proyecto y otros factores. Se pueden ofrecer tarifas más altas a expertos altamente especializados. Se pueden aplicar tarifas más bajas durante la incorporación o fases no centrales del proyecto.

Evaluation Scenario Writer - AI Agent Testing Specialist empresa: Mindrift

Mindrift es un empleador excepcional que conecta a especialistas con oportunidades de IA basadas en proyectos, ofreciendo flexibilidad y la posibilidad de trabajar en tareas significativas que impactan en la tecnología. Con un enfoque en la colaboración y el crecimiento profesional, los contribuyentes tienen la oportunidad de aplicar su experiencia en física y Python en un entorno dinámico, donde se valora la innovación y se fomenta el desarrollo de habilidades. Además, la naturaleza de trabajo por proyectos permite a los colaboradores gestionar su tiempo de manera efectiva, adaptándose a sus necesidades personales y profesionales.

M

Datos de contacto:

Equipo de selección de Mindrift

Creemos que necesitas estas habilidades para triunfar como Evaluation Scenario Writer - AI Agent Testing Specialist

Desarrollo de software
Python
Git
JSON
YAML
Evaluación de sistemas de IA
Análisis de registros de agentes