← Todas las guías
Agentes y automatización

Evaluar un sistema de IA antes de ponerlo en producción

Cómo definir qué es "funcionar bien", construir un conjunto de pruebas y medirlo de forma automática. La base de todo piloto serio.

3 min de lecturaRevisada en octubre de 20262 fuentes

Sin evaluación, cada cambio es una apuesta

El ciclo es: definir criterios de éxito, crear casos de prueba (incluidos los difíciles), escribir un primer prompt, medir, ajustar y comprobar con un conjunto reservado antes de lanzar. Sin ese ciclo no sabes si un cambio de prompt o de modelo mejora o empeora.

Criterios de éxito que sirven

Los criterios deben ser específicos, medibles, alcanzables y relevantes. Compara:

  • Mal: "Que clasifique bien las reclamaciones".
  • Bien: "Al menos un 90 % de acierto en 500 reclamaciones reales etiquetadas por el equipo, y ninguna urgente clasificada como no urgente".

Casi siempre hacen falta varias dimensiones a la vez:

  • Exactitud en la tarea, también en casos raros.
  • Consistencia ante entradas parecidas.
  • Tono y estilo adecuados al público.
  • Tratamiento correcto de datos personales.
  • Uso del contexto aportado.
  • Latencia y coste por llamada.

Cómo diseñar las pruebas

  • Específicas de la tarea: que reflejen la distribución real e incluyan casos límite: entradas vacías, muy largas, malintencionadas o ambiguas.
  • Automatizables: formatos que se puedan corregir por código o por otro modelo.
  • Volumen antes que perfección: Mejor muchas preguntas corregidas automáticamente que unas pocas corregidas a mano.

El propio modelo puede ayudarte a generar más casos de prueba a partir de un conjunto inicial.

Tres formas de corregir

MétodoVentajaCuándo
Por códigoEl más rápido y fiableRespuestas exactas: categorías, cifras, campos extraídos
Por otro modeloRápido y flexibleJuicios complejos: tono, completitud, fidelidad a las fuentes
Por personasEl más finoLento y caro: resérvalo para calibrar a los otros dos

Cómo usar un modelo como corrector

  • Dale una rúbrica detallada y concreta.
  • Pide una salida acotada: "correcto o incorrecto", o una escala del 1 al 5.
  • Deja que razone antes de puntuar.
  • Si puedes, usa un modelo distinto del que generó la respuesta.
Ejemplo de rúbricaEvalúa la respuesta del asistente de políticas internas. <rubrica> Correcta si: responde a la pregunta, cita al menos un documento de los aportados y no añade información que no esté en ellos. Incorrecta si: inventa un dato, cita un documento que no existe o deja la pregunta sin responder cuando los documentos sí la responden. </rubrica> <respuesta>{respuesta}</respuesta> Razona en dos frases y termina con "correcta" o "incorrecta" en <resultado>.

Evaluar agentes

Un agente puede llegar a la respuesta correcta por caminos distintos. Evalúa el resultado, no los pasos. En su sistema de investigación empezaron con unas 20 consultas representativas y un modelo juez con una rúbrica (exactitud, citas, completitud, calidad de las fuentes y eficiencia), y complementaron con pruebas humanas para detectar fallos que la rúbrica no veía.

Cómo lo aplicamos en Cauce

Cada piloto arranca con su conjunto de evaluación y una métrica firmada por el cliente. El conjunto se queda en el cliente: es lo que le permite cambiar de modelo o de proveedor en el futuro sin perder calidad.

Fuentes

Contenido redactado por Esclusa a partir de la documentación oficial citada. Los modelos, precios y funciones cambian a menudo: comprueba la fuente antes de tomar decisiones.

@esclusa.ia