Por qué producción es otro mundo

En el piloto, alguien revisa cada respuesta. En producción salen cientos al día y nadie las mira todas. Los modelos cambian de versión, los datos de entrada cambian, los usuarios usan el sistema de formas que no previste nadie. Sin medición continua, la calidad se degrada sin que nadie lo note hasta que hay un problema.

Qué medir cada semana

Evaluación continua y regresiones

• Conjunto de evaluación fijo: 100-300 casos reales con su respuesta esperada, incluidos casos difíciles y ataques.
• Se ejecuta ante cualquier cambio: nuevo prompt, nueva versión del modelo, nuevas herramientas. Si empeora, no se despliega.
• Se amplía con cada incidencia: cada error real se convierte en un caso de prueba nuevo.
• Revisión humana por muestreo además de las métricas automáticas. Un modelo que califica a otro ayuda, pero no sustituye a una persona.

Costes: cómo no llevarte un susto

• Modelo según la tarea. Clasificar, extraer y resumir suele funcionar con un modelo rápido y barato. Reserva el más capaz para lo que lo necesita, y compruébalo con tu conjunto de evaluación, no a ojo.
• Reutiliza lo que se repite. Si cada llamada envía las mismas instrucciones largas o el mismo documento, la caché de prompts de los proveedores reduce mucho el coste de esa parte.
• Procesa en lote lo que no corre prisa. Las clasificaciones nocturnas o los informes semanales no necesitan respuesta inmediata, y el procesamiento por lotes es más barato.
• Topes duros. Límite de gasto mensual en la cuenta del proveedor, límite de tokens por llamada y límite de llamadas por usuario. Un bucle mal hecho puede gastar en una noche el presupuesto del mes.
• Mide el coste por operación útil, no el coste total. Si el volumen sube, el total sube; lo que no debe subir es lo que cuesta cada reclamación clasificada.

Registro: lo que hay que guardar

Para cada operación: fecha, versión del prompt, modelo y versión, entrada (o su referencia, si contiene datos personales), salida, herramientas usadas, coste, tiempo y decisión humana si la hubo. Con datos personales, aplica minimización, plazos de conservación y control de acceso al registro.

Versiones y vuelta atrás

• Los prompts son código: en control de versiones, con fecha, autor y motivo de cada cambio.
• Fija la versión del modelo en lugar de usar alias que cambian solos, y prueba las versiones nuevas antes de migrar.
• Interruptor de apagado: una forma de desactivar la IA en minutos y volver al proceso manual. Pruébalo antes de necesitarlo.
• Despliegue gradual: los cambios importantes, primero a un porcentaje pequeño del tráfico.

Cuando algo sale mal

Tarde o temprano el sistema dará una respuesta que no debía. Lo que separa un susto de una crisis es tener el procedimiento escrito antes:

1. Contener. Si el daño puede repetirse, activa el interruptor y vuelve al proceso manual. Decidir esto no puede requerir una reunión.
2. Acotar. Con el registro, busca cuántas operaciones parecidas hubo, desde cuándo y a quién afectaron.
3. Corregir. Arregla las salidas ya enviadas si es posible y avisa a los afectados cuando corresponda.
4. Entender la causa. ¿Cambió el modelo, el prompt, los datos de entrada o el uso? El registro de versiones responde en minutos lo que sin él lleva días.
5. Evitar que vuelva. Añade el caso al conjunto de evaluación y no reactives hasta que pase.
6. Documentar y notificar. Deja constancia del incidente y valora si hay obligación de notificarlo: brecha de datos personales (72 horas ante la autoridad de control), incidente grave en un sistema de alto riesgo según el Reglamento de IA, o incidente TIC grave si estás sujeto a DORA.

Gobierno y documentación

Lo que un auditor o un regulador te pedirá, y conviene tener desde el primer día:

• Inventario de sistemas de IA con su responsable, su finalidad y su clasificación de riesgo según el Reglamento Europeo de IA.
• Documentación técnica: arquitectura, datos, modelo, evaluación y limitaciones conocidas.
• Registro de cambios y de incidentes, con su análisis y medidas.
• Supervisión humana descrita: quién revisa qué y con qué autoridad para corregir o parar.
• Información a los usuarios cuando interactúan con una IA o reciben contenido generado.
• Evaluación de impacto en protección de datos cuando haya datos personales con riesgo.

Los primeros 30 días en producción

El informe de la semana 4 es el que justifica la inversión. Si no puedes rellenarlo con datos, el problema no es la IA: es que no se midió desde el principio.