Evals antes que sensaciones: arreglar un prompt que se desviaba

Problema

Soy responsable del sistema LLM en producción que genera planes de clase alineados al currículo para docentes de Perú, Colombia y México, sobre Gemini 2.5 Pro a través de Vertex AI. Un plan de clase solo sirve si sigue la estructura que define su currículo nacional, sección por sección.

Medido contra esa estructura en producción, solo el 45,6 % de las respuestas cumplía. Algunas además venían infladas, gastando tokens en texto que nadie había pedido. La cura no es un prompt que suene mejor. Es una forma de medirlo.

Enfoque

Construí un conjunto de fixtures de prueba y una rúbrica LLM-as-judge que puntúa cada respuesta en 5 dimensiones y 19 ítems. Ahora cada cambio de prompt produce un número que se puede comparar con el anterior, en lugar de una impresión.

1. 01Versiónun número por cambio
2. 02Fixturesel mismo conjunto cada vez
3. 03Juez19 ítems en 5 dimensiones
4. 04Release45,6 % prod. → 8/8 fixtures

1. 01Cada cambio de prompt recibió una versión semántica: salía como un release con número, no como una edición sobre la marcha.
2. 02El mismo conjunto de fixtures de prueba se ejecutaba contra cada versión nueva.
3. 03Una rúbrica LLM-as-judge puntuaba cada respuesta en 5 dimensiones y 19 ítems.
4. 04Cada puntuación se comparaba con la de la versión anterior: la conformidad estructural pasó del 45,6 % en producción a 8 de 8 fixtures de prueba superados, y el dashboard mostraba lo que costaba cada versión.

Paso 1 de 4

Cada cambio de prompt recibió una versión semántica: salía como un release con número, no como una edición sobre la marcha.

Los prompts pasaron a ser artefactos con versionado semántico, así que un cambio es un release con número y no una edición sobre la marcha. En el mismo sistema, el motor de generación de unidades que entregué deja fuera del modelo las comprobaciones que no lo necesitan: guardrails deterministas validan la estructura y detectan respuestas truncadas sin una sola llamada extra al LLM. Y cada llamada reporta sus tokens, su coste y su latencia, así que un cambio que mejora la calidad pero duplica la factura se ve en el dashboard antes de convertirse en una sorpresa.

Resultado

La conformidad estructural pasó del 45,6 % de las respuestas en producción a 8 de 8 fixtures de prueba superados tras el arreglo.

El cambio duradero está en cómo se publican los prompts. Una nueva versión es un release medido y no una opinión: los fixtures dicen si es mejor, y los dashboards, cuánto cuesta.