Encontrar el gasto de IA que nadie sabía explicar

Problema

Como Technical Lead en MindFortress era responsable de la salud de los entornos y de los despliegues de dos productos de IA. Una partida de su gasto en IA no tenía dueño: unos $16 al día que ningún usuario ni proyecto justificaba.

Una fuga de ese tamaño es fácil de tolerar. También es señal de que algo en producción está haciendo un trabajo que nadie pidió, y sea lo que sea, no se va a quedar pequeño por sí solo.

Enfoque

Lo traté como un bug con un número asociado. En lugar de adivinar adónde podía ir el dinero, seguí el gasto no atribuido hacia atrás hasta llegar a su origen: un worker de staging obsoleto que trabajaba contra la base de datos de producción.

1. 01Gasto~$16/día, sin dueño
2. 02Rastreohacia atrás, sin adivinar
3. 03Origenun worker de staging obsoleto
4. 04Protecciónprotección + credenciales separadas

1. 01Una partida del gasto de IA no tenía dueño: unos $16 al día que ningún usuario ni proyecto justificaba.
2. 02En lugar de adivinar adónde iba el dinero, seguí el gasto no atribuido hacia atrás hasta su origen.
3. 03El origen era un worker de staging obsoleto que trabajaba contra la base de datos de producción.
4. 04Una protección en el código impide que se repita, y producción y staging ya no comparten credenciales.

Paso 1 de 4

Una partida del gasto de IA no tenía dueño: unos $16 al día que ningún usuario ni proyecto justificaba.

Pararlo una vez no habría sido un arreglo, porque las condiciones que lo originaron podían volver. Así que entregué una protección en el código para que la misma situación no se repita, y separé las credenciales de producción y staging.

Resultado

La fuga quedó rastreada hasta el worker que la causaba, protegida en el código, y producción y staging dejaron de compartir credenciales. Formó parte de un esfuerzo del equipo para atribuir cada llamada a un LLM a un usuario o a un proyecto.

La protección convierte un coste silencioso y recurrente en un fallo que se vería de inmediato. El hábito de fondo es el que aplico a cualquier sistema de IA que llevo: el gasto es una métrica como la latencia, y un número que nadie sabe explicar es un incidente esperando nombre.