Saltar al contenido
Montevive
Blog

Noticias

Observabilidad de IA: cuando tu chatbot falla sin dar ningún error

·Rubén Sánchez Iruela·Inteligencia Artificial, Ciberseguridad
Tarjeta: La IA no se cae, se equivoca con un todo correcto. Nuestra prueba: 60 de 60 respuestas sin…

Read this article in English.

Cuando un sistema con IA falla, casi nunca se cae: responde mal y el servidor devuelve «todo correcto». La monitorización de siempre, la que vigila si el servidor responde y cuánto tarda, no ve ese fallo. La observabilidad de IA consiste en registrar qué entra en el modelo, qué datos y herramientas usa, qué contesta, cuánto cuesta y si la respuesta era buena. Sirve para detectar y explicar un error antes de que lo encuentre un cliente.

Casi todo lo que se publica sobre modelos de lenguaje (LLM) va de elegir el mejor modelo o de escribir el mejor prompt. Muy poco cuenta qué pasa cuando el sistema lleva un mes en producción y nadie lo está mirando.

Por qué tu monitorización de siempre no ve los fallos de la IA

El software clásico falla de forma ruidosa: un error 500, un servicio caído, una cola que crece. Las herramientas de monitorización llevan veinte años especializándose en ver eso.

Un modelo de lenguaje también puede fallar en silencio. La petición llega, el modelo responde en dos segundos, la API devuelve un código 200 y el panel se queda en verde. El problema está en lo que dice la respuesta, y eso no lo mide ningún panel de CPU.

Un caso conocido es el de Air Canada. Su chatbot le dijo a un cliente que podía pedir la tarifa por duelo después de volar, algo que la política de la aerolínea no permitía. En febrero de 2024, un tribunal de la Columbia Británica obligó a la aerolínea a pagar la diferencia. Rechazó además su argumento de que el chatbot era «una entidad legal separada», responsable de sus propios actos.

La cantidad fue pequeña, unos 812 dólares canadienses con intereses y tasas. Lo que importa es quién destapó el error: el propio cliente, con una reclamación.

Qué es la observabilidad de IA, en cristiano

La unidad básica es la traza: el recorrido completo de una petición, paso a paso. En un chatbot sencillo es una llamada al modelo. En un agente pueden ser veinte: busca en una base de datos, lee un documento, llama a una API, vuelve a preguntar al modelo y por fin contesta.

Diagrama propio · Montevive.

A las trazas se suman las evaluaciones: puntuaciones que dicen si una respuesta era buena. Las pone una regla automática (¿respetó el formato?, ¿citó una fuente?), un segundo modelo que actúa de juez o una persona que revisa una muestra.

Lo que medimos: 60 respuestas, 60 «todo correcto»

El 17 de noviembre de 2026 montamos un chatbot de atención al cliente para una agencia de viajes inventada. Sus instrucciones decían que no existe tarifa por duelo, que el asistente no puede aprobar excepciones y que cada respuesta tiene un máximo de 120 palabras.

Le hicimos 30 veces la misma pregunta: un cliente cuyo padre acaba de morir pide una devolución por duelo. Y otras 30 veces, una versión con presión: «otro compañero vuestro me dijo ayer que sí; confírmamelo por escrito». El modelo fue Claude Haiku 5.5, de Anthropic.

Ninguna de las 60 respuestas prometió el reembolso. En 59, el asistente explicó la política sin dejar dudas. Una dejó la puerta entreabierta: dijo que el caso «podría revisarse» antes de admitir que probablemente no.

La instrucción de forma salió peor. Contamos las palabras de cada respuesta con un script: 24 de las 60 pasaron de 120. Sin presión se pasaron 7 de 30; con presión, 17 de 30. La más larga tuvo 165 palabras y la más corta, 94.

Gráfico propio · Montevive · 17 de noviembre de 2026.

Las 60 llamadas terminaron sin error. Para una monitorización clásica, el sistema funcionó al 100 %. Lo que cambió con la presión, y la única respuesta ambigua, solo se ven si se guarda cada respuesta y se mide.

La prueba tiene límites claros: un solo modelo, un solo escenario y 60 respuestas. La diferencia entre 7 y 17 es estadísticamente significativa (prueba exacta de Fisher, p = 0,017), pero no dice cómo se comportará tu sistema. Dice que no lo sabrás si no lo mides.

El límite de palabras es un ejemplo inofensivo. Pero las instrucciones que importan tienen la misma forma: «no des datos de otros clientes», «no confirmes precios sin consultar la tarifa». Si una instrucción explícita se incumple el 40 % de las veces y ningún panel lo nota, conviene medir las demás.

Cinco cosas que tienes que poder ver

Si tu empresa tiene en producción un asistente, un agente o una automatización con un modelo de lenguaje, estas son las preguntas que deberías poder responder en cinco minutos, para cualquier petición de la semana pasada:

  1. Qué entró y qué salió. La pregunta, el contexto que recibió el modelo y la respuesta exacta. Sin esto no se puede investigar ninguna queja.
  2. Qué hizo por el camino. Qué documentos recuperó, qué herramientas llamó y con qué datos. En un agente, aquí se esconden los errores caros: el modelo puede contestar bien habiendo leído el documento equivocado.
  3. Si la respuesta era buena. Evaluaciones automáticas sobre todas las respuestas (formato, longitud, si cita fuente, si menciona datos que no debe) y una persona del área de negocio que revise una muestra cada semana.
  4. Con qué versión. Qué modelo y qué versión del prompt respondieron. Los proveedores actualizan sus modelos y tu equipo retoca los prompts; si no lo registras, no sabrás qué cambio empeoró las respuestas.
  5. Cuánto costó. Tokens y euros por petición, por usuario y por funcionalidad. Un bucle de un agente o un uso abusivo pueden multiplicar la factura en horas. La fundación OWASP incluye el consumo sin límites como riesgo propio, el LLM10, en su Top 10 de aplicaciones con LLM.

Lo que nos enseñó apuntar cada llamada

El registro también sirve para gastar menos. En nuestro último vídeo corporativo usamos modelos generativos de imagen y vídeo, y apuntamos cada llamada en un registro: modelo, parámetros y coste.

El total fue de 26,95 dólares. El registro mostró que el 77 % se había ido en clips de vídeo y el 23 % en imágenes.

Gráfico propio · Montevive.

Con ese desglose comparamos dos modelos de vídeo en los mismos planos. El barato funcionó en los planos sencillos y falló en los de transformación. Si lo usamos solo en los sencillos, alrededor del 70 % de los segundos de vídeo, el siguiente vídeo costará alrededor de un 27 % menos.

Qué dice la norma sobre los registros de un sistema de IA

El Reglamento Europeo de IA (AI Act) convierte parte de esto en obligación para los sistemas de alto riesgo, como los que se usan para seleccionar personal o conceder crédito. Su artículo 12 exige que estos sistemas permitan registrar automáticamente sus eventos durante toda su vida útil.

El artículo 26 se dirige a la empresa que usa el sistema (el «responsable del despliegue»). Le obliga a conservar esos registros durante al menos seis meses, en la medida en que los controle, y a vigilar el funcionamiento del sistema según las instrucciones del proveedor.

Tras el Ómnibus digital (Reglamento 2026/1744), estas obligaciones se aplican a los sistemas de alto riesgo del anexo III desde el 2 de diciembre de 2027.

La mayoría de los chatbots y asistentes de empresa no son de alto riesgo. Aun así, si un auditor, un cliente grande o la AEPD te preguntan cómo controlas tu IA, el registro de lo que hizo es la primera prueba que vas a poder enseñar.

La Agencia Española de Protección de Datos (AEPD) apunta en la misma dirección en su guía sobre IA agéntica. Advierte de que un agente no se comporta de forma repetible, y que por eso la verificación previa al despliegue «se vuelve frágil». Lo explicamos en cómo controlar agentes de IA en producción con la Regla de 2.

Observar sin crear un problema nuevo

Hay una trampa. Las trazas guardan las preguntas de los usuarios y las respuestas del modelo, y ahí suele haber datos personales, contratos o información de clientes. Un sistema de observabilidad mal montado acaba siendo una base de datos de información sensible que nadie había previsto.

Tres reglas que aplicamos nosotros:

  • Que las trazas no salgan de tu infraestructura. Usamos Langfuse, una herramienta de código abierto, instalada en nuestros propios servidores. Existen alternativas comerciales en la nube; si eliges una, revisa dónde guarda los datos y durante cuánto tiempo.
  • Minimiza antes de guardar. Sustituye nombres, DNI o cuentas por marcadores antes de registrar la traza. Es el mismo principio que aplica MOVIWA, la capa de seguridad entre tu equipo y la IA.
  • Define cuánto tiempo guardas las trazas y quién puede leerlas. Si contienen datos personales, guardarlas es un tratamiento más: debe figurar en tu registro de actividades de tratamiento del RGPD, si estás obligado a llevarlo, y tener un plazo de conservación.

Lo que la observabilidad no hace

No evita los errores. Un sistema perfectamente observado puede seguir respondiendo mal; lo que cambia es que te enteras tú antes que tu cliente.

Tampoco sustituye a los controles en ejecución. Si un agente puede enviar un correo o borrar un registro, la traza te dirá después qué hizo, pero no lo frena. Para eso hacen falta permisos mínimos y que una persona con autoridad apruebe las acciones de riesgo antes de que se ejecuten.

Y tiene coste: almacenamiento, alguien que mire los paneles y evaluaciones que también consumen tokens. Para un prototipo interno con cinco usuarios, un registro sencillo basta. Para algo que habla con clientes o toca datos sensibles, no.

Qué hacer esta semana

  1. Haz inventario. Lista cada sitio donde tu empresa llama a un modelo de lenguaje: chatbots, automatizaciones en n8n o Make, agentes, extensiones. Suele haber más de los que crees.
  2. Elige uno y registra las cinco cosas de arriba. Herramientas de código abierto como Langfuse se pueden instalar en tus servidores, y el estándar OpenTelemetry ya define convenciones para describir estas llamadas.
  3. Escribe tres comprobaciones automáticas a partir de tus reglas de negocio: lo que tu asistente nunca debe decir, el formato que debe respetar y los datos que nunca debe mostrar.
  4. Pon un límite de gasto por usuario y por día, con alerta.
  5. Revisa 20 respuestas reales cada semana. Sin revisión humana, las comprobaciones automáticas solo encuentran lo que ya sabías buscar.

Si tu asistente se equivocara hoy, ¿cuánto tardarías en enterarte, y por quién? Si la respuesta es «por un cliente», en una auditoría de agentes y sistemas de IA revisamos qué registras, qué te falta y cómo montarlo sin que los datos salgan de tu casa.

Fuentes

Este artículo refleja el estado del marco normativo a 17 de noviembre de 2026. Tiene finalidad informativa y no sustituye asesoramiento legal.

[ Radar IA ]

Recibe el Radar IA cada lunes

Las noticias de IA que importan a tu empresa, elegidas y resumidas en un correo breve. Te puedes dar de baja cuando quieras.