Abstención en IA: medir el coste de no responder

Imaginemos que el asistente comete menos errores desde que le permitimos decir «no tengo información suficiente». El equipo enseña una precisión del 98 % y la mejora parece evidente. Al mismo tiempo, las consultas que terminan en revisión humana se han triplicado y los usuarios esperan más.

Podrían estar ocurriendo dos cosas buenas y malas a la vez: menos respuestas incorrectas y una vía alternativa incapaz de absorber el trabajo. El porcentaje de acierto, por sí solo, no permite decidir si el servicio ha mejorado.

La abstención consiste en que un sistema renuncie a responder en determinados casos. Es una capacidad útil cuando la evidencia no basta o el riesgo de equivocarse supera lo aceptable. Su valor depende de qué errores evita, cuántas solicitudes deja sin respuesta automática y qué ocurre después con ellas.

Cómo evaluar una IA que puede abstenerse

Hay que medir conjuntamente cobertura, errores entre las respuestas emitidas y resultado de las solicitudes derivadas. La cobertura es la proporción de solicitudes elegibles que reciben respuesta del sistema. El error selectivo es la proporción de respuestas incorrectas entre las que sí emite. Ninguna de esas dos tasas describe por sí sola el desenlace de toda la demanda.

La investigación llama a este planteamiento predicción selectiva. El trabajo The Art of Abstention, publicado en ACL-IJCNLP 2021 por Xin y colaboradores, estudia modelos y estimadores de confianza para tareas de lenguaje en ese marco. Su interés aquí es separar la capacidad de producir una predicción de la capacidad de reconocer cuándo conviene no emitirla.

Para un producto, además, «abstenerse» debe tener un significado visible. Puede consistir en pedir el dato que falta, trasladar el caso a una persona o comunicar que no existe una respuesta verificable. No son salidas equivalentes. Una pregunta aclaratoria puede desbloquear una solicitud en segundos; una cola de especialistas puede dejarla pendiente durante días.

Dos políticas, el mismo millar de solicitudes

Construyamos un ejemplo hipotético con 1.000 consultas elegibles y un criterio de corrección previamente fijado. La política A responde a 900 y acierta 855. Su cobertura es del 90 % y su precisión entre respuestas, del 95 %: hay 45 respuestas incorrectas y 100 abstenciones.

Una política B más restrictiva responde a 700 y acierta 686. Obtiene una cobertura del 70 % y una precisión del 98 %: 14 respuestas incorrectas y 300 abstenciones. Para hacer coherente la comparación, suponemos que las 700 respuestas de B son un subconjunto de las de A y que mantienen el mismo resultado de corrección.

La nueva política evita 31 respuestas incorrectas, pero también deja de dar 169 respuestas que antes eran correctas. En total, deriva 200 casos adicionales. La subida de precisión es real dentro de las respuestas emitidas; el cambio de servicio necesita mirar también esos 200 casos.

Si cada caso adicional requiere seis minutos de atención, aparecen 1.200 minutos de trabajo: 20 horas adicionales por cada 1.000 solicitudes evaluadas. Es un cálculo ilustrativo con duración constante supuesta, no una medición de un asistente ni una estimación de ahorro. La cifra tampoco significa que B sea peor: evitar determinados errores puede justificar sobradamente ese esfuerzo. Permite hacer explícita la decisión que el 98 % dejaba fuera.

No sería correcto llamar a las abstenciones errores, ni contarlas como aciertos porque el modelo «hizo lo prudente». Su desenlace sigue abierto. Para medir el servicio completo necesitamos saber cuántas se resolvieron, con qué calidad y dentro de qué plazo.

Una confianza alta también puede equivocarse de contexto

Elegir el umbral requiere algo más que pedir al modelo un número de confianza. En Selective Question Answering under Domain Shift, Kamath, Jia y Liang evaluaron en 2020 un modelo de preguntas y respuestas entrenado con SQuAD sobre mezclas de ese conjunto y otros cinco. Documentaron exceso de confianza fuera del dominio de entrenamiento.

En el resultado agregado que presenta su resumen, un calibrador permitió responder al 56 % de las preguntas manteniendo un 80 % de precisión, frente al 48 % con ese mismo nivel de precisión al utilizar directamente las probabilidades del modelo. Son ocho puntos porcentuales más de cobertura en aquel experimento. No son cifras de un LLM comercial actual ni una promesa de mejora para cualquier asistente.

La lección operativa que extraemos es más acotada: la señal utilizada para decidir la abstención también necesita evaluación, especialmente cuando cambia el tipo de consulta. Una validación centrada en preguntas conocidas puede dejar fuera justamente los casos nuevos en los que más nos interesa reconocer la incertidumbre.

Calibración y ordenación del riesgo tampoco son idénticas. Para decidir qué casos derivar importa que la señal distinga los más propensos al error. Para interpretar un valor como «probabilidad del 90 %» necesitamos, además, comprobar qué frecuencia de acierto corresponde a valores así en la población pertinente. La formulación convincente de una respuesta no demuestra ninguna de esas propiedades.

Balance de respuesta y derivación

Propongo un balance de respuesta y derivación para comparar políticas. Es una herramienta de decisión propia de este artículo; no sustituye una evaluación estadística ni certifica seguridad. Su unidad es la solicitud elegible que entró, aunque recorra varias salidas.

Demanda completa

Cuántas solicitudes entran, qué tipos contienen y cuáles quedan fuera del alcance declarado. El mismo conjunto permite comparar políticas sin cambiar el examen a mitad de la discusión.

Respuesta automática

Cuántas reciben respuesta y cuántas son correctas según un criterio revisable. Los errores se desglosan por consecuencia; una imprecisión menor no pesa igual que una indicación dañina.

Salida alternativa

Cuántas piden aclaración, se derivan o quedan sin resolver. Se registra el tiempo de atención, la espera y el resultado comprobado, sin asumir que intervención humana equivale a acierto.

Casos desplazados

Qué solicitudes cambian de ruta al mover el umbral y a quién afectan. La revisión por tipo de pregunta permite detectar una mejora global que deja a un grupo prácticamente sin servicio.

El balance debe conservar la incertidumbre de una muestra pequeña. Un resultado sin errores en pocas consultas no demuestra riesgo nulo. Tampoco basta evaluarlo una vez: cambios en documentación, usuarios o producto pueden alterar tanto la dificultad como la carga que recibe la alternativa.

La abstención tiene que terminar en algún sitio

Un asistente puede responder «no lo sé» de forma impecable y abandonar a la persona. Si la aplicación promete tramitar una solicitud, necesita mostrar su estado y la siguiente posibilidad real. Si solo ofrece orientación informativa, reconocer un límite puede ser una respuesta final suficiente. La obligación del producto depende del servicio que ha prometido.

También conviene separar evidencia y resolución. Un enlace ayuda a comprobar una afirmación, pero tenerlo no demuestra que la fuente sostenga la respuesta. Esa dificultad ya aparece en los problemas de los buscadores de IA al citar fuentes. Una política de abstención puede utilizar comprobaciones de evidencia, aunque seguirá necesitando evaluar el resultado que entrega.

En nuestro ejemplo, la decisión sobre B depende de los 31 errores evitados y del destino de los 200 casos adicionales. Si esos errores tienen consecuencias graves y existe capacidad de revisión, la reducción puede merecer la pena. Si la derivación queda abandonada, la precisión habrá mejorado mientras el servicio deja a más personas esperando. El indicador que presentemos debería permitir ver ambas cosas antes de celebrar.