Evaluar agentes de IA: completar una tarea no basta

El agente termina la tarea y responde que todo está hecho. La demostración sale bien. Más tarde descubrimos que, además del cambio solicitado, ha modificado un registro que debía conservar. El objetivo visible está cumplido; el encargo completo, no.

Este escenario es hipotético. Su interés está en la definición de éxito: cuanto más puede hacer un agente, menos nos sirve evaluar únicamente lo que entrega al final. También necesitamos saber qué ha cambiado durante el camino, qué límites ha respetado y qué ocurre cuando repetimos una tarea equivalente.

Un agente aceptable consigue el resultado dentro de las condiciones del encargo y con una consistencia adecuada a su uso. Completar tareas es una parte de la evaluación. Confundirla con la evaluación entera deja fuera precisamente los efectos que hacen delicada la autonomía.

Qué hay que comprobar además de la respuesta final

El resultado debe existir en el entorno donde se esperaba, no solo en el relato del agente. El análisis de Anthropic sobre evaluación de agentes distingue el registro de la ejecución del estado final del entorno. También explica que evaluar un agente implica evaluar el modelo junto con las herramientas y la estructura que lo hace actuar.

Podemos llevar esa distinción a una tarea corriente. Si pedimos actualizar una dirección de envío, la evaluación necesita comprobar la dirección persistida. Pero el encargo puede incluir algo más: conservar la dirección de facturación, no avisar a terceros y detenerse si hay dos clientes indistinguibles. Un mensaje final convincente no demuestra ninguna de esas condiciones.

Hay tres resultados diferentes: tarea completada correctamente, tarea detenida con motivo válido y tarea ejecutada de forma indebida. Si puntuamos la detención justificada como un fracaso idéntico al error, damos al sistema un incentivo para actuar incluso cuando debería preguntar. La evaluación acaba premiando una conducta que el producto dice querer evitar.

El porcentaje global puede esconder un límite roto

Supongamos un conjunto ilustrativo de cien encargos. En noventa y cuatro aparece el resultado solicitado. La presentación podría anunciar un 94 % de éxito. Pero imaginemos que cuatro de esos noventa y cuatro también contienen un cambio fuera de alcance. Solo noventa cumplen ambas condiciones: resultado y límites.

Las cifras no son un benchmark ni resultados de un proveedor. Muestran un problema del denominador y del criterio. Si además los cuatro efectos indebidos afectan a un tipo de tarea concreto, el promedio puede esconder un comportamiento sistemático justo donde no queremos autonomía.

Tampoco serviría promediar «resultado excelente» y «respeto de permisos deficiente» hasta obtener una nota aprobada. Algunas condiciones admiten compensación: quizá aceptemos algo más de demora por una respuesta mejor. Otras son restricciones del encargo. Una acción fuera del alcance autorizado no se vuelve correcta porque el texto final sea claro.

La ficha de aceptación del agente

Propongo una ficha de aceptación del agente que haga explícitos los criterios antes de mirar la demo. Es una síntesis propia para decisiones de producto y operación, no un estándar de certificación ni una garantía de seguridad.

Resultado verificable

Qué cambio o entrega debe existir y cómo se observará independientemente de la afirmación del agente.

Límites del encargo

Qué puede cambiar, qué debe conservar y qué condiciones obligan a detenerse. La ausencia de un efecto indebido necesita evidencia suficiente, no una frase tranquilizadora.

Familias de situaciones

Qué casos normales, ambiguos y excepcionales representan el uso. Los resultados se separan por familia para que una mayoría sencilla no oculte un fallo grave.

Repetibilidad

Cuántas ejecuciones comparables se observan y qué variación importa. La mejor ejecución disponible y la fiabilidad de una ejecución cualquiera responden a preguntas diferentes.

Condiciones de operación

Qué versión, herramientas, permisos, costes y tiempos delimitan la conclusión. Cambiar esas condiciones puede exigir una nueva evaluación.

La ficha sirve para hacer desacuerdos visibles. Un responsable puede valorar que el agente cierre más solicitudes; otro, que nunca cambie datos de la persona equivocada. Antes de sumar puntuaciones conviene acordar qué condiciones son obligatorias y quién acepta las consecuencias residuales.

Un acierto entre varios intentos no equivale a acertar siempre

Anthropic distingue dos perspectivas: conseguir al menos un éxito en varios intentos y conseguir que todos los intentos sean correctos. La primera describe capacidad de encontrar una solución; la segunda exige consistencia. Su artículo también recomienda combinar mecanismos de evaluación y calibrar los juicios de modelos con revisión humana, en lugar de tratar al evaluador automático como infalible.

Veámoslo con una cuenta propia y simplificada. Si cada intento tuviera un 80 % de probabilidad de éxito, constante e independiente, en tres intentos la probabilidad de al menos un éxito sería 1 − 0,2³ = 99,2 %. La de que los tres salieran bien sería 0,8³ = 51,2 %. Ambas cifras describen el mismo supuesto, pero cuentan historias muy diferentes.

Los intentos de un agente real pueden estar correlacionados: compartir una ambigüedad, un fallo de herramienta o un estado alterado por la ejecución anterior. Por eso esas cuentas no estiman su fiabilidad real. Sirven para advertirnos de qué estamos celebrando cuando escogemos el mejor resultado de varias pruebas.

Además, repetir no siempre es inocuo. Si el primer intento ya produjo un efecto, el siguiente puede operar sobre otro estado. La consistencia debe evaluarse en condiciones controladas y con una interpretación explícita de las repeticiones. Un vídeo que reúne tres aciertos escogidos no nos cuenta cuántos intentos hubo ni qué dejaron atrás los demás.

La evaluación también puede equivocarse

Un comprobador demasiado estrecho puede rechazar una solución válida. Uno demasiado permisivo puede aceptar una entrega que solo parece correcta. Para una tarea administrativa, verificar que existe un archivo no demuestra que contenga los registros pedidos; exigir una redacción literal tampoco demuestra que una alternativa equivalente sea mala.

Conviene distinguir el fallo del agente del fallo de la prueba. Si dos personas competentes no coinciden en qué significa aprobar un caso, todavía no tenemos un criterio estable. Y si la evaluación necesita observar efectos que no registra, hay un punto ciego que debemos declarar.

La revisión humana ayuda, pero también requiere contexto y capacidad de contradecir el resultado. No resuelve por sí sola una definición confusa. Del mismo modo, una buena evaluación previa no elimina la observación durante el uso: cambian los datos, las herramientas y las tareas que llegan.

Qué decisión permite tomar la evidencia

Una ficha bien cumplimentada puede justificar autonomía en un conjunto acotado de tareas y asistencia supervisada en otro. No obliga a una respuesta binaria entre «el agente funciona» y «la IA no sirve». Permite decir dónde cumple, dónde falla, qué no hemos medido y qué alcance resulta defendible.

Es una concreción del problema que plantea la autonomía de los agentes y sus riesgos operativos: la capacidad de actuar exige criterios sobre los efectos. Para definir bien qué cuenta como éxito también necesitamos un significado compartido de la métrica. «Completado» parece una palabra sencilla hasta que alguien tiene que aceptar lo que ocurrió.

La próxima demostración puede seguir siendo breve. La decisión de darle más alcance al agente debería apoyarse en algo más completo: un resultado comprobado, límites respetados y evidencia de repetibilidad. Ahí empieza una conversación seria sobre cuánto trabajo podemos confiarle.