Supervisión humana de la IA: qué necesita para funcionar

En el diagrama hay una persona entre la IA y la acción. La flecha se detiene en una casilla que dice «revisión humana». Parece una solución sensata: el sistema propone, alguien comprueba y solo entonces ocurre algo. Podemos respirar tranquilos. Siempre que esa persona pueda hacer algo más que pulsar un botón.

Imaginemos una herramienta que prepara respuestas para atención al cliente. Quien revisa ve un texto convincente y una cola que no deja de crecer. Para comprobar la respuesta tendría que abrir el expediente, localizar la condición aplicable y contrastar lo que el asistente ha dado por cierto. En cambio, aprobar está a un clic. La escena plantea una pregunta de diseño muy concreta: ¿hemos reservado capacidad para revisar o solo hemos añadido a alguien a quien atribuir la aprobación?

Cuándo aporta control la supervisión humana de una IA

La supervisión aporta control cuando la persona puede detectar un problema y cambiar el resultado antes de que produzca su efecto. Para ello necesita evidencia comprensible, tiempo suficiente y autoridad real para corregir, rechazar o detener. Que exista una intervención humana registrada no demuestra que esas condiciones se hayan cumplido.

Conviene separar tres situaciones. La presencia significa que alguien figura en el proceso. La revisión significa que esa persona contrasta la propuesta. El control exige que su criterio pueda modificar lo que ocurre. Podemos registrar la primera con mucha precisión y seguir sin saber casi nada de las otras dos.

Una explicación convincente no equivale a una comprobación

El estudio To Trust or to Think, de Buçinca, Malaya y Gajos, publicado en 2021, comparó diseños de asistencia a decisiones en un experimento con 199 participantes. Las intervenciones destinadas a provocar una reflexión más deliberada redujeron la aceptación de recomendaciones incorrectas frente a los diseños sencillos con explicaciones. Sin embargo, las soluciones que más reducían esa dependencia recibieron valoraciones subjetivas menos favorables.

Es evidencia experimental sobre aquellas tareas e interfaces, no una tasa de error extrapolable a un asistente empresarial actual ni una prueba de que añadir fricción siempre ayude. Sí muestra una tensión útil para diseñar: lo que resulta más agradable de usar puede no ser lo que mejor ayuda a detectar una recomendación equivocada.

La interpretación para nuestro ejemplo es prudente. Si la pantalla ofrece la conclusión de la IA y su justificación, pero dificulta acceder al expediente original, quizá estamos facilitando evaluar lo convincente que suena el texto. Verificarlo exige poder contrastar el hecho relevante con evidencia independiente de esa misma propuesta.

Eso tampoco obliga a esconder siempre la respuesta del modelo ni a multiplicar ventanas. Puede bastar con que el dato decisivo y su procedencia estén al alcance, y con distinguir lo que el sistema ha comprobado de lo que está suponiendo. La solución concreta necesita evaluación con personas y tareas representativas.

El tiempo de revisión tiene que caber en algún sitio

Supongamos, solo para hacer las cuentas, que llegan 240 propuestas al día y cada contraste requiere dos minutos. Harían falta 480 minutos, ocho horas, dedicadas exclusivamente a esa revisión. Si la persona dispone de noventa minutos, la capacidad teórica sería de 45 propuestas. El cálculo deja fuera interrupciones y casos complejos.

La distancia entre ambas cantidades no desaparece porque el procedimiento diga «revisar todas». Se transforma en cola, en retrasos o en revisiones más superficiales. Si medimos únicamente cuántas propuestas salen aprobadas, podemos estar premiando que la persona elimine el control que pretendíamos introducir.

Derivar solo determinados casos puede ser razonable, pero cambia la pregunta. Ya no basta con evaluar cómo revisa una persona. También hay que comprobar qué errores quedan fuera de la derivación y qué ocurre cuando la cola supera la capacidad disponible. Una puntuación del sistema puede ayudar a seleccionar casos; no debería tratarse como una probabilidad fiable de acierto sin evidencia de que lo sea en ese uso.

Prueba de capacidad de contradicción

Propongo una prueba de capacidad de contradicción para revisar el diseño del proceso. Es una síntesis propia, no una certificación ni una medida validada de seguridad. Consiste en poder explicar qué ocurriría ante una propuesta equivocada que llega en un momento de carga realista.

Detectar: La persona dispone del contexto y de la evidencia necesarios para reconocer el error, además de la explicación generada.
Disponer de tiempo: La revisión cabe en la carga asignada. Existe una respuesta definida si la cola excede esa capacidad.
Contradecir: Puede corregir o rechazar sin que el diseño convierta cada desacuerdo en una excepción impracticable.
Detener el efecto: Su decisión llega antes de enviar, ejecutar o comprometer aquello que supuestamente está supervisando.
Aprender del desacuerdo: Queda evidencia suficiente para estudiar el fallo y distinguir una corrección útil de una intervención humana equivocada.

En la herramienta de atención al cliente, esto implicaría poder localizar la condición que contradice la respuesta y retener el envío mientras se resuelve. Si la respuesta ya se ha enviado cuando alguien la revisa, tenemos una auditoría posterior. Puede ser útil, pero no es el mismo control que una revisión previa.

La prueba tampoco exige aprobación humana para todo. En una acción reversible y de bajo impacto puede tener sentido otro diseño. Su utilidad es impedir que llamemos «supervisado» a un efecto que la persona ya no podía evitar.

Medir el conjunto, incluido lo que la persona empeora

Una evaluación honesta del proceso necesita observar errores finales, correcciones acertadas, intervenciones que introducen fallos y tiempo hasta la decisión. También importa distinguir los casos revisados de los que pasaron sin revisión. La tasa de aprobación, por sí sola, no permite saber si el control funciona.

Se pueden utilizar casos de evaluación con respuesta conocida y errores deliberados en un entorno de prueba, sin clientes afectados, para comprobar dónde falla el diseño. Eso no acredita automáticamente el comportamiento en producción: las personas, la carga y las consecuencias pueden ser diferentes.

Cuando hablamos de datos que empiezan a activar acciones, esta frontera se vuelve importante. La calidad de una propuesta y la calidad del proceso que la convierte en una acción son dos evaluaciones relacionadas. Una buena respuesta no arregla una cola imposible, y una firma humana no corrige una evidencia que nadie pudo consultar.

Antes de añadir la siguiente casilla de revisión al diagrama, merece la pena imaginar un desacuerdo real. Alguien ve que la IA se equivoca. ¿Puede demostrarlo, tiene tiempo para hacerlo y puede impedir la acción? Si el proceso no permite responder, el botón de aprobar está mucho más definido que la supervisión.