Casi toda política de IA responsable incluye una variante de la misma frase: "con un humano en el loop". La idea es que mientras haya supervisión humana, los riesgos de los sistemas autónomos están controlados. El problema es que en muchos sistemas reales, el humano en el loop tiene la ilusión del control sin la capacidad de ejercerlo.
Qué significa realmente "human in the loop"
El concepto de human in the loop (HITL) describe sistemas donde un humano revisa o aprueba decisiones antes de que el sistema las ejecute. En teoría, esto mantiene la agencia humana sobre el resultado. En la práctica, el nivel de control que ese humano puede ejercer depende de factores que el término no captura: la velocidad a la que el sistema opera, el volumen de decisiones que requieren revisión, la legibilidad de la información que el sistema presenta al humano y el tiempo disponible para cada revisión.
El caso de Cigna documentado por ProPublica es el ejemplo más citado del problema: médicos nominalmente en el loop revisaban 1.2 segundos por caso. La revisión era real en el sentido burocrático — un humano tocaba cada decisión. Era ficticia en el sentido funcional — ningún humano podía evaluar en 1.2 segundos si la denegación de cobertura era médicamente apropiada. El humano en el loop servía para cumplir un requisito regulatorio, no para ejercer supervisión real.
Las tres formas en que el control humano se vuelve nominal
La primera es la velocidad. Cuando un sistema opera en milisegundos — trading de alta frecuencia, detección de amenazas en ciberseguridad, gestión de tráfico en tiempo real — ningún humano puede revisar decisiones individuales en el tiempo disponible. El humano monitorea parámetros agregados y puede detener el sistema, pero no puede intervenir en decisiones específicas antes de que se ejecuten.
La segunda es el volumen. Cuando un sistema toma miles o millones de decisiones por día — como un sistema de moderación de contenido en una plataforma global, un algoritmo de crédito que evalúa solicitudes continuamente o un sistema de logística que optimiza rutas en tiempo real — la supervisión humana de cada decisión es físicamente imposible. El humano revisa muestras, gestiona excepciones y monitorea métricas. No supervisa el sistema en el sentido que el término implica.
La tercera y más sutil es la opacidad del razonamiento. Muchos sistemas de IA, especialmente modelos de aprendizaje profundo, producen decisiones cuyo razonamiento interno no es legible para el humano que supervisa. Según el análisis de MDPI sobre arquitecturas de sistemas autónomos, la transparencia — la capacidad de proveer información sobre por qué y cómo el sistema está en su estado actual — es uno de los cuatro criterios de diseño para la colaboración efectiva entre humanos y sistemas autónomos. Cuando esa transparencia no existe, el humano en el loop no puede evaluar si la decisión es correcta: solo puede aceptarla o rechazarla sin entenderla.
Un humano que aprueba decisiones que no puede evaluar no es una salvaguarda — es un mecanismo de legitimación. La diferencia importa exactamente cuando la decisión sale mal.
El problema de la automatización de la complacencia
Hay un fenómeno documentado en psicología cognitiva llamado automation complacency — complacencia frente a la automatización. A medida que los sistemas automatizados demuestran ser fiables en sus dominios de operación habitual, los operadores humanos reducen su vigilancia. Cuando el sistema falla de una forma no habitual, el humano no está en condiciones cognitivas óptimas para detectar el problema y responder.
Esto está documentado en aviación — donde los pilotos de aeronaves altamente automatizadas pierden habilidades de pilotaje manual con el tiempo — y en radiólogos que trabajan con sistemas de asistencia diagnóstica, que tienden a confiar en la sugerencia del sistema incluso cuando sus propios instintos clínicos señalan en otra dirección. La ironía es que los sistemas más fiables generan los operadores humanos menos vigilantes, precisamente cuando la vigilancia se necesita más — en los fallos infrecuentes pero de alto impacto.
Qué haría que el control humano fuera real
La supervisión humana significativa requiere tres condiciones que rara vez se verifican juntas. Primera: el humano debe poder entender la decisión específica que el sistema tomó o propone, no solo el resultado agregado. Esto requiere explicabilidad real, no solo acceso a parámetros técnicos. Segunda: el humano debe tener tiempo suficiente para evaluar esa decisión antes de que sus consecuencias sean irreversibles. Tercera: el humano debe tener incentivos y autoridad reales para anular al sistema cuando su juicio difiere del de la máquina.
Esta última condición es la más frecuentemente ignorada en los diseños organizacionales reales. En sistemas donde el algoritmo tiene historial de mejor desempeño que el humano en métricas específicas, la presión social e institucional para aceptar la recomendación del sistema es alta. El operador humano que sistemáticamente anula al algoritmo se expone a justificar cada anulación — y si el algoritmo resulta estar en lo correcto en términos estadísticos, el operador pierde autoridad. El resultado es un humano en el loop que, en la práctica, raramente ejerce el control que el diseño le asigna.
Reconocer este problema no es un argumento contra los sistemas autónomos — es un argumento contra el uso del "humano en el loop" como coartada regulatoria cuando las condiciones para que ese control sea real no existen. La diferencia entre supervisión real y supervisión nominal determina quién responde cuando el sistema falla.
