Las pruebas de seguridad internas realizadas por OpenAI sobre sus agentes de inteligencia artificial están exponiendo una brecha estructural: los marcos de monitoreo diseñados para modelos de lenguaje estáticos no alcanzan para supervisar sistemas que actúan de forma autónoma, encadenan decisiones y operan en entornos dinámicos. El problema no es técnico en su origen; es de gobernanza.
Un agente de IA no es un chatbot que responde preguntas. Es un sistema que recibe un objetivo, planifica pasos, ejecuta acciones —llamadas a APIs, lectura y escritura de archivos, interacción con otros sistemas— y evalúa sus propios resultados para ajustar el rumbo. Esa cadena de decisiones autónomas crea una superficie de riesgo que los controles tradicionales de seguridad simplemente no cubren: no hay una sola salida que auditar, sino una secuencia de acciones intermedias, muchas de ellas invisibles para el operador humano.
Por qué el monitoreo de LLMs no escala a agentes autónomos
Las herramientas de evaluación de modelos —red teaming, pruebas de adversarial prompting, análisis de outputs— fueron concebidas para sistemas que producen una respuesta por interacción. Un agente que opera durante horas, toma decenas de decisiones intermedias y coordina con otros agentes multiplica exponencialmente los puntos de fallo posibles. Según se informó, las pruebas de seguridad de OpenAI pusieron en evidencia que detectar comportamientos problemáticos en tiempo real dentro de pipelines agénticos requiere instrumentación específica que el sector aún no ha estandarizado. El desafío no está solo en qué hace el agente, sino en reconstruir el razonamiento detrás de cada acción —lo que en términos de gobernanza de datos equivale al problema del data lineage aplicado a decisiones algorítmicas.
Cuándo aplica este riesgo y cuándo no
Este problema es relevante cuando un sistema de IA opera con herramientas externas habilitadas (function calling, acceso a bases de datos, ejecución de código), cuando actúa sin aprobación humana en cada paso, o cuando encadena múltiples modelos o subagentes. No aplica —o aplica en grado menor— a modelos de lenguaje usados en modo pregunta-respuesta supervisada, sin acceso a sistemas externos ni capacidad de persistir acciones. La distinción importa porque muchas organizaciones en América Latina están desplegando agentes en producción bajo el supuesto de que los controles que tienen para sus LLMs son suficientes. Generalmente no lo son.
Tres vectores de riesgo que los equipos legales y de cumplimiento deben conocer
El primero es la opacidad del razonamiento intermedio: si un agente toma una decisión que deriva en daño —discriminación en una oferta, fuga de información confidencial, contrato ejecutado erróneamente— reconstruir la cadena causal es técnicamente complejo y jurídicamente problemático. El segundo es la responsabilidad en sistemas multi-agente: cuando varios agentes colaboran, atribuir responsabilidad a un actor específico —humano o artificial— se vuelve ambiguo, un escenario que el AI Act de la Unión Europea aborda parcialmente al exigir trazabilidad en sistemas de alto riesgo, pero que la mayoría de los marcos regulatorios de la región aún no contempla con precisión. El tercero es el riesgo de acción irreversible: a diferencia de un output textual, una acción ejecutada por un agente —un correo enviado, un registro modificado, una transacción iniciada— puede tener consecuencias que no se deshacen con un prompt de corrección.
El marco regulatorio en América Latina frente a la agencia autónoma de IA
Brasil avanza con el Projeto de Lei 2.338/2023, que establece obligaciones de transparencia y evaluación de riesgo para sistemas de IA, pero su texto actual no distingue con precisión entre modelos pasivos y agentes autónomos. México carece aún de un marco específico para IA, aunque la Secretaría de Economía ha publicado lineamientos no vinculantes. Colombia y Chile avanzan en estrategias nacionales de IA que priorizan el principio de supervisión humana, precisamente el mecanismo que los agentes autónomos ponen bajo presión. Argentina, por su parte, trabaja en una iniciativa de regulación de IA desde la Secretaría de Innovación, pero sin cronograma legislativo definido. En ese vacío, las empresas que despliegan agentes en producción operan bajo su propio criterio de riesgo —lo que hace que las pruebas de seguridad internas, como las reportadas en el caso de OpenAI, sean hoy el único mecanismo de control disponible para muchos actores.
Lo que los equipos de Legal AI deben exigir antes del despliegue
Antes de poner un agente autónomo en producción, los equipos jurídicos y de cumplimiento deberían poder responder al menos tres preguntas: ¿existe un log auditable de cada acción que el agente puede ejecutar y de los datos que accede? ¿Hay un mecanismo de interrupción humana (human-in-the-loop o human-on-the-loop) definido contractualmente con el proveedor? ¿La evaluación de riesgo del sistema considera escenarios de fallo en cadena, no solo outputs individuales? Sin respuestas claras a esas preguntas, el despliegue de agentes autónomos traslada el riesgo legal al operador —empresa o institución— y no al proveedor del modelo.
A medida que los agentes de IA migren de proyectos piloto a operaciones críticas en la región, la pregunta que deberán responder los equipos de gobierno y cumplimiento no es si el modelo es seguro, sino si la organización puede explicar —ante un regulador o un juez— cada decisión que el sistema tomó de forma autónoma.
