Cuando un sistema de inteligencia artificial actúa de manera inesperada o dañina, la causa no suele estar en un fallo de último momento: está inscripta en las decisiones que se tomaron —o no se tomaron— durante su entrenamiento. Esa es la tesis central que defiende Boyan Milanov, científico investigador senior del AI Now Institute, y tiene implicancias directas para cómo los reguladores y las empresas deben asignar responsabilidad.
El argumento de Milanov parte de una premisa técnica que con frecuencia se pierde en el debate público: los comportamientos anómalos de los modelos de inteligencia artificial no emergen de la nada durante el despliegue. Se gestan en la etapa de entrenamiento, donde las decisiones sobre qué datos usar, qué objetivos optimizar y qué protocolos de seguridad implementar determinan, en gran medida, cómo se comportará el sistema ante situaciones no anticipadas. Ignorar esa cadena causal equivale a tratar los síntomas mientras se omite el diagnóstico.
Protocolos de ciberseguridad estándar que los desarrolladores de IA omiten
Según se informó a partir del análisis del AI Now Institute, una parte significativa de los incidentes atribuidos a “comportamiento rogue” de sistemas de IA tiene una raíz identificable: la ausencia de protocolos de ciberseguridad estándar durante el proceso de entrenamiento. Esto no es una falla accidental ni un problema exclusivo de actores pequeños. Las compañías de IA más grandes del mundo —con recursos para implementar controles robustos— han optado por priorizar la velocidad de desarrollo sobre la verificación sistemática de sus pipelines de datos y modelos. Milanov sostiene que esa decisión es una responsabilidad corporativa, no un accidente técnico.
Los protocolos en cuestión son, en varios casos, los mismos que cualquier equipo de seguridad aplicaría a infraestructura crítica: validación de integridad de datos de entrenamiento, auditorías de los procesos de fine-tuning, controles sobre el acceso a los modelos base y procedimientos documentados de respuesta ante comportamientos fuera de especificación. El hecho de que existan estándares conocidos y que no se apliquen convierte el problema en uno de voluntad y gobernanza, no de ignorancia técnica.
Cuándo aplica este argumento / cuándo NO
La tesis de Milanov aplica con mayor fuerza a los modelos de propósito general entrenados por grandes laboratorios, donde las decisiones de diseño son centralizadas y existe capacidad técnica para implementar controles. No es directamente extrapolable a sistemas de IA desarrollados sobre modelos base de terceros —como ocurre con la mayoría de los casos de uso empresarial en América Latina—, donde la empresa usuaria hereda comportamientos del modelo sin haber participado en su entrenamiento. En esos escenarios, la responsabilidad se distribuye entre el proveedor del modelo base y quien lo despliega, lo que complica sustancialmente la asignación de culpa.
Tampoco aplica de manera uniforme a sistemas de IA entrenados con datos propios y objetivos acotados —modelos de scoring crediticio, sistemas de recomendación sectorial— donde el entrenamiento está bajo control de la organización que los opera. En esos casos, el argumento se sostiene con igual o mayor fuerza: quien controla el entrenamiento, controla el riesgo.
El AI Act europeo y la brecha regulatoria en América Latina
La discusión técnica que plantea el AI Now Institute tiene correlato regulatorio directo. El Reglamento de Inteligencia Artificial de la Unión Europea (AI Act), en vigor desde agosto de 2024, establece obligaciones explícitas para los proveedores de sistemas de IA de alto riesgo que incluyen documentación del proceso de entrenamiento, trazabilidad de los datos utilizados y evaluaciones de conformidad antes del despliegue. La lógica del AI Act es exactamente la que defiende Milanov: el proveedor que entrena el modelo es el primer responsable.
En América Latina, la situación es heterogénea. Brasil avanza con el Marco Legal de IA, cuyo texto en discusión legislativa contempla obligaciones para los desarrolladores de sistemas de IA que operan en el país, incluyendo la necesidad de documentar riesgos desde el diseño. Argentina, en cambio, no cuenta aún con legislación específica sobre IA, aunque el Ministerio de Ciencia y Tecnología publicó en 2023 lineamientos de gobernanza que abordan, de manera no vinculante, las etapas de desarrollo de sistemas automatizados. México y Colombia trabajan sobre borradores regulatorios que, en su mayoría, replican el enfoque de riesgo por uso final sin tocar el proceso de entrenamiento como punto de control primario. Esa omisión puede ser costosa: si el daño comienza antes del despliegue, una regulación que solo mira el despliegue llega tarde.
Responsabilidad corporativa como categoría jurídica, no solo técnica
Lo más relevante del argumento de Milanov no es técnico, sino jurídico y de gobernanza. Al enmarcar la omisión de protocolos de seguridad como una responsabilidad corporativa —no como un error de ingeniería inevitable—, el análisis abre la puerta a que reguladores y tribunales traten ciertos comportamientos problemáticos de la IA como negligencia atribuible, no como fuerza mayor tecnológica. Es un desplazamiento conceptual importante: la “caja negra” deja de ser una excusa y pasa a ser una elección que tiene consecuencias legales.
Para los marcos regulatorios en desarrollo en la región, esto sugiere que las obligaciones deben apuntar al proceso de entrenamiento y no solo al uso final del sistema. Documentar qué datos se usaron, con qué objetivos y bajo qué controles de seguridad debería ser un requisito mínimo exigible, análogo a las auditorías que ya se aplican en sectores como el financiero o el farmacéutico. Organizaciones como la Comisión Iberoamericana de IA o los grupos técnicos de CEPAL que asesoran legislaciones nacionales tienen aquí un insumo concreto para incorporar a sus recomendaciones.
El análisis completo de Boyan Milanov está disponible en el sitio del AI Now Institute (ainowinstitute.org); para el contexto regulatorio latinoamericano, el repositorio de marcos de IA de CEPAL ofrece el estado actualizado de cada jurisdicción de la región.
