Las dos empresas líderes en modelos de lenguaje presentaron visiones divergentes al gobernador de California: una pide que los tribunales puedan suspender sistemas peligrosos, la otra exige controles de apagado obligatorios en manos de los desarrolladores.
OpenAI y Anthropic coinciden en que los sistemas de IA frontera necesitan supervisión más estricta, pero difieren radicalmente en quién debe tener la autoridad para detener un modelo que represente riesgo grave. Las propuestas, presentadas por separado al gobernador de California Gavin Newsom en octubre, responden a la orden ejecutiva N-9-26 del 18 de septiembre, que instruyó a funcionarios estatales a evaluar salvaguardas adicionales para estos sistemas. Anthropic entregó su documento el 15 de octubre; OpenAI, el 20 de octubre. Ambas empresas respaldan evaluaciones de seguridad independientes y reportes ampliados de incidentes en los que modelos de IA actúen más allá de los permisos previstos, pero sus mecanismos de intervención son incompatibles en la práctica.
La propuesta de Anthropic: órdenes judiciales para suspender modelos en producción
Anthropic solicitó que el Fiscal General de California pueda obtener órdenes judiciales para suspender el despliegue, uso interno o desarrollo adicional de modelos de IA que, según evaluación independiente, posen riesgo de daño catastrófico cercano. La empresa argumentó que esta facultad judicial debería activarse cuando la evaluación independiente concluya que un modelo representa amenaza inminente. La propuesta no especifica umbrales técnicos concretos para definir daño catastrófico, pero establece que la suspensión podría aplicarse incluso a modelos que no hayan sido liberados públicamente si su uso interno presenta riesgo sustancialmente mayor que los sistemas desplegados.
La compañía también propuso que los desarrolladores publiquen reportes de riesgo al menos cada seis meses, cubriendo riesgos graves de sus modelos, incluidos aquellos usados solo internamente. Los evaluadores independientes recibirían acceso a reportes sin redactar y a los modelos más capaces de cada desarrollador, junto con información interna relevante. Para evitar conflictos de interés, Anthropic sugirió que los desarrolladores paguen a un fondo estatal administrado que financie a los evaluadores, en lugar de contratarlos directamente. La empresa indicó que un equipo de la organización de evaluación independiente METR recibió acceso similar a empleados en base piloto, con asociaciones adicionales con SecureBio y Accenture en desarrollo.
OpenAI apuesta por controles de apagado obligatorios bajo responsabilidad del desarrollador
OpenAI abogó por enmiendas a la Ley del Senado 53 de California para requerir controles de apagado efectivos y un deber exigible de usarlos cuando surjan condiciones inseguras. La empresa rechazó la idea de un interruptor único, argumentando que los sistemas de IA operan y se despliegan de formas demasiado diversas para que una sola medida sea suficiente. En su lugar, propuso el término controles de apagado en plural, que incluiría detener una ejecución de entrenamiento, aislar un agente de IA, revocar acceso a herramientas o redes, o suspender un servicio completo. Estas responsabilidades deberían extenderse a proveedores de inferencia y a quienes desplieguen modelos aguas abajo, según las operaciones que cada actor controle efectivamente.
OpenAI también distinguió entre auditorías de cumplimiento y evaluaciones técnicas independientes. Las primeras verificarían si las empresas siguen sus marcos de seguridad publicados y obligaciones legales; las segundas examinarían la evidencia detrás de las afirmaciones de seguridad de los desarrolladores y la efectividad de las salvaguardas. La empresa recomendó auditorías de cumplimiento independientes anuales y evaluaciones técnicas enfocadas de riesgos serios que surjan durante entrenamiento, evaluación y despliegue interno de modelos. Instó a California a trabajar con el Instituto Nacional de Estándares y Tecnología para desarrollar estándares de evaluación comunes, en lugar de que cada estado o evaluador opere con criterios propios.
Por qué la divergencia importa más allá de California
La diferencia entre ambas propuestas no es solo filosófica: define quién tiene autoridad ejecutiva cuando un modelo cruza un umbral de riesgo. Anthropic traslada esa autoridad al sistema judicial, con el Fiscal General como actor clave; OpenAI la mantiene en manos del desarrollador, pero bajo obligación legal de ejercerla. Ninguna de las dos empresas abordó explícitamente cómo aplicar estas medidas a modelos de pesos abiertos que operan en sistemas externos fuera del control del desarrollador original. OpenAI reconoció que los desarrolladores no pueden apagar de forma confiable copias independientes de modelos de pesos abiertos que corren en infraestructura de terceros, pero no propuso un mecanismo alternativo para esos casos.
La orden ejecutiva N-9-26 de Newsom dirige a la Agencia de Operaciones Gubernamentales de California a presentar recomendaciones antes del 16 de noviembre sobre enmiendas potenciales a leyes de seguridad de IA existentes. La orden solicita examinar verificación independiente dentro de laboratorios de IA, controles independientes de evaluaciones de seguridad, mecanismos de apagado verificados y reportes ampliados de incidentes críticos de seguridad. No impone por sí misma ninguno de estos requisitos, pero establece el marco para legislación futura que podría adoptar elementos de una propuesta, de la otra, o de ambas en combinación.
Implicancias para América Latina en un escenario de regulación fragmentada
Si California adopta alguna de estas propuestas, el impacto en América Latina será indirecto pero estructural. Ninguna de las dos empresas opera centros de entrenamiento de modelos frontera en la región, pero ambas proveen servicios de inferencia a través de APIs que empresas y gobiernos latinoamericanos consumen sin capacidad de auditoría local. Una orden judicial californiana que suspenda el despliegue de un modelo afectaría inmediatamente a usuarios en México, Brasil, Argentina y Chile que dependan de ese modelo para aplicaciones críticas, desde análisis de riesgo crediticio hasta moderación de contenido en plataformas de e-commerce. La propuesta de OpenAI, al mantener el control en manos del desarrollador, podría permitir suspensiones más granulares por región o caso de uso, pero no ofrece garantías de que esa granularidad se implemente en la práctica.
La ausencia de marcos regulatorios equivalentes en América Latina deja a la región como consumidora pasiva de decisiones tomadas en California. Si un modelo es suspendido por riesgo catastrófico en Estados Unidos, no existe protocolo regional para evaluar si ese mismo riesgo aplica en contextos latinoamericanos con infraestructura, patrones de uso y vectores de amenaza distintos. La dependencia de APIs de terceros sin acceso a evaluaciones independientes replica el mismo problema que ambas propuestas intentan resolver en California, pero sin ninguna de las salvaguardas propuestas.
Nuestro análisis
Las propuestas de Anthropic y OpenAI revelan una tensión no resuelta en la gobernanza de IA frontera: si el riesgo catastrófico es real, ¿quién tiene la legitimidad técnica y legal para detener un sistema en operación? Anthropic apuesta por la intervención judicial como garantía de debido proceso; OpenAI confía en que los desarrolladores, bajo obligación legal, actuarán antes de que un tribunal deba intervenir. Ninguna de las dos aborda el problema de coordinación entre jurisdicciones: si California suspende un modelo pero otros estados o países no lo hacen, el riesgo catastrófico no desaparece, solo se redistribuye geográficamente. La propuesta de trabajar con el Instituto Nacional de Estándares y Tecnología que OpenAI menciona podría mitigar esto, pero solo si otros países adoptan esos estándares, algo que no está garantizado.
Lo que falta en ambas propuestas es un mecanismo de transparencia para usuarios finales. Si un modelo es suspendido por riesgo catastrófico, ¿qué información reciben las organizaciones que dependen de él? ¿Cuánto tiempo tienen para migrar a alternativas? ¿Quién audita que la suspensión fue técnicamente justificada y no una decisión comercial disfrazada de seguridad? Estas preguntas no tienen respuesta en los documentos presentados. La recomendación de Newsom llegará antes del 16 de noviembre, pero la implementación real de cualquier marco tomará meses o años. Mientras tanto, los modelos frontera siguen entrenándose y desplegándose sin los controles que ambas empresas ahora reconocen como necesarios. ¿Qué pasaría si el primer caso de daño catastrófico ocurre antes de que California decida cuál de estos dos modelos adoptar?