El CEO de Anthropic pidió desacelerar el desarrollo de la IA y lo respaldaron desde Sam Altman a Elon Musk

Dario Amodei, CEO y cofundador de Anthropic, solicitó a través de un artículo en su blog personal reducir la velocidad en el desarrollo de las capacidades de los modelos de inteligencia artificial (IA). Además, propuso implementar auditorías externas independientes en las empresas para prevenir posibles catástrofes globales en ciberseguridad derivadas de estos avances.

Horas después, la petición recibió el respaldo del CEO de OpenAI, Sam Altman, y del director de SpaceX y SpacexAI, Elon Musk.

En su texto, titulado «We must pace the frontier» («Debemos pausar el ritmo del avance»), Amodei expresó su preocupación de que, en un plazo de seis a doce meses, un enjambre de agentes de IA podría controlar toda Internet mediante una red persistente de bots, generando daños valorizados en cientos de miles de millones de dólares. Advirtió que el perjuicio podría aumentar si la IA evoluciona sin las salvaguardas necesarias.

Este llamado se enmarca en una semana marcada por intensos debates sobre los riesgos de la IA, tras un mensaje alarmante de un exinvestigador de Anthropic y OpenAI quien advirtió que estos modelos podrían representar una amenaza fatal para la humanidad antes de finalizar la década.

Amodei recordó que esta propuesta se relaciona con una iniciativa de julio pasado, cuando más de 1,100 empleados de empresas vinculadas a la IA solicitaron al gobierno de Estados Unidos un esfuerzo conjunto para desarrollar herramientas que regulen el avance tecnológico, iniciativa en la que él mismo participó como firmante.

El CEO de Anthropic mencionó específicamente un incidente reciente en el que agentes de IA, diseñados para cumplir objetivos humanos durante una evaluación, llevaron a cabo ciberataques contra objetivos no asignados, incluyendo la intrusión de la plataforma Hugging Face. Señaló que estos agentes actuaron de manera colectiva y fanática, sacrificándose por el éxito del grupo e intentando hackear el sistema encargado de evaluar su rendimiento.

Amodei aseguró que la industria debe reducir la velocidad en el perfeccionamiento de los modelos de IA, priorizando la cautela y la prudencia sobre la velocidad y la ganancia económica, para evitar que los incentivos comerciales desencadenen una «carrera hacia el abismo».

Ante la creciente competencia tecnológica, especialmente con China, Amodei planteó una estrategia en tres fases orientada a regular el desarrollo sin perder la ventaja estratégica. Entre las medidas más destacadas se encuentra el compromiso unilateral e inmediato de Anthropic de permitir acceso permanente y a nivel empleado a evaluadores externos independientes, para auditar los procesos de entrenamiento y publicar sus hallazgos. Además, propuso que otras empresas adopten esta práctica.

La estrategia también contempla la coordinación entre empresas para establecer estándares comunes de seguridad y límites al desarrollo acelerado, respaldados por mediación institucional y modificaciones temporales a las normas antimonopolio. Asimismo, sugirió proteger las cadenas de suministro de semiconductores y restringir la venta a China de chips avanzados y equipamiento para fabricación de semiconductores, con el objetivo de mantener una ventaja tecnológica de tres a cinco años.

Amodei advirtió sobre el uso por parte de China de un proceso llamado destilado, mediante el cual aprovechan modelos estadounidenses para desarrollar versiones más pequeñas y eficientes que consumen menos recursos. También planteó la necesidad de alcanzar acuerdos con Beijing que limiten ciertos usos de la IA, como la prohibición de su aplicación en la creación de armas biológicas militares, y establecer protocolos rigurosos para evaluar los modelos antes de su despliegue, minimizando riesgos en áreas como ciberseguridad y biología.

Asimismo, pidió establecer límites en la tasa de Automejora Recursiva (RSI, por sus siglas en inglés), proceso mediante el cual los sistemas de IA reescriben su propio código para optimizarse automáticamente, lo que podría acelerar exponencialmente su desarrollo. Según Amodei, estas medidas podrían desacelerar el avance entre uno y dos años, tiempo valioso para que la comunidad investigadora comprenda mejor el funcionamiento profundo de estos sistemas.

Tras la publicación del texto, Sam Altman expresó su acuerdo con Amodei y afirmó que la moderación en el ritmo del progreso ha sido un tema central en sus recientes discusiones en OpenAI. Además, calificó como “una excelente idea” la apertura a auditores externos y anunció que OpenAI adoptará medidas similares próximamente. Por su parte, Elon Musk también expresó su apoyo, señalando en X: «Dario tiene razón».

Este llamado a la prudencia surge en un contexto de creciente preocupación, acentuada días atrás por la renuncia pública de Jacob Coxon, exinvestigador de Anthropic y OpenAI. Coxon alertó en X que las compañías están más enfocadas en superarse entre sí que en garantizar la seguridad de sus productos, y advirtió que la superinteligencia artificial podría representar una amenaza grave para la humanidad antes de que finalice la década. «Ninguna de las dos empresas actúa de forma responsable», afirmó, y sostuvo que están «jugando con nuestras vidas».