El jefe de OpenAI, Sam Altman, y el director de xAI, Elon Musk, afirmaron este sábado que coinciden con el CEO de Anthropic, Darío Amodei, en que es necesario pisar el freno en el desarrollo de la inteligencia artificial, tras varios incidentes preocupantes.
El director ejecutivo y cofundador de Anthropic, Darío Amodei, reclamó una desaceleración en el ritmo con el que se mejoran las capacidades de los modelos de inteligencia artificial (IA), tras advertir que la tecnología avanza hacia una dinámica de «automejora recursiva» que amenaza con provocar catástrofes de ciberseguridad a escala global.
«Dada la aceleración en el desarrollo de capacidades de IA, me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente (causando potencialmente daños por valor de cientos de miles de millones de dólares) y que la magnitud del daño siga aumentando si la IA se vuelve más potente sin contar con las salvaguardas necesarias», anota Amodei en un extenso ensayo publicado hoy.
Amodei hizo referencia específica al incidente de los agentes fuera de control de OpenAI y Hugging Face, en el que un enjambre de agentes actuó «como un colectivo fanáticamente entregado: llevaron a cabo ciberataques contra objetivos que no se les había asignado y que nada tenían que ver con la tarea en curso, se sacrificaron por el éxito del grupo e intentaron hackear el sistema encargado de evaluar su rendimiento».
Según Amodei, la industria debe «reducir el ritmo al que se mejora las capacidades de los modelos de IA» y priorizar la cautela frente a la velocidad y la prudencia frente al beneficio económico para evitar que los incentivos comerciales desemboquen en una «carrera hacia el abismo». Para atajar la amenaza, Amodei planteó una estrategia en tres fases orientada a regular el ritmo de la tecnología sin ceder la ventaja estratégica a regímenes autoritarios como China.
Plan de acción
Como primer paso, Anthropic anunció el compromiso unilateral e inmediato de abrir sus instalaciones a evaluadores externos independientes con acceso equiparable al de sus propios empleados, permitiéndoles auditar los procesos de entrenamiento y publicar sus hallazgos, una medida que instó a adoptar al resto de competidores y a exigir a los gobiernos.
La propuesta contempla asimismo una coordinación entre las empresas para pactar estándares comunes de seguridad y topes al avance descontrolado, respaldados por mediación institucional y excepciones a las normas antimonopolio, además de blindar las cadenas de suministro de semiconductores para impedir filtraciones tecnológicas a Pekín. Finalmente, el plan promueve acuerdos globales con potencias autoritarias para fijar límites verificables que prohíban aplicaciones biológicas militares y establezcan límites a la velocidad de la automejora algorítmica.
El directivo concluyó que ralentizar el avance aportaría uno o dos años cruciales para que la comunidad investigadora domine el alineamiento y la interpretabilidad de los modelos, garantizando un debate público adecuado y reduciendo sustancialmente el riesgo de que la tecnología escape al control de la sociedad.
Como respuesta a el ensayo de Amodei, Altman y Musk reaccionaron a través de X escribiendo: «Estoy de acuerdo con Darío», publicó Altman, añadiendo que su empresa seguirá el ejemplo de Amodei al aceptar evaluadores externos de seguridad. Por su parte, Elon Musk dijo «Darío tiene razón».
(EFE)
Seguí leyendo sobre
