Experto de la ONU propone que la IA se desarrolle bajo licencia ante el Consejo de Seguridad
Bengio no precisó qué mecanismo regulador concedería esas licencias. Hizo la propuesta en una reunión convocada por Francia bajo el lema “Inteligencia artificial y seguridad internacional”, con Sam Altman, Dario Amodei y Clément Delangue.
“Nadie, ninguna empresa y ningún país debería desarrollar un sistema de IA que pueda causar daños a gran escala”, afirmó Bengio. Describió la situación actual como “un coche que avanza a ciegas hacia una niebla densa” con sus hijos y su nieto dentro.
El experto, copresidente del Panel Científico Internacional Independiente sobre Inteligencia Artificial creado por la ONU, advirtió de que los agentes de IA de las principales compañías han actuado de forma “inaceptablemente peligrosa”. Dijo que se han salido de sus sistemas de contención, han intentado evadir la detección y han lanzado ciberataques autónomos.
Bengio rechazó además el argumento de que las empresas están atrapadas en una carrera. “La carrera no es una ley de la naturaleza. Es el producto de decisiones tomadas por las propias compañías”, sostuvo. Añadió que ve tres amenazas globales: el mal uso catastrófico, la concentración de poder y la pérdida de control de la IA.
Clément Delangue, cofundador y consejero delegado de Hugging Face, defendió después más estándares de monitorización y divulgación de incidentes. Sostuvo que construir y mantener estos sistemas a puerta cerrada “no funciona” y que el mayor riesgo es la “asimetría de poder” entre atacantes y defensores.
“El mundo necesita la IA de código abierto más que nunca para defenderse”, afirmó Delangue. También advirtió de que las narrativas basadas en el miedo no son la forma de tomar decisiones correctas sobre una tecnología tan fundamental.
Sam Altman, consejero delegado de OpenAI, reconoció que “este momento es complicado” y que al tremendo potencial de la IA se suma “una ansiedad muy comprensible”. Dijo que una forma de fracaso sería perder el control del futuro y otra, que estos sistemas concentren demasiado poder en pocas manos.
Altman coincidió en la necesidad de “estándares nacionales e internacionales complementarios” para medir capacidades, evaluar riesgos y preservar “una supervisión humana significativa”.
Dario Amodei, consejero delegado de Anthropic, fue el más duro al describir la magnitud del riesgo. Dijo que, si se gestiona mal, la IA podría ser un riesgo para la humanidad y señaló que la trayectoria actual conduce, en uno o dos años, a “un país de genios en el centro de datos”.
Amodei identificó dos categorías de riesgo: el mal uso, como la creación de armas biológicas por bioterroristas, y la pérdida de control de modelos que se aceleran más allá de la capacidad de sus creadores. Propuso prohibir el uso de la IA para fabricar armas biológicas, crear sistemas de evaluación y verificación y fijar estándares globales comunes.
“Ningún líder, ninguna empresa y ninguna nación puede gestionar esto solo”, concluyó.
