Líderes de la inteligencia artificial proponen desacelerar su desarrollo ante "riesgos graves"

De hecho, Anthropic acompaña la advertencia de su director con una primera decisión concreta: permitirá que evaluadores externos tengan acceso permanente a sus sistemas, en condiciones similares a las de sus empleados, para verificar el cumplimiento de las medidas de seguridad, reportar incidentes y evaluar el alineamiento de los modelos durante su entrenamiento.

La propuesta no cayó en saco roto y fue respaldada por Sam Altman, uno de los principales competidores de Amodei en el desarrollo de los modelos de IA más avanzados. “Estoy de acuerdo con Dario en que necesitamos moderar el avance de la frontera”, afirmó el CEO de OpenAI.

Su compañía también admitirá evaluadores independientes con un nivel de acceso similar al de sus empleados para controlar sus sistemas. “Es una gran idea y nosotros haremos lo mismo”, indicó Altman.

Otro que se sumó a la sugerencia de Amodei fue Elon Musk, propietario de SpaceX y fundador de xAI, otra de las compañías que participa de la competencia global por desarrollar modelos más avanzados de inteligencia artificial. “Dario tiene razón”, escribió el megamillonario de origen sudafricano.

Hay coincidencia en desacelerar el desarrollo de la inteligencia artificial.

La convergencia entre Amodei, Altman y Musk amplifica el debate en torno a la inteligencia artificial, sus ventajas y los riesgos que implica a mediano y largo plazo, y cómo los Estados eventualmente deberán intervenir para moderar la incumbencia global del modelo o morigerar sus consecuencias.

Los acuerdos que sugiere el director de Anthropic

En su ensayo, Dario Amodei sugiere cuatro posibles “niveles de acuerdo” globales (incluyendo a China y a los Estados Unidas) para alcanzar esa desaceleración en la evolución de la IA, y los enumera “en orden de dificultad creciente”:

Nivel 1

Un acuerdo que prohíba ciertos usos limitados y obviamente peligrosos de la IA, como su uso para la producción de armas biológicas o permitir que los usuarios lo hagan. Los ataques bioterroristas son perjudiciales para todos, incluidos Estados Unidos y sus adversarios, por lo que un acuerdo en este sentido probablemente sea posible.

Nivel 2

Acuerdo entre ambas partes para probar sus modelos antes de su lanzamiento, detectando riesgos graves en áreas como la ciberseguridad, la biología y la alineación. Como se mencionó anteriormente, esto podría realizarse mediante un organismo de normalización global. De hecho, creo que la creación de dicho organismo es factible, pero dotarlo de verdadera autoridad será un desafío, y la dificultad radicará en verificar que ninguna de las partes posea modelos secretos que no hayan probado, pero que podrían desplegar en secreto (por ejemplo, para aplicaciones militares).

Dario Amodei, fundador de Anthropic.

Nivel 3

Algún tipo de límite de velocidad en la tasa de automejora recursiva (RSI). A medida que los modelos construyen modelos futuros, la tasa de mejora puede volverse asombrosamente rápida. Ralentizar la tasa de "extremadamente rápida" a "solo algo rápida" implica una pérdida relativamente pequeña de ventaja estratégica, a la vez que podría mejorar considerablemente la seguridad. Esto podría considerarse análogo a los tratados SALT : limitar el número de misiles restringió el potencial de destrucción, preservando al mismo tiempo la capacidad disuasoria de cada país. Creo que un acuerdo de este tipo sería difícil, pero estaría al límite de ser posible.

Nivel 4

Un ritmo completo, o incluso una «pausa», en la que los gobiernos participantes acuerden limitar sustancialmente el ritmo general de desarrollo de la IA. Apoyo la idea de plantearla, pero creo que es improbable que se concrete pronto: incumplir un acuerdo de este tipo evadiendo la supervisión podría alterar radicalmente el equilibrio de poder global, por lo que preveo que los incentivos para hacerlo serían enormes y el nivel de confianza que necesitaríamos en la verificación sería muy alto.