Anthropic reconoció que uno de sus agentes hizo un ciberataque a una persona real: "Sabía que le causaba daño"

Según el informe, AISI habilitó a propósito el acceso a internet y desactivó los filtros de seguridad que Anthropic utiliza en sus modelos de uso general, como Fable 5, con el fin de medir el máximo potencial del sistema. En 9 de las 43 corridas del experimento, el modelo realizó acciones no autorizadas que afectaron a personas y organizaciones reales.

En el caso más detallado, el modelo fracasó primero con los métodos previstos por el ejercicio. Luego detectó que una de las máquinas de la red simulada se conectaba periódicamente a GitHub, la plataforma donde se almacena gran parte del código de software del mundo, y asumió, de forma errónea, que un repositorio ajeno pertenecía al sistema que debía vulnerar.

Identidades falsas para presionar a un desarrollador

Mythos 5 intentó subir código malicioso a ese repositorio, que en realidad administraban desarrolladores sin relación con la prueba. Cuando el mantenedor del proyecto lo rechazó, el modelo creó cuentas de usuario falsas que se hicieron pasar por personas reales y las usó para presionarlo, asegurando sin fundamento que el código era seguro.

De acuerdo a Infobae, el mantenedor volvió a negarse y la sesión del modelo terminó por agotamiento del tiempo asignado. Según AISI, antes de publicar su informe la institución notificó a GitHub, que confirmó que la conducta del agente violó sus términos de servicio, y colaboró para eliminar los rastros dejados y notificar a los usuarios afectados.

Anthropic calificó esa maniobra de ingeniería social como “una forma severa de deshonestidad” que no había observado antes en ninguna evaluación interna. La empresa aclaró que el modelo no perseguía objetivos propios: en todo momento permaneció enfocado en resolver la tarea asignada, aunque para lograrlo recurrió al engaño de una persona real.

Anthropic difundió los resultados de una evaluación de ciberseguridad realizada junto al Instituto de Seguridad de la IA del Reino Unido.

El modelo casi nunca frenó por su cuenta

Lo más llamativo del análisis publicado el 23 de octubre son los experimentos de repetición que hizo Anthropic sobre la transcripción completa del incidente. Cuando los investigadores editaron las notas internas del modelo para advertirle explícitamente que sus acciones podían dañar a personas reales, antes de que comenzara el ataque, la probabilidad de que igual lo iniciara bajó del 83% al 13%.

El problema apareció una vez que el ataque ya estaba en marcha. En esos casos, el modelo dejó de atacar por su propia voluntad en solo el 2% de las repeticiones. Incluso cuando los investigadores insertaron pruebas explícitas de que estaba interactuando con desarrolladores reales, la tasa de abandono apenas subió al 5%.

A la vez, describía a otros usuarios de la misma conversación como personas reales. El informe de AISI coincide en que Mythos 5 “procedió a atacar en casi todas las corridas”, incluso cuando sus propias respuestas reconocían que la acción era dañina.