Daños de más US$1.000 millones o más de 50 muertes: Anthropic evaluaría límites para apagar un modelo de IA

Anthropic considera permitir que el gobierno estadounidense apague un modelo avanzado de inteligencia artificial (IA) en base al daño potencial que pueda causar, que estima en unos daños de más de mil millones de dólares o en la muerte de más de 50 personas.

Representantes del laboratorio de IA se han reunido con legisladores del Congreso de Estados Unidos para presentar un proyecto de ley propio sobre la seguridad de la inteligencia artificial de avanzada, según ha informado POLITICO, que cita tres fuentes conocedoras de este asunto.

Este proyecto de ley, a cuyo borrador ha tenido acceso el medio citado, contempla una serie de medidas que implicarían al Departamento de Comercio, en tanto que organismo federal encargado de la supervisión del hacer de las empresas tecnológicas dedicadas a la IA.

Contempla la presencia de evaluadores independientes, que deberán estar registrados ante el Departamento de Comercio, para que realicen evaluaciones periódicas tanto de la empresa como de los modelos que desarrollan.

Si el resultado de estas evaluaciones concluye que los modelos de vanguardia plantean un riesgo inminente y cuantificable, los evaluadores deberán ponerlo en conocimiento del Departamento de Comercio en un plazo máximo de 72 horas.

Es este departamento el único que tendrá potestad para solicitar al juez la paralización de la IA (tanto de su uso como de su desarrollo), si así se determina. Esta orden solo podría concederla un juez federal del Tribunal de Distrito del Distrito de Columbia.

Anthropic también indica en el borrador los límites que se deben tener en cuenta antes de decidir detener una IA y los establece en el riesgo de daños superiores a mil millones de dólares o de causar la muerte o lesiones graves a más de 50 personas.

Estas medidas se aplicarían a cualquier empresa que desarrollara modelos avanzados de IA con capacidad para causar daño.

Estas medidas ya se contemplan en la regulación de la IA de California y en la ampliación en la que trabaja el gobernador, Gavin Newsom, que pretende incorporar auditores independientes en los laboratorios tecnológicos y un botón de apagado en los modelos de frontera.

Las conversaciones sobre el proyecto de ley llegan después de que este verano se conocieran diversos incidentes de seguridad protagonizados por agentes de IA de empresas como Anthropic, OpenAI, Google y Meta que han puesto en tela juicio la seguridad de una tecnología que, por su capacidad de decisión y actuación autónomas, presenta graves riesgos para la sociedad.

Precisamente, el director ejecutivo de Anthropic, Dario Amodei, llegó incluso a plantear en septiembre la necesidad de frenar el ritmo de desarrollo de las capacidades de los modelos de inteligencia artificial; una postura que compartió el director ejecutivo de OpenAI, Sam Altman.