Anthropic prohíbe el comportamiento “cruel” hacia su inteligencia artificial Claude

Anthropic anunció el jueves que prohibirá a los usuarios de su sistema de IA Claude “tratarlo” con crueldad innecesaria, en medio de un creciente debate filosófico sobre si la inteligencia artificial puede ser consciente.

La compañía con sede en San Francisco actualizó su política de uso para incluir “una prohibición del comportamiento sostenido e innecesariamente abusivo o cruel hacia nuestros modelos”.

“La capacidad de Claude para poner fin a estas interacciones seguirá siendo el principal mecanismo de aplicación” de la política, afirma la empresa.

La política actualizada no menciona de forma explícita el llamado “bienestar de los modelos”, la idea de que los sistemas de IA podrían merecer tipos de protección que normalmente se reservan a los seres vivos, pero Anthropic y sus directivos han considerado abiertamente el concepto.

Anthropic no respondió de inmediato a una solicitud de comentarios.

La empresa dijo el año pasado que otorgó a Claude la capacidad de terminar conversaciones en casos raros y extremos de “interacciones con usuarios persistentemente dañinas o abusivas”.

Luego, en febrero, el director ejecutivo Dario Amodei dijo al New York Times que no estaba seguro de que los modelos de IA pudieran ser conscientes.

Jackson Stakeman, gerente general de Sparq, un proveedor de servicios de IA, considera que preguntarse si la IA es consciente podría ser un interrogante equivocado.

“La conciencia es una trampa. No podemos demostrarla en los demás. Debatirla en el caso de la IA twa dar vueltas en círculos”, dijo Stakeman a la AFP.

“El espejo es una mejor metáfora. Estos sistemas reflejan lo que ponemos en ellos, a gran escala. Eso es motivo suficiente para el cambio de política” en Anthropic, añadió.

En un discurso pronunciado en italiano el jueves en la Basílica de San Pedro, el papa León XIV sugirió que las máquinas carecen de alma, al decir que simplemente “compilan datos”.