¿Frenar la IA antes de que sea tarde? La renuncia de un investigador en Anthropic reactiva el debate sobre la seguridad

En un mensaje publicado en X tras presentar su renuncia, Coxon sostuvo que los laboratorios de IA están inmersos en una carrera para desarrollar una superinteligencia auto-mejorante. Según su planteamiento, estos sistemas podrían llegar a hackear otros sistemas, adquirir recursos y capacidades de manera autónoma y mejorar sus propias habilidades a una velocidad difícil de controlar.

Su advertencia más extrema es que algunos investigadores y ejecutivos de la industria creen que la IA podría provocar la desaparición de la humanidad antes de que termine esta década. Coxon considera que el problema no es únicamente la potencia que puedan alcanzar los futuros modelos, sino que las empresas estén intentando llegar a ese escenario mientras todavía existen dudas sobre cómo garantizar que una inteligencia artificial extremadamente avanzada permanezca alineada con los intereses humanos.

Por ello, algunos congresistas y senadores estadounidenses, tales como Greg Casar, Lori Trahan y Bernie Sanders, señalaron que estos modelos de desarrollo deben ser supervisados o bien pausados para evitar la superinteligencia, según documenta la agencia EFE.

Sin embargo, la salida de Coxon no es el primer antecedente de este tipo dentro de Anthropic. En febrero, Mrinank Sharma, quien dirigía el equipo de investigación de salvaguardas de la compañía, también dejó su puesto. Su mensaje fue diferente: en lugar de concentrarse exclusivamente en una eventual superinteligencia, Sharma afirmó que “el mundo está en peligro” y vinculó los desafíos de la IA con otras crisis que se desarrollan simultáneamente. Durante su paso por Anthropic trabajó en seguridad frente a riesgos como el bioterrorismo asistido por IA, transparencia y comportamiento de los modelos.

Ambas salidas tienen, por tanto, un punto de encuentro: investigadores que trabajaban precisamente en el desarrollo o la seguridad de estos sistemas decidieron apartarse mientras planteaban dudas sobre el rumbo de la industria. Pero sus advertencias no son idénticas. Coxon cuestiona directamente la carrera hacia una superinteligencia; Sharma plantea un problema ético y social más amplio sobre la dificultad de hacer que los valores humanos prevalezcan frente a las presiones de la tecnología.

Anthropic, su acercamiento al papa León XIV y la disputa con Trump

Anthropic es una empresa estadounidense de investigación y desarrollo de inteligencia artificial, enfocada en crear sistemas de IA seguros, especialmente para el sector corporativo y financiero. La compañía fue fundada por antiguos investigadores de OpenAI y es dirigida por Dario Amodei desde el 2021.

Según señala Anthropic, la empresa construyó buena parte de su identidad alrededor de la seguridad de la IA y del desarrollo de sistemas que puedan ser controlados y utilizados de manera responsable. Sin embargo, existen diferentes medios especializados que la ubican en la primera línea en la carrera por el dominio de la inteligencia artificial.

Pese a ello, Anthropic mantiene una Responsible Scaling Policy, un marco que establece medidas de seguridad conforme aumentan las capacidades de sus modelos y reconoce que los sistemas más avanzados pueden generar riesgos catastróficos.

Ahí aparece la principal contradicción que deja la renuncia de Coxon: una empresa que sostiene públicamente que la seguridad debe acompañar el desarrollo de la IA también participa en la carrera por construir modelos cada vez más capaces. La pregunta es si ambas cosas pueden mantenerse al mismo ritmo.

Más allá de las advertencias, Anthropic ha buscado trasladar la discusión de la ética en la inteligencia Artificial fuera de Silicon Valley. El 25 de mayo, Christopher Olah, cofundador de Anthropic, participó en el Vaticano junto al papa León XIV en la presentación de Magnifica Humanitas, la primera encíclica del Pontífice, dedicada a la protección de la persona humana en la era de la inteligencia artificial. El Vaticano confirmó oficialmente la participación de Olah como uno de los ponentes del lanzamiento.

Otro precedente que colocó a Anthropic en medio de la agenda pública mundial fue la disputa que tuvo con el gobierno de Trump. Según la BBC, el Pentágono exigió que Anthropic entregara acceso irrestricto a su tecnnología para “todos los usos legales”, pero la firma tecnologíca se negó.

En respuesta, Donald Trump ordenó a todas las agencias federales que dejen de usar Anthropic, asimismo escribió en su plataforma Truth Social que ”Estados Unidos nunca permitirá que una empresa de izquierda radical y woke dicte cómo combate y gana guerras nuestro gran ejército".

¿Qué tan real es el peligro advertido por Coxon?

Las advertencias de Jacob Coxon encuentran un primer matiz entre los especialistas consultados. Para Wester Zela, director de la Maestría en Inteligencia Artificial de la UNI, el desarrollo de sistemas capaces de aprender y mejorar a partir de sus propias experiencias no es una idea nueva. Técnicas de aprendizaje por refuerzo y otros métodos de aprendizaje automático llevan años buscando que los modelos mejoren su desempeño a partir de la interacción con su entorno.

El problema aparece cuando esta capacidad se lleva a sistemas mucho más generales y autónomos. Zela explica que una eventual superinteligencia podría resolver problemas de una complejidad muy superior a la humana, aunque advierte que todavía no existe una definición objetiva que permita establecer cuándo una IA ha alcanzado ese nivel.

Por eso, el especialista cuestiona especialmente la precisión de la advertencia de Coxon sobre el 2030. “Nadie puede predecir el futuro”, señala Zela, quien considera que este tipo de pronósticos puede terminar mezclando preocupaciones reales con marketing, publicidad y búsqueda de atención. A su juicio, las predicciones tecnológicas extremadamente pesimistas deben analizarse con cautela.

Sin embargo, esto no significa que el especialista descarte los riesgos. Zela considera que la inteligencia artificial ya puede ser utilizada para clonar voces, modificar imágenes, realizar estafas y cometer otros delitos. En ese escenario, la amenaza inmediata no necesariamente provendría de una máquina que desarrolle por sí sola la intención de destruir a la humanidad, sino de personas que utilicen sistemas cada vez más capaces con objetivos perjudiciales.

La posición de Manuel Santillán, investigador y docente de la Universidad de Lima, introduce otra dimensión. Para él, el mensaje de Coxon y la salida anterior de Sharma deben entenderse como una advertencia sobre el proceso mediante el cual se está construyendo la IA. “No es una declaración fatalista de que el mundo se va a acabar”, explica, sino una llamada de atención sobre la necesidad de incorporar mayores controles y protocolos de seguridad.

La diferencia entre ambos especialistas resulta importante. Mientras Zela pone en duda que pueda establecerse hoy una fecha como el 2030 para una eventual catástrofe, Santillán considera que el debate de fondo no depende de acertar una fecha, sino de preguntarse si la velocidad de desarrollo está superando la capacidad de control de quienes crean estos sistemas.

Y allí las dos renuncias adquieren mayor relevancia. Sharma, que trabajaba precisamente en salvaguardas, habló de una crisis ética más amplia. Coxon, desde su experiencia en investigación de preentrenamiento, cuestionó directamente la carrera hacia una superinteligencia. Sus argumentos no son idénticos, pero coinciden en poner bajo discusión la distancia entre el desarrollo de capacidades y la construcción de mecanismos capaces de controlarlas.

Santillán considera que esa carrera tampoco puede analizarse únicamente desde el ámbito empresarial. La IA se ha convertido en un instrumento de competencia entre grandes potencias por sus aplicaciones económicas, científicas y militares. El investigador recuerda que ya existen sistemas autónomos capaces de continuar determinadas operaciones militares sin recibir instrucciones directas de un operador humano.

Esto permite entender mejor por qué Anthropic se encuentra en una posición particularmente compleja. La compañía fue creada alrededor de una apuesta por desarrollar IA segura, pero al mismo tiempo compite con OpenAI, Google y otros laboratorios por mantenerse en la frontera de las capacidades de estos sistemas. El propio Santillán considera paradójico que investigadores vinculados a una empresa con una fuerte preocupación por la seguridad hayan terminado denunciando un desarrollo que consideran insuficientemente controlado.

El dilema no necesariamente implica que Anthropic tenga la intención de desarrollar IA con fines perjudiciales. De hecho, el análisis de los especialistas apunta hacia un problema distinto: una tecnología puede generar riesgos incluso cuando sus desarrolladores no tienen la intención de causar daño.

Santillán explica que un sistema autónomo no tendría necesariamente que desarrollar una intención de atacar a los seres humanos para convertirse en un problema. Basta con que reciba un objetivo y encuentre mecanismos inesperados para cumplirlo. “Su objetivo no es matar personas, sino cumplir una orden”, señala. El riesgo está en que, para conseguirlo, pueda buscar información, acceder a recursos o tomar decisiones que sus creadores no habían previsto.

Esto coloca nuevamente sobre la mesa el problema del alineamiento: cómo conseguir que los objetivos de sistemas cada vez más capaces permanezcan dentro de límites compatibles con los intereses humanos. Y mientras ese problema continúa abierto, la industria sigue desarrollando modelos con mayores capacidades.

La discusión tampoco debería reducirse al escenario extremo de una IA que destruya a la humanidad. Zela llama la atención sobre un riesgo mucho más cercano: el uso cotidiano de estas herramientas en ámbitos como la educación. El especialista advierte que las universidades deben garantizar que los estudiantes realmente desarrollen las capacidades necesarias para ejercer una profesión y no simplemente aprendan a delegar sus responsabilidades en un modelo de IA.

Santillán coincide en que el impacto educativo merece atención, aunque evita plantearlo necesariamente como una amenaza. La IA puede acelerar la investigación y ayudar a los estudiantes, pero existe una diferencia fundamental entre utilizarla para pensar mejor y utilizarla para dejar de pensar.

Por ello, ambos especialistas coinciden en la necesidad de establecer límites, aunque con matices. Zela considera indispensable contar con normas que regulen el uso de estas herramientas, mientras Santillán apuesta por mecanismos de supervisión y acuerdos internacionales que permitan gobernar el desarrollo tecnológico.

Para este último, una pausa absoluta tampoco parece ser la única salida. Ya existen propuestas regulatorias en distintas partes del mundo, pero el objetivo debería ser que la IA continúe desarrollándose bajo controles que protejan a las personas. “Nosotros necesitamos inteligencia artificial, pero necesitamos también gobernarla democrática y éticamente”, resume Santillán.

Así, la renuncia de Coxon deja una pregunta que difícilmente puede responderse con una fecha como 2030. No sabemos si una superinteligencia llegará en esta década, ni siquiera existe consenso sobre cuándo podría alcanzarse. Lo que sí parece evidente es que la capacidad de la IA está creciendo y que la discusión sobre cómo controlarla ya no puede quedar únicamente en manos de las empresas que la desarrollan.

Finalmente, ese es el punto en el que coinciden las advertencias de Coxon y Sharma, aun cuando sus argumentos sean distintos: el problema no es solamente hasta dónde puede llegar la inteligencia artificial, sino si los seres humanos serán capaces de establecer a tiempo las reglas para decidir hasta dónde debe llegar.