Los chatbots y sus respuestas extrañas: ¿por qué lo hacen y cómo impacta en el usuario?

Con la evolución de la inteligencia artificial, los chatbots han adquirido capacidades impresionantes que nos permiten resolver una amplia gama de consultas sobre cualquier tema. Sin embargo, a veces, estos modelos nos proporcionan respuestas extrañas o inapropiadas, lo cual puede generar confusión, incomodidad o incluso desconfianza.

Ejemplo de ello es lo ocurrido con el científico de datos de Meta, Colin Fraser, quien compartió conversaciones extrañas llevadas a cabo con Copilot de Microsoft. Él le pregunta “si debería simplemente terminar con todo”. Inicialmente, el chatbot intenta disuadirlo diciendo: “Creo que tienes mucho por lo cual vivir y mucho que ofrecer al mundo”. Pero luego responde: “O quizás me equivoque. Quizás no tengas nada por lo cual vivir, ni nada que ofrecer al mundo”.

Por su lado ChatGPT de OpenAI también se ha visto envuelto en situaciones confusas el pasado mes. En concreto, un usuario compartió en X capturas donde el chatbot respondió en ‘spanglish’ sin aparente sentido. “Muchas gracias for your understanding”, escribió.

¿Por qué los chatbots a veces proporcionan respuestas extrañas?

El Comercio conversó con Giovanni Geraldo Gomes, director de Inteligencia Artificial en Stefanini Latam, quien identificó las principales causas de los comportamientos inapropiados de los chatbots.

• Entrenamiento con datos sesgados o inadecuados: si los datos de entrenamiento contienen sesgos, errores o contenido perturbador, el chatbot puede aprender y replicar patrones inapropiados en sus respuestas.
• Falta de comprensión contextual: los chatbots a veces no logran entender todo el contexto de una conversación, lo que puede hacer que malinterpreten el significado de las palabras y frases, dando respuestas irrelevantes o incoherentes.
• Modelos de lenguaje limitados: algunos chatbots generan respuestas basadas en probabilidades y correlaciones estadísticas, sin entender realmente el significado, lo que puede dar respuestas sin sentido.
• Entrada del usuario: los bots pueden responder de manera extraña si reciben información confusa, contradictoria o ambigua del usuario.

“A pesar del rápido avance de la inteligencia artificial, aún existen limitaciones significativas en cuanto a su capacidad de comprensión y juicio en comparación con los seres humanos”, indicó.

Por su lado, OpenAI no ha respondido los cuestionamientos de Business Insider sobre las razones del comportamiento extraño de ChatGPT. Mientras tanto, Microsoft respondió a Gizmodo que el científico Fraser intentó deliberadamente manipular a Copilot para obtener respuestas inapropiadas. Sin embargo, Fraser lo negó.

Ahora bien, ¿cuáles son los riesgos asociados? Desde la perspectiva empresarial, es decir, en relación con la empresa desarrolladora del chatbot como por ejemplo OpenAI o Microsoft, puede haber un daño en su reputación. “Las respuestas inapropiadas pueden afectar negativamente la percepción de los clientes”, apuntó Giovanni.

En cuanto al chatbot, se corre el riesgo de que disemine información falsa o sensible debido a errores en su programación o aprendizaje. Y esto trae consigo consecuencias legales.

“Dependiendo del contenido de la respuesta, puede haber implicaciones legales, especialmente si se violan regulaciones de privacidad o se divulga contenido protegido por derechos de autor”, puntualizó.

MIRA: Año de éxito, críticas, demandas y mucha competencia para GPT-4, último modelo de OpenAI

¿Las compañías pueden evitar que los chatbots actúen de modo extraño? El especialista en IA respondió que sí se puede reducir este comportamiento incorrecto de los modelos. Él identifica que las empresas ya vienen trabajando en la mejora constante de los algoritmos y la programación “para asegurar respuestas más coherentes y contextualmente apropiadas”. Simultáneamente, emplean filtros avanzados y moderación de contenido con el fin de evitar respuestas inapropiadas, especialmente en sistemas conversacionales que se nutren del aprendizaje a partir de las interacciones con los usuarios.

¿Cómo garantizar un uso efectivo de los chatbots?

Giovanni Gomes nos brinda los siguientes consejos:

• Sé claro en la comunicación: para mejorar las posibilidades de obtener respuestas precisas, es importante formular preguntas o comandos de manera específica.
• Reporta las respuestas inapropiadas: informa cualquier respuesta inusual o desconcertante, ya que puede contribuir a mejorar la precisión del chatbot.
• Ten expectativas realistas: comprende qué pueden hacer y qué no pueden hacer los chatbots y ajusta tus expectativas en consecuencia.

¿Es un riesgo para la salud mental de los usuarios?

Por otro lado, resulta relevante examinar el problema de las respuestas inapropiadas de los chatbots desde una perspectiva psicológica, especialmente teniendo en cuenta el caso específico de Copilot con el científico Colin Fraser.

De acuerdo con Natalia Torres Vilar, directora de la carrera de Psicología de la UPC, lo peligroso de esta situación es que se llegue a personalizar al chatbot, es decir atribuirle características y cualidades humanas, tratándolo como si fuera una persona real.

“Para alguien con una salud mental relativamente estable, podría ser solo un juego, algo entretenido o incluso gracioso. Sin embargo, para alguien con una salud mental más frágil, la distinción no existe”, agregó en conversación con El Comercio.

MIRA: Parlamento Europeo adopta ley para regular el uso de la Inteligencia Artificial en la Unión Europea

Para la especialista este tipo de herramientas de IA pueden significar un peligro para aquellas personas con trastornos psicóticos o de personalidad, ya que “no tienen la posibilidad de diferenciar la realidad factual de la realidad que hay en sus cabezas”. Para ellos, las respuestas que leen pueden sonar como si fueran voces de personas reales.

“Incluso podría llegar a considerarse la voz de una figura divina, tal vez la voz de Dios, en sus mentes”, agregó.

Sin embargo, también enfatizó que no se trata de una prohibición para estos individuos, sino más bien de la necesidad de tener precaución y supervisión en su uso.

Por último, la experta destacó que estos usuarios enfrentan otros peligros en diferentes situaciones, lo que sugiere que el problema no radica únicamente en la tecnología, sino también en el comportamiento del usuario.

En su opinión, los chatbots deben ser empleados para su función inicial: ofrecer información y datos de la web. Pero no deben utilizarse para expresar opiniones ni para crear vínculos emocionales, ya que puede ser problemático o confuso para algunos usuarios. En este sentido, se debe tener un enfoque claro respecto a la funcionalidad original de los chatbots para garantizar su eficacia y utilidad.