“Los datos filtrados pueden ser utilizados para alimentar algoritmos con fines delictivos”

El auge de la inteligencia artificial (IA) generativa abre nuevas oportunidades, pero también desafíos inéditos en materia de privacidad, seguridad digital e identificación de sesgos que perpetúan desigualdades. Marushka Chocobar, consejera en Inclusión Digital para Generativa Latam, incide no solo en comprometernos con nuestra propia seguridad digital, sino resalta la necesidad de ser usuarios propositivos y críticos frente a las herramientas de IA.

De otro lado, enfatiza que los usuarios, muchas veces sin advertirlo, participan en el entrenamiento de algoritmos al compartir contenido en redes sociales. Esta dinámica, advierte Chocobar, puede facilitar suplantaciones cada vez más realistas.

MIRA: JNE y Reniec piden al Ejecutivo promulgar digitalización de inscripción de partidos “en el más breve plazo”

— ¿Cuáles son los principales ejemplos de sesgos de género que se han identificado en sistemas de inteligencia artificial?, ¿Cuáles de ellos en Perú?

La inteligencia artificial se desarrolla en dos etapas fundamentales. La primera es el diseño de los algoritmos, donde resulta clave asegurar que estos no incorporen sesgos desde su concepción. La segunda etapa corresponde al entrenamiento de los sistemas ya construidos, proceso que comúnmente se realiza utilizando fuentes abiertas o datos disponibles en internet. Un ejemplo revelador proviene de una investigadora del MIT, quien evidenció un sesgo en un sistema de reconocimiento facial: el algoritmo no lograba identificar su rostro. Solo cuando utilizó una máscara blanca, el sistema pudo detectarla. Otro caso común es la práctica de asignar nombres femeninos a los asistentes digitales, lo cual constituye un sesgo de género. En el Perú, tanto en el sector público como en el privado, es frecuente encontrar asistentes digitales con nombres de mujeres, reforzando estereotipos que vinculan tareas de apoyo o menor remuneración con el rol femenino. Asimismo, existen sesgos en los sistemas automatizados de reclutamiento. Algunos algoritmos, entrenados con datos históricos sesgados, tienden a favorecer perfiles masculinos en puestos del ámbito digital, penalizando las hojas de vida de mujeres. Esto demuestra que tanto el diseño como la alimentación de los sistemas deben incorporar mecanismos efectivos para prevenir y mitigar los sesgos.

—Estos sistemas de IA están reproduciendo lo que pasa en la realidad, lo offline. Efectivamente, también hay la tendencia a reproducir, a perpetuar y amplificar desigualdades. Juega un papel muy importante qué datos utilizamos para entrenar a la IA.

En el entorno digital esto resulta aún más complejo, pero podríamos impulsar algunas campañas de entrenamiento masivo. Se trata de generar un contrapeso llenando los espacios de Internet con información que promueva la equidad. Es una gran batalla, pero es lo que corresponde hacer, porque de lo contrario esto seguirá amplificándose.

—¿Qué estrategias y buenas prácticas, además de estas, tú recomendarías para reducir estos sesgos, en este caso de género, tanto en el desarrollo como en la implementación de los sistemas de IA en el Perú?

Tenemos que visibilizar esta situación y generar conciencia. En el caso del periodismo, con mayor razón. Ustedes son grandes entrenadores de algoritmos a través de las noticias, reportajes y documentales que publican constantemente. Desde el ámbito técnico es crucial garantizar equidad en los equipos que diseñan y desarrollan algoritmos. Necesitamos incorporar a más mujeres en el mundo digital, ofrecer oportunidades reales a personas con discapacidad para que se integren plenamente, y asegurar que las personas adultas mayores puedan verificar si efectivamente están siendo incluidas. Estos equipos deben ser mucho más diversos y multidisciplinarios. Finalmente, es indispensable promover la transparencia algorítmica.

—¿Qué significa?

En el caso del sector público, una norma como la Ley de Transparencia y Acceso a la Información Pública ya debería incorporar la transparencia algorítmica. En términos sencillos, se trata de que las personas podamos saber qué hará el algoritmo con nuestros datos, para estar, ante todo, informadas. Antes bastaba con interesarnos por otorgar el consentimiento para el uso de datos; hoy es necesario ir más allá: dar ese consentimiento y, además, comprender cómo serán utilizados por los sistemas algorítmicos.

—¿Esto impactaría, por ejemplo, en los casos de filtración de datos, o no hay vínculo?

Los casos de filtración de datos corresponden al ámbito de la seguridad digital. Considero que, hoy más que nunca, tanto el sector público como el privado deben reforzar sus sistemas de protección, ya que los datos filtrados pueden ser utilizados para alimentar algoritmos con fines delictivos. Además, es fundamental revisar los conjuntos de datos (datasets) para asegurar que incorporen perspectivas diversas y justas, evitando así la reproducción de sesgos. Finalmente, debemos asumir un rol más proactivo en la corrección de los algoritmos, en especial en aquellos casos donde sí tenemos posibilidad de intervención. Por ejemplo, en el uso de inteligencias artificiales generativas: si detectamos que han cometido errores o expresado algún tipo de sesgo, tenemos la responsabilidad de actuar y corregir. Asimismo, también es posible, diseñar otras aplicaciones de inteligencia artificial que corrijan sesgos de manera automatizada.

—¿Cómo prevenir situaciones de creación de deepfake? En concordancia con los límites éticos.

Antes resultaba más difícil identificar los riesgos. Hoy sabemos que una persona puede ser clonada con solo una imagen, ni siquiera se necesita un video. Existen softwares sumamente veloces que pueden extraer una foto o un fragmento de video de nuestras redes sociales para recrear la voz, el rostro, y suplantarnos. Hace poco, por ejemplo, se volvió tendencia replicar el estilo visual del Studio Ghibli, y muchas personas alimentaron los algoritmos con sus propias imágenes, sin advertirlo. Estamos entrenando la inteligencia artificial sin ser plenamente conscientes. Hoy en día, podríamos recibir una llamada con nuestra propia voz y rostro, sintetizados a partir del contenido que compartimos en redes sociales. El sistema genera el mensaje que desea que digamos y lo presenta como si lo hubiéramos dicho.

—Mencionaste lo del Studio Ghibli. Las personas estuvieron muy entusiasmadas en generar estas imágenes. Aparte del debate sobre los derechos de autor, comentaste lo de las consecuencias. Con la irrupción de la IA, ¿Qué debemos tener en cuenta como usuarios frente a las vulnerabilidades?

Es difícil. Sin embargo, siempre hay un punto medio. Frente a ciertas tendencias donde deba entregar mis datos sin que me ofrezcan un servicio proporcional a ello, tendría que pensarlo bien. Tengo que preguntarme: ¿Cuánto valen realmente mis datos?

—¿Cómo puede también la inteligencia artificial ser una aliada en identificar estas desigualdades en lugar de perpetuarlas y cómo desde nuestros roles podemos ser parte?

Así como se han diseñado algoritmos sin mecanismos claros para prevenir sesgos, necesitamos involucrarnos más en su desarrollo para que incluyan, desde el inicio, posibles identificadores de sesgos. También es posible crear algoritmos específicamente orientados a su detección, capaces de identificar estos sesgos antes del diseño final y del entrenamiento. Además, resulta clave monitorear las brechas existentes, tanto en la participación como en la generación y publicación de información al respecto.

—En el aspecto regulatorio, ¿Qué desafíos existen en nuestro marco normativo sobre IA respecto a espacios libres de sesgos de género?

Como país, durante varios años hemos tenido una participación destacada en las decisiones vinculadas a la transformación digital. En el ámbito de la inteligencia artificial, el Perú fue el primer país en el mundo en promulgar una ley específica, publicada en julio de 2023, incluso antes que el reglamento de la Unión Europea. Se trata de una ley habilitadora, que reconoce a la IA como una tecnología con potencial para impulsar el desarrollo social y económico. Sin embargo, desde entonces hemos perdido impulso. Actualmente, hay diversas propuestas regulatorias en discusión en el Congreso, pero aún se percibe una falta de articulación. Persisten vacíos en torno a la regulación específica sobre auditoría algorítmica, que no ha sido incorporada como principio fundamental en el uso de sistemas o aplicaciones de inteligencia artificial. También se advierte la ausencia de directrices claras para la prevención de sesgos en general en el uso y adopción de esta tecnología.

—La IA también está en espacios de niñez y adolescencia, ¿Qué hay que tener en cuenta cuando hablamos de diversidad e inclusión en el uso de la IA?

Estamos perdiendo la capacidad de análisis crítico porque en muchos casos se recurre al copiar y pegar. Hay algo aún más preocupante: muchos maestros y maestras no saben identificar cuándo un contenido ha sido generado por inteligencia artificial para orientar adecuadamente a sus estudiantes. Esto cierra el círculo de forma compleja. Es fundamental evidenciar tanto los riesgos como los beneficios de estas aplicaciones, tanto para niñas, niños y adolescentes como para docentes y familias en general. Es necesario fortalecer significativamente la formación de los maestros y maestras, porque la inteligencia artificial generativa no es algo que se pueda prohibir en las aulas. Al contrario, debemos poner especial énfasis en el desarrollo de habilidades blandas, como el pensamiento crítico, el pensamiento estratégico, la empatía, la diversidad y la inclusión.