Latam-GPT, el modelo latinoamericano de IA: “Hay entusiasmo de la gente por la tecnología, pero los gobiernos no sintonizan con esa necesidad”

La iniciativa tiene su origen en la gestión del presidente chileno, Gabriel Boric, siendo impulsada por el Centro Nacional de Inteligencia Artificial del vecino del sur. Pero Latam-GPT es en realidad un esfuerzo colectivo de la región latinoamericana pues entidades estatales, universidades y organizaciones civiles de países como Perú, México, Colombia, Brasil, Ecuador, Argentina y Uruguay han formado parte de este trabajo.

Con esa finalidad, este gran modelo de lenguaje (LLM) fue alimentado a lo largo de dos años con enormes cantidades de información procedentes de estas naciones, lo que incluía archivos parlamentarios y de las bibliotecas estatales, tesis universitarias y una gran cantidad de textos en lenguas originarias.

Omar Flórez fue parte del equipo de desarrollo de Latam GPT como uno de los investigadores a cargo de la fase de preentrenamiento de este LLM. Tras haber pasado varios años en algunas de las firmas tecnológicas más importantes de Estados Unidos, el científico nacido en Arequipa afirma estar convencido de que el talento que hay en América Latina es equiparable al que vio durante su estancia en Silicon Valley.

En diálogo con El Comercio, Flórez afirma que el desarrollo de este modelo de IA latinoamericano busca abordar los matices y sutilezas propios de la región, sobre los que sistemas como Chat GPT o Gemini no suelen brindar respuestas satisfactorias. El especialista sostiene con insistencia que la inteligencia artificial debe ser vista por los gobiernos como un elemento capaz de generar industria, puestos de trabajo y desarrollo.

LEE TAMBIÉN | Adiós Zoom y Teams: Europa busca autonomía digital frente a Estados Unidos con numerosos desafíos por delante

—¿Cómo fue el trabajo en general dentro de la etapa de preentrenamiento de Latam-GPT?

Latinoamérica es una región que tiene mucha información muy rica en términos de cultura. Estamos hablando de distintas formas de hablar en español y tradiciones, pero la región tiene la particularidad de que sus sistemas y datos están muy desperdigados.

El primer gran reto con el que hemos tenido que lidiar ha sido tocar puerta por puerta y recolectar de forma colaborativa un conjunto de datos que represente la historia, la cultura y la tradición de un área tan geográficamente diversa como América Latina.

Se tienen datos crudos, los cuales requieren ser anotados para saber, por ejemplo, de qué país o de qué tópicos se están hablando. Todos estos datos necesitan ser filtrados para incrementar su calidad y luego se necesita usuarlos para alimentar modelos muy costosos de entrenar.

Parte del trabajo consiste en encontrar las mejores configuraciones, haciendo un uso eficiente de esta computación. Para eso se entrenan modelos pequeños y se extrapolan o proyectan estas conclusiones a un modelo mucho más grande.

Hacer que un entrenamiento tan costoso se realice de forma más rápida y barata requiere de soluciones creativas como anotar información, entender la matemática de cómo funciona el cómputo, los datos y el tamaño del modelo. Este último debe ser evaluado para resolver los problemas que son necesarios y que aborden temáticas útiles para la región.

Es un proceso que involucra varias etapas. Se parece mucho al proceso de extraer un mineral al limpiar el recurso, filtrarlo, separar el ruido de la señal y luego empezar a generar productos y servicios. Es básicamente la misma extracción que teníamos: antes era física y ahora es más de datos y conclusiones, cuyo producto final es un modelo capaz de responder de forma exacta a tópicos relacionados a Latinoamérica.

"Hacer que un entrenamiento tan costoso se realice de forma más rápida y barata requiere de soluciones creativas"

—¿Qué otros desafíos han detectado a la hora de desarrollar inteligencia artificial para la región?

Estamos hablando de que mucho de este trabajo requiere una gran cantidad de poder computacional. El principal desafío mundial que existe es tener un sistema que nos permita mezclar matemática con datos.

Además de eso se requiere un trabajo colaborativo a varios niveles y ponerse de acuerdo para poder no solo recolectar los datos, sino crear las condiciones para que esa información pueda alimentar directamente un conjunto de cómputo muy grande.

También está el hecho de confiar en el talento latinoamericano que ya tenemos. Muchas veces miramos hacia otras partes del mundo en busca de soluciones sin darnos cuenta de que en esta parte del mundo existen perfiles en ciencia y tecnología que pueden internalizar esos conceptos tan avanzados de inteligencia artificial y crear modelos tan complejos como uno con 70.000 millones de parámetros.

FINANCIAMIENTO E INVERSIÓN

La primera versión de Latam-GPT está directamente soportada sobre el clúster de Amazon Web Services. El financiamiento para su desarrollo ha sido de aproximadamente 550.000 dólares, en los que el Banco de Desarrollo de América Latina fue el principal aportante.

Se espera que a lo largo del actual semestre el modelo sea entrenado por una gran computadora que se instalará en la Universidad de Tarapacá (Chile). Dicha inversión se calcula en unos 5 millones de dólares.

—¿Por qué es importante que la región disponga de una inteligencia artificial que aborde los matices que mencionaba?

Es importante porque nos hace parte de una mesa en la cual ya no solamente somos usuarios, sino que somos constructores de tecnología. Cuando una empresa quiere crear un un equipo de ingeniería en América Latina realmente está buscando una masa crítica para alimentarlo, y por mucho tiempo hemos pensado que tenemos que mirar a otros lugares para encontrar este talento. Creo que proyectos del tamaño de LATAM GPT permiten generar una masa crítica de ingenieros y científicos que pueda responder a estos problemas.

La analogía que más me gusta usar es que hay una diferencia entre comprar un carro que viene de otras partes del mundo y construirlo aquí. La gente puede decir que no tiene sentido construirlo, pero yo diría que tener gente que tenga ese conocimiento validado puede crear una industria que puede multiplicarse. Se puede pasar a extraer cosas que salen del suelo a extraer algo que sale de los datos.

La posibilidad de crear una industria bien vale la inversión en talento en ciencia y tecnología para directamente crear más puestos de trabajo en el futuro.

—¿Cuando trabajaban con modelos de IA de uso convencional qué problemas vieron con respecto a la temática latinoamericana? ¿En qué puntos la respuesta no era satisfactoria?

Veíamos que los modelos —abiertos o cerrados— que se encuentran en el mercado podían responder de forma muy exacta a temas muy genéricos; sin embargo, cuando ibas al siguiente nivel de detalle y querías entender, por ejemplo, el estado de un dialecto, de una comuna o distintos personajes que no son tan conocidos, el modelo empezaba a alucinar un poco más y a dar menor cantidad de detalles.

El modelo está entrenado para resolver un conjunto de problemas, pero no para resolverlos todos porque requeriría mucha información, por lo que se prioriza que responda a cosas que son populares; no obstante, sucede que muchas veces estas no son populares en esta parte del mundo.

Elementos como el deporte y la política estaban muy bien cubiertos, pero temáticas culturales, educativas, sobre dialectos, jergas locales, poblaciones minoritarias o distintos tipos de costumbres muy tradicionales, no eran abordados por otros modelos.

—Teniendo en cuenta que ha laborado mucho tiempo en el extranjero, ¿qué necesita la región para desarrollar este tipo de perfiles capaces de generar esta industria? ¿Depende de las universidades, del estado o de las propias empresas?

He trabajado 10 años en Silicon Valley en empresas del tamaño de IBM Research, Capital One y Twitter con gente muy talentosa que puede resolver problemas de una forma muy interesante. Basándome en eso como comparación, digo que el talento que tenemos en Latinoamérica no tiene nada que envidiarles.

Te pongo el caso de Chat GPT, que salió el 30 de noviembre del 2021 al mercado y es una tecnología con alrededor de tres años de antigüedad. Eso significa que no hay un estudiante de doctorado —que dura cuatro o cinco años— que haya salido directamente con este conocimiento.

Hablamos de gente que tiene la capacidad de aprender sobre la marcha, de aprender haciendo. Requerimos que las empresas confíen más en el talento latinoamericano.

Muchas veces esta información, a diferencia de otras áreas del conocimiento humano, se encuentra disponible de forma más abierta en trabajos científicos, en videos, libros. Entonces hay que confiar más en que la gente puede usar la estadística, la matemática y los datos para resolver problemas complejos, pero creo que en muchos casos depende de un cambio de mentalidad de las personas y empresas en Latinoamérica.

"La población está muy entusiasmada por modelos como estos"

—¿Cómo ve la experiencia de otros territorios desarrollando la capacidad de cómputo necesaria para desarrollar estos proyectos?

Países alrededor del mundo están adquiriendo clústeres, nodos de cómputo con GPU de alta capacidad, porque se han dado cuenta de que es una inversión, con la posibilidad de que ella se traduzca en la generación de nuevas industrias.

Muchas veces nuestros dirigentes no entienden que esto es una inversión y que el futuro de los países, de la economía y de la forma de resolver problemas van a pasar por la inteligencia artificial. Mientras más se invierta en este tipo de infraestructura, vamos a resolver problemas más interesantes.

La analogía correcta para entender esto es que la Tercera Revolución Industrial implicaba construir puertos, autopistas y trenes. Esta Cuarta Revolución Industrial basada en inteligencia artificial implica construir a clústeres de GPU para entrenar modelos de inteligencia artificial.

—¿Ha visto en la región un interés creciente por el desarrollo de inteligencia o todavía sigue siendo limitado?

La población está muy entusiasmada por modelos como estos. He visto estudiantes de colegios y universidades que quieren que esto sea una realidad. También hay muchos profesores universitarios a los que les gustaría que esto suceda en cada uno de sus países.

Lo que me llama la atención es que los dirigentes de nuestros países no están en sintonía con la necesidad de crear tecnología. Vivimos en una burbuja que no va más allá de cuatro o cinco años y a veces no nos damos cuenta de que esta tecnología, más que una amenaza, es una invitación para crear puestos de trabajo bien remunerados y con alta cantidad de contenido técnico en nuestros países.

En resumen, he visto distintos niveles de interés, pero me llama mucho la atención que la gente que toma las decisiones en Latinoamérica a veces no sintoniza con esa necesidad que tiene la gente de que se invierta más en ciencia y tecnología.

VIDEO RECOMENDADO