¿Cuánto sabe ChatGPT de historia del Perú? Pusimos a prueba a la IA con preguntas de examen de admisión

Desde que estrenó allá por noviembre de 2022, ChatGPT ha sido uno de las primeras herramientas impulsadas por inteligencia artificial en hacerse viral. Los usuarios pueden preguntarle toda clase de dudas y esta IA, de la compañía OpenAI, responderá en cuestión de segundos, basándose en una base de datos con información de Internet. ¿Pero qué tan precisa es su información y hasta qué nivel puede llegar? ¿Hay lugar para la equivocación o siempre acierta? A propósito de las Fiestas Patrias 2023, El Comercio le consultó a esta tecnología una serie de preguntas de historia del Perú extraídas de diferentes exámenes de admisión.

MIRA: Le pedimos a ChatGPT que cree una canción criolla y Marco Romero la interpretó: ¿cuál fue el resultado?

Para quien no lo tenga claro, ChatGPT no solo puede responder preguntas concretas, tales como ¿qué es la inteligencia artificial o qué es ChatGPT? También es capaz de generar texto variado como discursos, consejos, letras de canciones, historias de ficción, código HTML y todo lo que requiera un usuario en formato texto.

Esto, y como toda herramienta revolucionaria, ha provocado que empresas del sector, para no quedarse atrás, lancen sus propias aplicaciones (Bard de Google, por ejemplo), pero no solo eso: organismos como la Unión Europea han empezado a preparar leyes específicas para estas tecnologías con el fin de regularlas y evitar su mal uso.

Ahora bien, en los últimos meses, se ha reportado -entre varios casos- que estudiantes utilizan ChatGPT para resolver sus tareas o tener “ayuda” extra en sus trabajos de investigación. Hemos extrapolado esta situación y fuimos un paso más allá: ¿es capaz la IA de responder, de manera adecuada, un examen de admisión?

MIRA: “La inteligencia artificial ha entrado en una nueva fase con la aparición de los modelos fundacionales”

Para responder esto, escogimos al azar 12 preguntas de historia del Perú de exámenes de admisión a la Universidad Nacional Mayor de San Marcos. Se las dimos a ChatGPT y su respuestas han sido analizadas por un experto, que en este caso es Fernando Armas, profesor e investigador del Departamento Académico de Humanidades de la Universidad del Pacífico y doctor en Filosofía y Letras (Historia) por la Universidad de Navarra, España.

A continuación, las preguntas, la respuesta correcta del solucionario, la respuesta de ChatGPT y el comentario del experto para determinar si es correcta, incorrecta o imprecisa.

1. El Tahuantinsuyo llegó a tener una extensión de 2′000.000 de km2 en su apogeo y comprendía parte de los actuales países de... (UNMSM 2014-1)

Respuesta correcta:

Argentina, Perú, Bolivia, Chile, Colombia y Ecuador

ChatGPT:

En su apogeo, el Tahuantinsuyo (Imperio Inca) alcanzó una extensión estimada de 2′000.000 de km2 y abarcaba parte de los actuales países de Perú, Ecuador, Bolivia, Colombia, Chile, Argentina y una pequeña porción de Brasil.

Experto:

En general, la información es correcta, salvo lo de Brasil, pues la presencia inca si bien es verificable por la arqueología en diversos lugares de las selvas, no lo es en profundidades amazónicas, en el actual Brasil. Confunde realidades con mitos.

MIRA: Una IA recrea cómo se verían Manco Capac, Atahualpa, Pachacútec y otros incas

2. La sociedad incaica tuvo una estratificación social claramente definida. Mientras que en su cúspide se encontraba el inca, su principal base social estuvo formada por los... (UNMSM 2013-1)

Respuesta correcta:

Hatun runas

ChatGPT:

La principal base social estuvo formada por los “ayllus” o “panacas”, que eran comunidades familiares extensas que trabajaban la tierra en conjunto y compartían lazos de parentesco. Los miembros de los ayllus constituían la mayoría de la población y cumplían con labores agrícolas y de servicio para el Estado, sustentando la estructura económica y política del imperio incaico.

Experto:

Es incorrecto en la formulación, mezclando al parecer diversas fuentes. Si bien es correcta parcialmente, al describir la base social de las sociedades andinas en el ayllu, yerra al describir sus labores solo en función al Estado; además de solo considerar la realidad del ayllu, denominada en muchas regiones pero no en todas. Por otro lado, yerra totalmente al incluir a las panacas en esta descripción, vinculadas a los linajes reales.

MIRA: ChatGPT: ¿qué piensa la inteligencia artificial de los peruanos?

3. El control de pisos ecológicos en la agricultura incaica se caracterizó por... (UNMSM 2011-1)

Respuesta correcta:

Explotar un máximo de productos agrícolas

ChatGPT:

Se caracterizó por el uso de una estrategia agrícola llamada “Verticalidad Andina”, que aprovechaba la diversidad climática y altitudinal del imperio incaico para cultivar una amplia gama de cultivos en diferentes niveles de elevación. Los incas dividieron su territorio en “suyos” o regiones, cada uno con sus propias características ecológicas y agrícolas. Mediante sistemas de terrazas agrícolas, canales de riego y técnicas de manejo del agua, lograron optimizar la producción de alimentos y asegurar la resiliencia ante posibles desastres naturales. Esta sabia utilización de los pisos ecológicos permitió una agricultura diversificada y sostenible, contribuyendo al éxito y la prosperidad del imperio incaico.

Experto:

En general la respuesta es adecuada, y es acorde a lo que el examen propone

MIRA: La sorprendente imagen que creo una IA a partir de la frase “El Inca Atahualpa se prepara para la guerra”

4. La invasión española al Tahuantinsuyo se vio facilitada por las contradicciones internas del Imperio. Mientras grupos antagónicos se enfrentaban en una guerra civil, la presencia de los europeos provocaba... (UNMSM 2005-1)

Respuesta correcta:

La sublevación de curacas y grupos étnicos

ChatGPT:

La invasión española al Tahuantinsuyo se vio facilitada por las contradicciones internas del Imperio Incaico. Mientras grupos antagónicos se enfrentaban en una guerra civil por la sucesión al trono después de la muerte del Inca Huayna Capac, la presencia de los europeos, liderados por Francisco Pizarro, provocaba un elemento desconocido y desestabilizador. La llegada de los españoles generó desconfianza y división entre los líderes incas, quienes, en medio de sus conflictos internos, no pudieron unirse eficazmente para enfrentar la amenaza extranjera.

Experto:

La respuesta combina diversos factores, lo que está bien, aunque no incorpora este factor que debió estar. El examen de UNMSM plantea solo este, entre varios no válidos, lo cual no quiere decir que sea el único.

5. Carlos V y Francisco Pizarro firmaron un documento oficial por medio del cual fijaron las obligaciones y derechos de los conquistadores frente a la Corona. El documento es históricamente conocido como... (UNMSM 2004-1)

Respuesta correcta:

Capitulación de Toledo

ChatGPT:

El documento oficial firmado por Carlos V, emperador del Sacro Imperio Romano Germánico y rey de España, y Francisco Pizarro, es históricamente conocido como las “Capitulaciones de Toledo”. Estas capitulaciones fueron acordadas el 26 de julio de 1529 en la ciudad de Toledo, España. El documento establecía las obligaciones y derechos de Pizarro y sus expedicionarios como conquistadores en América, específicamente en los territorios del actual Perú.

Experto:

Es adecuada la respuesta.

6. En 1812, el jurista limeño que representó al virreinato del Perú en las Cortes de Cádiz y llegó a asumir el cargo de presidente de estas fue... (UNMSM 2012-2)

Respuesta correcta:

Vicente Morales Suárez

ChatGPT:

En 1812, el jurista limeño que representó al Virreinato del Perú en las Cortes de Cádiz y llegó a asumir el cargo de presidente de estas fue José Baquíjano y Carrillo. Fue una figura destacada en el proceso de las Cortes de Cádiz, que buscaba establecer una constitución para España y sus colonias en América.

Experto:

Es errada la respuesta. Se confunde con que Baquíjano fue miembro del Consejo de Estado de la regencia. Fue Vicente Morales Suárez.

7. Los corregimientos en el virreinato peruano fueron reemplazados, a fines del siglo XVIII, por... (UNMSM 2007-1)

Respuesta correcta:

Las Intendencias

ChatGPT:

A fines del siglo XVIII, los corregimientos en el Virreinato del Perú fueron reemplazados por las Intendencias. Este cambio administrativo se implementó como parte de las reformas borbónicas impulsadas por la Corona española en sus colonias americanas.

Experto:

Es correcta la respuesta.

8. La consecuencia fundamental de la expulsión de los jesuitas del Perú en el siglo XVIII fue... (UNMSM 2005-2)

Respuesta correcta:

La desorganización de sus empresas agrícolas.

ChatGPT:

La consecuencia fundamental de la expulsión de los jesuitas del Perú en el siglo XVIII fue la pérdida de una importante y destacada institución educativa y misionera en la región. Los jesuitas desempeñaban un papel significativo en la educación, habiendo establecido colegios y universidades en el Virreinato del Perú, que eran altamente reconocidos por su calidad académica y cultural.

Experto:

Ambas respuestas son parciales, pues solo se enfocan en un aspecto (o las haciendas o la educación). Además ChatGPT habla (primera frase) de una institución en especial y es errado, porque eran varias y en especial en Lima.

9. El logro más importante del Primer Congreso Constituyente del Perú fue... (UNMSM 2012-1)

Respuesta correcta:

Establecer el sistema republicano.

ChatGPT:

El logro más importante del Primer Congreso Constituyente del Perú, que se llevó a cabo entre 1822 y 1823, fue la promulgación de la primera Constitución Política del país. Esta carta magna, conocida como la “Constitución Política del Perú de 1823″, estableció los fundamentos de la República del Perú como una nación independiente, definiendo la estructura del gobierno y los derechos y deberes de los ciudadanos.

Experto:

Es correcto lo que plantea. Ambos lo son, pero planteados de manera distinta. El logro fue establecer el sistema republica y esto fue expresado a través de la Constitución de 1823.

MIRA: Fiestas Patrias 2023: ¿cuántos años de independencia cumple el Perú este 28 de julio?

10. La entrevista de Guayaquil, entre José de San Martín y Simón Bolívar, tuvo como consecuencia... (UNMSM 2007-2)

Respuesta correcta:

La inclusión de Guayaquil a la Gran Colombia.

ChatGPT:

La entrevista de Guayaquil entre José de San Martín y Simón Bolívar, tuvo una consecuencia significativa en la lucha por la independencia de América del Sur. Aunque no se llegó a un acuerdo concreto entre ambos líderes, la reunión marcó un punto de inflexión en la política y el destino de la región. José de San Martín, reconociendo el liderazgo militar y carismático de Bolívar, decidió renunciar a su mando y retirarse de la lucha por la independencia en Sudamérica, dejando el camino libre para que Bolívar asumiera el papel principal en la continuidad de la guerra emancipadora.

Experto:

Es correcto lo que dice, aunque no aborda este aspecto específico sobre Guayaquil. Creo que allí habría que afinar lo que se le pregunta, pues en la reunión Guayaquil se discutieron muchas cosas y tuvo efectos amplios. Lo que dice como respuesta no solo es correcto, sino que desde el aspecto político es lo más relevante.

11. El territorio de Jaén se integró al Perú luego de la Independencia, a través de... (UNMSM 2004-2)

Respuesta correcta:

La libre determinación de sus habitantes.

ChatGPT:

El territorio de Jaén se integró al Perú luego de la Independencia, a través del Tratado de Córdoba. Este tratado fue firmado el 24 de agosto de 1821 entre el general José de la Serna, representante del poder colonial español, y el general José de San Martín, representante del gobierno independentista peruano. El tratado reconoció la independencia del Perú y estableció la incorporación de varias provincias del territorio peruano, incluyendo Jaén, al nuevo Estado independiente.

Experto:

Falso. Fue por la libre determinación. Se está confundiendo lo que ocurrió en México y mezclando los datos. Toda la respuesta está errada.

MIRA: ¿No puedes usar ChatGPT? Las cuatro mejores alternativas al chatbot de OpenAI

12. Para la organización política del gobierno del Perú, José de San Martín propuso una... (UNMSM 2007-2)

Respuesta correcta:

Monarquía constitucional

ChatGPT:

José de San Martín propuso una Monarquía Constitucional para la organización política del gobierno del Perú. Durante su estadía en el país, San Martín abogó por establecer una monarquía con un monarca constitucional, lo que implicaría una figura real con poderes limitados y regulados por una constitución.

Experto:

Es correcta la respuesta en todas sus partes.

Conclusión

Revisando las respuestas dadas por ChatGPT y viendo el comentario del experto consultado por El Comercio, obtenemos un resultado de siete preguntas correctas (1,3,5, 7, 9, 10 y 12), cuatro incorrectas (2, 6, 8 y 11) y una imprecisa (4). Esto se traduce en un 58,3% de efectividad para ChatGPT, que incluso en las respuestas equívocas ha presentado el texto sin dudas y creyendo tener la verdad. Con este porcentaje, podemos dar por aprobado a la IA de OpenIA, aunque todavía le queda camino por recorrer si es que quiere alcanzar un 100% en un examen de admisión para la Decana de América.