GRAN MODELO DEL LENGUAJE (LLM) LATINOAMERICANO

Los modelos del lenguaje natural, particularmente los grandes modelos como GPT, Llama o Mistral, se han convertido en el dispositivo de ingeniería más avanzado para el entendimiento o producción de lenguaje por métodos computarizados (NLP). Expertos de muchos campos creen que su impacto en la sociedad va a ser grande. De acuerdo con Grieve et al.(2024), uno de los grandes desafíos que aún enfrentan es el sesgo social, particularmente riesgos de calidad y de estereotipos, probablemente derivados de los datos con los que fueron entrenados. Los riesgos de calidad se refieren a que el desempeño en las tareas del lenguaje puede ser pobre para ciertas variedades del lenguaje y ciertos grupos sociales, y los riesgos de estereotipo se refieren a representaciones dañinas y equivocadas de grupos sociales reflejo de los textos con los que fueron entrenados. Los modelos de lenguaje actuales han sido entrenados principalmente en textos en inglés y por tanto presentan sesgos sociales en el lenguaje español (Duboue, 2019; Maina et al., 2024; Nadeem et al., 2020; Welbl et al., 2021) y desempeños más pobres para ciertas tareas frente a modelos basados en español (Cañete et al., 2023). Dadas esas dificultades se hace necesaria la creación de un gran modelo de lenguaje del español, que incluya además una adecuada representación de los dialectos del español de Latinoamérica para poder prestar un mejor servicio a estas comunidades y evitar los sesgos hacia la comunidad latinoamericana. Asimismo, la creación de un gran modelo de lenguaje del español de Latinoamérica generará capacidades de punta en NLP dentro de la comunidad científica que participe en el desarrollo del mismo. El objetivo de este proyecto es la creación de un gran modelo de lenguaje latinoamericano, que incluya sus dialectos de manera representativa, y en el cual investigadores de la Pontificia Universidad Javeriana tengan una participación activa.