La inteligencia artificial (IA) se enfrenta a desafíos únicos al trabajar con lenguas cooficiales. Aunque las diferencias entre el valenciano y el catalán son sutiles y no impiden la comunicación humana, enseñar valenciano a un sistema de IA para que lo diferencie del catalán representa un verdadero reto. Este artículo explora cómo la Universidad de Alicante está desarrollando modelos de lenguaje en valenciano, como AITANA y VIVES, para superar estas barreras y dotar a la Comunidad Valenciana de su propia IA lingüística.
Los retos de la IA en valenciano: diferenciando matices lingüísticos
Las diferencias entre el valenciano y el catalán son muy sutiles. Aunque cada uno tiene formas verbales propias y particularidades a nivel léxico, parecen la misma lengua. A nivel humano esto no supone problema; es más, puede verse como una ventaja, ya que hablantes de una y otra variedad se entienden perfectamente. Sin embargo, cuando el objetivo es enseñar valenciano a un sistema de inteligencia artificial, esas diferencias sutiles entre ambas lenguas plantean verdaderos retos.
Desde la Universidad de Alicante, un equipo interdisciplinar del Grupo de Procesamiento del Lenguaje y Sistemas de Información (GPLSI), especializado en el procesamiento del lenguaje natural (PLN), lidera el desarrollo de modelos de lenguaje en valenciano. Su propósito no es otro que sentar las bases tecnológicas y documentales para la puesta en marcha de una inteligencia artificial hecha en valenciano, que sepa manejar el idioma y diferenciarlo del catalán.
El trabajo se enmarca en el proyecto nacional ILENIA, vinculado a la iniciativa estatal ALIA para la construcción de una inteligencia artificial en español y en las lenguas cooficiales. Supone una colaboración estrecha entre investigadores de las áreas de informática y procesamiento del lenguaje, lingüistas y traductores, y ya está dando sus primeros frutos con AITANA, un modelo de lenguaje en valenciano.
AITANA: el modelo de lenguaje formal para el valenciano
AITANA, del que ya está publicada la versión 6.3B-F, es un modelo de generación de texto. Ha sido entrenado a partir de datos extraídos de folletos turísticos de la Comunidad Valenciana, así como de documentos de tipo administrativo relacionados con la propiedad intelectual. Se ha cuidado que en todos ellos se haga un uso correcto de la lengua valenciana.
«Estamos etiquetando y evaluando cómo el modelo de lenguaje genera preguntas y respuestas tras haber sido entrenado con unos folletos de la Comunidad Valenciana en los que se hablaba de aspectos culturales, comidas, fiestas… y la verdad es que funciona muy bien», afirma la filóloga del grupo GPLSI, Isabel Espinosa, implicada en el desarrollo de este modelo de IA en valenciano.
Una de las cuestiones que más han cuidado los investigadores de este grupo, vinculado al Centro de Inteligencia Digital de la Provincia de Alicante (CENID), ha sido la corrección en el manejo del idioma valenciano. Esto supone un reto porque apenas hay trabajos previos en este campo, y mucho menos entrenamientos específicos para diferenciar esta lengua de la hablada en Cataluña.
«En los modelos de lenguaje en inglés sí que está diferenciado el británico del estadounidense: hay más medios y se ha trabajado más. Sin embargo, eso no existe en lenguas minoritarias como el valenciano, y aunque nos entendamos con catalanoparlantes, es cierto que hay características propias en cada una de estas lenguas que consideramos relevantes para mostrar en un modelo de inteligencia artificial, para que los usuarios tengan una herramienta que les hable en su variedad lingüística», aclara Isabel Espinosa.
El modelo AITANA es robusto y apenas comete errores. Se lía en algunas cuestiones de carácter léxico de importancia menor y en una proporción muy reducida. Para hacerse una idea: de un centenar de pruebas solamente hay fallos en unas tres o cuatro. Esta es una de las conclusiones de las pruebas a las que se está sometiendo el modelo.
Los ensayos están dirigidos a evaluar su funcionamiento y comprobar la calidad de las preguntas y respuestas ofrecidas en valenciano, así como si utiliza correctamente el idioma desde el punto de vista gramatical. Más adelante, el equipo evaluará la factualidad, una cuestión a vigilar concienzudamente en las soluciones de inteligencia artificial. Controlarán si las respuestas son correctas, es decir, que no alucine ni se invente información.
«Tenemos que lograr que el modelo sea coherente, preciso y gramaticalmente correcto», añade la filóloga del GPLSI.
El modelo AITANA está construido para manejarse en un registro del valenciano formal, como el exigido en exámenes oficiales. Pero la intención es ampliarlo para incorporar las variaciones del idioma de las diferentes comarcas de la Comunidad Valenciana, algo similar a lo que este mismo grupo de investigación ha conseguido con VIVES.
VIVES: la IA que entiende el valenciano de la calle
El proyecto VIVES, cuyos resultados se presentaron en diciembre, ha incorporado los acentos del valenciano a través de archivos de audio facilitados por los propios usuarios de la lengua. Este modelo de IA ha sido entrenado para que sepa comunicarse en el idioma empleado en la calle: en un valenciano que, sin llegar a lo vulgar, incorpore giros propios de cada área regional y entienda acentos; una lengua más cercana a la empleada a diario en el mercado y en el centro de trabajo que la descrita por la academia.
Ciudadanos valencianoparlantes aportaron su voz y su manejo del idioma para el entrenamiento de un sistema de inteligencia artificial propio que les entiende y con el que pueden comunicarse sin forzar su forma de hablar.
Las voces que recogen las variantes dialectales del valenciano fueron recopiladas a través de una plataforma alojada en la página web de VIVES, con una tecnología en la que primó la seguridad.
Los responsables de este proyecto potenciaron la participación intergeneracional. El objetivo fue captar voces de todas las edades hablando tantas variantes como fuera posible: tortosí, septentrional, central, meridional y alacantí. Así se contó con un material lo más representativo posible de la realidad del idioma de la Comunidad Valenciana.
Transparencia y futuro de la IA en valenciano
En la construcción de AITANA y del modelo de lenguaje de VIVES ha primado la transparencia. El equipo del GPLSI ha comunicado el origen de los datos empleados en su entrenamiento; los datos han sido sometidos a una curación muy estricta para garantizar su calidad; y, a diferencia de otros modelos, se ha recurrido a una recopilación masiva, pero con «un proceso de selección ética de fuentes verificadas que respetan los derechos de uso». Además, todo el proceso de construcción de los modelos de IA se detalla en artículos científicos publicados en revistas de impacto, para que toda la comunidad tenga acceso a esa información y pueda aprovecharla para otros desarrollos.
En resumen, los modelos AITANA y VIVES representan un hito crucial en el desarrollo de la inteligencia artificial en valenciano. Gracias al esfuerzo del GPLSI de la Universidad de Alicante y la participación ciudadana, se están sentando las bases para que la IA no solo hable valenciano, sino que también entienda sus matices y variedades dialectales. Estos proyectos no solo impulsan la tecnología lingüística y la innovación en la Comunidad Valenciana, sino que también garantizan que la digitalización y las futuras aplicaciones de IA sirvan a la comunidad valencianoparlante en su propia lengua, promoviendo la inclusión y la diversidad lingüística en la era digital. El futuro de la IA en valenciano es prometedor, abriendo nuevas vías para la comunicación y el desarrollo tecnológico.
