Alia 40B: el mayor conjunto de datos para construir la inteligencia artificial española

La inteligencia artificial ha pasado de ser una promesa de futuro a una herramienta de uso cotidiano. Soluciones como ChatGPT, Gemini y otros sistemas de inteligencia artificial generativa han popularizado el uso de esta tecnología, aunque el alcance de esta revolución tecnológica va mucho más allá. Su desarrollo depende, en gran medida, de la disponibilidad de datos de calidad, grandes volúmenes de información y recursos capaces de entrenar modelos de lenguaje cada vez más sofisticados.

Superordenador Marenostrum 5 del Centro Nacional de Supercomputación donde se ha entrenado el modelo de lenguaje Alia 40B.

Con este objetivo, el Proyecto ALIA ha puesto a disposición de la comunidad ALIA 40B, un conjunto de datos de calidad para la creación de una inteligencia artificial en español y en las lenguas cooficiales.

Una apuesta estratégica por una inteligencia artificial propia

El proyecto ALIA forma parte de la Estrategia Nacional de Inteligencia Artificial y aglutina el trabajo del Centro Nacional de Supercomputación (CNS), el Centro de Inteligencia Digital de la Provincia de Alicante (CENID), el Centro Singular de Investigación en Tecnologías de la Información (CiTiUS), el Centro de Estudios Avanzados en Tecnologías de la Información y la Comunicación (CEATIC) y el Centro Vasco de Tecnología de la Lengua (HiTZ).

ALIA 40B ha sido desarrollado en el Centro Nacional de Supercomputación con la capacidad de cálculo del superordenador MareNostrum, una infraestructura clave para el desarrollo de sistemas avanzados de inteligencia artificial y procesamiento masivo de datos.

Para Diego Perino, director del Instituto de IA del CNS, se trata de «una iniciativa pionera en la Unión Europea que busca proporcionar una infraestructura pública de recursos de inteligencia artificial, incluyendo modelos abiertos y transparentes de lenguaje, voz y traducción».

Qué es ALIA 40B y por qué representa un avance para la IA española

En términos técnicos, ALIA 40B es un modelo fundacional, es decir, un sistema de gran escala entrenado con enormes volúmenes de datos —texto, imágenes, audio y vídeo— en una tarea aparentemente simple: predecir la siguiente palabra en una secuencia de texto.

Este proceso permite al modelo adquirir un amplio conocimiento lingüístico y desarrollar capacidades relacionadas con el procesamiento del lenguaje natural, uno de los pilares sobre los que se construyen los grandes sistemas de inteligencia artificial actuales.

Sin embargo, estos modelos no están diseñados para interactuar directamente con usuarios ni para seguir instrucciones; su valor radica en servir como base o plataforma sobre la que los desarrolladores pueden construir múltiples aplicaciones mediante procesos de ajuste y especialización. Dicho de otra manera, funcionan como una estructura inicial sobre la que se desarrollan soluciones concretas de inteligencia artificial.

ALIA 40B «no es solo un modelo de inteligencia artificial; es una oportunidad para todo el ecosistema y ofrece una alternativa a otros grandes modelos de lenguaje sobre los cuales construir soluciones. Se trata de una opción pública, segura y transparente que dota a España y a Europa de autonomía en el ámbito tecnológico», añade Diego Perino.

Un modelo con 40.000 millones de parámetros y vocación europea

Diego Perino.

La construcción de este modelo de 40.000 millones de parámetros, de donde procede su nombre, ha supuesto uno de los mayores avances de la inteligencia artificial española.

En el caso de ALIA 40B, se trata de un modelo Transformer que ha procesado durante su entrenamiento miles de millones de tokens. Asimismo, para la construcción de su versión instruida se han empleado más de 800.000 instrucciones.

Diego Perino justifica este trabajo de supercomputación como una necesidad para disponer de materiales de calidad en las lenguas habladas en España.

«Este trabajo de generación de datos propios es fundamental para asegurar un mejor rendimiento en las lenguas con las que trabajamos. Cabe destacar que todos los conjuntos de datos que generamos son públicos y accesibles para toda la comunidad, lo que refuerza nuestro compromiso con la transparencia».

Al tratarse de un proyecto orientado a reforzar la autonomía tecnológica de España y promover una inteligencia artificial desarrollada en español, en la construcción del modelo fundacional de ALIA se ha empleado un porcentaje de datos mayor tanto en español como en lenguas cooficiales.

Concretamente, el conjunto de datos en español para el modelo 40B base representa más de un 16 %, mientras que las lenguas cooficiales suman más de un 2 %. En total, más del 18 % del conjunto de entrenamiento.

Una inteligencia artificial que incorpora lengua, cultura y diversidad

El modelo no se limita únicamente a las lenguas españolas. Su planteamiento global ha llevado a incorporar hasta 35 lenguas europeas, lo que permite que las soluciones basadas en ALIA puedan utilizarse también fuera de España y contribuir a la internacionalización de empresas y proyectos tecnológicos.

Los expertos que están detrás de este modelo subrayan además que este trabajo trasciende los propios idiomas. Se trata de un conjunto de datos que aborda también aspectos relacionados con la cultura y la manera de entender el mundo en España. Esto ha sido posible mediante una selección especialmente cuidadosa de datos y un proceso de curación humana enfocado a promover la diversidad social y cultural.

Rafael Muñoz en el IV Foro Alia, organizado por el Centro de Inteligencia Digital de Alicante (CENID).

Como afirma Diego Perino, «esto contrasta con los modelos actuales de las grandes empresas, cuyo proceso de entrenamiento se desconoce y que probablemente han sido desarrollados con datos y perspectivas culturales propias de los entornos en los que fueron creados».

El Proyecto ALIA constituye una iniciativa para crear una inteligencia artificial propia, desarrollada en nuestros idiomas y adaptada a nuestro contexto cultural. Una apuesta singular en Europa por la soberanía tecnológica, la transparencia y el desarrollo de una infraestructura pública de inteligencia artificial que permita a España mantener un papel relevante en una carrera tecnológica llamada a transformar múltiples ámbitos de la sociedad.