{"id":45872,"date":"2025-01-24T01:39:53","date_gmt":"2025-01-24T01:39:53","guid":{"rendered":"https:\/\/enfoquenoticioso.com\/tecnologia\/hablamos-con-los-creadores-de-alia-la-ia-100-espanola-para-entender-su-futuro\/"},"modified":"2025-01-24T01:39:53","modified_gmt":"2025-01-24T01:39:53","slug":"hablamos-con-los-creadores-de-alia-la-ia-100-espanola-para-entender-su-futuro","status":"publish","type":"post","link":"https:\/\/enfoquenoticioso.com\/?p=45872","title":{"rendered":"hablamos con los creadores de ALIA, la IA 100% espa\u00f1ola, para entender su futuro"},"content":{"rendered":"<div>\n<p>Este lunes se anunci\u00f3 el <a class=\"text-outboundlink\" href=\"https:\/\/www.xataka.com\/robotica-e-ia\/pedro-sanchez-anuncia-lanzamiento-primeros-modelos-alia-asi-ia-publica-abierta-que-impulsa-estado\" data-vars-post-title=\"Pedro S\u00e1nchez anuncia el lanzamiento de los primeros modelos de ALIA: as\u00ed es la IA &quot;p\u00fablica y abierta\u201d que impulsa el Estado\" data-vars-post-url=\"https:\/\/www.xataka.com\/robotica-e-ia\/pedro-sanchez-anuncia-lanzamiento-primeros-modelos-alia-asi-ia-publica-abierta-que-impulsa-estado\" target=\"_blank\" rel=\"noopener\">lanzamiento de los modelos de lenguaje ALIA<\/a>. La iniciativa lleva a\u00f1os en desarrollo y es ahora cuando comienzan a verse los primeros frutos, a\u00fan modestos, pero prometedores.<\/p>\n<p>Para conocer m\u00e1s detalles de ALIA, en Xataka hemos hablado con <strong>Marta Villegas<\/strong> (<a rel=\"noopener, noreferrer\" href=\"https:\/\/x.com\/MartaVillegasM\">@MartaVillegasM<\/a>), responsable de la Unidad de Tecnolog\u00edas del Lenguaje del Barcelona Supercomputing Center (BSC). Eso nos ha permitido aclarar el estado de proyecto, sus objetivos y sus pr\u00f3ximos retos.<\/p>\n<p><!-- BREAK 1 --> <\/p>\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_81 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Tabla de Contenido<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Alternar tabla de contenidos\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewBox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewBox=\"0 0 24 24\" version=\"1.2\" baseProfile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1 ' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/enfoquenoticioso.com\/?p=45872\/#De_competir_con_ChatGPT_nada\" >De competir con ChatGPT, nada<\/a><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/enfoquenoticioso.com\/?p=45872\/#Como_se_ha_entrenado_a_ALIA\" >C\u00f3mo se ha entrenado a ALIA<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/enfoquenoticioso.com\/?p=45872\/#Esto_es_solo_el_principio_toca_%C2%ABinstruir%C2%BB_y_%C2%ABalinear%C2%BB_ALIA\" >Esto es solo el principio: toca \u00abinstruir\u00bb y \u00abalinear\u00bb ALIA<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/enfoquenoticioso.com\/?p=45872\/#ALIA_y_la_competencia_ni_es_un_rival_de_ChatGPT_ni_lo_pretende\" >ALIA y la competencia: ni es un rival de ChatGPT ni lo pretende<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/enfoquenoticioso.com\/?p=45872\/#Los_proximos_pasos_de_ALIA\" >Los pr\u00f3ximos pasos de ALIA<\/a><\/li><\/ul><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-6\" href=\"https:\/\/enfoquenoticioso.com\/?p=45872\/#Asi_es_ALIA_por_dentro\" >As\u00ed es ALIA por dentro<\/a><\/li><\/ul><\/nav><\/div>\n<h2><span class=\"ez-toc-section\" id=\"De_competir_con_ChatGPT_nada\"><\/span>De competir con ChatGPT, nada<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Lo primero que quisimos saber es c\u00f3mo se hab\u00eda creado ALIA, y aqu\u00ed Marta Villegas aclar\u00f3 que el modelo est\u00e1 basado en la arquitectura de Llama \u2013el modelo Open Source de Meta\u2013, \u00abpero el modelo <strong>ha sido entrenado desde cero y con pesos iniciales a cero<\/strong>\u00ab.<\/p>\n<p><!-- BREAK 2 --><\/p>\n<div class=\"article-asset-image article-asset-small article-asset-left\">\n<div class=\"asset-content\">\n                   <img class=\"izquierda_sinmarco\" height=\"500\" width=\"500\" loading=\"lazy\" decoding=\"async\" sizes=\"auto, 100vw\" fetchpriority=\"high\" srcset=\"https:\/\/i.blogs.es\/625126\/marta\/450_1000.png 450w, https:\/\/i.blogs.es\/625126\/marta\/650_1200.png 681w,https:\/\/i.blogs.es\/625126\/marta\/1024_2000.png 1024w, https:\/\/i.blogs.es\/625126\/marta\/1366_2000.png 1366w\" src=\"https:\/\/i.blogs.es\/625126\/marta\/450_1000.png\" alt=\"Marta\"\/><br \/>\n   <img decoding=\"async\" alt=\"Marta\" class=\"izquierda_sinmarco\" src=\"https:\/\/i.blogs.es\/625126\/marta\/450_1000.png\"\/><\/p><\/div>\n<\/div>\n<p>Esto es importante porque ALIA no es un modelo basado en Llama al que se le ha hecho un proceso de refinamiento o \u00abfine-tuning\u00bb. En esos casos, explicaba esta experta, \u00abpartes de un modelo entrenado con otros datos y con pesos inicializados, y lo haces para adaptar ese modelo a tus necesidades, bien porque tienes m\u00e1s datos y quieres que sea mejor o bien porque quiz\u00e1s quieres adaptarlo a un dominio en particular\u00bb.<\/p>\n<p><!-- BREAK 3 --> <\/p>\n<p>Pero aqu\u00ed, nos dec\u00eda, \u00abel vocabulario [conjunto de tokens] es completamente diferente\u00bb. En otros modelos el corpus o conjunto de datos de entrenamiento pueden estar mayoritariamente en ingl\u00e9s, lo que hace que el conjunto de tokens admisibles se calcule a trav\u00e9s del ingl\u00e9s. Eso, indica Villegas, har\u00eda que se adaptara menos eficientemente a otros idiomas.<\/p>\n<p><!-- BREAK 4 --><\/p>\n<p>Precisamente eso es lo que se ha buscado con ALIA: <strong>reducir la relevancia del ingl\u00e9s<\/strong> para incrementar la de 35 idiomas de la Uni\u00f3n Europea y, en especial, el espa\u00f1ol, catal\u00e1n, vasco y gallego.<\/p>\n<p><!-- BREAK 5 --><\/p>\n<h3><span class=\"ez-toc-section\" id=\"Como_se_ha_entrenado_a_ALIA\"><\/span>C\u00f3mo se ha entrenado a ALIA<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>El proceso de entrenamiento de ALIA comenz\u00f3 con algunos experimentos en abril de 2024. Es algo necesario porque como explicaba Villegas, \u00ab<strong>entrenar no es darle al bot\u00f3n<\/strong> tras alimentar los datos y ya est\u00e1\u00bb. Hab\u00eda que tener en cuenta que <a class=\"text-outboundlink\" href=\"https:\/\/www.xataka.com\/investigacion\/marenostrum-5-esta-marcha-gran-salto-espana-para-estar-primera-liga-supercomputacion-mundial\" data-vars-post-title=\"El MareNostrum 5 ya est\u00e1 en marcha: el gran salto de Espa\u00f1a para estar en la primera liga de la supercomputaci\u00f3n mundial\" data-vars-post-url=\"https:\/\/www.xataka.com\/investigacion\/marenostrum-5-esta-marcha-gran-salto-espana-para-estar-primera-liga-supercomputacion-mundial\" target=\"_blank\" rel=\"noopener\">MareNostrum 5<\/a>, el supercomputador sito en y gestionado por el BSC, acababa de entrar en funcionamiento a toda potencia y hab\u00eda una alta demanda para usarlo.<\/p>\n<p><!-- BREAK 6 --> <\/p>\n<div class=\"article-asset-image article-asset-normal article-asset-center\">\n<div class=\"asset-content\">\n<div class=\"caption-img \">\n                   <img class=\"centro_sinmarco\" height=\"800\" width=\"1200\" loading=\"lazy\" decoding=\"async\" sizes=\"auto, 100vw\" fetchpriority=\"high\" srcset=\"https:\/\/i.blogs.es\/30e094\/marenostrum\/450_1000.jpeg 450w, https:\/\/i.blogs.es\/30e094\/marenostrum\/650_1200.jpeg 681w,https:\/\/i.blogs.es\/30e094\/marenostrum\/1024_2000.jpeg 1024w, https:\/\/i.blogs.es\/30e094\/marenostrum\/1366_2000.jpeg 1366w\" src=\"https:\/\/i.blogs.es\/30e094\/marenostrum\/450_1000.jpeg\" alt=\"Marenostrum\"\/><br \/>\n   <img decoding=\"async\" alt=\"Marenostrum\" class=\"centro_sinmarco\" src=\"https:\/\/i.blogs.es\/30e094\/marenostrum\/450_1000.jpeg\"\/><\/p>\n<p>        <span>MareNostrum 5<\/span>\n   <\/div>\n<\/p><\/div>\n<\/div>\n<p>En ese proceso de entrenamiento el proyecto ALIA ha tenido disponibilidades graduales de la capacidad de c\u00f3mputo de MareNostrum 5. Aunque durante un breve espacio de tiempo tuvieron acceso a 512 de los 1.120 nodos especializados del supercomputador, se usaron 256 nodos durante bastantes meses y desde septiembre est\u00e1n usando 128 nodos, \u00abque son muchos\u00bb, destaca Villegas.<\/p>\n<p><!-- BREAK 7 --><\/p>\n<p>Durante el proceso de entrenamiento, nos comentaba, existen los llamados \u00abcheckpoints\u00bb, en los que es posible evaluar c\u00f3mo va el proceso de entrenamiento. Esas \u00abpausas\u00bb permiten adem\u00e1s actualizar ciertos datos de entrenamiento, como de hecho ocurri\u00f3 en ese proceso en el que en un momento dado introdujeron un nuevo corpus con gran calidad que permiti\u00f3 reemplazar algunos datos que ten\u00edan.<\/p>\n<p><!-- BREAK 8 --><\/p>\n<h3><span class=\"ez-toc-section\" id=\"Esto_es_solo_el_principio_toca_%C2%ABinstruir%C2%BB_y_%C2%ABalinear%C2%BB_ALIA\"><\/span>Esto es solo el principio: toca \u00abinstruir\u00bb y \u00abalinear\u00bb ALIA<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>Villegas nos explicaba que ALIA es un modelo fundacional: no est\u00e1 preparado para ser una alternativa a ChatGPT. Este \u00faltimo est\u00e1 basado en GPT-4, un modelo fundacional mucho m\u00e1s ambicioso y que cont\u00f3 con mucha m\u00e1s inversi\u00f3n.<\/p>\n<p><!-- BREAK 9 --><\/p>\n<div class=\"article-asset-image article-asset-normal article-asset-center\">\n<div class=\"asset-content\">\n                   <img class=\"centro_sinmarco\" height=\"666\" width=\"2070\" loading=\"lazy\" decoding=\"async\" sizes=\"auto, 100vw\" fetchpriority=\"high\" srcset=\"https:\/\/i.blogs.es\/aad64e\/alia-2\/450_1000.png 450w, https:\/\/i.blogs.es\/aad64e\/alia-2\/650_1200.png 681w,https:\/\/i.blogs.es\/aad64e\/alia-2\/1024_2000.png 1024w, https:\/\/i.blogs.es\/aad64e\/alia-2\/1366_2000.png 1366w\" src=\"https:\/\/i.blogs.es\/aad64e\/alia-2\/450_1000.png\" alt=\"Alia 2\"\/><br \/>\n   <img decoding=\"async\" alt=\"Alia 2\" class=\"centro_sinmarco\" src=\"https:\/\/i.blogs.es\/aad64e\/alia-2\/450_1000.png\"\/><\/p><\/div>\n<\/div>\n<p>Aqu\u00ed hay que diferenciar el modelo fundacional de los modelos \u00abinstruidos\u00bb y \u00abalineados\u00bb con los que solemos interactuar. Como nos indicaba esta experta, \u00abALIA-40b es un modelo fundacional que <strong>no est\u00e1 instruido ni alineado<\/strong>. Para que un modelo sea un ChatGPT y entienda la conversaci\u00f3n y tenga cierta memoria y sea \u00abpol\u00edticamente correcto\u00bb se \u201cinstruye\u201d el modelo fundacional (que solo aprende a decir el pr\u00f3ximo token) pasando un mont\u00f3n de textos\u00bb.<\/p>\n<p><!-- BREAK 10 --> <\/p>\n<p>Aun as\u00ed, el objetivo es ir planteando esas opciones gradualmente. \u00abEn marzo se espera que se lance la versi\u00f3n instruida de ALIA-40b, con un primer conjunto de instrucciones abiertas\u00bb, nos comentaba Villegas. Se van a subcontratar esas instrucciones \u2013las que permiten instruir estos modelos\u2013 y se van a invertir un mill\u00f3n de euros en ese conjunto de instrucciones de cero.<\/p>\n<p><!-- BREAK 11 --><\/p>\n<p>Esos datos tambi\u00e9n se publicar\u00e1n para que est\u00e9n disponibles para instituciones y desarrolladores: si se ha pagado con dinero p\u00fablico, explica Villegas, es l\u00f3gico que esos datos tambi\u00e9n sean p\u00fablicos, algo que no suele ocurrir con otros modelos de IA de empresas privadas.<\/p>\n<p><!-- BREAK 12 --><\/p>\n<div class=\"article-asset article-asset-normal article-asset-center\">\n<div class=\"desvio-container\">\n<div class=\"desvio\">\n<div class=\"desvio-figure js-desvio-figure\">\n    <a href=\"https:\/\/www.xataka.com\/investigacion\/marenostrum-5-podriamos-quedar-tres-supercomputadores-rapidos-mundo-no-nuestro-objetivo-mateo-valero-director-bsc\" class=\"pivot-outboundlink\" data-vars-post-title=\"\u00abCon MareNostrum 5 podr\u00edamos quedar entre los tres supercomputadores m\u00e1s r\u00e1pidos del mundo, pero no es nuestro objetivo\u00bb, Mateo Valero, director del BSC\" target=\"_blank\" rel=\"noopener\"><br \/>\n     <img loading=\"lazy\" decoding=\"async\" alt=\"\u00abCon MareNostrum 5 podr\u00edamos quedar entre los tres supercomputadores m\u00e1s r\u00e1pidos del mundo, pero no es nuestro objetivo\u00bb, Mateo Valero, director del BSC\" width=\"375\" height=\"142\" src=\"https:\/\/i.blogs.es\/8f0bb3\/bscap\/375_142.jpeg\"\/><br \/>\n    <\/a>\n   <\/div>\n<\/p><\/div>\n<\/p><\/div>\n<\/div>\n<p>Mientras que la instrucci\u00f3n de modelos de IA permite proporcionar indicaciones sobre c\u00f3mo responder y definir el contexto y prop\u00f3sito de esas respuestas, el alineamiento resuelve problemas como el de <strong>evitar sesgos discriminatorios<\/strong>, prevenir desinformaci\u00f3n o proteger la privacidad.<\/p>\n<p><!-- BREAK 13 --><\/p>\n<p>Precisamente esa falta de alineamiento hace que al usar estos modelos en esta fase inicial puedan producirse respuestas con errores y sesgos que precisamente se mitigan en gran medida con esa fase de alineamiento.<\/p>\n<p><!-- BREAK 14 --><\/p>\n<h3><span class=\"ez-toc-section\" id=\"ALIA_y_la_competencia_ni_es_un_rival_de_ChatGPT_ni_lo_pretende\"><\/span>ALIA y la competencia: ni es un rival de ChatGPT ni lo pretende<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>De hecho, destaca Villegas, \u00abel objetivo no es competir con ChatGPT, para eso necesitar\u00edamos 5.000 millones de d\u00f3lares\u00bb. ALIA-40b \u00abes un buen modelo, y se podr\u00e1 hacer un chatbot en el futuro porque la intenci\u00f3n es instruirlo y alinearlo, pero eso llevara tiempo\u00bb.<\/p>\n<p><!-- BREAK 15 --> <\/p>\n<div class=\"article-asset-image article-asset-normal article-asset-center\">\n<div class=\"asset-content\">\n<div class=\"caption-img \">\n                   <img class=\"centro_sinmarco\" height=\"969\" width=\"1920\" loading=\"lazy\" decoding=\"async\" sizes=\"auto, 100vw\" fetchpriority=\"high\" srcset=\"https:\/\/i.blogs.es\/cf8329\/sal\/450_1000.jpeg 450w, https:\/\/i.blogs.es\/cf8329\/sal\/650_1200.jpeg 681w,https:\/\/i.blogs.es\/cf8329\/sal\/1024_2000.jpeg 1024w, https:\/\/i.blogs.es\/cf8329\/sal\/1366_2000.jpeg 1366w\" src=\"https:\/\/i.blogs.es\/cf8329\/sal\/450_1000.jpeg\" alt=\"Sal\"\/><br \/>\n   <img decoding=\"async\" alt=\"Sal\" class=\"centro_sinmarco\" src=\"https:\/\/i.blogs.es\/cf8329\/sal\/450_1000.jpeg\"\/><\/p>\n<p>        <span>Dentro de la familia ALIA tenemos los modelos Salamandra (2b y 7b), m\u00e1s peque\u00f1os y modestos pero que ya cuentan con primeras versiones instruidas. Su rendimiento y capacidad a\u00fan tiene margen de mejora, pero son buenos puntos de partida para el futuro.<\/span>\n   <\/div>\n<\/p><\/div>\n<\/div>\n<p>Era inevitable preguntar c\u00f3mo pretende competir entonces ALIA con otros modelos, tanto cerrados y desarrollados por empresas privadas como modelos Open Source. Para ella \u00abHay una demanda de modelos intermedios que luego cada uno puede adaptar a su caso de uso espec\u00edfico, no todo el mundo puede usar ChatGPT por razones como la privacidad o el caso de uso\u00bb.<\/p>\n<p><!-- BREAK 16 --><\/p>\n<p>Villegas quiso adem\u00e1s destacar c\u00f3mo esos modelos m\u00e1s peque\u00f1os pueden a llegar a tener un rendimiento excepcional en tareas espec\u00edficas, y pueden trabajar a niveles de seguridad y de no compartir datos importantes.<\/p>\n<p><!-- BREAK 17 --><\/p>\n<div class=\"article-asset-summary article-asset-normal article-asset-center\">\n<div class=\"asset-content\">\n<p>El objetivo no es competir con ChatGPT, para eso necesitar\u00edamos 5.000 millones de d\u00f3lares<\/p>\n<\/p><\/div>\n<\/div>\n<p>No solo eso, revela: \u00abadem\u00e1s sacamos el <em>know-how<\/em> que sacamos como pa\u00eds , tenemos un elenco de investigadores j\u00f3venes que tienen una experiencia estupenda en esto, y generar esta cantera de gente es importante\u00bb.<\/p>\n<p><!-- BREAK 18 --><\/p>\n<p>Villegas no nos pudo dar datos sobre los dos primeros proyectos a los que te\u00f3ricamente se aplicar\u00e1 ALIA. En el lanzamiento se habl\u00f3 de un chatbot interno que promete agilizar el trabajo de la Agencia \u00a0Tributaria, y una soluci\u00f3n destinada a la medicina de atenci\u00f3n primaria \u00a0que permitir\u00e1 \u00abun diagn\u00f3stico precoz y m\u00e1s preciso de las insuficiencias \u00a0card\u00edacas\u00bb.<\/p>\n<p><!-- BREAK 19 --><\/p>\n<h3><span class=\"ez-toc-section\" id=\"Los_proximos_pasos_de_ALIA\"><\/span>Los pr\u00f3ximos pasos de ALIA<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<p>Como adelantaba esta experta, se espera que en dos o tres meses contemos con una versi\u00f3n instruida de ALIA que poder usar de forma algo m\u00e1s cercana a como usamos ahora ChatGPT, por ejemplo.<\/p>\n<p><!-- BREAK 20 --><\/p>\n<p>Para lo que queda del a\u00f1o aparte de ese lanzamiento de instrucciones para poder instruir el modelo el objetivo es tener una primera versi\u00f3n de alineamiento que se acercar\u00e1 mucho m\u00e1s a lo que ahora tenemos con ChatGPT, Claude o Gemini, por ejemplo.<\/p>\n<p><!-- BREAK 21 --> <\/p>\n<p>Es adem\u00e1s importante tener un modelo de estas caracter\u00edsticas porque como nos explica Villegas, esto \u00abpermite generar datos sint\u00e9ticos para <strong>entrenar modelos m\u00e1s peque\u00f1os y muy concretos<\/strong>, aparte de usarlo en aplicaciones de todo tipo\u00bb.<\/p>\n<p><!-- BREAK 22 --><\/p>\n<p>Hay otra curiosidad: el modelo \u00abgrande\u00bb, ALIA-40b, tambi\u00e9n puede ser usado como una especie de \u00abjuez\u00bb (<a rel=\"noopener, noreferrer\" href=\"https:\/\/huggingface.co\/learn\/cookbook\/llm_judge\" target=\"_blank\">LLM as a judge<\/a>) que permite evaluar y juzgar la calidad y precisi\u00f3n de las respuestas generados por otros modelos de IA. Es una forma de instruir y alinear modelos m\u00e1s peque\u00f1os, lo que deja a\u00fan m\u00e1s clara la relevancia de ALIA-40b como base para el futuro.<\/p>\n<p><!-- BREAK 23 --><\/p>\n<h2><span class=\"ez-toc-section\" id=\"Asi_es_ALIA_por_dentro\"><\/span>As\u00ed es ALIA por dentro<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Como indican los datos publicados <a rel=\"noopener, noreferrer\" href=\"https:\/\/huggingface.co\/BSC-LT\/ALIA-40b#model-index\" target=\"_blank\">en HuggingFace<\/a>, ALIA-40b es una familia de modelos de IA multilenguaje pre-entrenados de cero. Cuenta con <a rel=\"noopener, noreferrer\" href=\"https:\/\/huggingface.co\/BSC-LT\/ALIA-40b#model-index\" target=\"_blank\"><u>variantes<\/u><\/a> de 2B, 7B y 40B, y est\u00e1 publicado con licencia Open Source. En concreto, con licencia Apache 2.0. Todos sus scripts de entrenamiento, sus ficheros de configuraci\u00f3n y sus pesos est\u00e1n disponibles en el <a rel=\"noopener, noreferrer\" href=\"https:\/\/github.com\/langtech-bsc\/alia\" target=\"_blank\"><u>repositorio de GitHub<\/u><\/a>.<\/p>\n<p><!-- BREAK 24 --><\/p>\n<div class=\"article-asset-image article-asset-normal article-asset-center\">\n<div class=\"asset-content\">\n<div class=\"caption-img \">\n                   <img class=\"centro_sinmarco\" height=\"1390\" width=\"2522\" loading=\"lazy\" decoding=\"async\" sizes=\"auto, 100vw\" fetchpriority=\"high\" srcset=\"https:\/\/i.blogs.es\/aafa58\/captura-de-pantalla-2025-01-23-a-las-10.45.28\/450_1000.jpeg 450w, https:\/\/i.blogs.es\/aafa58\/captura-de-pantalla-2025-01-23-a-las-10.45.28\/650_1200.jpeg 681w,https:\/\/i.blogs.es\/aafa58\/captura-de-pantalla-2025-01-23-a-las-10.45.28\/1024_2000.jpeg 1024w, https:\/\/i.blogs.es\/aafa58\/captura-de-pantalla-2025-01-23-a-las-10.45.28\/1366_2000.jpeg 1366w\" src=\"https:\/\/i.blogs.es\/aafa58\/captura-de-pantalla-2025-01-23-a-las-10.45.28\/450_1000.jpeg\" alt=\"Captura De Pantalla 2025 01 23 A Las 10 45 28\"\/><br \/>\n   <img decoding=\"async\" alt=\"Captura De Pantalla 2025 01 23 A Las 10 45 28\" class=\"centro_sinmarco\" src=\"https:\/\/i.blogs.es\/aafa58\/captura-de-pantalla-2025-01-23-a-las-10.45.28\/450_1000.jpeg\"\/><\/p>\n<p>        <span>La demo de Salamandra-2B est\u00e1 disponible en Hugging Face para tareas de traducci\u00f3n. Es una buena forma de probar esa funci\u00f3n de este modelo.<\/span>\n   <\/div>\n<\/p><\/div>\n<\/div>\n<p>Para su entrenamiento se han usado 6,9 billones de tokens de datos \u201cmuy filtrados\u201d con textos y c\u00f3digo de 35 idiomas europeos. El conjunto de datos de entrenamiento tambi\u00e9n est\u00e1 ampliamente detallado en el <a rel=\"noopener, noreferrer\" href=\"https:\/\/langtech-bsc.gitbook.io\/alia-kit\" target=\"_blank\"><u>ALIA-Kit<\/u><\/a> en la web del proyecto, algo que es especialmente de agradecer y que aporta una transparencia total al proyecto.<\/p>\n<p><!-- BREAK 25 --><\/p>\n<p>Todos los modelos <strong>han sido entrenados en la supercomputadora MareNostrum 5<\/strong> gestionada por el Barcelona Supercomputing Centre &#8211; Centro Nacional de Supercomputaci\u00f3n (BSC-CNS). <a rel=\"noopener, noreferrer\" href=\"https:\/\/bsc.es\/es\/marenostrum\/marenostrum-5\" target=\"_blank\">Consta de 1.120 nodos<\/a>, cada uno de los cuales dispone de cuatro tarjetas NVIDIA Hopper con 64 GB de memoria HBM2, dos procesadores Intel 8460Y Sapphire Rapids, 512 GB de memoria principal (DDR) y 460 GB de almacenamiento.<\/p>\n<p><!-- BREAK 26 --><\/p>\n<p>Los datos de \u201cpre-training\u201d se centraron en darle m\u00e1s importancia al espa\u00f1ol, catal\u00e1n, gallego y vasco. Se redujeron a la mitad los datos y c\u00f3digo en ingl\u00e9s, se duplicaron los de estos idiomas usados en Espa\u00f1a y se mantuvieron igual el resto de idiomas tratados. As\u00ed, el ingl\u00e9s representa el 39,31% de esos datos, por un 16,12% del espa\u00f1ol, un 1,97% del catal\u00e1n, un 0,31% del gallego y un 0,24% del vasco.<\/p>\n<p><!-- BREAK 27 --><\/p>\n<div class=\"article-asset-image article-asset-large article-asset-center\">\n<div class=\"asset-content\">\n<div class=\"caption-img \">\n                   <img class=\"\" height=\"1200\" width=\"2040\" loading=\"lazy\" decoding=\"async\" sizes=\"auto, 100vw\" fetchpriority=\"high\" srcset=\"https:\/\/i.blogs.es\/1fc8a0\/captura-de-pantalla-2025-01-23-a-las-9.17.15\/450_1000.jpeg 450w, https:\/\/i.blogs.es\/1fc8a0\/captura-de-pantalla-2025-01-23-a-las-9.17.15\/650_1200.jpeg 681w,https:\/\/i.blogs.es\/1fc8a0\/captura-de-pantalla-2025-01-23-a-las-9.17.15\/1024_2000.jpeg 1024w, https:\/\/i.blogs.es\/1fc8a0\/captura-de-pantalla-2025-01-23-a-las-9.17.15\/1366_2000.jpeg 1366w\" src=\"https:\/\/i.blogs.es\/1fc8a0\/captura-de-pantalla-2025-01-23-a-las-9.17.15\/450_1000.jpeg\" alt=\"Captura De Pantalla 2025 01 23 A Las 9 17 15\"\/><br \/>\n   <img decoding=\"async\" alt=\"Captura De Pantalla 2025 01 23 A Las 9 17 15\" class=\"\" src=\"https:\/\/i.blogs.es\/1fc8a0\/captura-de-pantalla-2025-01-23-a-las-9.17.15\/450_1000.jpeg\"\/><\/p>\n<p>        <span>Esta es la estructura de los idiomas del \u00abcorpus\u00bb utilizado para entrenar a ALIA.<\/span>\n   <\/div>\n<\/p><\/div>\n<\/div>\n<p>La fuente principal de los datos de entrenamiento es un dataset (conjunto de datos) llamado <a rel=\"noopener, noreferrer\" href=\"https:\/\/huggingface.co\/datasets\/oscar-corpus\/colossal-oscar-1.0\" target=\"_blank\"><u>Colossal OSCAR<\/u><\/a> (Open Source-large Crawled Aggregated coRpus), que representa el 53% del total de los tokens. Hay muchos datasets m\u00e1s, entre los que se encuentran por ejemplo <a rel=\"noopener, noreferrer\" href=\"https:\/\/huggingface.co\/datasets\/projecte-aina\/CATalog\/blob\/main\/README.md\" target=\"_blank\"><u>CATalog<\/u><\/a> (el mayor dataset del mundo en catal\u00e1n) o <a rel=\"noopener, noreferrer\" href=\"https:\/\/aclanthology.org\/2020.lt4gov-1.6\/\" target=\"_blank\"><u>Legal-ES<\/u><\/a>, con datos del BOE, el Senado, o el Congreso.<\/p>\n<p><!-- BREAK 28 --> <\/p>\n<p>Im\u00e1genes | BSC | ALIA<\/p>\n<p>En Xataka | <a class=\"text-outboundlink\" href=\"https:\/\/www.xataka.com\/robotica-e-ia\/supercomputador-marenostrum-5-recibira-200-millones-euros-ue-objetivo-poder-competir-ia\" data-vars-post-title=\"La UE quiere acortar distancias en la carrera por la IA con 750 millones de euros. Y son buenas noticias para Barcelona\" data-vars-post-url=\"https:\/\/www.xataka.com\/robotica-e-ia\/supercomputador-marenostrum-5-recibira-200-millones-euros-ue-objetivo-poder-competir-ia\" target=\"_blank\" rel=\"noopener\">La UE quiere acortar distancias en la carrera por la IA con 750 millones de euros. Y son buenas noticias para Barcelona<\/a><\/p>\n<\/p><\/div>\n<p><a href=\"https:\/\/www.xataka.com\/robotica-e-ia\/asi-alia-modelo-ia-espanola-que-puede-quiere-competir-chatgpt\" class=\" target=\" title=\"hablamos con los creadores de ALIA, la IA 100% espa\u00f1ola, para entender su futuro\" target=\"_blank\" rel=\"noopener\">Ver fuente<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Este lunes se anunci\u00f3 el lanzamiento de los modelos de lenguaje ALIA. La iniciativa lleva a\u00f1os en desarrollo y es ahora cuando comienzan a verse los primeros frutos, a\u00fan modestos, pero prometedores. Para conocer m\u00e1s detalles de ALIA, en Xataka hemos hablado con Marta Villegas (@MartaVillegasM), responsable de la Unidad de Tecnolog\u00edas del Lenguaje del [&hellip;]<\/p>\n","protected":false},"author":2,"featured_media":45873,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9],"tags":[],"class_list":["post-45872","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-tecnologia"],"_links":{"self":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts\/45872","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=45872"}],"version-history":[{"count":0,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts\/45872\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/media\/45873"}],"wp:attachment":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=45872"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=45872"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=45872"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}