{"id":48669,"date":"2025-02-06T23:40:12","date_gmt":"2025-02-06T23:40:12","guid":{"rendered":"https:\/\/enfoquenoticioso.com\/tecnologia\/que-son-los-modelos-destilados-de-inteligencia-artificial-y-la-destilacion-llm\/"},"modified":"2025-02-06T23:40:12","modified_gmt":"2025-02-06T23:40:12","slug":"que-son-los-modelos-destilados-de-inteligencia-artificial-y-la-destilacion-llm","status":"publish","type":"post","link":"https:\/\/enfoquenoticioso.com\/?p=48669","title":{"rendered":"Qu\u00e9 son los modelos destilados de inteligencia artificial y la destilaci\u00f3n LLM"},"content":{"rendered":"<div>\n<p>Vamos a intentar explicarte de una manera sencilla y entendible <strong>qu\u00e9 son los modelos destilados<\/strong> cuando hablamos de inteligencia artificial. Cuando te hablamos de <a class=\"text-outboundlink\" href=\"https:\/\/www.xataka.com\/basics\/como-instalar-deepseek-para-usarlo-forma-local-tu-ordenador-windows-macos-gnu-linux\" data-vars-post-title=\"Instalar DeepSeek en tu ordenador: c\u00f3mo usarlo de forma local en Windows, macOS o GNU\/Linux con Ollama y LM Studio\" data-vars-post-url=\"https:\/\/www.xataka.com\/basics\/como-instalar-deepseek-para-usarlo-forma-local-tu-ordenador-windows-macos-gnu-linux\" target=\"_blank\" rel=\"noopener\">instalar DeepSeek en el ordenador<\/a> mencionamos que hab\u00eda versiones destiladas, y tambi\u00e9n se est\u00e1n creando otras IA que son versiones destilada de otros modelos concretos.<\/p>\n<p><!-- BREAK 1 --> <\/p>\n<p>Tambi\u00e9n nos solemos referir a ella como <em>destilaci\u00f3n LLM<\/em>, para especificar a que nos referimos a <em>Grandes modelos ling\u00fc\u00edsticos<\/em> o <em>Large language model<\/em>, que son esos capaces de procesar el texto, entender lo que escribimos y respondernos con texto. Vamos, como <a class=\"text-outboundlink\" href=\"https:\/\/www.xataka.com\/basics\/chatgpt-que-como-usarlo-que-puedes-hacer-este-chat-inteligencia-artificial\" data-vars-post-title=\"ChatGPT: qu\u00e9 es, c\u00f3mo usarlo y qu\u00e9 puedes hacer con este chat de inteligencia artificial GPT\" data-vars-post-url=\"https:\/\/www.xataka.com\/basics\/chatgpt-que-como-usarlo-que-puedes-hacer-este-chat-inteligencia-artificial\" target=\"_blank\" rel=\"noopener\">ChatGPT<\/a> , <a class=\"text-outboundlink\" href=\"https:\/\/www.xataka.com\/basics\/deepseek-que-como-funciona-que-opciones-tiene-esta-inteligencia-artificial\" data-vars-post-title=\"DeepSeek: qu\u00e9 es, c\u00f3mo funciona y qu\u00e9 opciones tiene esta inteligencia artificial\" data-vars-post-url=\"https:\/\/www.xataka.com\/basics\/deepseek-que-como-funciona-que-opciones-tiene-esta-inteligencia-artificial\" target=\"_blank\" rel=\"noopener\">DeepSeek<\/a>, <a class=\"text-outboundlink\" href=\"https:\/\/www.xataka.com\/basics\/microsoft-copilot-que-como-funciona-este-chat-inteligencia-artificial\" data-vars-post-title=\"Microsoft Copilot: qu\u00e9 es y c\u00f3mo funciona este chat de inteligencia artificial\" data-vars-post-url=\"https:\/\/www.xataka.com\/basics\/microsoft-copilot-que-como-funciona-este-chat-inteligencia-artificial\" target=\"_blank\" rel=\"noopener\">Copilot<\/a>, <a class=\"text-outboundlink\" href=\"https:\/\/www.xataka.com\/basics\/google-gemini-que-como-funciona-diferencias-gpt-cuando-podras-usar-este-modelo-inteligencia-artificial\" data-vars-post-title=\"Google Gemini: qu\u00e9 es, c\u00f3mo funciona, diferencias con GPT y cu\u00e1ndo podr\u00e1s usar este modelo de inteligencia artificial\" data-vars-post-url=\"https:\/\/www.xataka.com\/basics\/google-gemini-que-como-funciona-diferencias-gpt-cuando-podras-usar-este-modelo-inteligencia-artificial\" target=\"_blank\" rel=\"noopener\">Gemini<\/a> o <a class=\"text-outboundlink\" href=\"https:\/\/www.xataka.com\/basics\/que-grok-2-sirve-que-se-diferencia-otros-sistemas-inteligencia-artificial\" data-vars-post-title=\"Qu\u00e9 es Grok 2, para qu\u00e9 sirve y en qu\u00e9 se diferencia con otros sistemas de inteligencia artificial \" data-vars-post-url=\"https:\/\/www.xataka.com\/basics\/que-grok-2-sirve-que-se-diferencia-otros-sistemas-inteligencia-artificial\" target=\"_blank\" rel=\"noopener\">Grok<\/a>.<\/p>\n<p><!-- BREAK 2 --><\/p>\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_81 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Tabla de Contenido<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Alternar tabla de contenidos\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewBox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewBox=\"0 0 24 24\" version=\"1.2\" baseProfile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1 ' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/enfoquenoticioso.com\/?p=48669\/#Que_es_la_destilacion_de_LLM\" >Qu\u00e9 es la destilaci\u00f3n de LLM<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/enfoquenoticioso.com\/?p=48669\/#Pros_y_contras_de_los_modelos_destilados\" >Pros y contras de los modelos destilados<\/a><\/li><\/ul><\/nav><\/div>\n<h2><span class=\"ez-toc-section\" id=\"Que_es_la_destilacion_de_LLM\"><\/span>Qu\u00e9 es la destilaci\u00f3n de LLM<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>La destilaci\u00f3n de modelos de inteligencia artificial es <strong>una t\u00e9cnica para reducir el tama\u00f1o de los modelos<\/strong>, replicando los resultados y el rendimiento que puedes obtener con ellos.<\/p>\n<p><!-- BREAK 3 --> <\/p>\n<p>Aunque estamos acostumbrados a utilizarlos a trav\u00e9s de aplicaciones y p\u00e1ginas web, los modelos LLM <strong>consumen much\u00edsimo espacio y recursos<\/strong>. Nosotros no solemos notarlo porque cuando usas una IA desde una web o app, te conectas a los servidores de las grandes empresas donde este modelo se est\u00e1 ejecutando. Pero si quisieras tener un modelo completo instalado en tu ordenador necesitar\u00edas un procesador potent\u00edsimo y mucho espacio.<\/p>\n<p><!-- BREAK 4 --><\/p>\n<p>La soluci\u00f3n a este problema es crear un modelo destilado, <strong>un modelo entrenado para ocupar menos espacio<\/strong>. Este modelo podr\u00e1 replicar la mayor parte del rendimiento, pero ser\u00e1 m\u00e1s peque\u00f1o y r\u00e1pido, necesitar\u00e1 menos recursos para poder funcionar.<\/p>\n<p><!-- BREAK 5 --><\/p>\n<p>La manera de hacerlo es parecida a un profesor y un alumno. El modelo completo es un profesor que comparte su experiencia y conocimientos con un alumno, transmitiendo conceptos y conocimientos complejos. Mientras, el modelo alumno aprende a imitar lo que se le est\u00e1 ense\u00f1ando de una forma m\u00e1s sencilla y eficaz.<\/p>\n<p><!-- BREAK 6 --> <\/p>\n<p>Con eso, se consiguen modelos m\u00e1s ligeros. <strong>Sus resultados nunca ser\u00e1n tan buenos<\/strong> como los del profesor, pero las caracter\u00edsticas principales y de rendimiento se mantendr\u00e1n. Vamos, que viene a ser una versi\u00f3n Lite, una versi\u00f3n peque\u00f1a pero ligera y vers\u00e1til.<\/p>\n<p><!-- BREAK 7 --><\/p>\n<div class=\"article-asset-image article-asset-normal article-asset-center\">\n<div class=\"asset-content\">\n                   <img class=\"centro_sinmarco\" height=\"644\" width=\"1600\" loading=\"lazy\" decoding=\"async\" sizes=\"auto, 100vw\" fetchpriority=\"high\" srcset=\"https:\/\/i.blogs.es\/7a511b\/image_ca49121d8a\/450_1000.jpeg 450w, https:\/\/i.blogs.es\/7a511b\/image_ca49121d8a\/650_1200.jpeg 681w,https:\/\/i.blogs.es\/7a511b\/image_ca49121d8a\/1024_2000.jpeg 1024w, https:\/\/i.blogs.es\/7a511b\/image_ca49121d8a\/1366_2000.jpeg 1366w\" src=\"https:\/\/i.blogs.es\/7a511b\/image_ca49121d8a\/450_1000.jpeg\" alt=\"Destilar modelos\"\/><br \/>\n   <img decoding=\"async\" alt=\"Destilar modelos\" class=\"centro_sinmarco\" src=\"https:\/\/i.blogs.es\/7a511b\/image_ca49121d8a\/450_1000.jpeg\"\/><\/p><\/div>\n<\/div>\n<p><strong>Existen distintas t\u00e9cnicas<\/strong> para crear modelos destilados, como la destilaci\u00f3n de conocimientos con resultados finales para que el modelo alumno conozca el proceso de toma de decisiones o usar el profesor para generar datos de entrenamiento adicionales. Tambi\u00e9n se destila en capa intermedia para no transferir solo resultados finales sino capas intermedias, o usar varios modelos de profesor para entrenar al alumno.<\/p>\n<p><!-- BREAK 8 --><\/p>\n<p>Por lo general, las empresas privadas que crean modelos de inteligencia artificial tambi\u00e9n se encargan de crear versiones destiladas. Lo normal es que se le a\u00f1ada un nombre espec\u00edfico a la versi\u00f3n destilada, como las \u00abFlash\u00bb de Google Gemini o \u00abMini\u00bb de OpenAI.<\/p>\n<p><!-- BREAK 9 --><\/p>\n<p>En otros casos, sobre todo <strong>en modelos de c\u00f3digo abierto<\/strong>, pueden usar el nombre del modelo maestro para la destilada pero a\u00f1adiendo como apellido el modelos que se ha usado como alumno. Vamos, que se puede coger un modelo m\u00e1s peque\u00f1o como Qwen y usarlo para crear una versi\u00f3n destilada de DeepSeek que se llame DeepSeek Qwen, o DeepSeek Distill Qwen, para indicar que es destilado.<\/p>\n<p><!-- BREAK 10 --> <\/p>\n<div class=\"article-asset article-asset-normal article-asset-center\">\n<div class=\"desvio-container\">\n<div class=\"desvio\">\n<div class=\"desvio-figure js-desvio-figure\">\n    <a href=\"https:\/\/www.xataka.com\/basics\/que-ollama-como-usarlo-para-instalar-tu-ordenador-modelos-inteligencia-artificial-como-llama-deepseek\" class=\"pivot-outboundlink\" data-vars-post-title=\"Qu\u00e9 es Ollama y c\u00f3mo usarlo para instalar en tu ordenador modelos de inteligencia artificial como Llama, DeepSeek y m\u00e1s\" target=\"_blank\" rel=\"noopener\"><br \/>\n     <img loading=\"lazy\" decoding=\"async\" alt=\"Qu\u00e9 es Ollama y c\u00f3mo usarlo para instalar en tu ordenador modelos de inteligencia artificial como Llama, DeepSeek y m\u00e1s\" width=\"375\" height=\"142\" src=\"https:\/\/i.blogs.es\/09ac7d\/ollama\/375_142.jpeg\"\/><br \/>\n    <\/a>\n   <\/div>\n<\/p><\/div>\n<\/p><\/div>\n<\/div>\n<h2><span class=\"ez-toc-section\" id=\"Pros_y_contras_de_los_modelos_destilados\"><\/span>Pros y contras de los modelos destilados<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Un modelo completo de inteligencia artificial tiene miles de millones de par\u00e1metros, y la <strong>cantidad de espacio y de potencia de computaci\u00f3n<\/strong> para ejecutarlos es enorme. En un ordenador dom\u00e9stico necesitar\u00e1s tecnolog\u00eda y potencia punta, adem\u00e1s de mucho espacio, y a nivel de una empresas como OpenAI o Google que ofrecen sus IA por web o app, necesitas much\u00edsimos recursos en sus servidores.<\/p>\n<p><!-- BREAK 11 --><\/p>\n<p>Por eso, crear modelos destilados ayuda a reducir el tama\u00f1o y que ocupen menos espacio. Pero tambi\u00e9n permite hacer que funcionen m\u00e1s r\u00e1pido, y que sean necesarios menos costes computacionales. Eso hace que Google u OpenAI puedan ofrecerte <strong>versiones \u00abpeque\u00f1as\u00bb gratis<\/strong> de sus principales modelos, dejando las m\u00e1s completas para usuarios de pago. Porque mantener las completas requiere dinero e inversi\u00f3n.<\/p>\n<p><!-- BREAK 12 --><\/p>\n<p>Y si estamos hablando de un modelo de c\u00f3digo abierto, tener versiones destiladas <strong>permite que t\u00fa y yo podamos instalarlos<\/strong> y usarlos en nuestro ordenador sin tener que gastar miles de euros en un nuevo procesador, en tarjetas gr\u00e1ficas o almacenamiento interno.<\/p>\n<p><!-- BREAK 13 --><\/p>\n<p>Tambi\u00e9n se pueden usar estas t\u00e9cnicas para crear modelos de inteligencia artificial a menor coste de lo que supondr\u00eda realizar un entrenamiento completo. Para eso, coges modelos ya creados y entrenas a uno nuevo a partir de sus datos y sus conocimientos, y no tienes que realizar el proceso desde cero.<\/p>\n<p><!-- BREAK 14 --><\/p>\n<p>Sin embargo, los modelos destilados no tienen la misma cantidad de datos y par\u00e1metros, a menudo son inferiores en recursos, y <strong>pueden surgir m\u00e1s fallos y alucinaciones<\/strong>.<\/p>\n<p><!-- BREAK 15 --> <\/p>\n<p><strong>Te pondr\u00e9 un ejemplo<\/strong>. Si sigues nuestra gu\u00eda para <a class=\"text-outboundlink\" href=\"https:\/\/www.xataka.com\/basics\/como-instalar-deepseek-para-usarlo-forma-local-tu-ordenador-windows-macos-gnu-linux\" data-vars-post-title=\"Instalar DeepSeek en tu ordenador: c\u00f3mo usarlo de forma local en Windows, macOS o GNU\/Linux con Ollama y LM Studio\" data-vars-post-url=\"https:\/\/www.xataka.com\/basics\/como-instalar-deepseek-para-usarlo-forma-local-tu-ordenador-windows-macos-gnu-linux\" target=\"_blank\" rel=\"noopener\">instalar DeepSeek en el ordenador<\/a>, ver\u00e1s que en determinado punto tienes varias versiones. Tienes versiones <em>8b<\/em>, versiones <em>14b<\/em>, o la versi\u00f3n completa de <em>671b<\/em>. Este n\u00famero hace referencia a sus caracteres, y cuanto menor sea menos recursos necesitas, pero m\u00e1s destilado y peque\u00f1o ser\u00e1 el modelo.<\/p>\n<p><!-- BREAK 16 --><\/p>\n<p>Por eso, en este ejemplo, si instalas un DeepSeek 8b y un 14b, ver\u00e1s que <strong>el modelo inferior tiene m\u00e1s alucinaciones<\/strong> y te da respuestas menos precisas. Por lo tanto, cuanto mejores resultados tengas mayor tendr\u00e1 que ser el modelo, y menos destilado tendr\u00e1 que estar.<\/p>\n<p><!-- BREAK 17 --><\/p>\n<div class=\"article-asset article-asset-normal article-asset-center\">\n<div class=\"desvio-container\">\n<div class=\"desvio\">\n<div class=\"desvio-figure js-desvio-figure\">\n    <a href=\"https:\/\/www.xataka.com\/basics\/o3-mini-que-como-funciona-como-usar-nuevo-modelo-inteligencia-artificial-gratis-razonamiento-chatgpt\" class=\"pivot-outboundlink\" data-vars-post-title=\"o3-mini: qu\u00e9 es, c\u00f3mo funciona y c\u00f3mo usar el nuevo modelo de inteligencia artificial gratis con razonamiento de ChatGPT \" target=\"_blank\" rel=\"noopener\"><br \/>\n     <img loading=\"lazy\" decoding=\"async\" alt=\"o3-mini: qu\u00e9 es, c\u00f3mo funciona y c\u00f3mo usar el nuevo modelo de inteligencia artificial gratis con razonamiento de ChatGPT \" width=\"375\" height=\"142\" src=\"https:\/\/i.blogs.es\/415a47\/razona\/375_142.png\"\/><br \/>\n    <\/a>\n   <\/div>\n<\/p><\/div>\n<\/p><\/div>\n<\/div>\n<p>Lo mismo pasa con los modelos comerciales. Si est\u00e1s usando un Gemini 2.0 Flash, los resultados ser\u00e1n peores que el Gemini 2.0 completo, \u00a0y lo mismo con los o3 y o3 Mini de OpenAI. Sin embargo, la versi\u00f3n Flash o Mini es la que se ofrece a todos los usuarios gratis, mientras que la completa es para los usuarios de pago, para as\u00ed poder asumir el coste de mantener estos modelos en funcionamiento.<\/p>\n<p><!-- BREAK 18 --><\/p>\n<p>En Xataka Basics | <a class=\"text-outboundlink\" href=\"https:\/\/www.xataka.com\/basics\/paginas-prompts-16-webs-comunidades-gratis-para-encontrar-ideas-para-tus-prompts-buscar-consejo-para-mejorarlos\" data-vars-post-title=\"P\u00e1ginas de prompts: 16 webs y comunidades gratis para encontrar ideas para tus prompts y buscar consejo para mejorarlos \" data-vars-post-url=\"https:\/\/www.xataka.com\/basics\/paginas-prompts-16-webs-comunidades-gratis-para-encontrar-ideas-para-tus-prompts-buscar-consejo-para-mejorarlos\" target=\"_blank\" rel=\"noopener\">P\u00e1ginas de prompts: 16 webs y comunidades gratis para encontrar ideas para tus prompts y buscar consejo para mejorarlos<\/a><\/p>\n<\/p><\/div>\n<p><a href=\"https:\/\/www.xataka.com\/basics\/que-modelos-destilados-inteligencia-artificial-destilacion-llm\" class=\" target=\" title=\"Qu\u00e9 son los modelos destilados de inteligencia artificial y la destilaci\u00f3n LLM\" target=\"_blank\" rel=\"noopener\">Ver fuente<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Vamos a intentar explicarte de una manera sencilla y entendible qu\u00e9 son los modelos destilados cuando hablamos de inteligencia artificial. Cuando te hablamos de instalar DeepSeek en el ordenador mencionamos que hab\u00eda versiones destiladas, y tambi\u00e9n se est\u00e1n creando otras IA que son versiones destilada de otros modelos concretos. Tambi\u00e9n nos solemos referir a ella [&hellip;]<\/p>\n","protected":false},"author":2,"featured_media":48670,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9],"tags":[],"class_list":["post-48669","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-tecnologia"],"_links":{"self":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts\/48669","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=48669"}],"version-history":[{"count":0,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts\/48669\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/media\/48670"}],"wp:attachment":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=48669"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=48669"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=48669"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}