{"id":59879,"date":"2025-04-08T17:35:42","date_gmt":"2025-04-08T17:35:42","guid":{"rendered":"https:\/\/enfoquenoticioso.com\/?p=59879"},"modified":"2025-04-08T17:35:42","modified_gmt":"2025-04-08T17:35:42","slug":"el-nuevo-modelo-de-ia-de-meta-saco-muy-buena-puntuacion-en-los-benchmarks-quizas-demasiado-buena","status":"publish","type":"post","link":"https:\/\/enfoquenoticioso.com\/?p=59879","title":{"rendered":"El nuevo modelo de IA de Meta sac\u00f3 muy buena puntuaci\u00f3n en los benchmarks. Quiz\u00e1s demasiado buena"},"content":{"rendered":"
\n

Llev\u00e1bamos mucho tiempo esperando por la nueva familia Llama 4 de modelos de inteligencia artificial de Meta. El pasado fin de semana la empresa al fin desvel\u00f3 esos modelos y todo parec\u00eda prometedor<\/a>. El problema es que la forma de anunciarlos est\u00e1 generando cierta pol\u00e9mica y una inc\u00f3moda conversaci\u00f3n: la de que quiz\u00e1s han hecho trampas en los benchmarks.<\/p>\n

<\/p>\n

Llama 4 parece estupendo<\/strong>. Nada m\u00e1s aparecer en escena, los nuevos modelos Llama 4 Meta sorprend\u00edan por su excelente rendimiento en benchmarks. Se situaban en segundo lugar en el ranking LMArena<\/a>, solo por debajo de Gemini 2.5 Pro Experimental. Sin embargo pronto aparecieron las suspicacias, porque la versi\u00f3n de Llama 4 que est\u00e1 disponible para todos los p\u00fablicos no era la misma que se mostraba en ese ranking.<\/p>\n

<\/p>\n

\n
\n
\n
\n
\n \"Las
\n <\/a>\n <\/div>\n<\/p><\/div>\n<\/p><\/div>\n<\/div>\n

\u00bfVersi\u00f3n trucada?<\/strong> Como indicaban en el anuncio<\/a> de Meta, esa versi\u00f3n de Llama 4 era una \u00abexperimental\u00bb que obtuvo un ELO de 1.417 puntos en LMArena<\/a>, mientras que Gemini 2.5 Pro Experimental hab\u00eda obtenido 1.439 puntos. Algunos expertos apuntaron a que esa versi\u00f3n experimental de Llama 4 era una versi\u00f3n que hac\u00eda trampas y hab\u00eda sido entrenada espec\u00edficamente con conjuntos de datos utilizados en benchmarks para poder puntuar bien en ellas.<\/p>\n

<\/p>\n

No hemos hecho trampas<\/strong>.Ahmad Al-Dahle es el m\u00e1ximo responsable de la divisi\u00f3n de IA generativa en Meta, y por tanto est\u00e1 al frente del lanzamiento de Llama 4. Este directivo ha negado de forma tajante<\/a> los rumores que apuntan a que Meta habr\u00eda hecho trampas para obtener mejor puntuaciones en los benchmarks. Dichos rumores \u00abson falsos y nunca har\u00edamos eso\u00bb, ha destacado.<\/p>\n

<\/p>\n

Pero s\u00ed estaba \u00aboptimizada\u00bb<\/strong>. Como indican en TechCrunch<\/a>, en ese anuncio oficial Meta s\u00ed apuntaba a que el modelo experimental de Llama 4 que hab\u00eda puntuado muy bien estaba \u00aboptimizado para la conversaci\u00f3n\u00bb. En LMArena indicaron<\/a> que Meta deber\u00eda haber explicado mejor qu\u00e9 tipo de modelo hab\u00eda enviado para incluir en el ranking.<\/p>\n

<\/p>\n

Igual Llama 4 no es tan bueno<\/strong>. Algunos expertos que analizaron<\/a> el rendimiento de Llama 4 con pruebas sint\u00e9ticas o de forma convencional ya avisaron<\/a> de que el rendimiento no parec\u00eda ser tan bueno<\/a> como afirman en Meta. El modelo disponible p\u00fablicamente mostraba<\/a> un comportamiento que no se ajustaba<\/a> a la calidad que apuntaba su puntuaci\u00f3n en LMArena.<\/p>\n

<\/p>\n

No del todo consistente<\/strong>. El propio Al-Dahle confirmaba que algunos usuarios estaban viendo resultados de \u00abcalidad distinta\u00bb de Maverick y Scout, las dos versiones de Llama 4 disponibles, dependiendo del proveedor. \u00abEsperamos que se tarde algunos d\u00edas en que las implementaciones p\u00fablicas se ajusten\u00bb, y a\u00f1adi\u00f3 que seguir\u00edan trabajando para corregir posibles errores.<\/p>\n

<\/p>\n

Un lanzamiento raro<\/strong>. Que Meta lanzara este modelo un s\u00e1bado es extra\u00f1o, pero al ser preguntado por ello Mark Zuckerberg respondi\u00f3<\/a> que \u00abes cuando estuvo listo\u00bb. Que adem\u00e1s el modelo usado en LMArena no sea el mismo que la gente puede usar es tambi\u00e9n preocupante, y puede que comience a hacernos desconfiar de los benchmarks y de las empresas que los usan para promocionar sus productos. No es la primera vez<\/a> que esto pasa<\/a> ni mucho menos, y no ser\u00e1 la \u00faltima.<\/p>\n

<\/p>\n

En Xataka | OpenAI est\u00e1 quemando el dinero como si no hubiera ma\u00f1ana. La pregunta es cu\u00e1nto podr\u00e1 aguantar as\u00ed<\/a><\/p>\n<\/p><\/div>\n

Ver fuente<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

Llev\u00e1bamos mucho tiempo esperando por la nueva familia Llama 4 de modelos de inteligencia artificial de Meta. El pasado fin de semana la empresa al fin desvel\u00f3 esos modelos y todo parec\u00eda prometedor. El problema es que la forma de anunciarlos est\u00e1 generando cierta pol\u00e9mica y una inc\u00f3moda conversaci\u00f3n: la de que quiz\u00e1s han hecho […]<\/p>\n","protected":false},"author":2,"featured_media":59880,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9],"tags":[],"class_list":["post-59879","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-tecnologia"],"_links":{"self":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts\/59879","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=59879"}],"version-history":[{"count":0,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts\/59879\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/media\/59880"}],"wp:attachment":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=59879"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=59879"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=59879"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}