{"id":77280,"date":"2025-07-04T12:59:57","date_gmt":"2025-07-04T12:59:57","guid":{"rendered":"https:\/\/enfoquenoticioso.com\/?p=77280"},"modified":"2025-07-04T12:59:57","modified_gmt":"2025-07-04T12:59:57","slug":"un-estudio-descubre-que-la-ia-no-comprende-lo-que-dice","status":"publish","type":"post","link":"https:\/\/enfoquenoticioso.com\/?p=77280","title":{"rendered":"Un estudio descubre que la IA no comprende lo que dice"},"content":{"rendered":"<div>\n<p>Un estudio realizado por la Universidad de Harvard, la Universidad de Chicago y el Instituto Tecnol\u00f3gico de Massachussets descubri\u00f3 que <strong>los modelos de IA no entienden lo que dicen<\/strong>. Los investigadores encontraron que casi todos los modelos de lenguaje pueden generar respuestas correctas, pero no son capaces de aplicar ese conocimiento en la pr\u00e1ctica.<\/p>\n<p>En una versi\u00f3n preliminar de un manuscrito <a target=\"_blank\" rel=\"noreferrer noopener\" href=\"https:\/\/arxiv.org\/html\/2506.21521v2#S6\"><u>publicado en <em>arXiv<\/em><\/u><\/a>, los cient\u00edficos definieron este comportamiento como <strong>potemkins<\/strong>, o <strong>una ilusi\u00f3n de comprensi\u00f3n por parte de los modelos de lenguaje grande<\/strong>. De acuerdo con el estudio, la mayor\u00eda de las IA creen que entienden, pero en realidad no tienen una representaci\u00f3n coherente de los conceptos.<\/p>\n<p>La palabra potemkin est\u00e1 asociada a las aldeas falsas del mismo nombre que construy\u00f3 el general Grigory Potemkin para impresionar a Catalina II en 1787. Los investigadores utilizan este t\u00e9rmino cuando <strong>una IA carece de la capacidad de comprender conceptos<\/strong> del mismo modo que lo hacemos los humanos.<\/p>\n<p>En el estudio se efectuaron 32 pruebas en tres dominios: t\u00e9cnicas literarias, teor\u00eda de juegos y sesgos cognitivos. Los cient\u00edficos evaluaron si la IA pod\u00eda definir un concepto, pero fallaba al usarlo en tareas de clasificaci\u00f3n, generaci\u00f3n y edici\u00f3n. Para cada prueba, los cient\u00edficos usaron modelos como GPT-4o, Claude 3.5 Sonnet, DeepSeek-V3, DeepSeek-R1, Qwen2-VL y Llama 3.3.<\/p>\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" data-recalc-dims=\"1\" decoding=\"async\" width=\"1236\" height=\"548\" alt=\"Estudio muestra los potemkin, o ilusi\u00f3n de comprensi\u00f3n en los modelos de IA.\" class=\"wp-image-1850700 perfmatters-lazy\" src=\"https:\/\/i0.wp.com\/imgs.hipertextual.com\/wp-content\/uploads\/2025\/07\/ejemplo-potemkin.jpg?resize=1236%2C548&amp;quality=70&amp;strip=all&amp;ssl=1\" srcset=\"https:\/\/i0.wp.com\/imgs.hipertextual.com\/wp-content\/uploads\/2025\/07\/ejemplo-potemkin.jpg?w=1236&amp;quality=70&amp;strip=all&amp;ssl=1 1236w, https:\/\/i0.wp.com\/imgs.hipertextual.com\/wp-content\/uploads\/2025\/07\/ejemplo-potemkin.jpg?resize=800%2C355&amp;quality=70&amp;strip=all&amp;ssl=1 800w, https:\/\/i0.wp.com\/imgs.hipertextual.com\/wp-content\/uploads\/2025\/07\/ejemplo-potemkin.jpg?resize=768%2C341&amp;quality=70&amp;strip=all&amp;ssl=1 768w, https:\/\/i0.wp.com\/imgs.hipertextual.com\/wp-content\/uploads\/2025\/07\/ejemplo-potemkin.jpg?resize=1200%2C532&amp;quality=70&amp;strip=all&amp;ssl=1 1200w, https:\/\/i0.wp.com\/imgs.hipertextual.com\/wp-content\/uploads\/2025\/07\/ejemplo-potemkin.jpg?resize=1024%2C454&amp;quality=70&amp;strip=all&amp;ssl=1 1024w, https:\/\/i0.wp.com\/imgs.hipertextual.com\/wp-content\/uploads\/2025\/07\/ejemplo-potemkin.jpg?resize=780%2C346&amp;quality=70&amp;strip=all&amp;ssl=1 780w, https:\/\/i0.wp.com\/imgs.hipertextual.com\/wp-content\/uploads\/2025\/07\/ejemplo-potemkin.jpg?resize=400%2C177&amp;quality=70&amp;strip=all&amp;ssl=1 400w, https:\/\/i0.wp.com\/imgs.hipertextual.com\/wp-content\/uploads\/2025\/07\/ejemplo-potemkin.jpg?w=370&amp;quality=70&amp;strip=all&amp;ssl=1 370w\" data-sizes=\"(max-width: 1236px) 100vw, 1236px\"\/><img loading=\"lazy\" data-recalc-dims=\"1\" decoding=\"async\" width=\"1236\" height=\"548\" src=\"https:\/\/i0.wp.com\/imgs.hipertextual.com\/wp-content\/uploads\/2025\/07\/ejemplo-potemkin.jpg?resize=1236%2C548&amp;quality=70&amp;strip=all&amp;ssl=1\" alt=\"Estudio muestra los potemkin, o ilusi\u00f3n de comprensi\u00f3n en los modelos de IA.\" class=\"wp-image-1850700\" srcset=\"https:\/\/i0.wp.com\/imgs.hipertextual.com\/wp-content\/uploads\/2025\/07\/ejemplo-potemkin.jpg?w=1236&amp;quality=70&amp;strip=all&amp;ssl=1 1236w, https:\/\/i0.wp.com\/imgs.hipertextual.com\/wp-content\/uploads\/2025\/07\/ejemplo-potemkin.jpg?resize=800%2C355&amp;quality=70&amp;strip=all&amp;ssl=1 800w, https:\/\/i0.wp.com\/imgs.hipertextual.com\/wp-content\/uploads\/2025\/07\/ejemplo-potemkin.jpg?resize=768%2C341&amp;quality=70&amp;strip=all&amp;ssl=1 768w, https:\/\/i0.wp.com\/imgs.hipertextual.com\/wp-content\/uploads\/2025\/07\/ejemplo-potemkin.jpg?resize=1200%2C532&amp;quality=70&amp;strip=all&amp;ssl=1 1200w, https:\/\/i0.wp.com\/imgs.hipertextual.com\/wp-content\/uploads\/2025\/07\/ejemplo-potemkin.jpg?resize=1024%2C454&amp;quality=70&amp;strip=all&amp;ssl=1 1024w, https:\/\/i0.wp.com\/imgs.hipertextual.com\/wp-content\/uploads\/2025\/07\/ejemplo-potemkin.jpg?resize=780%2C346&amp;quality=70&amp;strip=all&amp;ssl=1 780w, https:\/\/i0.wp.com\/imgs.hipertextual.com\/wp-content\/uploads\/2025\/07\/ejemplo-potemkin.jpg?resize=400%2C177&amp;quality=70&amp;strip=all&amp;ssl=1 400w, https:\/\/i0.wp.com\/imgs.hipertextual.com\/wp-content\/uploads\/2025\/07\/ejemplo-potemkin.jpg?w=370&amp;quality=70&amp;strip=all&amp;ssl=1 370w\" sizes=\"auto, (max-width: 1236px) 100vw, 1236px\"\/><figcaption class=\"wp-element-caption\">Ejemplos de Potemkin. Imagen: <em><a href=\"https:\/\/arxiv.org\/pdf\/2506.21521v2\" target=\"_blank\" rel=\"noopener\">Comprensi\u00f3n Potemkin en grandes modelos ling\u00fc\u00edsticos<\/a><\/em><\/figcaption><\/figure>\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_81 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Tabla de Contenido<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Alternar tabla de contenidos\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewBox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewBox=\"0 0 24 24\" version=\"1.2\" baseProfile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1 ' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/enfoquenoticioso.com\/?p=77280\/#La_IA_cree_que_comprende_pero_no_tiene_idea_de_lo_que_habla\" >La IA cree que comprende, pero no tiene idea de lo que habla<\/a><\/li><\/ul><\/nav><\/div>\n<h2 class=\"wp-block-heading\" id=\"h-la-ia-cree-que-comprende-pero-no-tiene-idea-de-lo-que-habla\"><span class=\"ez-toc-section\" id=\"La_IA_cree_que_comprende_pero_no_tiene_idea_de_lo_que_habla\"><\/span>La IA cree que comprende, pero no tiene idea de lo que habla<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Tras evaluar los resultados, los investigadores encontraron que la IA <strong>define correctamente los conceptos un 94,2% de las veces, pero falla m\u00e1s del 55 % al aplicarlos<\/strong>. Por ejemplo, GPT-4o pudo explicar c\u00f3mo funciona la rima ABAB, pero no fue capaz de aplicarla en un poema. En otra prueba, Claude 3.5 defini\u00f3 el concepto de sesgo de manera acertada, aunque fall\u00f3 al identificar textos sesgados.<\/p>\n<p>El nuevo estudio ha abierto una caja de Pandora en las pruebas de los modelos de lenguaje. Compa\u00f1\u00edas como OpenAI, Anthropic o Google suelen publicar tablas con los resultados que obtienen sus IA en diversos <em>benchmarks<\/em>. No obstante, estas pruebas est\u00e1n dise\u00f1adas para evaluar humanos y no siempre son v\u00e1lidas para los modelos.<\/p>\n<p>\u00ab<em>La existencia de los potemkins significa que el comportamiento que implicar\u00eda comprensi\u00f3n en los humanos no se aplica en los LLM<\/em>\u00ab, dijo Keyon Vafa, uno de los coautores del estudio. \u00ab<em>Esto significa que necesitamos nuevas formas de evaluar los LLM m\u00e1s all\u00e1 de que respondan a las mismas preguntas que se usan para evaluar a los humanos, o encontrar formas de eliminar este comportamiento de ellos<\/em>\u00ab.<\/p>\n<p>Los autores presentar\u00e1n los resultados del estudio durante la pr\u00f3xima edici\u00f3n de la Conferencia Internacional sobre Aprendizaje Autom\u00e1tico. Los hallazgos podr\u00edan<strong> ayudar a dise\u00f1ar pruebas que aseguren que la IA de verdad es inteligente<\/strong>. A la larga, esto abrir\u00eda la puerta para el desarrollo de la <a href=\"https:\/\/hipertextual.com\/2025\/06\/meta-superintelligence-labs-division-ia-openai\" target=\"_blank\" rel=\"noopener\">superinteligencia artificial<\/a>.<\/p>\n<section id=\"block-157\" class=\"below-content widget widget_block\"\/>\t<\/div>\n<p><a href=\"https:\/\/hipertextual.com\/2025\/07\/estudio-determina-ia-no-comprende-lo-que-dice\" class=\" target=\" title=\"Un estudio descubre que la IA no comprende lo que dice\" target=\"_blank\" rel=\"noopener\">Ver fuente<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Un estudio realizado por la Universidad de Harvard, la Universidad de Chicago y el Instituto Tecnol\u00f3gico de Massachussets descubri\u00f3 que los modelos de IA no entienden lo que dicen. Los investigadores encontraron que casi todos los modelos de lenguaje pueden generar respuestas correctas, pero no son capaces de aplicar ese conocimiento en la pr\u00e1ctica. En [&hellip;]<\/p>\n","protected":false},"author":2,"featured_media":60323,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9],"tags":[],"class_list":["post-77280","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-tecnologia"],"_links":{"self":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts\/77280","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=77280"}],"version-history":[{"count":0,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts\/77280\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/media\/60323"}],"wp:attachment":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=77280"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=77280"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=77280"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}