{"id":91374,"date":"2025-09-09T09:56:01","date_gmt":"2025-09-09T09:56:01","guid":{"rendered":"https:\/\/enfoquenoticioso.com\/?p=91374"},"modified":"2025-09-09T09:56:01","modified_gmt":"2025-09-09T09:56:01","slug":"ya-sabemos-por-que-alucina-la-ia-por-lo-mismo-que-a-los-estudiantes-les-gusta-hacer-quinielas-con-sus-examenes","status":"publish","type":"post","link":"https:\/\/enfoquenoticioso.com\/?p=91374","title":{"rendered":"Ya sabemos por qu\u00e9 alucina la IA. Por lo mismo que a los estudiantes les gusta hacer quinielas con sus ex\u00e1menes"},"content":{"rendered":"
\n

La IA alucina. Da respuestas que no son ciertas<\/a>. Inventa, y adem\u00e1s lo hace con una soltura sencillamente asombrosa. Las respuestas parecen coherentes gracias a esa aparente coherencia y seguridad, pero lo cierto es que eso puede acabar provocando problemas inquietantes. Por ejemplo, que te recomiende poner pegamento en la pizza<\/a> para que el queso quede bien pegado.<\/p>\n

Las alucinaciones no son un error m\u00edstico<\/strong>. En OpenAI conocen bien el problema, y acaban de publicar un informe<\/a> en el cual analizan las causas de las alucinaciones. Seg\u00fan el estudio, estas surgen por \u00abpresiones estad\u00edsticas\u00bb en las etapas de entrenamiento y evaluaci\u00f3n.\u00a0<\/p>\n

<\/p>\n

\n
\n
\n
\n
\n \"Buenas
\n <\/a>\n <\/div>\n<\/p><\/div>\n<\/p><\/div>\n<\/div>\n

Premio por adivinar<\/strong>. El problema, explican, es que en esos procedimientos se est\u00e1 premiando que la IA \u00abadivine\u00bb en lugar de admitir que puede haber incertidumbre en las respuestas, \u00abcomo cuando un estudiante se enfrenta a una pregunta dif\u00edcil en un examen\u00bb y responde a alguna de las opciones disponibles para ver si tiene suerte y acierta<\/a>. En OpenAI se\u00f1alan c\u00f3mo la IA hace algo parecido en esos casos, y en el entrenamiento se la anima a contestar adivinando la respuesta en lugar de contestar con un sencillo \u00abno lo s\u00e9\u00bb.<\/p>\n

Malditas probabilidades<\/strong>. En la fase de pre-entrenamiento los modelos aprenden la distribuci\u00f3n del lenguaje a partir de un gran corpus de texto. Y es ah\u00ed donde los autores destacan que aunque los datos de origen est\u00e9n completamente libres de errores, las t\u00e9cnicas estad\u00edsticas que se utilizan<\/a> provocan que el modelo pueda cometer errores. La generaci\u00f3n de un texto v\u00e1lido es mucho m\u00e1s compleja que responder a una simple pregunta con un s\u00ed o un no como \u00ab\u00bfes v\u00e1lida esta salida?\u00bb.<\/p>\n

Predecir la palabra tiene trampa<\/strong>. Los modelos de lenguaje aprenden a \u00abhablar\u00bb con el preentrenamiento, en el que aprenden a predecir la pr\u00f3xima palabra de una frase gracias a la ingesta de enormes cantidades de texto. Aqu\u00ed no hay etiquetas \u00abverdadero\/falso\u00bb en cada frase con la que se entrena, solo \u00abejemplos positivos\u00bb (v\u00e1lidos) del lenguaje. Eso hace m\u00e1s dif\u00edcil evitar las alucinaciones, pero en OpenAI creen tener una posible respuesta que de hecho ya han aplicado en GPT-5<\/a>.<\/p>\n

Un nuevo entrenamiento<\/strong>. Para mitigar el problema en OpenAI proponen introducir una clasificaci\u00f3n binaria que ellos llaman \u00abIs-It-Valid\u00bb (IIV, \u00ab\u00bfEs v\u00e1lida?\u00bb), que entrena a un modelo para distinguir entre respuestas v\u00e1lidas y err\u00f3neas.\u00a0<\/p>\n

<\/p>\n

\n
\n \"Captura
\n \"Captura<\/p><\/div>\n<\/div>\n

GPT-5 es algo m\u00e1s humilde<\/strong>. Cuando hay una respuesta correcta, los modelos de OpenAI clasifican las respuestas que da el modelo en tres grupos: correctas, errores, y abstenciones, que reflejan cierta \u00abhumildad\u00bb. Seg\u00fan sus datos, GPT-5 ha mejorado en cuanto a la tasa de alucinaciones porque en sus pruebas se abstiene mucho m\u00e1s (52%) que o4-mini (1%), por ejemplo.\u00a0Aunque o4-mini es ligeramente mejor en respuestas correctas, es mucho peor en tasa de errores<\/a>.<\/p>\n

Los benchmarks premian los aciertos<\/strong>. En el estudio se indica adem\u00e1s c\u00f3mo los benchmarks<\/a> y las tarjetas t\u00e9cnicas de los modelos (model cards) actuales se centran totalmente en la tasa de aciertos. De ese modo, aunque los modelos de IA efectivamente mejoran y aciertan cada vez m\u00e1s, siguen alucinando y no hay apenas datos sobre esas tasas de alucinaciones que deber\u00edan sustituirse por un simple \u00abno lo s\u00e9\u00bb.\u00a0<\/p>\n

<\/p>\n

Soluci\u00f3n f\u00e1cil<\/strong>. Pero como ocurre en los ex\u00e1menes tipo test, hay una forma de evitar que los alumnos jueguen a la quiniela<\/a>: penalizar los errores m\u00e1s que la incertidumbre. En esos ex\u00e1menes contestar bien puede valer un punto pero contestar mal puede restar 0,5 puntos y no contestar valdr\u00eda cero puntos. Si no sabes la respuesta, adivinar te puede salir muy caro. Pues con los modelos de IA, igual.\u00a0<\/p>\n

En Xataka |\u00a0Tenemos un problema con la IA: no hay forma fiable de saber si ChatGPT es mejor que Gemini, Copilot o Claude<\/a><\/p>\n

<\/p><\/div>\n

Ver fuente<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

La IA alucina. Da respuestas que no son ciertas. Inventa, y adem\u00e1s lo hace con una soltura sencillamente asombrosa. Las respuestas parecen coherentes gracias a esa aparente coherencia y seguridad, pero lo cierto es que eso puede acabar provocando problemas inquietantes. Por ejemplo, que te recomiende poner pegamento en la pizza para que el queso […]<\/p>\n","protected":false},"author":2,"featured_media":91375,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9],"tags":[],"class_list":["post-91374","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-tecnologia"],"_links":{"self":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts\/91374","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=91374"}],"version-history":[{"count":0,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts\/91374\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/media\/91375"}],"wp:attachment":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=91374"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=91374"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=91374"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}