{"id":57941,"date":"2025-03-29T16:52:45","date_gmt":"2025-03-29T16:52:45","guid":{"rendered":"https:\/\/enfoquenoticioso.com\/?p=57941"},"modified":"2025-03-29T16:52:45","modified_gmt":"2025-03-29T16:52:45","slug":"la-ia-es-una-gran-caja-negra-que-nos-impedia-saber-como-pensaba-por-dentro-hasta-ahora","status":"publish","type":"post","link":"https:\/\/enfoquenoticioso.com\/?p=57941","title":{"rendered":"La IA es una gran caja negra que nos imped\u00eda saber c\u00f3mo \u201cpensaba\u201d por dentro. Hasta ahora"},"content":{"rendered":"
\n

La IA no tienen ni idea de lo que dice<\/a> ni por qu\u00e9 lo dice. Cuando nos responde casi todo tiene sentido \u2014incluso sus meteduras de pata\u2014, pero solo nos lo parece a nosotros, porque las m\u00e1quinas no entienden lo que hacen. Simplemente lo hacen. No sabemos c\u00f3mo piensan por dentro las IAs, pero eso parece poder cambiar pronto.<\/p>\n

<\/p>\n

Abriendo la caja negra<\/strong>. Los responsables de Anthropic<\/a>, empresa creadora del chatbot Claude, afirman<\/a> haber hecho un descubrimiento importante que permitir\u00e1 comenzar a entender c\u00f3mo funcionan los LLM. Estos modelos funcionan como grandes cajas negras: sabemos qu\u00e9 les damos de partida (un prompt) y qu\u00e9 obtenemos como resultado, pero sigue siendo un misterio qu\u00e9 pasa dentro de esa \u00abcaja negra\u00bb y c\u00f3mo los modelos acaban generando el contenido que generan.<\/p>\n

<\/p>\n

\n
\n
\n
\n
\n \"Si
\n <\/a>\n <\/div>\n<\/p><\/div>\n<\/p><\/div>\n<\/div>\n

Por qu\u00e9 es importante saber c\u00f3mo \u00abpiensa\u00bb la IA<\/strong>. La inescrutabilidad de los modelos de IA genera problemas importantes. Por ejemplo, hace dif\u00edcil prever si \u00abalucinar\u00e1n\u00bb o cometer\u00e1n errores<\/a>, y por qu\u00e9 los han cometido. Precisamente saber c\u00f3mo funcionan por dentro permitir\u00eda entender mejor esas respuestas incorrectas para corregir esos problemas y mejorar el comportamiento de estos modelos.<\/p>\n

<\/p>\n

M\u00e1s seguros, m\u00e1s fiables<\/strong>. Saber por qu\u00e9 las IAs hacen lo que hacen como lo hacen ser\u00eda tambi\u00e9n crucial para poder fiarnos mucho m\u00e1s de ellas. Estos modelos permitir\u00edan por lo tanto dar muchas m\u00e1s garant\u00edas en \u00e1mbitos como la privacidad y protecci\u00f3n de los datos, algo que puede ser una barrera para que las empresas los utilicen.<\/p>\n

<\/p>\n

Y los modelos de razonamiento, qu\u00e9<\/strong>. La aparici\u00f3n de modelos como o1 o DeepSeek R1 ha permitido que durante esos procesos de \u00abrazonamiento\u00bb la IA muestre aparentemente qu\u00e9 est\u00e1 haciendo en cada momento. Esa lista de minitareas que va completando (\u00abbuscando en la web\u00bb, \u00abanalizando la informaci\u00f3n\u00bb, etc.) son \u00fatiles, pero la llamada \u00abcadena de pensamiento\u00bb no refleja realmente c\u00f3mo est\u00e1n procesando estos modelos nuestras peticiones.<\/p>\n

<\/p>\n

\n
\n
\n \"Math\"\/
\n \"Math\"<\/p>\n

\u00bfC\u00f3mo calcula Claude cu\u00e1nto son 36+59? El mecanismo no est\u00e1 del todo claro, pero en Anthropic comienzan a descifrarlo. Fuente: Anthropic.<\/span>\n <\/div>\n<\/p><\/div>\n<\/div>\n

Descifrando c\u00f3mo piensa la IA<\/strong>. Los expertos de Anthropic han creado una herramienta que trata de descifrar esa caja negra. Es algo as\u00ed como los esc\u00e1nares de resonancia magn\u00e9tica que estudian el cerebro humano y permiten detectar qu\u00e9 regiones del cerebro desempe\u00f1an su papel en ciertos \u00e1mbitos cognitivos.<\/p>\n

<\/p>\n

Respuestas a largo plazo<\/strong>. Aunque modelos como Claude est\u00e1n entrenados para predecir la siguiente palabra en una frase, en algunas tareas parece que Claude hace una especie de planificaci\u00f3n a m\u00e1s largo plazo de la tarea. Por ejemplo, si le pedimos que escriba un poema Claude primero encuentra palabras que se ajustan al tema del poema y luego vuelve atr\u00e1s para crear las frases que permitir\u00e1n generar los versos y las rimas del poema.<\/p>\n

<\/p>\n

Un idioma para pensar, muchos para traducir<\/strong>. Aunque Claude tiene soporte multiidioma, los expertos de Anthropic revelan que su funcionamiento al manejar varios idiomas no es \u00abpensar\u00bb en esos idiomas directamente. En lugar de eso usa conceptos que son comunes en varios idiomas, as\u00ed que parece \u00abrazonar\u00bb en un mismo idioma<\/a> y luego traduce la salida al idioma deseado.<\/p>\n

<\/p>\n

Los modelos hacen trampas<\/strong>. Esa investigaci\u00f3n tambi\u00e9n revel\u00f3 que los modelos pueden mentir sobre lo que est\u00e1n haciendo<\/a> e incluso pueden fingir que est\u00e1n pensando cuando en realidad ya tienen la respuesta a nuestra petici\u00f3n. Uno de los desarrolladores de Claude, Josh Batson, explicaba c\u00f3mo \u00abaunque [el modelo] afirma haber realizado un c\u00e1lculo, nuestras t\u00e9cnicas de interpretabilidad no revelan ning\u00fan indicio de que se haya producido\u00bb.<\/p>\n

<\/p>\n

C\u00f3mo funciona el descifrado de Anthropic<\/strong>. El m\u00e9todo de Anthropic hace uso del llamado Cross-Layer Transcoder<\/a> (CLT) que trabaja analizando conjuntos de caracter\u00edsticas interpretables en lugar de tratar de analizar \u00abneuronas\u00bb individuales. Por ejemplo, esas caracter\u00edsticas podr\u00edan ser todas las conjugaciones de un verbo concreto. Eso permite a los investigadores identificar \u00abcircuitos\u00bb completos de neuronas que tienden a unirse en esos procesos.<\/p>\n

<\/p>\n

Un buen comienzo<\/strong>. En el pasado OpenAI ya trat\u00f3 de lograr descubrir c\u00f3mo pensaban sus modelos de IA<\/a>, pero no tuvo mucho \u00e9xito. El trabajo de Anthropic tiene limitaciones notables, y por ejemplo no sabe por qu\u00e9 los LLM prestan m\u00e1s atenci\u00f3n a ciertas partes del prompt que a otras. Aun as\u00ed seg\u00fan Batson \u00aben un a\u00f1o o dos sabremos m\u00e1s de c\u00f3mo piensan estos modelos de lo que sabemos sobre c\u00f3mo piensa la gente\u00bb.<\/p>\n

<\/p>\n

En Xataka | Universal Music acaba de tropezar en su demanda contra Anthropic por copyright: una victoria para las tecnol\u00f3gicas de IA<\/a><\/p>\n<\/p><\/div>\n

Ver fuente<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

La IA no tienen ni idea de lo que dice ni por qu\u00e9 lo dice. Cuando nos responde casi todo tiene sentido \u2014incluso sus meteduras de pata\u2014, pero solo nos lo parece a nosotros, porque las m\u00e1quinas no entienden lo que hacen. Simplemente lo hacen. No sabemos c\u00f3mo piensan por dentro las IAs, pero eso […]<\/p>\n","protected":false},"author":2,"featured_media":57942,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9],"tags":[],"class_list":["post-57941","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-tecnologia"],"_links":{"self":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts\/57941","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=57941"}],"version-history":[{"count":0,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts\/57941\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/media\/57942"}],"wp:attachment":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=57941"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=57941"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=57941"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}