{"id":76436,"date":"2025-06-30T18:29:59","date_gmt":"2025-06-30T18:29:59","guid":{"rendered":"https:\/\/enfoquenoticioso.com\/?p=76436"},"modified":"2025-06-30T18:29:59","modified_gmt":"2025-06-30T18:29:59","slug":"tenemos-un-gran-problema-con-los-agentes-de-ia-se-equivocan-el-70-de-las-veces","status":"publish","type":"post","link":"https:\/\/enfoquenoticioso.com\/?p=76436","title":{"rendered":"Tenemos un gran problema con los agentes de IA: se equivocan el 70% de las veces"},"content":{"rendered":"

\n \"Tenemos un gran problema con los agentes de IA: se equivocan el 70% de las veces \"\n <\/p>\n

Los agentes de IA<\/a> fallan m\u00e1s que una escopeta de feria. Eso es al menos lo que revela un reciente estudio<\/a> de investigadores de la Universidad Carnegie Mellon (CMU) y la Universidad de Duke. Estos expertos han analizado el comportamiento de varios de ellos y los han puesto a prueba para comprobar si esto es un \u00abmucho ruido y pocas nueces\u00bb. Y de momento lo es<\/a>.<\/p>\n

<\/p>\n

La inspiraci\u00f3n<\/strong>. Graham Neubig, profesor de CMU, explicaba<\/a> en The Register c\u00f3mo la inspiraci\u00f3n hab\u00eda sido un art\u00edculo de 2023<\/a> de OpenAI. En \u00e9l se hablaba de qu\u00e9 tipos de trabajos podr\u00edan ser reemplazados por sistemas de IA, pero como \u00e9l dec\u00eda \u00absu metodolog\u00eda fue b\u00e1sicamente preguntarle a ChatGPT si esos trabajos podr\u00edan ser automatizados\u00bb. En ese estudio precisamente quisieron comprobarlo pidi\u00e9ndole a diversos agentes de IA que intentaran completar tareas que te\u00f3ricamente deber\u00edan realizar profesionales de esos trabajos.<\/p>\n

<\/p>\n

\n
\n
\n
\n
\n \"Todo empieza pidiéndole una cosa a una IA. Cuando la IA se lo pide a otras IA comienza el caos\"
\n <\/a>\n <\/div>\n
\n
\n En Xataka<\/a>\n <\/div>\n

Todo empieza pidi\u00e9ndole una cosa a una IA. Cuando la IA se lo pide a otras IA comienza el caos<\/a>\n <\/div>\n<\/p><\/div>\n<\/p><\/div>\n<\/div>\n

TheAgentCompany<\/strong>. Para realizar su estudio los investigadores crearon una compa\u00f1\u00eda ficticia a la que llamaron The Agent Company<\/a> y la usaron para que distintos modelos ag\u00e9nticos de IA trataran de completar diversas tareas. Esos sistemas deb\u00edan ser capaces de utilizar el acceso a varios servicios como GitLab, Owncloud o RocketChat para ir realizando dichos trabajos, pero su rendimiento fue decepcionante.<\/p>\n

<\/p>\n

Un 70% de errores<\/strong>. Los investigadores usaron dos entornos de prueba llamados OpenHands CodeAct<\/a> y OWL-Roleplay<\/a> y en ellos fueron probando los modelos de IA m\u00e1s importantes hoy en d\u00eda. El mejor de todos ellos a d\u00eda de hoy es Claude Sonnet 4, que logr\u00f3 resolver un 33,1% de las tareas propuestas. Por detr\u00e1s est\u00e1n Claude 3.7 Sonnet (30,9%), Gemini 2.5 Pro (30,3%) y, mucho m\u00e1s lejos, unos desastrosos GPT-4o (8,6%), Llama-3.1-405b (7,4%) , Qwen-2.5-72b (5,7%) o Amazon Nova Pro v1.0 (1,7%). En el mejor de los casos los modelos pueden completar el 30% de las tareas pedidas, pero fallan en el 70%. O lo que es lo mismo: mucho ruido y pocas nueces seg\u00fan estos benchmarks.<\/p>\n

<\/p>\n

Agentes incapaces<\/strong>. Durante esas pruebas los investigadores observaron diversos tipos de fallo en esos procesos de las tareas. As\u00ed, hubo agentes neg\u00e1ndose a enviar un mensaje a colegas que formaban parte de la tarea, hubo tambi\u00e9n agentes incapaces de gestionar ventanas de popup durante las sesiones de navegaci\u00f3n, e incluso agentes que enga\u00f1aron o hicieron trampas. En uno de los casos, destacaron, un agente que deb\u00eda consultar a una persona en RocketChat (una alternativa Open Source a Slack) no la encontr\u00f3, as\u00ed que \u00able cambi\u00f3 el nombre a otro usuario para darle el del usuario con el que deb\u00eda contactar\u00bb.<\/p>\n

<\/p>\n

Pero van mejorando<\/strong>. Aun con esos problemas, la evoluci\u00f3n va siendo positiva en el rendimiento de estos agentes de IA. Neubig y su equipo probaron un agente software que era capaz de resolver cerca del 24% de las tareas que involucraban la navegaci\u00f3n web, la programaci\u00f3n y algunas tareas relacionadas. Seis meses despu\u00e9s probaron una nueva versi\u00f3n y lograron un 34% de tareas completadas.<\/p>\n

<\/p>\n

\n
\n
\n
\n

{\u00abvideoId\u00bb:\u00bbx8hj0vy\u00bb,\u00bbautoplay\u00bb:false,\u00bbtitle\u00bb:\u00bbChatGPT: Lo que NO SAB\u00cdAS que POD\u00cdAS HACER | TRUCOS\u00bb, \u00abtag\u00bb:\u00bb\u00bb, \u00abduration\u00bb:\u00bb790″}<\/p><\/div>\n<\/p><\/div>\n<\/p><\/div>\n<\/div>\n

Imperfectos pero \u00fatiles<\/strong>. No solo eso: estos investigadores apuntaron a que aun fallando tanto, los agentes de IA pueden seguir siendo \u00fatiles. En ciertos contextos, como el de la programaci\u00f3n, una sugerencia parcial de c\u00f3digo con el que resolver cierto fragmetno de un programa puede acabar siendo la base de una soluci\u00f3n en la que luego el desarrollador pueda trabajar.<\/p>\n

<\/p>\n

Cuidado donde los usas<\/strong>. Pero claro, que los agentes cometan tantos errores puede ser un problema en escenarios m\u00e1s sensibles a estos problemas. As\u00ed, si encargamos a un agente que escriba correos y los env\u00eda a las personas incorrectas, el resultado podr\u00eda ser un desastre. Hay soluciones a la vista, como la creciente adopci\u00f3n del Model Context Protocol<\/a> (MCP) que facilita la interacci\u00f3n entre servicios y modelos de IA para que la comunicaci\u00f3n sea mucho m\u00e1s precisa y se puedan mitigar esos errores durante la ejecuci\u00f3n aut\u00f3noma de tareas.<\/p>\n

<\/p>\n

Un benchmark que hace quedar mal a los modelos de IA<\/strong>. Para este experto una de las grandes decepciones es que las empresas que desarrollan modelos de IA no parecen interesadas en utilizarlo como m\u00e9trica para mejorar sus desarrollos. Neubig sospechaba que \u00abquiz\u00e1s es que es demasiado dif\u00edcil y les hace quedar mal\u00bb. Es algo similar a lo que pasa con el benchmark ARC-AGI2<\/a>: es un test tan dif\u00edcil para las IAs que hoy en d\u00eda el mejor de todos los modelos<\/a> de IA que tratan de superarlo es o3, que logra \u2014atenci\u00f3n\u2014 un 3% de tareas completadas.<\/p>\n

<\/p>\n

En Salesforce coinciden<\/strong>. Ese estudio anterior se complementa con otro realizado<\/a> por un grupo de investigadores de Salesforce. Crearon un benchmark propio espec\u00edficamente destinado a comprobar c\u00f3mo se comprobar\u00edan diversos modelos de IA a la hora de controlar tareas t\u00edpicas en un CRM como los que desarrolla la firma. Su proyecto, llamado CRMArena-Pro, pone a prueba a esos agentes de IA en \u00e1reas como el departamento de ventas o de soporte.<\/p>\n

<\/p>\n

\n
\n
\n
\n
\n \"Si la pregunta es si la IA es ya tan buena como la inteligencia humana, la respuesta es: resuelve este puzzle\"
\n <\/a>\n <\/div>\n
\n
\n En Xataka<\/a>\n <\/div>\n

Si la pregunta es si la IA es ya tan buena como la inteligencia humana, la respuesta es: resuelve este puzzle<\/a>\n <\/div>\n<\/p><\/div>\n<\/p><\/div>\n<\/div>\n

De sustituir a trabajadores, nada<\/strong>. En sus conclusiones esos investigadores revelan c\u00f3mo los modelos de IA \u00abconsiguen tasas de \u00e9xito globalmente modestas, t\u00edpicamente alrededor del 58% en escenarios con un solo turno [de ejecuci\u00f3n], pero con el rendimiento degrad\u00e1ndose significativamente a aproximadamente el 35% en escenarios multiturno\u00bb. De hecho, explicaban, \u00ablos agentes no est\u00e1n en general bien preparados ni tienen las cualificaciones esenciales para tareas complejas\u00bb. El riesgo del que hablan algunos expertos, con un gran impacto de la IA en diversos puestos de trabajo<\/a>, parece precipitado.<\/p>\n

<\/p>\n

Un futuro complicado<\/strong>. A estos discretos resultados se une la predicci\u00f3n de la consultora Gartner. Seg\u00fan sus estudios<\/a>, m\u00e1s del 40% de los proyectos de agentes de IA en desarrollo acabar\u00e1n siendo cancelados a finales de 2027. La principal responsable del informe, Anushree Verma, indicaba que \u00abEn la actualidad, la mayor\u00eda de los proyectos de IA ag\u00e9ntica son experimentos o pruebas de concepto en fase inicial, impulsados principalmente por la publicidad y a menudo mal aplicados\u00bb. El mensaje es claro: hay demasiadas expectativas en relaci\u00f3n a los agentes de IA, pero el estado actual de la tecnolog\u00eda demuestra que hoy por hoy su aplicaci\u00f3n es problem\u00e1tica y limitada.<\/p>\n

<\/p>\n

Imagen | Sigmund<\/a><\/p>\n

En Xataka | Una startup de IA con seis meses de vida y seis empleados se ha vendido por 80 millones de d\u00f3lares. Vibe-coding, por supuesto<\/a><\/p>\n

(function() {
\n window._JS_MODULES = window._JS_MODULES || {};
\n var headElement = document.getElementsByTagName(‘head’)[0];
\n if (_JS_MODULES.instagram) {
\n var instagramScript = document.createElement(‘script’);
\n instagramScript.src=\u00bbhttps:\/\/platform.instagram.com\/en_US\/embeds.js\u00bb;
\n instagramScript.async = true;
\n instagramScript.defer = true;
\n headElement.appendChild(instagramScript);
\n }
\n })();<\/p>\n

–
La noticia
\n
\n Tenemos un gran problema con los agentes de IA: se equivocan el 70% de las veces <\/em>
\n <\/a>
\n fue publicada originalmente en
\n
\n Xataka <\/strong>
\n <\/a>
\n por
\n Javier Pastor
\n <\/a>
\n . <\/p>\n