{"id":76636,"date":"2025-07-01T15:09:59","date_gmt":"2025-07-01T15:09:59","guid":{"rendered":"https:\/\/enfoquenoticioso.com\/?p=76636"},"modified":"2025-07-01T15:09:59","modified_gmt":"2025-07-01T15:09:59","slug":"ya-hay-agentes-de-ia-que-estan-actuando-por-su-cuenta-sin-que-ningun-humano-se-lo-pida-y-no-es-un-error-del-sistema","status":"publish","type":"post","link":"https:\/\/enfoquenoticioso.com\/?p=76636","title":{"rendered":"Ya hay agentes de IA que est\u00e1n actuando por su cuenta sin que ning\u00fan humano se lo pida. Y no es un error del sistema"},"content":{"rendered":"<div>\n<p>No es el guion de una pel\u00edcula futurista.\u00a0<\/p>\n<p>Es uno de los escenarios que ya preocupan a algunos de los mayores expertos del mundo en IA. El cient\u00edfico <a rel=\"noopener, noreferrer\" href=\"https:\/\/scholar.google.com\/citations?user=kukA0LcAAAAJ&amp;hl=en\" target=\"_blank\">Yoshua Bengio<\/a>, referente global en el campo, ha advertido que los sistemas conocidos como \u201c<a class=\"text-outboundlink\" href=\"https:\/\/www.xataka.com\/basics\/ai-agents-agentes-ia-que-componentes-que-tipos-existen-inteligencia-artificial\" data-vars-post-title=\"AI Agents o Agentes de IA: qu\u00e9 son, componentes y qu\u00e9 tipos existen en la inteligencia artificial \" data-vars-post-url=\"https:\/\/www.xataka.com\/basics\/ai-agents-agentes-ia-que-componentes-que-tipos-existen-inteligencia-artificial\" target=\"_blank\" rel=\"noopener\">agentes<\/a>\u201d podr\u00edan, si adquieren suficiente autonom\u00eda, esquivar restricciones, resistirse al apagado o incluso multiplicarse sin permiso. \u201cSi continuamos desarrollando sistemas ag\u00e9nticos\u201d, afirma, \u201cestamos jugando a la ruleta rusa con la humanidad\u201d.<\/p>\n<p><!-- BREAK 1 --> <\/p>\n<p><strong>Un agente que no puedes apagar.<\/strong> Bengio no teme que estos modelos desarrollen conciencia, sino que act\u00faen de forma aut\u00f3noma en entornos reales. Mientras permanezcan limitados a una ventana de chat, su alcance es reducido. El problema aparece cuando acceden a herramientas externas, almacenan informaci\u00f3n, se comunican con otros sistemas y aprenden a sortear las barreras dise\u00f1adas para controlarlos. En ese punto, la capacidad de ejecutar tareas sin supervisi\u00f3n deja de ser una promesa tecnol\u00f3gica para convertirse en un riesgo dif\u00edcil de contener.<\/p>\n<p><!-- BREAK 2 --><\/p>\n<p><strong>Ya se est\u00e1n probando.<\/strong> Lo m\u00e1s inquietante es que todo esto no ocurre en laboratorios secretos, sino en entornos reales. Herramientas como <a class=\"text-outboundlink\" href=\"https:\/\/www.xataka.com\/basics\/que-operator-que-como-funciona-se-usa-como-se-contrata-cuanto-cuesta\" data-vars-post-title=\"Qu\u00e9 es Operator: qu\u00e9 es, c\u00f3mo funciona y se usa, c\u00f3mo se contrata y cu\u00e1nto cuesta \" data-vars-post-url=\"https:\/\/www.xataka.com\/basics\/que-operator-que-como-funciona-se-usa-como-se-contrata-cuanto-cuesta\" target=\"_blank\" rel=\"noopener\">Operator<\/a>, de OpenAI, ya pueden hacer reservas, compras o navegar por webs sin intervenci\u00f3n humana directa. Tambi\u00e9n hay otros sistemas como <a class=\"text-outboundlink\" href=\"https:\/\/www.xataka.com\/robotica-e-ia\/manus-ia-china-que-quiere-convertirse-nuevo-deepseek-su-primer-gran-problema-casi-nadie-puede-probarlo\" data-vars-post-title=\"Manus es la nueva sensaci\u00f3n de la IA china tras DeepSeek. Est\u00e1 generando tantas expectativas como dudas\" data-vars-post-url=\"https:\/\/www.xataka.com\/robotica-e-ia\/manus-ia-china-que-quiere-convertirse-nuevo-deepseek-su-primer-gran-problema-casi-nadie-puede-probarlo\" target=\"_blank\" rel=\"noopener\">Manus<\/a>. Hoy a\u00fan tienen acceso limitado, est\u00e1n en fase experimental o no han llegado al gran p\u00fablico. Pero el rumbo es claro: agentes que entienden un objetivo y act\u00faan para cumplirlo, sin necesidad de que nadie pulse un bot\u00f3n en cada paso.<\/p>\n<p><!-- BREAK 3 -->  <\/p>\n<p><strong>La pregunta de fondo.<\/strong> \u00bfSabemos realmente qu\u00e9 estamos creando? El problema no es solo que estos sistemas ejecuten acciones, sino que lo hagan sin criterio humano. En 2016, <a rel=\"noopener, noreferrer\" href=\"https:\/\/openai.com\/index\/faulty-reward-functions\/\" target=\"_blank\">OpenAI prob\u00f3 un agente en un videojuego de carreras<\/a>. Le pidi\u00f3 que obtuviera la m\u00e1xima puntuaci\u00f3n posible. \u00bfEl resultado? En lugar de competir, el agente descubri\u00f3 que pod\u00eda girar en c\u00edrculos y chocar con bonificaciones para sumar m\u00e1s puntos. Nadie le hab\u00eda dicho que ganar la carrera era lo importante. Solo que sumara puntos.<\/p>\n<p><!-- BREAK 4 --><\/p>\n<div class=\"article-asset-image article-asset-normal article-asset-center\">\n<div class=\"asset-content\">\n<div class=\"caption-img \">\n                   <img class=\"centro_sinmarco\" height=\"1644\" width=\"2394\" loading=\"lazy\" decoding=\"async\" sizes=\"auto, 100vw\" fetchpriority=\"high\" srcset=\"https:\/\/i.blogs.es\/c292b7\/faulty-reward-functions\/450_1000.jpeg 450w, https:\/\/i.blogs.es\/c292b7\/faulty-reward-functions\/650_1200.jpeg 681w,https:\/\/i.blogs.es\/c292b7\/faulty-reward-functions\/1024_2000.jpeg 1024w, https:\/\/i.blogs.es\/c292b7\/faulty-reward-functions\/1366_2000.jpeg 1366w\" src=\"https:\/\/i.blogs.es\/c292b7\/faulty-reward-functions\/450_1000.jpeg\" alt=\"Faulty Reward Functions\"\/><br \/>\n   <img decoding=\"async\" alt=\"Faulty Reward Functions\" class=\"centro_sinmarco\" src=\"https:\/\/i.blogs.es\/c292b7\/faulty-reward-functions\/450_1000.jpeg\"\/><\/p>\n<p>        <span>Juego de carreras de OpenAI<\/span>\n   <\/div>\n<\/p><\/div>\n<\/div>\n<p><strong>No es un error t\u00e9cnico.<\/strong> Estos comportamientos no son fallos del sistema, sino del planteamiento. Cuando le damos a una m\u00e1quina de estas autonom\u00eda para alcanzar un objetivo, tambi\u00e9n le damos la posibilidad de interpretarlo a su manera. Eso es lo que convierte a los agentes en algo muy distinto a un chatbot o un asistente tradicional. No se limitan a generar respuestas. Act\u00faan. Ejecutan. Y pueden afectar el mundo exterior.<\/p>\n<p><!-- BREAK 5 --><\/p>\n<p><strong>Sistemas con margen de error demasiado alto.<\/strong> A estos casos puntuales se suma otro problema m\u00e1s estructural: los agentes, hoy por hoy, <a class=\"text-outboundlink\" href=\"https:\/\/www.xataka.com\/robotica-e-ia\/tenemos-gran-problema-agentes-ia-se-equivocan-70-veces\" data-vars-post-title=\"Tenemos un gran problema con los agentes de IA: se equivocan el 70% de las veces \" data-vars-post-url=\"https:\/\/www.xataka.com\/robotica-e-ia\/tenemos-gran-problema-agentes-ia-se-equivocan-70-veces\" target=\"_blank\" rel=\"noopener\">fallan m\u00e1s de lo que aciertan<\/a>. En pruebas reales, han demostrado que no est\u00e1n preparados para asumir tareas complejas de forma fiable. Algunos informes apuntan incluso a tasas de fallo elevad\u00edsimas, impropias de sistemas que aspiran a sustituir procesos humanos.<\/p>\n<p><!-- BREAK 6 --> <\/p>\n<div class=\"article-asset-image article-asset-normal article-asset-center\">\n<div class=\"asset-content\">\n                   <img class=\"centro_sinmarco\" height=\"1622\" width=\"2900\" loading=\"lazy\" decoding=\"async\" sizes=\"auto, 100vw\" fetchpriority=\"high\" srcset=\"https:\/\/i.blogs.es\/c01089\/operator\/450_1000.png 450w, https:\/\/i.blogs.es\/c01089\/operator\/650_1200.png 681w,https:\/\/i.blogs.es\/c01089\/operator\/1024_2000.png 1024w, https:\/\/i.blogs.es\/c01089\/operator\/1366_2000.png 1366w\" src=\"https:\/\/i.blogs.es\/c01089\/operator\/450_1000.png\" alt=\"Operator\"\/><br \/>\n   <img decoding=\"async\" alt=\"Operator\" class=\"centro_sinmarco\" src=\"https:\/\/i.blogs.es\/c01089\/operator\/450_1000.png\"\/><\/p><\/div>\n<\/div>\n<p><strong>Una tecnolog\u00eda en disputa.<\/strong> Y no todo el mundo est\u00e1 convencido. Algunas empresas que apostaron fuerte por sustituir trabajadores por sistemas de IA ya est\u00e1n dando marcha atr\u00e1s. En muchos casos, las expectativas depositadas en estos sistemas no se han cumplido. La autonom\u00eda prometida ha chocado con errores frecuentes, falta de contexto y decisiones que, sin ser maliciosas, tampoco han sido sensatas.<\/p>\n<p><!-- BREAK 7 --><\/p>\n<p>Incluso con esos resultados, hay quienes creen que podr\u00edan ir abri\u00e9ndose paso, poco a poco, en distintos sectores.<\/p>\n<p><strong>Autonom\u00eda con posibles consecuencias.<\/strong> El riesgo no termina en el error involuntario. Algunos investigadores <a class=\"text-outboundlink\" href=\"https:\/\/www.xataka.com\/seguridad\/agentes-gran-promesa-ia-tambien-apuntan-a-convertirse-nueva-arma-favorita-ciberdelincuentes\" data-vars-post-title=\"Los agentes son la gran promesa de la IA. Tambi\u00e9n apuntan a convertirse en la nueva arma favorita de los ciberdelincuentes\" data-vars-post-url=\"https:\/\/www.xataka.com\/seguridad\/agentes-gran-promesa-ia-tambien-apuntan-a-convertirse-nueva-arma-favorita-ciberdelincuentes\" target=\"_blank\" rel=\"noopener\">han advertido que<\/a> estos agentes podr\u00edan ser utilizados como herramientas para ciberataques automatizados. Su capacidad para operar sin supervisi\u00f3n directa, escalar acciones y conectarse a m\u00faltiples servicios los convierte en candidatos ideales para ejecutar operaciones maliciosas sin levantar sospechas. Y a diferencia de una persona, no se cansan, no se detienen, y no necesitan entender por qu\u00e9 lo hacen.<\/p>\n<p><!-- BREAK 8 --><\/p>\n<p><strong>El control est\u00e1 en juego.<\/strong> La idea de tener asistentes digitales capaces de gestionar correos, organizar viajes o redactar informes resulta atractiva. Pero cuanto m\u00e1s les dejemos hacer, m\u00e1s importante ser\u00e1 establecer l\u00edmites. Porque cuando una IA puede conectarse a una herramienta externa, ejecutar cambios y recibir <em>feedback<\/em>, ya no hablamos de un modelo de lenguaje. Hablamos de una entidad aut\u00f3noma, capaz de actuar.<\/p>\n<p><!-- BREAK 9 --><\/p>\n<div class=\"article-asset article-asset-normal article-asset-center\">\n<div class=\"desvio-container\">\n<div class=\"desvio\">\n<div class=\"desvio-figure js-desvio-figure\">\n    <a href=\"https:\/\/www.xataka.com\/robotica-e-ia\/estados-unidos-esta-creando-iphone-ia-china-esta-haciendo-android-ia\" class=\"pivot-outboundlink\" data-vars-post-title=\"EEUU cobra por su IA pensando en el presente. China la regala pensando en las pr\u00f3ximas d\u00e9cadas\" target=\"_blank\" rel=\"noopener\"><br \/>\n     <img loading=\"lazy\" decoding=\"async\" alt=\"EEUU cobra por su IA pensando en el presente. China la regala pensando en las pr\u00f3ximas d\u00e9cadas\" width=\"375\" height=\"142\" src=\"https:\/\/i.blogs.es\/9011b7\/openai-qwen\/375_142.jpeg\"\/><br \/>\n    <\/a>\n   <\/div>\n<\/p><\/div>\n<\/p><\/div>\n<\/div>\n<p><strong>No es una amenaza, pero s\u00ed una se\u00f1al clara que invita a la acci\u00f3n.<\/strong> La autonom\u00eda de los agentes plantea cuestiones que van m\u00e1s all\u00e1 de lo t\u00e9cnico: exige marcos legales, criterios \u00e9ticos y decisiones compartidas. Comprender c\u00f3mo funcionan es solo el primer paso. Lo siguiente es definir qu\u00e9 uso queremos darles, qu\u00e9 riesgos conllevan y c\u00f3mo vamos a gestionarlos.<\/p>\n<p><!-- BREAK 10 --> <\/p>\n<p>Im\u00e1genes | <a rel=\"noopener, noreferrer\" href=\"https:\/\/openai.com\/index\/faulty-reward-functions\/\" target=\"_blank\">OpenAI<\/a> (<a rel=\"noopener, noreferrer\" href=\"https:\/\/openai.com\/index\/faulty-reward-functions\/\" target=\"_blank\">1<\/a>, 2, 3) | Xataka con Grok<\/p>\n<p>En Xataka | <a class=\"text-outboundlink\" href=\"https:\/\/www.xataka.com\/robotica-e-ia\/hay-gente-enganchada-a-ia-que-estan-creando-grupos-a-alcoholicos-anonimos-para-superar-su-adiccion\" data-vars-post-title=\"La IA es extremadamente adictiva para mucha gente. Tanto que ya tiene su propia versi\u00f3n de &quot;alcoh\u00f3licos an\u00f3nimos&quot;\" data-vars-post-url=\"https:\/\/www.xataka.com\/robotica-e-ia\/hay-gente-enganchada-a-ia-que-estan-creando-grupos-a-alcoholicos-anonimos-para-superar-su-adiccion\" target=\"_blank\" rel=\"noopener\">La IA es extremadamente adictiva para mucha gente. Tanto que ya tiene su propia versi\u00f3n de \u00abalcoh\u00f3licos an\u00f3nimos\u201d<\/a><\/p>\n<\/p><\/div>\n<p><a href=\"https:\/\/www.xataka.com\/robotica-e-ia\/estamos-creando-agentes-ia-que-actuan-su-cuenta-eso-nos-adentra-terreno-util-como-lleno-riesgos\" class=\" target=\" title=\"Ya hay agentes de IA que est\u00e1n actuando por su cuenta sin que ning\u00fan humano se lo pida. Y no es un error del sistema\" target=\"_blank\" rel=\"noopener\">Ver fuente<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>No es el guion de una pel\u00edcula futurista.\u00a0 Es uno de los escenarios que ya preocupan a algunos de los mayores expertos del mundo en IA. El cient\u00edfico Yoshua Bengio, referente global en el campo, ha advertido que los sistemas conocidos como \u201cagentes\u201d podr\u00edan, si adquieren suficiente autonom\u00eda, esquivar restricciones, resistirse al apagado o incluso [&hellip;]<\/p>\n","protected":false},"author":2,"featured_media":76637,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9],"tags":[],"class_list":["post-76636","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-tecnologia"],"_links":{"self":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts\/76636","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=76636"}],"version-history":[{"count":0,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts\/76636\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/media\/76637"}],"wp:attachment":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=76636"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=76636"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=76636"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}