{"id":40560,"date":"2024-12-26T14:27:12","date_gmt":"2024-12-26T14:27:12","guid":{"rendered":"https:\/\/enfoquenoticioso.com\/tecnologia\/las-ia-se-estan-volviendo-muy-listas-y-crear-pruebas-para-ponerlas-en-aprietos-esta-siendo-cada-vez-mas-dificil\/"},"modified":"2024-12-26T14:27:12","modified_gmt":"2024-12-26T14:27:12","slug":"las-ia-se-estan-volviendo-muy-listas-y-crear-pruebas-para-ponerlas-en-aprietos-esta-siendo-cada-vez-mas-dificil","status":"publish","type":"post","link":"https:\/\/enfoquenoticioso.com\/?p=40560","title":{"rendered":"Las IA se est\u00e1n volviendo muy listas. Y crear pruebas para ponerlas en aprietos est\u00e1 siendo cada vez m\u00e1s dif\u00edcil"},"content":{"rendered":"
\n

El modelo o3 de OpenAI es demasiado listo<\/a>. Al menos, para las pruebas y los benchmarks dise\u00f1ados hasta ahora. En programaci\u00f3n, matem\u00e1ticas y razonamiento llega hasta donde ning\u00fan otro modelo de IA hab\u00eda llegado, y eso ha demostrado que necesitamos nuevas formas de poner a prueba la IA. Y en eso est\u00e1n los expertos.<\/p>\n

<\/p>\n

Los ex\u00e1menes normales se han quedado cortos<\/strong>. A principios de 2023 ChatGPT ya era capaz de superar los ex\u00e1menes de derecho y los de un MBA<\/a>, aunque con un aprobado raspado. Como se\u00f1alan en Time<\/a>, casi dos a\u00f1os despu\u00e9s el avance de los modelos es tan enorme que esas pruebas dise\u00f1adas para humanos se han quedado cortas, pero tambi\u00e9n lo han hecho los benchmarks que hasta ahora serv\u00edan para evaluar sus prestaciones. Era algo que ya se ve\u00eda venir.<\/p>\n

<\/p>\n

\n
\n
\n
\n
\n \"Tenemos
\n <\/a>\n <\/div>\n<\/p><\/div>\n<\/p><\/div>\n<\/div>\n

Una evoluci\u00f3n vertiginosa<\/strong>. En 2010 la profesora de Stanford Fei-Fei Li desarroll\u00f3 un benchmark para clasificar im\u00e1genes llamado ImageNet Large Scale Visual Recognition Challenge. Cinco a\u00f1os despu\u00e9s un sistema de visi\u00f3n artificial logr\u00f3 superar el reto<\/a>. En 2017 DeepMind logr\u00f3 con AlphaGo aplastar al mejor jugador del mundo de Go<\/a> y nos record\u00f3 el hito de DeepBlue. Parec\u00eda que retos como esos iban a tardar m\u00e1s en ser superados por las m\u00e1quinas, pero la evoluci\u00f3n de los sistemas de IA ha sido fren\u00e9tica, y ahora los modernos modelos de IA est\u00e1n mejorando de forma a\u00fan m\u00e1s vertiginosa.<\/p>\n

<\/p>\n

FrontierMath<\/strong>. Epoch AI, una ONG de investigaci\u00f3n, ha acabado desarrollando por ejemplo un nuevo conjunto de pruebas matem\u00e1ticas llamado FrontierMath<\/a>. Hasta hace muy poco, los modelos de IA como GPT-4 o Claude no pasaban del 2% en este test, un comportamiento que demostraba que a\u00fan hab\u00eda much\u00edsimo margen de mejora. El lanzamiento de o3 ha cambiado las cosas: de repente ha logrado un rendimiento del 25,2%, algo que el director de Epoch AI, Jaime Sevilla, describ\u00eda<\/a> como \u00abmucho mejor de lo que nuestro equipo esperaba tan poco despu\u00e9s de lanzarlo\u00bb.<\/p>\n

<\/p>\n

\n
\n
\n \"Frontiermath
\n \"Frontiermath<\/p>\n

Los modelos de IA superaban con bastante solvencia los benchmarks matem\u00e1ticos anteriores. Con FrontierMath la cosa cambia. Al menos, de momento, porque o3 ya logra una puntuaci\u00f3n del 25,2% (no mostrado este diagrama, donde los modelos solo lograban llegar al 2%). Fuente: Epoch AI.<\/span>\n <\/div>\n<\/p><\/div>\n<\/div>\n

Pruebas m\u00e1s exigentes<\/strong>. Este benchmark consiste en unos 300 problemas matem\u00e1ticos de distinto nivel. Han sido dise\u00f1ados por un equipo de m\u00e1s de 60 matem\u00e1ticos entre los cuales est\u00e1 Terence Tao, ganador de la medalla Fields. Aunque hay algunos problemas m\u00e1s asequibles, el 25% de ellos est\u00e1n calificados como especialmente complejos. De hecho, solo los mejores expertos podr\u00edan resolverlos, y tardar\u00edan incluso d\u00edas en hacerlo.<\/p>\n

<\/p>\n

Humanity’s Last Exam<\/strong>. Otra de las pruebas recientes es Humanity’s Last Exam<\/a>, un examen con entre 20 y 50 veces m\u00e1s preguntas que FrontierMath, pero que cubren muchas m\u00e1s disciplinas. Los problemas a resolver han sido recolectados de la comunidad acad\u00e9mica, y para ser incluida, una pregunta debe haber sido no respondida correctamente por los modelos actuales. Se espera que dicha prueba se lance a principios de 2025.<\/p>\n

<\/p>\n

La paradoja de Moravec<\/strong>. Pero tan interesante o m\u00e1s que esas pruebas avanzadas son las que juegan con el concepto que maneja la paradoja de Moravec<\/a>. Cosas que son triviales para los seres humanos pero que las m\u00e1quinas no logran resolver.<\/p>\n

<\/p>\n

ARC-AGI<\/strong>. Es justo lo que hace el benchmark ARC-AGI<\/a>, creada por el investigador Fran\u00e7ois Chollet en 2019 y que en su \u00faltima evoluci\u00f3n plantea pruebas con las que la mayor\u00eda de modelos lo pasan realmente mal. O1 mini solo lograba un 7,8% de puntuaci\u00f3n, pero de nuevo o3 ha sorprendido a todos y alcanza un 87,5% en su modo m\u00e1s avanzado (muy caro) y un 75,7% en el modo de bajo consumo, un hito realmente excepcional. Por supuesto, los creadores de ARC-AGI ya trabajan en una nueva versi\u00f3n mucho m\u00e1s exigente que creen que los modelos de IA tardar\u00e1n mucho en superar.<\/p>\n

<\/p>\n

Imagen | Crymedy7<\/a> con Midjourney<\/p>\n

En Xataka | OpenAI est\u00e1 quemando el dinero como si no hubiera ma\u00f1ana. La pregunta es cu\u00e1nto podr\u00e1 aguantar as\u00ed<\/a><\/p>\n<\/p><\/div>\n

Ver fuente<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

El modelo o3 de OpenAI es demasiado listo. Al menos, para las pruebas y los benchmarks dise\u00f1ados hasta ahora. En programaci\u00f3n, matem\u00e1ticas y razonamiento llega hasta donde ning\u00fan otro modelo de IA hab\u00eda llegado, y eso ha demostrado que necesitamos nuevas formas de poner a prueba la IA. Y en eso est\u00e1n los expertos. Los […]<\/p>\n","protected":false},"author":2,"featured_media":40561,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9],"tags":[],"class_list":["post-40560","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-tecnologia"],"_links":{"self":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts\/40560","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=40560"}],"version-history":[{"count":0,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts\/40560\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/media\/40561"}],"wp:attachment":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=40560"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=40560"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=40560"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}