{"id":40316,"date":"2024-12-24T21:02:24","date_gmt":"2024-12-24T21:02:24","guid":{"rendered":"https:\/\/enfoquenoticioso.com\/tecnologia\/o3-puntua-tan-alto-como-programadores-humanos-en-un-de-razonamiento-y-abstraccion-es-justo-lo-que-openai-necesita\/"},"modified":"2024-12-24T21:02:24","modified_gmt":"2024-12-24T21:02:24","slug":"o3-puntua-tan-alto-como-programadores-humanos-en-un-de-razonamiento-y-abstraccion-es-justo-lo-que-openai-necesita","status":"publish","type":"post","link":"https:\/\/enfoquenoticioso.com\/?p=40316","title":{"rendered":"o3 punt\u00faa tan alto como programadores humanos en un de razonamiento y abstracci\u00f3n. Es justo lo que OpenAI necesita"},"content":{"rendered":"
\n

El lanzamiento el pasado viernes de o3 quiz\u00e1s pas\u00f3 algo desapercibido ante la avalancha de lanzamientos de OpenAI. En parte porque apareci\u00f3 quiz\u00e1s demasiado r\u00e1pido \u2014o1 apenas fue lanzado tres meses antes<\/a>\u2014 y en parte porque no est\u00e1 a\u00fan disponible para el p\u00fablico. Y aun as\u00ed todo lo que nos llega nos hace pensar que estamos ante un modelo muy especial.<\/p>\n

<\/p>\n

Cautela y expectaci\u00f3n en OpenAI<\/strong>. Curiosamente en OpenAI el discurso es relativamente moderado. Sam Altman habl\u00f3 incluso m\u00e1s de o3-mini<\/a>, la versi\u00f3n reducida, con menor latencia y coste<\/a>, de o3. Seg\u00fan \u00e9l, ser\u00e1 una verdadera maravilla para programar. Retuite\u00f3 un mensaje de uno de los investigadores de OpenAI, Nat McAleese, que destac\u00f3 en un hilo<\/a> sus grandes prestaciones en las pruebas. \u00c9l calific\u00f3 el modelo resultante de \u00abmuy, muy impresionante\u00bb.<\/p>\n

<\/p>\n

\n
\n
\n \"Swe\"\/
\n \"Swe\"<\/p>\n

Fuente: The Algorithmic Bridge<\/span>\n <\/div>\n<\/p><\/div>\n<\/div>\n

Programaci\u00f3n<\/strong>. Hasta no hace mucho, nos parec\u00eda que GPT-4o programaba bien. En el benchmark SWE-bench Verified<\/a>, con preguntas t\u00edpicas de ingenieros software, este modelo puntuaba con un 31%. Como indican en The Algorithmic Bridge<\/a>, con o1 se logra alcanzar el 31%, pero atentos, porque Claude Sonnet 3.5 logra un 50,8% y Gemini 2.0 Flash un 51,8%. Son puntuaciones fant\u00e1sticas, pero o3 logra un 71,7%. Es un salto sencillamente extraordinario que no se hab\u00eda visto antes en este tipo de benchmark.<\/p>\n

<\/p>\n

Pero a\u00fan hay m\u00e1s<\/strong>. Hay otro benchmark llamativo: el test de Codeforces, que se centra en pruebas de programaci\u00f3n \u00abcompetitiva\u00bb asignando un ELO a aquellos programadores \u2014humanos o m\u00e1quinas\u2014 que superan esas pruebas. OpenAI logr\u00f3 2.727 puntos con o3, la puntuaci\u00f3n que en el ranking actual ocupar\u00eda la posici\u00f3n 175<\/a>: solo hay esos programadores \u2014entre quienes han realizado la prueba\u2014 que superan el nivel de este modelo a la hora de programar. Deepmind Alphacode 2<\/a>, que fue entrenado espec\u00edficamente para este prop\u00f3sito y se lanz\u00f3 en diciembre de 2023, estuvo en el percentil 87. O3 est\u00e1 en el percentil 99,7.<\/p>\n

<\/p>\n

Doctor en ciencias<\/strong>. En junio Claude Sonnet 3.5<\/a> y GPT-40 superaban el 50% por poco en el test de preguntas cient\u00edficas GPQA Diamond<\/a>. O1 llega al 78%, pero o3 ya ha logrado un 87,7%. El nivel de los doctorados suele rondar de media el 70%.<\/p>\n

<\/p>\n

\n
\n \"Captura
\n \"Captura<\/p><\/div>\n<\/div>\n

Un genio de las mates<\/strong>. En matem\u00e1ticas las pruebas estaban algo obsoletas, pero una empresa llamada Epoch AI cre\u00f3 un nuevo benchmark llamado FrontierMath que es tan duro que hasta los mejores matem\u00e1ticos creen que no podr\u00e1 ser superado por la IA f\u00e1cilmente. Terence Tao, que gan\u00f3 la medalla Fields en 2006 (\u00abel Nobel de las matem\u00e1ticas\u00bb) indic\u00f3 que la IA tardar\u00eda varios a\u00f1os en superarlas. Pues bien, hasta ahora los modelos de IA m\u00e1s avanzados (State-of-The-Art) lograban como mucho un 2% en ese test, pero o3 ha logrado un 25,2%.<\/p>\n

<\/p>\n

\n
\n
\n
\n
\n \"Tenemos
\n <\/a>\n <\/div>\n<\/p><\/div>\n<\/p><\/div>\n<\/div>\n

Y luego est\u00e1 ARC-AGI<\/strong>. Sin embargo, la m\u00e1s prometedora de las pruebas es ARC-AGI<\/a>, un benchmark creado originalmente por Fran\u00e7ois Chollet en 2019<\/a> y que se ha convertido en el referente que demuestra la paradoja de Moravec. Son pruebas que a los seres humanos nos parecen triviales, pero que las m\u00e1quinas normalmente no pueden resolver. Chollet es el creador del ARC Prize, una competici\u00f3n en la que se mide la \u00abinteligencia\u00bb entendida como \u00abla capacidad de un sistema para adaptarse a nuevos problemas que no ha visto antes y que sus creadores (los desarrolladores) no anticiparon\u00bb.<\/p>\n

<\/p>\n

\n
\n
\n \"Captura
\n \"Captura
\n <\/a><\/p><\/div>\n<\/div>\n

o3 es muy, muy bueno en ARC-AGI<\/strong>. GPT-3 en 2020 lograba un 0% de puntuaci\u00f3n, y GPT-4o logr\u00f3 un 5% en dicha prueba. Con o1 ya hubo un salto incre\u00edble al lograr un 32%, pero es que o3 ha logrado un incre\u00edble 87,5% (eso s\u00ed, a un coste de miles de d\u00f3lares por tarea) y un 75,7% en modo de \u00abbaja computaci\u00f3n\u00bb (20 d\u00f3lares por tarea).<\/p>\n

<\/p>\n

\u00bfEs esto AGI?<\/strong> La pregunta que algunos plantean es si esto hace que o3 pueda ser considerado una inteligencia artificial general (AGI)<\/a>. Chollet cree que no, y de hecho explica que o3 sigue sin resolver algunas tareas triviales para los humanos, pero es que est\u00e1n trabajando<\/a> en una segunda versi\u00f3n de ARC-AGI-2 que afirma \u00abseguir\u00e1 siendo extremadamente dif\u00edcil\u00bb para o3.<\/p>\n

<\/p>\n

Todo por confirmar<\/strong>. Los benchmarks tienen el problema de que son eso: benchmarks. Pruebas sint\u00e9ticas que se ajustan a situaciones muy espec\u00edficas, y que pueden no ser demasiado fiables como medida del rendimiento en un uso cotidiano de estos modelos. Y sin embargo, sabiendo c\u00f3mo de bien se comportan ya o1, Claude 3.5 Sonnet o Gemini 2.0 Flash en \u00e1mbitos como el de la programaci\u00f3n, los resultados de o3 son realmente prometedores. No solo eso: la evoluci\u00f3n de estos modelos de razonamiento est\u00e1 siendo especialmente fren\u00e9tica, y lo demuestra el hecho de que o3 haya aparecido tan solo tres meses despu\u00e9s que o1.<\/p>\n

<\/p>\n

\n
\n
\n
\n
\n \"OpenAI
\n <\/a>\n <\/div>\n<\/p><\/div>\n<\/p><\/div>\n<\/div>\n

\u00bfY el precio, qu\u00e9?<\/strong> Por lo que apunta Chollet, el precio de o3 ser\u00e1 astron\u00f3mico si lo queremos usar con todas sus prestaciones, y es posible que se trata de una versi\u00f3n del servicio muy especial que OpenAI solo ofrecer\u00e1 en \u00e1mbitos muy concretos. Pero parece que o3-mini ser\u00e1 mucho m\u00e1s asequible y eficiente, de modo que podemos esperar que lo que ahora se paga por o1 de forma ilimitada con la suscripci\u00f3n a ChatGPT Pro (200 d\u00f3lares al mes<\/a>) sea lo que acabe costando el acceso a o3 mini. Se espera que OpenAI lo ofrezca en el primer trimestre de 2025, y tambi\u00e9n que para entonces otros modelos de este tipo compitan con o3-mini y o3.<\/p>\n

<\/p>\n

Una IA m\u00e1s precisa, eficiente y capaz que nunca<\/strong>. Lo que todo esto plantea es el acceso a unos modelos de IA que son m\u00e1s eficientes e incluso m\u00e1s baratos que nunca si lo que queremos es resolver ciertos tipos de problema. Parece que programadores e investigadores tienen en estos modelos una prometedora herramienta, pero parece que a priori tendremos al menos dos grandes vertientes de la IA. Por un lado los ChatGPT\/Gemini\/Claude actuales y sus evoluciones, m\u00e1s destinados a un uso r\u00e1pido y con cierta tolerancia a errores. Por otro, modelos que \u00abrazonan\u00bb como o1 u o3, m\u00e1s caros, precisos y que tardan m\u00e1s en contestar pero que son muy potentes en ciertas \u00e1reas.<\/p>\n

<\/p>\n

OpenAI hace bien en diversificar<\/strong>. Y justo por eso OpenAI tiene aqu\u00ed una interesante forma de atacar al mercado con modelos distintos para distintas necesidades. Eso le permitir\u00e1 adem\u00e1s establecer distintos planes y precios \u2014ya vimos c\u00f3mo planea ir subiendo el precio de las suscripciones<\/a>\u2014 y justificarlos precisamente con el acceso a unos y otros. Una estrategia razonable que desde luego puede acabar funcionando para lograr algo que necesita a toda costa: ingresos.<\/p>\n

<\/p>\n

En Xataka | Sam Altman se postula como el Zuckerberg de la IA: est\u00e1 cada vez m\u00e1s solo, y que OpenAI triunfe o fracase ser\u00e1 cosa suya<\/a><\/p>\n<\/p><\/div>\n

Ver fuente<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

El lanzamiento el pasado viernes de o3 quiz\u00e1s pas\u00f3 algo desapercibido ante la avalancha de lanzamientos de OpenAI. En parte porque apareci\u00f3 quiz\u00e1s demasiado r\u00e1pido \u2014o1 apenas fue lanzado tres meses antes\u2014 y en parte porque no est\u00e1 a\u00fan disponible para el p\u00fablico. Y aun as\u00ed todo lo que nos llega nos hace pensar que […]<\/p>\n","protected":false},"author":2,"featured_media":40317,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9],"tags":[],"class_list":["post-40316","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-tecnologia"],"_links":{"self":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts\/40316","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=40316"}],"version-history":[{"count":0,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts\/40316\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/media\/40317"}],"wp:attachment":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=40316"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=40316"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=40316"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}