{"id":14451,"date":"2024-07-30T14:29:48","date_gmt":"2024-07-30T14:29:48","guid":{"rendered":"https:\/\/enfoquenoticioso.com\/tecnologia\/las-webs-estan-utilizando-este-metodo-para-frenar-a-los-scrapers-de-ia-el-problema-pueden-ignorarlo-sin-esfuerzo\/"},"modified":"2024-07-30T14:29:48","modified_gmt":"2024-07-30T14:29:48","slug":"las-webs-estan-utilizando-este-metodo-para-frenar-a-los-scrapers-de-ia-el-problema-pueden-ignorarlo-sin-esfuerzo","status":"publish","type":"post","link":"https:\/\/enfoquenoticioso.com\/?p=14451","title":{"rendered":"Las webs est\u00e1n utilizando este m\u00e9todo para frenar a los scrapers de IA. El problema: pueden ignorarlo sin esfuerzo"},"content":{"rendered":"<div>\n<p>Los datos se han convertido en uno de los tesoros m\u00e1s codiciados de estos tiempos. No estamos hablando de cualquier tipo de datos, sino de aquellos que son relevantes para <strong>entrenar modelos de lenguaje<\/strong> que impulsan aplicaciones de inteligencia artificial (IA) como <a href=\"https:\/\/www.xataka.com\/basics\/chatgpt-que-como-usarlo-que-puedes-hacer-este-chat-inteligencia-artificial\" target=\"_blank\" rel=\"noopener\">ChatGPT<\/a> de OpenAI, <a href=\"https:\/\/www.xataka.com\/robotica-e-ia\/hemos-probado-claude-competidor-chatgpt-creado-anthropic-se-comporta-mar-bien\" target=\"_blank\" rel=\"noopener\">Claude<\/a> de Anthropic y <a href=\"https:\/\/www.xataka.com\/aplicaciones\/aplicacion-gemini-esta-disponible-espana-ia-google-llega-a-tu-bolsillo\" target=\"_blank\" rel=\"noopener\">Gemini<\/a> de Google.<\/p>\n<p><!-- BREAK 1 --> <\/p>\n<p>Una pr\u00e1ctica habitual para conseguir datos es el web scraping. Las compa\u00f1\u00edas suelen utilizar bots automatizados (propios o de terceros) para extraer informaci\u00f3n de millones de p\u00e1ginas web y as\u00ed preparar enormes conjuntos de datos para alimentar sus algoritmos. Ahora bien, no todo el mundo est\u00e1 de acuerdo con esta din\u00e1mica.<\/p>\n<p><!-- BREAK 2 --><\/p>\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_81 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Tabla de Contenido<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Alternar tabla de contenidos\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewBox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewBox=\"0 0 24 24\" version=\"1.2\" baseProfile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1 ' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/enfoquenoticioso.com\/?p=14451\/#Robotstxt_como_herramienta_para_frenar_a_los_scrapers\" >Robots.txt como herramienta para frenar a los scrapers<\/a><\/li><\/ul><\/nav><\/div>\n<h2><span class=\"ez-toc-section\" id=\"Robotstxt_como_herramienta_para_frenar_a_los_scrapers\"><\/span>Robots.txt como herramienta para frenar a los scrapers<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Plataformas de todos los tama\u00f1os han comenzado a tomar medidas para evitar que los bots se lleven sus datos <strong>sin pedir permiso o sin pagar<\/strong>. The New York Times, <a href=\"https:\/\/www.xataka.com\/robotica-e-ia\/the-new-york-times-demanda-a-microsoft-a-openai-porque-no-quiere-que-chatbot-mate-periodismo\" target=\"_blank\" rel=\"noopener\">que ya interpuso varias demandas<\/a>, actualiz\u00f3 sus t\u00e9rminos y condiciones para cumplir con este objetivo. Reddit, <a href=\"https:\/\/www.xataka.com\/empresas-y-economia\/reddit-se-alio-google-para-alimentar-su-ia-ahora-ha-hecho-openai\" target=\"_blank\" rel=\"noopener\">que se ali\u00f3 con algunas compa\u00f1\u00edas<\/a>, actualiz\u00f3 su archivo robots.txt.<\/p>\n<p><!-- BREAK 3 --> <\/p>\n<p>Robots.txt es uno de los recursos m\u00e1s utilizados en la web para administrar la actividad de los bots hambrientos de datos. El problema es que se trata de un conjunto de instrucciones de cumplimiento voluntario. Los bots \u201cmalos\u201d pueden ignorar este archivo e incluso utilizarlo como gu\u00eda para recopilar m\u00e1s f\u00e1cilmente los datos que se quieren proteger.<\/p>\n<p><!-- BREAK 4 --><\/p>\n<p>Imag\u00ednate a robots.txt como un cartel que establece las normas que deben seguir todos aquellos que ingresen a un vecindario. Algunas personas no dudar\u00e1n en respetarlo, mientras que otras no tendr\u00e1n <strong>problema alguno en ignorarlo<\/strong>. Volviendo al escenario de los bots, parece que hay muchos bots que est\u00e1n haciendo esto \u00faltimo.<\/p>\n<p><!-- BREAK 5 --><\/p>\n<p><a rel=\"noopener, noreferrer\" href=\"https:\/\/www.ft.com\/content\/07611b74-3d69-4579-9089-f2fc2af61baa\" target=\"_blank\">Como recoge Financial Times<\/a>, las plataformas iFixit.com y Freelancer.com han acusado a Anthropic ignorar las instrucciones de robots.txt de no extraer datos. Kyle Wiens, CEO de la primera compa\u00f1\u00eda, dijo que el bot de Anthropic ha hecho saltar todas las alarmas de tr\u00e1fico que tienen y que han detectado 1 mill\u00f3n de visitas en 24 horas.<\/p>\n<p><!-- BREAK 6 --> <\/p>\n<div class=\"article-asset-image article-asset-normal article-asset-center\">\n<div class=\"asset-content\">\n<div class=\"caption-img \">\n                   <img class=\"centro_sinmarco\" height=\"292\" width=\"464\" loading=\"lazy\" decoding=\"async\" sizes=\"auto, 100vw\" fetchpriority=\"high\" srcset=\"https:\/\/i.blogs.es\/dddd6e\/robots-txt-example\/450_1000.png 450w, https:\/\/i.blogs.es\/dddd6e\/robots-txt-example\/650_1200.png 681w,https:\/\/i.blogs.es\/dddd6e\/robots-txt-example\/1024_2000.png 1024w, https:\/\/i.blogs.es\/dddd6e\/robots-txt-example\/1366_2000.png 1366w\" src=\"https:\/\/i.blogs.es\/dddd6e\/robots-txt-example\/450_1000.png\" alt=\"Robots Txt Example\"\/><br \/>\n   <img decoding=\"async\" alt=\"Robots Txt Example\" class=\"centro_sinmarco\" src=\"https:\/\/i.blogs.es\/dddd6e\/robots-txt-example\/450_1000.png\"\/><\/p>\n<p>        <span>Ejemplo de un archivo robots.txt<\/span>\n   <\/div>\n<\/p><\/div>\n<\/div>\n<p>Wiens a\u00f1adi\u00f3 que los t\u00e9rminos de iFixit proh\u00edben el uso de sus datos para tareas de aprendizaje autom\u00e1tico, por lo que la actividad detectada por Anthropic <strong>puede ser ilegal<\/strong> si la compa\u00f1\u00eda est\u00e1 recopilando datos para entrenar sus modelos de lenguaje. Anthropic, por su parte, ha dicho que su bot respeta las instrucciones de los robots.txt.<\/p>\n<p><!-- BREAK 7 --><\/p>\n<p>Como decimos, la mayor\u00eda de las compa\u00f1\u00edas de IA de las que hablamos hoy en d\u00eda toman datos de la web abierta para entrenar sus modelos de lenguaje. Ahora bien, hay poca informaci\u00f3n detallada sobre de d\u00f3nde provienen los datos de muchos modelos populares. OpenAI, por ejemplo, <a rel=\"noopener, noreferrer\" href=\"https:\/\/arxiv.org\/pdf\/2303.08774\" target=\"_blank\">dice que<\/a> ha entrenado <a href=\"https:\/\/www.xataka.com\/basics\/gpt-4-que-como-funciona-como-usarlo-que-puedes-hacer-este-modelo-lenguaje-inteligencia-artificial\" target=\"_blank\" rel=\"noopener\">GPT-4<\/a> \u201cutilizando tanto datos disponibles p\u00fablicamente (como datos de Internet) como datos con licencia de proveedores externos\u201d.<\/p>\n<p><!-- BREAK 8 --><\/p>\n<div class=\"article-asset article-asset-normal article-asset-center\">\n<div class=\"desvio-container\">\n<div class=\"desvio\">\n<div class=\"desvio-figure js-desvio-figure\">\n    <a href=\"https:\/\/www.xataka.com\/robotica-e-ia\/chatgpt-llega-a-implantes-cerebrales-synchron-click-mental-que-puede-cambiar-vidas\" target=\"_blank\" rel=\"noopener\"><br \/>\n     <img loading=\"lazy\" decoding=\"async\" alt=\"ChatGPT llega a los implantes cerebrales de Synchron. Un 'click' mental que puede cambiar vidas \" width=\"375\" height=\"142\" src=\"https:\/\/i.blogs.es\/055c10\/synchron\/375_142.jpeg\"\/><br \/>\n    <\/a>\n   <\/div>\n<\/p><\/div>\n<\/p><\/div>\n<\/div>\n<p>Apple, por su parte, <a href=\"https:\/\/www.xataka.com\/robotica-e-ia\/apuesta-apple-inteligencia-artificial-esta-incomodando-a-algunos-sus-usuarios-fieles-creativos\" target=\"_blank\" rel=\"noopener\">dice que<\/a> entrena sus modelos de IA con \u201cdatos con licencia, incluidos los datos seleccionados para mejorar funciones espec\u00edficas, as\u00ed como los datos disponibles p\u00fablicamente recopilados por nuestro rastreador web, <strong>AppleBot<\/strong>. Asimismo, la compa\u00f1\u00eda asegura que cumple a rajatabla las directivas de los archivos robots.txt.<\/p>\n<p><!-- BREAK 9 --><\/p>\n<p>Im\u00e1genes | Xataka con Bing Image Creator<\/p>\n<p>En Xataka | <a href=\"https:\/\/www.xataka.com\/robotica-e-ia\/precio-a-pagar-tener-ia-saqueo-todo-contenido-internet-perplexity-solo-ultimo-ejemplo\" target=\"_blank\" rel=\"noopener\">El precio a pagar por tener IA es el saqueo de todo el contenido de Internet. Y Perplexity es solo el \u00faltimo ejemplo<\/a><\/p>\n<\/p><\/div>\n<p><a href=\"https:\/\/www.xataka.com\/robotica-e-ia\/webs-estan-utilizando-este-metodo-para-frenar-a-scrapers-ia-problema-pueden-ignorarlo-esfuerzo\" class=\" target=\" title=\"Las webs est\u00e1n utilizando este m\u00e9todo para frenar a los scrapers de IA. El problema: pueden ignorarlo sin esfuerzo\" target=\"_blank\" rel=\"noopener\">Ver fuente<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Los datos se han convertido en uno de los tesoros m\u00e1s codiciados de estos tiempos. No estamos hablando de cualquier tipo de datos, sino de aquellos que son relevantes para entrenar modelos de lenguaje que impulsan aplicaciones de inteligencia artificial (IA) como ChatGPT de OpenAI, Claude de Anthropic y Gemini de Google. Una pr\u00e1ctica habitual [&hellip;]<\/p>\n","protected":false},"author":2,"featured_media":14452,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9],"tags":[],"class_list":["post-14451","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-tecnologia"],"_links":{"self":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts\/14451","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=14451"}],"version-history":[{"count":0,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/posts\/14451\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=\/wp\/v2\/media\/14452"}],"wp:attachment":[{"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=14451"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=14451"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/enfoquenoticioso.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=14451"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}