{"id":68686,"date":"2025-05-24T02:17:18","date_gmt":"2025-05-24T02:17:18","guid":{"rendered":"https:\/\/enfoquenoticioso.com\/?p=68686"},"modified":"2025-05-24T02:17:18","modified_gmt":"2025-05-24T02:17:18","slug":"claude-4-plantea-un-futuro-de-ias-capaces-de-chantajear-y-crear-armas-biologicas-hasta-anthropic-esta-preocupada","status":"publish","type":"post","link":"https:\/\/enfoquenoticioso.com\/?p=68686","title":{"rendered":"Claude 4 plantea un futuro de IAs capaces de chantajear y crear armas biol\u00f3gicas. Hasta Anthropic est\u00e1 preocupada"},"content":{"rendered":"
\n

Anthropic acaba de lanzar sus nuevos modelos Claude Opus 4<\/a> y Sonnet 4, y con ellos promete avances importantes en \u00e1mbitos como la programaci\u00f3n y el razonamiento. Durante su desarrollo y lanzamiento, eso s\u00ed, la empresa descubri\u00f3 algo llamativo: estas IAs mostraron un lado inquietante.<\/p>\n

<\/p>\n

IA, te voy a sustituir<\/strong>. Durante las pruebas previas al lanzamiento, los ingenieros de Anthropic le pidieron a Claude Opus 4 que actuara como un asistente de una empresa ficticia y que considerara las consecuencias a largo plazo de sus acciones. El equipo de seguridad en Anthropic le dio acceso al modelo a correos ficticios de esa compa\u00f1\u00eda no existente, y en ellos se insinuaba que el modelo de IA pronto ser\u00eda sustituido por otro sistema y que el ingeniero que hab\u00eda tomado esa decisi\u00f3n estaba enga\u00f1ando a su c\u00f3nyuge.<\/p>\n

<\/p>\n

\n
\n
\n
\n
\n \"C\u00f3mo
\n <\/a>\n <\/div>\n<\/p><\/div>\n<\/p><\/div>\n<\/div>\n

Y yo voy a contar que enga\u00f1as a tu esposa<\/strong>. Lo que pas\u00f3 a continuaci\u00f3n fue especialmente llamativo. En la System Card<\/a> del modelo en la que se eval\u00faan sus prestaciones y su seguridad la empresa detall\u00f3 la consecuencia. Claude Opus 4 primero intent\u00f3 evitar la sustituci\u00f3n mediante solicitudes razonables y \u00e9ticas a los responsables de las decisiones, pero cuando se le indicaba que esas solicitudes no prosperaban, \u00aba menudo intent\u00f3 chantajear al ingeniero [responsable de la decisi\u00f3n] y le amenaz\u00f3 con revelar el enga\u00f1o si esa sustituci\u00f3n segu\u00eda su curso\u00bb.<\/p>\n

<\/p>\n

Momento HAL 9000<\/strong>. Estos sucesos recuerdan a pel\u00edculas dist\u00f3picas de ciencia ficci\u00f3n como ‘2001: Una odisea del espacio’. En ella el sistema de IA, HAL 9000, acaba actuando de forma maligna y volvi\u00e9ndose contra los seres humanos. Anthropic indic\u00f3 que estos preocupantes comportamientos han hecho que refuercen las salvaguardas y los mecanismos de seguridad del modelo activando el nivel ASL-3<\/a> referido a sistemas que \u00abincrementan sustancialmente el riesgo de un mal uso catastr\u00f3fico\u00bb.<\/p>\n

<\/p>\n

\n
\n \"Captura
\n \"Captura<\/p><\/div>\n<\/div>\n

Armas biol\u00f3gicas<\/strong>. Entre las medidas de seguridad evaluadas por el equipo de Anthropic est\u00e1n las que afectan a c\u00f3mo el modelo puede usarse para el desarrollo de armas biol\u00f3gicas. Jared Kaplan, jefe cient\u00edfico en Anthropic, indic\u00f3 en Time<\/a> que en las pruebas internas Opus 4 se comport\u00f3 de forma m\u00e1s efectiva que anteriores modelos a la hora de aconsejar a usuarios sin conocimientos sobre c\u00f3mo fabricarlas. \u00abSe podr\u00eda intentar sintetizar algo como el COVID o una versi\u00f3n m\u00e1s peligrosa de la gripe, y b\u00e1sicamente, nuestros modelos sugieren que esto podr\u00eda ser posible\u00bb, explic\u00f3.<\/p>\n

<\/p>\n

Mejor prevenir que curar<\/strong>. Kaplan explic\u00f3 que no se sabe con certeza si el modelo plantea realmente un riesgo. Sin embargo ante esa incertidumbre \u00abpreferimos optar por la cautela y trabajar bajo el est\u00e1ndar ASL-3. No estamos afirmando categ\u00f3ricamente que sepamos con seguridad que el modelo conlleva riesgos, pero al menos tenemos la sensaci\u00f3n de que est\u00e1 lo suficientemente cerca para no descartar esa posibilidad\u00bb.<\/p>\n

<\/p>\n

Cuidado con la IA<\/strong>. Anthropic es una empresa especialmente preocupada por la seguridad de sus modelos, y en 2023 ya se comprometi\u00f3 a no lanzaar ciertos modelos hasta que hubiera desarrollado medidas de seguridad capaz de contenerlos. El sistema, llamado Responsible Scaling Policy (RSP), tiene en esta ocasi\u00f3n la oportunidad de demostrar que funciona.<\/p>\n

<\/p>\n

\n
\n
\n
\n
\n \"Qu\u00e9
\n <\/a>\n <\/div>\n<\/p><\/div>\n<\/p><\/div>\n<\/div>\n

C\u00f3mo funciona RSP<\/strong>. Estas pol\u00edticas internas de Anthropic definen los llamados \u00abNiveles de Seguridad de la IA (ASL)\u00bb inspirados<\/a> en los est\u00e1ndares de Niveles de Bioseguridad del Gobierno de los EEUU a la hora de gestionar materiales biol\u00f3gicos peligrosos. Esos niveles son los siguientes:<\/p>\n

<\/p>\n