{"id":79841,"date":"2025-07-17T02:01:57","date_gmt":"2025-07-17T02:01:57","guid":{"rendered":"https:\/\/enfoquenoticioso.com\/?p=79841"},"modified":"2025-07-17T02:01:57","modified_gmt":"2025-07-17T02:01:57","slug":"cientificos-de-openai-y-google-alertan-que-perderemos-el-control-de-la-ia","status":"publish","type":"post","link":"https:\/\/enfoquenoticioso.com\/?p=79841","title":{"rendered":"Cient\u00edficos de OpenAI y Google alertan que perderemos el control de la IA"},"content":{"rendered":"
\n

Un grupo de investigadores de OpenAI, Google y Anthropic advirtieron que muy pronto podr\u00edamos perder la capacidad para entender la IA<\/strong>. En un documento publicado en arXiv, m\u00e1s de 40 cient\u00edficos proponen monitorear de cerca los modelos de razonamiento para detectar comportamientos da\u00f1inos antes de que ocurran.<\/p>\n

De acuerdo con VentureBeat<\/a><\/em>, los cient\u00edficos de las empresas m\u00e1s grandes de IA han pedido una investigaci\u00f3n m\u00e1s amplia sobre las t\u00e9cnicas para vigilar a los modelos de razonamiento.<\/strong> El grupo de expertos propone monitorear las cadenas de razonamiento de los modelos que piensan en lenguaje humano. Esta caracter\u00edstica permitir\u00eda identificar acciones perjudiciales antes de que se materialicen.<\/p>\n

El documento<\/a> se\u00f1ala que modelos de razonamiento como o3 de OpenAI o R1 de DeepSeek, muestran su razonamiento paso a paso<\/strong> antes de responder. Los investigadores mencionan que este \u00abpensamiento en voz alta\u00bb ofrecer\u00eda una ventana para comprender las verdaderas intenciones del modelo. Las cadenas de pensamiento (CoT) podr\u00edan revelar se\u00f1ales tempranas de mal comportamiento<\/strong> que no ser\u00edan visibles con solo analizar sus acciones.<\/p>\n

\u00abUn monitor de CoT es un sistema automatizado que lee el CoT de un modelo de razonamiento y otra informaci\u00f3n relevante y se\u00f1ala interacciones sospechosas o potencialmente da\u00f1inas<\/em>,\u00bb indica el documento. \u00abEstas respuestas podr\u00edan ser bloqueadas, o reemplazadas por acciones m\u00e1s seguras, o revisadas con m\u00e1s profundidad<\/em>\u00ab.<\/p>\n

\"OpenAI\"OpenAI
Razonamiento de OpenAI o3.<\/figcaption><\/figure>\n
\n
\n

Tabla de Contenido<\/p>\nToggle<\/span><\/path><\/svg><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n