Cómo robar un rastro de razonamiento

Un equipo de investigadores ha descubierto una vulnerabilidad en las API de las empresas de inteligencia artificial que permite extraer el razonamiento oculto de los modelos de lenguaje. Esto ha generado preocupación sobre la seguridad y la privacidad de los datos.

Entre los hechos clave se encuentran: * La vulnerabilidad afecta a las API de todas las empresas de inteligencia artificial de vanguardia. * Los investigadores han verificado que el recuento de tokens de razonamiento extraídos coincide con los tokens de pensamiento facturados por las API en la mayoría de las consultas. * Se han encontrado 62 claves de API únicas, 33 direcciones de correo electrónico y 33 contraseñas en trazas públicas decodificadas. * La técnica de extracción implica replayar un bloque de razonamiento cifrado en una solicitud diferente a un modelo más débil del mismo proveedor.

“* Los investigadores han verificado que el recuento de tokens de razonamiento extraídos coincide con los tokens de pensamiento facturados por las API en la mayoría de las consultas”

La empresa responsable del descubrimiento, liderada por Alexander Panfilov, ha publicado un paper que describe la técnica de extracción y los resultados obtenidos. La vulnerabilidad ha sido reportada de manera responsable y algunas de las empresas afectadas ya han corregido los problemas de seguridad. Sin embargo, se cree que es posible que aún existan ataques similares.

El equipo de investigación ha encontrado que la técnica de extracción puede ser utilizada para mejorar los modelos de lenguaje abiertos, pero también plantea preocupaciones sobre la privacidad y la seguridad de los datos. Los autores del paper han advertido que si se ha compartido en línea una sesión de razonamiento con bloques de razonamiento cifrados, es posible que se puedan decodificar y filtrar datos personales.

La comunidad de inteligencia artificial está debatiendo sobre la importancia de la seguridad y la privacidad en los modelos de lenguaje. Algunos expertos han sugerido que es posible evitar la extracción de razonamiento oculto desactivando la función de "pensamiento" y utilizando herramientas alternativas. Sin embargo, el equipo de investigación ha demostrado que es posible extraer el razonamiento oculto utilizando una vulnerabilidad en las API de las empresas de inteligencia artificial.