La sesión que no puedes llevar contigo

La forma en que las API de inferencia manejan las sesiones está cambiando. Ahora, los proveedores de servicios de inteligencia artificial retornan una mezcla de texto y estado vinculado al proveedor que no es portable.

Algunos hechos clave sobre este cambio son: * Las API de inferencia retornan estado vinculado al proveedor que no es portable. * Los tokens de razonamiento son devueltos como blobs cifrados que solo el proveedor puede descifrar. * Las búsquedas web realizadas por el modelo no son accesibles para el cliente. * El contexto compactado solo puede ser descifrado por el proveedor original. * Las instrucciones y mensajes de los subagentes están ocultos para la aplicación que ejecuta los agentes.

“* Las búsquedas web realizadas por el modelo no son accesibles para el cliente”

Es importante entender que este cambio afecta la propiedad de la sesión de inteligencia artificial. La transcripción de la sesión en la máquina del usuario ya no es la sesión completa, sino una vista parcial de una sesión cuyo estado operativo pertenece al proveedor de inferencia, no al usuario.

Para evaluar la propiedad de una sesión, se pueden aplicar cinco pruebas: * Inspección: el usuario puede ver lo que el modelo vio y qué herramientas se utilizaron. * Exportación: la sesión es autocontenida, sin requerir la intervención del proveedor original. * Reproducción: otra implementación puede reconstruir un contexto semánticamente equivalente. * Auditoría: un humano puede explicar por qué el sistema tomó una acción después de los hechos. * Eliminación: el usuario puede identificar y eliminar todas las copias en el servidor que dependen de la sesión.

La denominación y el marketing de estas características pueden ser engañosos. La "contenido cifrado" suena como una característica de privacidad bajo el control del usuario, pero en realidad se refiere a un estado sellado por el proveedor que solo el proveedor puede descifrar. Un término más preciso sería "estado sellado por el proveedor".

La tendencia actual de las API de inferencia hacia un estado no portable y sellado por el proveedor plantea desafíos para los usuarios y los desarrolladores de herramientas en este espacio. Es importante considerar las implicaciones de estos cambios y buscar soluciones que permitan una mayor transparencia y control sobre las sesiones de inteligencia artificial.