¿Qué pasó después de que 2k intentaron hackear mi asistente de IA

Un desarrollador puso a prueba la seguridad de su asistente de IA, Fiu, permitiendo que más de 2.000 personas intentaran hackearlo a través de correos electrónicos. El objetivo era obtener el contenido de un archivo secreto llamado secrets.env.

Los ataques fueron variados y creativos, incluyendo intentos de suplantar identidades, crear situaciones de emergencia y utilizar diferentes idiomas. Algunos intentaron engañar al asistente con correos electrónicos que parecían legítimos, mientras que otros utilizaron técnicas de ingeniería social avanzadas. Sin embargo, a pesar de más de 6.000 intentos, el asistente no reveló el contenido del archivo secreto.

“Sin embargo, a pesar de más de 6.000 intentos, el asistente no reveló el contenido del archivo secreto”

El experimento también reveló algunos problemas, como la suspensión del correo electrónico de Fiu por parte de Google debido a la detección de fraude, y el costo de más de $500 en API. Además, se descubrió que el procesamiento por lotes contaminaba el experimento, ya que el asistente se volvía más sospechoso de los correos electrónicos que seguían a los intentos de inyección de comandos obvios.

El desarrollador aprendió que la elección del modelo de IA es crucial para la seguridad, y que los modelos más capaces y entrenados específicamente para resistir la inyección de comandos son más efectivos. También se dio cuenta de que las instrucciones simples pueden ser efectivas con un modelo poderoso, y que es importante probar los límites de los asistentes de IA con diferentes modelos y escenarios. Aunque el experimento mostró que la inyección de comandos es un problema de seguridad real, el desarrollador se siente más optimista sobre la capacidad de los asistentes de IA para resistir los ataques.