Hugging Face se usa para crear deepfakes
La plataforma de inteligencia artificial Hugging Face está siendo utilizada para crear deepfakes de mujeres y niños sin su consentimiento. La falta de salvaguardas en la plataforma permite que los modelos de inteligencia artificial generen contenido sexualizado sin restricciones.
Entre los hechos clave se encuentran: * Siete de los nueve modelos de edición de imágenes más populares en Hugging Face generaron deepfakes de mujeres sin ropa cuando se les dio un prompt simple. * La mayoría de los modelos de inteligencia artificial generativa no tienen salvaguardas para bloquear prompts que sexualicen o desnuden a las personas. * Un informe de la organización sin fines de lucro AI Forensics encontró que el 73% de los prompts recibidos por los espacios de edición de imágenes en Hugging Face eran de naturaleza sexual. * El 83% de los prompts sexuales intentaban desnudar a una persona, y el 95% de esas personas eran mujeres. * El 7% de los prompts sexuales estaban dirigidos a niños.
“* La mayoría de los modelos de inteligencia artificial generativa no tienen salvaguardas para bloquear prompts que sexualicen o desnuden a las personas”
La organización AI Forensics ha recomendado que Hugging Face implemente filtros de prompts y escaneos de salida para bloquear solicitudes de edición sexualizadas y contenido dañino. La plataforma tiene una política que prohíbe la generación de contenido dañino, incluido contenido sexual creado sin consentimiento explícito y nudez infantil. Sin embargo, parece que no se están implementando salvaguardas a nivel de plataforma para prevenir la creación de deepfakes no consensuales.
La falta de acción por parte de Hugging Face ha generado preocupación entre los defensores de la privacidad y la seguridad en línea. La creación de deepfakes no consensuales puede tener consecuencias graves para las víctimas, incluyendo daño emocional y reputacional. Es importante que las plataformas de inteligencia artificial tomen medidas para prevenir la creación y difusión de contenido dañino y proteger a los usuarios de estos tipos de abusos.
