Run AI cargos en cualquier nube, almacena en Hugging Face: almacenamiento sin egress de cero con SkyPilot

La empresa Hugging Face ha anunciado una nueva colaboración con SkyPilot que permite a los usuarios ejecutar cargas de trabajo de inteligencia artificial en cualquier nube y almacenar los datos en Hugging Face sin incurrir en costos de transferencia de datos.

Los datos y modelos de inteligencia artificial suelen estar almacenados en un bucket en una región de una nube, mientras que los GPUs para desarrollo, entrenamiento o servicio pueden estar en una nube diferente. Esto genera un costo adicional por la transferencia de datos entre nubes. La colaboración entre Hugging Face y SkyPilot resuelve este problema al permitir que los usuarios monten un bucket de Hugging Face o un repositorio de Hub en un trabajo de SkyPilot con una sola URL y el token de autenticación existente.

“La función de autenticación utiliza el token de autenticación existente, lo que elimina la necesidad de configurar una nueva cuenta de almacenamiento o token de autenticación”

La nueva función permite a los usuarios ejecutar cargas de trabajo de inteligencia artificial en cualquier nube, incluyendo más de 20 proveedores de nube, Kubernetes, Slurm y entornos locales. Los datos se almacenan en Hugging Face y se pueden acceder sin incurrir en costos de transferencia de datos. La función de montaje utiliza el backend de FUSE de Hugging Face, lo que permite a los usuarios acceder a los datos como si estuvieran almacenados localmente.

La colaboración entre Hugging Face y SkyPilot también incluye la función de deduplicación de datos, lo que reduce el tamaño de los datos almacenados y transferidos. Los usuarios pueden almacenar y transferir solo los cambios incrementales en los modelos y datos, en lugar de toda la carga de trabajo. La función de autenticación utiliza el token de autenticación existente, lo que elimina la necesidad de configurar una nueva cuenta de almacenamiento o token de autenticación.

En resumen, la colaboración entre Hugging Face y SkyPilot ofrece una solución para ejecutar cargas de trabajo de inteligencia artificial en cualquier nube y almacenar los datos en Hugging Face sin incurrir en costos de transferencia de datos. Esto puede ser especialmente útil para los equipos que trabajan con grandes cantidades de datos y necesitan acceder a ellos de manera eficiente y sin incurrir en costos adicionales.