Crea Agentes de Voz Multilingües con Baja Latencia: Peso Abierto y Control Total de Despliegue con NVIDIA Magpie TTS

La tecnología de voz multilingüe avanza rápidamente. La empresa NVIDIA ha desarrollado una herramienta llamada Magpie TTS, que permite a los desarrolladores crear agentes de voz con baja latencia y control total sobre el despliegue.

Algunos de los hechos clave sobre Magpie TTS son: * Es un modelo de texto a voz multilingüe con 364 millones de parámetros. * Soporta 12 idiomas, incluyendo inglés, español, francés, alemán, italiano, vietnamita, mandarín, hindi, japonés, árabe moderno, coreano y portugués brasileño. * Cada idioma incluye voces de hablantes masculinos y femeninos a través de una representación de hablantes multilingües compartida. * Permite a los desarrolladores desplegar la herramienta en su propia infraestructura y personalizar el modelo para su dominio. * La última versión ha mejorado la calidad en varios idiomas existentes y ha agregado soporte para el árabe moderno, el coreano y el portugués brasileño.

“Es importante destacar que la tecnología de voz multilingüe es cada vez más importante en la actualidad, ya que las aplicaciones de voz no sirven a un solo idioma”

Es importante destacar que la tecnología de voz multilingüe es cada vez más importante en la actualidad, ya que las aplicaciones de voz no sirven a un solo idioma. Los desarrolladores necesitan herramientas que les permitan crear conversaciones naturales en varios idiomas, mientras mantienen una latencia baja. Magpie TTS ofrece una solución abierta y personalizable para este desafío.

En cuanto a la latencia, Magpie TTS puede ser desplegado en el entorno del desarrollador, lo que significa que la latencia medida es la latencia del servidor que se puede controlar. Los resultados de rendimiento de Magpie TTS muestran que la herramienta puede generar audio en un tiempo muy corto, lo que deja espacio en el presupuesto de latencia para el procesamiento de ASR y LLM. Por ejemplo, en un GPU B200, la latencia de Magpie TTS es de 32 milisegundos, lo que es muy rápido en comparación con otros modelos.