ZML lanza producto gratuito para acelerar inferencia de AI en muchos chips
La startup francesa ZML ha lanzado un producto gratuito llamado ZML/LLMD, que permite acelerar la inferencia de inteligencia artificial en varios chips. Este software permite a los modelos de lenguaje grande de código abierto funcionar en una variedad de chips, incluyendo los de Nvidia, AMD, Google, Apple y Intel.
El objetivo de ZML es romper los silos existentes y permitir que diferentes chips estén disponibles para casos de uso de inteligencia artificial a su máxima velocidad. La inferencia es el proceso de procesamiento de solicitudes, y su optimización ha sido cada vez más importante a medida que la inteligencia artificial se integra en el trabajo y la vida diaria. Sin embargo, la inferencia a menudo se siente limitada por barreras de software y arquitectura que llevan a la dependencia de un proveedor.
“ZML/LLMD es un servidor de inferencia que permite a las empresas y nubes utilizar una mezcla de chips, algunos de los cuales pueden ser menos costosos o consumir menos energía”
ZML/LLMD es un servidor de inferencia que permite a las empresas y nubes utilizar una mezcla de chips, algunos de los cuales pueden ser menos costosos o consumir menos energía. La startup espera proporcionar opciones para que las empresas puedan crear sus propios sistemas y lograr ganancias de eficiencia reales que permitan la difusión de la inteligencia artificial. El fundador de ZML, Steeve Morin, ha expresado que "la idea es darle a la gente el poder de crear su propio sistema y lograr ganancias de eficiencia reales que permitan que la inteligencia artificial se difunda".
La startup tiene una buena relación con Nvidia y ha recibido una inversión de 20 millones de dólares de firmas de capital de riesgo. ZML/LLMD no es de código abierto, pero se lanza como un producto gratuito con el objetivo de aprender sobre su uso y generar ingresos en el futuro. La adopción de ZML/LLMD es aún temprana, pero la startup ya ha atraído la atención de otros fundadores y expertos en la industria, incluyendo al ganador del Premio Turing Yann LeCun. La capacidad de ZML para trabajar con una variedad de chips y su enfoque en la inferencia pueden ser un factor disruptor en el mercado de la inteligencia artificial.
