OpenAI y Broadcom presentan un chip optimizado para inferencia de LLM
OpenAI y Broadcom han presentado Jalapeño, un chip optimizado para la inferencia de modelos de lenguaje grande (LLM). Este dispositivo está diseñado específicamente para mejorar el rendimiento energético en comparación con las tecnologías actuales.
El chip fue desarrollado desde cero en nueve meses gracias a la colaboración entre OpenAI y Broadcom. Está orientado hacia los requisitos de inferencia de LLM tanto actuales como futuros, lo que permite su uso en diversos modelos de la industria.
“"Optimizamos la arquitectura alrededor de los núcleos, movimiento de memoria, networking y patrones de servicio que importan más para modelos AI fronterizos."”
Pruebas iniciales indican que Jalapeño ofrece un rendimiento por vatios significativamente superior al estado del arte actual. El chip está diseñado para trabajar con todos los LLMs y se espera que sea desplegado a gran escala en centros de datos junto con socios tecnológicos.
OpenAI ha creado este chip como parte de su estrategia integral para hacer la inteligencia artificial más accesible y eficiente. La compañía afirma que esta iniciativa es clave para lograr una IA más rápida, confiable y asequible.
"Jalapeño fue diseñado desde cero para la inferencia de LLMs usando detalles insights del estrecho colaboración con investigadores de OpenAI," dijo Richard Ho, quien lidera el programa de hardware de OpenAI. "Optimizamos la arquitectura alrededor de los núcleos, movimiento de memoria, networking y patrones de servicio que importan más para modelos AI fronterizos."
Este avance marca un paso importante en la estrategia de OpenAI para crear una infraestructura completa detrás de sus modelos e implementar chips personalizados. El objetivo es hacer avanzada IA más accesible a nivel global, permitiendo su despliegue a escala gigavatios con socios como Microsoft.
Este chip representa un hito en la evolución hacia una economía impulsada por el cálculo y marca el comienzo de una colaboración a largo plazo entre OpenAI y Broadcom para desarrollar generaciones futuras de hardware optimizado.
