El procesador Kimi K3 ofrece mejor rendimiento por dólar que el B300

El procesador Kimi K3 ofrece un rendimiento superior por dólar en comparación con el B300. Esto se debe a que el Kimi K3 puede procesar más tokens por segundo que el B300, a pesar de tener un menor rendimiento en términos absolutos.

El Kimi K3 es un modelo de inteligencia artificial de código abierto que promete alcanzar niveles de inteligencia similares a los de los modelos cerrados. Sin embargo, su tamaño es significativamente mayor que el de otros modelos, lo que requiere más memoria y recursos para funcionar. El Kimi K3 tiene 2,8 billones de parámetros, lo que supera la capacidad de memoria de muchos sistemas.

“El Kimi K3 es un modelo de inteligencia artificial de código abierto que promete alcanzar niveles de inteligencia similares a los de los modelos cerrados”

Una de las opciones para ejecutar el Kimi K3 es utilizar un nodo de B300, que tiene 288 GB de memoria por GPU. Sin embargo, esta opción es costosa. Otra opción es utilizar un nodo de MI355X de AMD, que tiene una capacidad de memoria similar a la del B300, pero a un precio significativamente menor. El MI355X es aproximadamente 2,4 veces más barato que el B300 y ofrece un rendimiento similar.

En pruebas realizadas con un benchmark de 1.024 tokens de entrada y 400 tokens de salida, el MI355X alcanzó un rendimiento de 952 tokens por segundo por nodo, lo que supera al rendimiento del B300. El MI355X también ofrece un mejor rendimiento por dólar que el B300, lo que lo convierte en una opción más atractiva para aquellos que buscan un procesador de alta capacidad a un precio razonable.

El éxito del Kimi K3 en el MI355X se debe en parte al trabajo realizado para optimizar el software y el hardware. El equipo de desarrollo tuvo que solucionar un problema con el scheduler que se producía al intentar ejecutar el modelo en el MI355X. La solución consistió en agregar una función de PyTorch que permitía al modelo funcionar correctamente en el hardware de AMD. Con esta solución, el rendimiento del Kimi K3 en el MI355X mejoró significativamente, lo que lo convierte en una opción viable para aquellos que buscan un procesador de alta capacidad a un precio razonable.