Bonsai 27B (1-bit LLM): El primer modelo de 27B en ejecutarse en un teléfono

Se ha desarrollado un modelo de lenguaje llamado Bonsai 27B, que puede ejecutarse en un teléfono. Este modelo es capaz de realizar tareas de razonamiento, llamadas a herramientas y procesamiento de visión.

Bonsai 27B se presenta en dos variantes: una con pesos ternarios y otra con pesos binarios. La variante con pesos ternarios ocupa 5,9 GB y es adecuada para laptops, mientras que la variante con pesos binarios ocupa 3,9 GB y puede ejecutarse en un iPhone 17 Pro. Ambas variantes son multimodales y pueden procesar texto, imágenes y otros tipos de datos.

“La variante con pesos ternarios ocupa 5,9 GB y es adecuada para laptops, mientras que la variante con pesos binarios ocupa 3,9 GB y puede ejecutarse en un iPhone 17 Pro”

El modelo Bonsai 27B ha sido evaluado en una suite de 15 benchmarks y ha demostrado retener un 95% de la precisión del modelo de precisión completa en la variante ternaria, y un 90% en la variante binaria. En particular, el modelo ha demostrado ser muy efectivo en tareas de matemáticas y codificación, y ha mantenido una buena precisión en tareas de razonamiento y llamadas a herramientas.

La capacidad de ejecutar un modelo de 27B en un teléfono o laptop es un avance significativo en el campo de la inteligencia artificial, ya que permite a los desarrolladores crear aplicaciones que pueden ejecutarse de manera local y no requieren una conexión a Internet para funcionar. Esto puede ser especialmente útil para aplicaciones que requieren una gran cantidad de procesamiento de datos y no pueden depender de una conexión a Internet para funcionar.