Ejecuta el modelo GPT-OSS de 120 mil millones de parámetros en un Mac con procesador M1 Pro

Un equipo de investigación ha logrado ejecutar un modelo de lenguaje de 120 mil millones de parámetros en un Mac con procesador M1 Pro. El modelo, llamado GPT-OSS, es uno de los más grandes y complejos desarrollados hasta la fecha.

El equipo de investigación, liderado por amos-labs, ha publicado su trabajo en GitHub, donde han compartido el código y los detalles de su investigación. El proyecto, llamado expertcache, se centra en el desarrollo de técnicas de inferencia para modelos de lenguaje de gran escala en hardware de Apple Silicon.

“El proyecto, llamado expertcache, se centra en el desarrollo de técnicas de inferencia para modelos de lenguaje de gran escala en hardware de Apple Silicon”

El modelo GPT-OSS es un ejemplo de un modelo de lenguaje de gran escala, que requiere grandes cantidades de datos y computación para entrenar y ejecutar. La ejecución de este modelo en un Mac con procesador M1 Pro es un logro significativo, ya que demuestra la capacidad de los equipos de Apple para manejar cargas de trabajo de gran escala.

La investigación de amos-labs se centra en el desarrollo de técnicas de inferencia para modelos de lenguaje de gran escala, lo que podría tener implicaciones importantes para la industria de la inteligencia artificial. La capacidad de ejecutar modelos de lenguaje de gran escala en hardware de consumo podría abrir nuevas posibilidades para la aplicación de la inteligencia artificial en una variedad de campos, desde la traducción automática hasta la generación de texto.