Máquinas de estado persistente: atención de LLM con células de memoria INT4
Un equipo de investigación ha desarrollado un marco formal para operadores de atención en modelos de lenguaje grandes mediante máquinas de estado persistente. Este enfoque permite la evaluación de transiciones de estado deterministas en células de memoria.
Los investigadores han presentado pruebas matemáticas completas para los límites de error de cuantización, la construcción de Softmax discreta y la equivalencia con autómatas finitos deterministas. También han demostrado que la arquitectura es factible de implementar en lógica programable contemporánea. La implementación se ha validado a través de dos flujos de evaluación: una evaluación de baja potencia y una integración de sistema en chip.
“La arquitectura ocupa solo el 0,67% de las rebanadas lógicas del dispositivo y no utiliza bloques DSP, lo que muestra un gran potencial de escalabilidad”
La evaluación de baja potencia se realizó en un arreglo de 1024 células, lo que demostró que la potencia dinámica del núcleo lógico es inferior a 1,0 mW. La integración de sistema en chip se llevó a cabo en un arreglo de 256 células, lo que confirmó la compatibilidad del sistema y la exactitud de los bits con un modelo de software de referencia. La arquitectura ocupa solo el 0,67% de las rebanadas lógicas del dispositivo y no utiliza bloques DSP, lo que muestra un gran potencial de escalabilidad.
La investigación tiene implicaciones importantes para el desarrollo de modelos de lenguaje más eficientes y escalables. La capacidad de implementar operadores de atención en hardware puede mejorar significativamente el rendimiento y la eficiencia energética de los modelos de lenguaje. Además, la arquitectura de máquinas de estado persistente puede ser aplicada a otros dominios, como la visión por computadora y el procesamiento de señales. La investigación se ha presentado en un artículo titulado "Máquinas de estado persistente: atención de LLM con células de memoria INT4", que se encuentra disponible en la plataforma de publicación de acceso abierto Zenodo.
