Beyond LoRA: ¿Puedes superar la técnica de fine-tuning más popular?

Hugging Face analiza si la técnica de fine-tuning más popular, LoRA, sigue siendo la mejor opción para ajustar modelos con eficiencia en parámetros.

El término "parameter-efficient fine-tuning" (PEFT) se refiere a técnicas que reducen significativamente el requerimiento de memoria al ajustar un modelo. Aunque existen numerosas opciones, casi todos los usuarios optan por LoRA debido a su popularidad y eficacia comprobada.

“El término "parameter-efficient fine-tuning" (PEFT) se refiere a técnicas que reducen significativamente el requerimiento de memoria al ajustar un modelo”

Hugging Face ha desarrollado una biblioteca PEFT que implementa múltiples técnicas PEFT detrás de una API unificada y se integra bien con otros ecosistemas como Transformers y Diffusers. Esta herramienta permite ajustar modelos cuantificados, ofrece tamaños mínimos de checkpoint y mayor resistencia al olvido catastrófico.

LoRA (Low Rank Adaptation) es la técnica PEFT más utilizada. De 20,834 tarjetas de modelo en Hugging Face Hub que mencionan una sola técnica PEFT, 98.4% nombran a LoRA. En un muestreo externo de 10,000 checkpoints para generación de imágenes, el 95% son LoRAs.

A pesar del dominio de LoRA en el mercado, algunos investigadores afirman que sus técnicas PEFT superan a LoRA. Sin embargo, basarse únicamente en resultados de papers puede ser problemático al elegir la técnica adecuada para un caso específico.

La pregunta surge si estamos dejando desaprovechadas posibles mejoras en rendimiento al rechazar otras técnicas menos conocidas pero igualmente eficaces.