Resultados buenos en fine-tuning modelo de lenguaje local como Qwen 3:0.6B para clasificar preguntas

Torgeir Helgevold ha desarrollado un chatbot para responder preguntas sobre su hogar, utilizando dos modelos de lenguaje local: Qwen 3:4B y Qwen 3:0.6B. El objetivo es evaluar si el modelo más pequeño, con solo 600 millones de parámetros, puede clasificar eficazmente las preguntas en categorías específicas.

El experimento consiste en entrenar el modelo pequeño (Qwen 3:0.6B) para categorizar preguntas relacionadas con la casa mediante una técnica llamada fine-tuning. Para ello, Helgevold utiliza un conjunto de datos compuesto por alrededor de 850 entradas divididas en tres partes: entrenamiento, evaluación y prueba.

“Esto sugiere que modelos más pequeños pueden alcanzar un rendimiento similar a sus contrapartes más grandes cuando se les da una tarea específica y un conjunto de datos adecuado”

Antes del entrenamiento, se estableció un punto de partida utilizando el modelo Qwen 3:0.6B sin fine-tuning. Los resultados fueron pobres, con solo una precisión del 10% en la clasificación de las preguntas según categorías específicas proporcionadas.

Después del fine-tuning, los hallazgos muestran que el modelo pequeño puede ser entrenado para realizar tareas de clasificación de manera confiable. Esto sugiere que modelos más pequeños pueden alcanzar un rendimiento similar a sus contrapartes más grandes cuando se les da una tarea específica y un conjunto de datos adecuado.

El experimento demuestra la capacidad de los modelos de lenguaje local para ser adaptados a tareas específicas, mejorando así su eficacia en contextos domésticos.