Show HN: Evalúa LLM locales como traductores de lenguaje para mi app

Se ha realizado una evaluación de modelos de lenguaje locales para traducir textos al inglés. La evaluación se centró en 24 modelos, incluyendo opciones de código abierto y comerciales, que se probaron con textos en afrikáans, alemán y español.

Los resultados mostraron que, para la traducción del afrikáans al inglés, un modelo local de 18 GB llamado gemma-4-12b-qat obtuvo un puntaje similar al de los modelos en la nube más avanzados. Esto sugiere que, para este tipo de traducciones, no es necesario utilizar modelos en la nube o equipos poderosos. La evaluación se realizó utilizando una herramienta llamada COMET, que mide la calidad de la traducción en función del significado y no solo de la similitud superficial con el texto original.

“Esto sugiere que, para este tipo de traducciones, no es necesario utilizar modelos en la nube o equipos poderosos”

La evaluación también incluyó otros modelos, como gpt-5, gemini-2.5-pro y claude-opus-4.8, que obtuvieron resultados similares en la traducción del afrikáans al inglés. Sin embargo, los resultados variaron para la traducción del alemán y el español al inglés. La evaluación se realizó con un conjunto de 200 textos por idioma y se utilizó una herramienta llamada chrF++ para medir la similitud superficial entre las traducciones y los textos originales.

En general, los resultados sugieren que los modelos de lenguaje locales pueden ser una opción viable para la traducción de textos, especialmente para idiomas con menos recursos como el afrikáans. Esto podría ser beneficioso para aplicaciones que requieren traducciones precisas y no necesitan depender de la nube o de equipos poderosos. La evaluación se ha realizado de manera abierta y reproducible, y los resultados están disponibles en línea para que otros puedan verificarlos y utilizarlos para sus propias aplicaciones.