Elon Musk lanza una IA que trabaja por ti las 24 horas
NVIDIA ha presentado Nemotron 3.5 Lightning, un modelo de código abierto diseñado para cargas de trabajo de IA agéntica. Este modelo se enfoca en reducir la latencia y el coste de ejecución de tareas de IA, lo que lo hace adecuado para ejecutarse en dispositivos locales con GPU GeForce RTX.
El modelo Nemotron 3.5 Lightning tiene 30.000 millones de parámetros, pero solo utiliza 3.000 millones en cada operación. Esto se logra mediante una arquitectura de "mezcla de expertos", que permite conservar la capacidad de razonamiento sin asumir el coste computacional de ejecutar un modelo denso. NVIDIA asegura que Nemotron 3.5 Lightning alcanza una velocidad de generación hasta cuatro veces superior a modelos abiertos de tamaño comparable.
“Esto se logra mediante una arquitectura de "mezcla de expertos", que permite conservar la capacidad de razonamiento sin asumir el coste computacional de ejecutar un modelo denso”
NVIDIA también ha presentado NeMo Switchyard, una biblioteca de código abierto que decide automáticamente qué modelo de IA debe utilizarse en cada fase de una tarea. Esto permite crear un "sistema de modelos" donde una IA de altas prestaciones se encarga de la planificación o de los problemas complejos, y otros modelos especializados ejecutan el grueso del trabajo. El resultado es una latencia menor, un coste reducido y un mejor aprovechamiento del hardware.
El modelo Nemotron 3.5 Lightning se distribuye en formatos BF16 y NVFP4, lo que reduce los requisitos de memoria y acelera la inferencia. NVIDIA indica que el mismo checkpoint NVFP4 puede utilizarse en servidores equipados con GPUs Blackwell, Hopper o Ampere, hasta sistemas locales como sus DGX Spark. El modelo también puede ejecutarse mediante herramientas habituales de IA local como LM Studio, llama.cpp, Ollama y Unsloth. NVIDIA publica los pesos, recetas de entrenamiento y datos de entrenamiento, lo que permite realizar ajustes mediante LoRA, supervised fine-tuning o reinforcement learning utilizando el ecosistema NeMo.
