Flux 3 X Mimic: La próxima generación de modelos de acción de video

La compañía Black Forest Labs ha desarrollado una nueva versión de su modelo de inteligencia artificial llamada FLUX 3, que puede generar contenido audiovisual y controlar robots. Esta versión es el resultado de una colaboración con la empresa mimic, que se especializa en robótica y aprendizaje automático.

FLUX 3 es un modelo multimodal que puede generar imágenes, audio y video de manera conjunta. Esto se logra mediante un entrenamiento conjunto en imágenes, video y audio desde el principio. La parte más desafiante del entrenamiento es la predicción de video, que requiere que el modelo aprenda a entender el contacto, el movimiento, el peso y la causalidad. Una vez que el modelo ha aprendido a renderizar el mundo de manera precisa, puede aprender la relación causal entre el video y el audio para predecir el habla sincronizada con el movimiento de los labios y los efectos de audio sincronizados con los eventos físicos que los causan.

“La empresa mimic aporta su experiencia en robótica y aprendizaje automático, mientras que Black Forest Labs contribuye con su expertise en modelos de inteligencia artificial”

La colaboración entre Black Forest Labs y mimic ha dado lugar a FLUX-mimic, un modelo de acción de video que se ejecuta en robots y ha sido probado y desplegado en Audi. FLUX-mimic es capaz de controlar robots y realizar tareas de automatización en líneas de producción reales. La empresa mimic aporta su experiencia en robótica y aprendizaje automático, mientras que Black Forest Labs contribuye con su expertise en modelos de inteligencia artificial.

La clave para el éxito de FLUX 3 y FLUX-mimic es su capacidad para entender el mundo físico y aprender a interactuar con él. En lugar de construir un modelo separado para la creación de contenido y otro para el control de robots, la compañía se ha centrado en desarrollar un modelo que pueda hacer ambas cosas. Esto se logra mediante un enfoque en la inteligencia visual como núcleo del modelo, lo que permite una amplia gama de aplicaciones, desde la creación de contenido hasta la inteligencia física. La empresa espera que esta tecnología tenga un impacto significativo en la industria, permitiendo la automatización de tareas complejas y la interacción más efectiva entre humanos y máquinas.