NVIDIA Cosmos-H-Dreams: Simulación generativa en tiempo real para robótica quirúrgica

La compañía NVIDIA ha desarrollado un simulador generativo en tiempo real llamado Cosmos-H-Dreams para la robótica quirúrgica. Este sistema permite evaluar y entrenar sistemas de robótica quirúrgica de manera más eficiente y segura.

NVIDIA Cosmos-H-Dreams se basa en un modelo de mundo de cirugía que aprende la dinámica visual directamente desde videos y cinemática de robots. Esto permite generar video futuro de una escena inicial y una secuencia de acciones de robot. El sistema puede ejecutarse en un solo procesador gráfico NVIDIA RTX PRO 6000 y permite un entorno interactivo que puede ser controlado por una persona o una política aprendida.

“El sistema puede ejecutarse en un solo procesador gráfico NVIDIA RTX PRO 6000 y permite un entorno interactivo que puede ser controlado por una persona o una política aprendida”

El desarrollo de Cosmos-H-Dreams se basa en el modelo Cosmos-H-Surgical-Simulator, que es un modelo de mundo de cirugía condicionado por acciones. Este modelo puede generar video que muestra las consecuencias visuales probables de una secuencia de acciones de robot. Sin embargo, Cosmos-H-Dreams se especializa en la sutura de mesa de da Vinci Research Kit (dVRK) y puede generar la escena de manera autoregresiva.

La compañía ha colaborado con CMR Surgical y Cambridge Consultants para integrar Cosmos-H-Dreams con el controlador de cirujano Versius, lo que permite la operación en tiempo real en la plataforma Versius. El sistema también puede ser utilizado para evaluar políticas de robótica quirúrgica y generar datos sintéticos. La capacidad de Cosmos-H-Dreams para preservar la dinámica quirúrgica útil mientras reduce el costo de generación es clave para su éxito.

El entrenamiento del modelo se realizó mediante un pipeline de entrenamiento de maestro a estudiante, diseñado para rollouts autoregresivos largos. El modelo de maestro se inició a partir del punto de partida de Cosmos-H-Surgical-Simulator y se ajustó fino en el conjunto de datos JHU dVRK tabletop. El modelo de estudiante se especializó en la sutura de mesa de dVRK y se distinguió en un modelo causal que genera la escena autoregresivamente. La colaboración con otras compañías y la capacidad de Cosmos-H-Dreams para operar en tiempo real lo convierten en un sistema prometedor para la robótica quirúrgica.