NVIDIA publicó el 8 de octubre siete ejemplos de cómo su personal utiliza agentes de inteligencia artificial para construir simulaciones con las bibliotecas Omniverse. Los proyectos van de un robot en un almacén a una aplicación de la Estación Espacial Internacional. La empresa describe prototipos y experimentos internos: sus resultados no constituyen una evaluación independiente del rendimiento de esos agentes.
El proceso que presenta NVIDIA combina instrucciones en lenguaje natural, generación de código y revisión humana. Los desarrolladores plantean tareas, inspeccionan resultados y piden correcciones; Omniverse aporta física, renderizado y simulación de sensores acelerados por GPU. Para quienes desarrollan aplicaciones, el interés está en cómo conectar esas piezas y comprobar su comportamiento, más que en generar únicamente una escena visual.
Robots: del almacén al desmontaje de piezas
Frank DeLise, gerente de producto de Omniverse, dirigió al agente Astra para integrar un almacén SimReady y un humanoide en un simulador con vistas en primera y tercera persona. Según NVIDIA, el agente generó animaciones y código, enlazando bibliotecas de física, actualización de escenas, renderizado e interfaz. El objetivo era explorar cómo realizar tareas de almacén antes de automatizarlas.
En Robo Olympics, Tae Kim guio a Astra con videos deportivos e instrucciones para desarrollar controladores de humanoides Unitree G1. El proyecto empleó Newton Physics Engine, NVIDIA Warp y renderizado ovrtx. La empresa reporta que un robot superó una valla en 64 de 100 ensayos simulados; esa cifra corresponde a una prueba específica, no a una capacidad demostrada en un robot físico.
Otro experimento abordó una dificultad de desmontaje: alcanzar los tornillos de una suspensión automotriz. Jens Jebens dirigió a Astra para modelarla en PTC Onshape y configurarla en Isaac Sim. NVIDIA explica que el agente midió el espacio disponible y diseñó una llave adecuada; Jebens reportó el retiro de un componente dentro de la simulación, vinculando diseño de herramientas y pruebas de acceso.
Sensores y conducción: comparar antes de corregir
Doyub Kim desarrolló con Astra el prototipo Zero to Alpamayo, basado en Market Street, San Francisco. Según NVIDIA, conectó por etapas los elementos de la escena, el tráfico, los sensores RTX y el modelo de conducción Alpamayo, revisando cada integración. Un experimento separado usó Cosmos3-Nano para variar clima e iluminación en videos simulados y comparar las respuestas del modelo ante esas condiciones.
Ashley Reid tomó otro punto de partida: las diferencias entre sensores simulados y datos registrados. NVIDIA afirma que, bajo su dirección, agentes Astra y Claude Fable 5 crearon dos gemelos digitales y mejoraron otros dos durante unos tres días. Las correcciones abarcaron objetos faltantes, geometría y materiales; su aceptación dependió de métricas de cámara y LiDAR, no sólo de que las escenas parecieran realistas.
Una estación espacial y habitaciones editables
Nic Johns utilizó recursos de NASA para crear con Astra un modelo OpenUSD de la Estación Espacial Internacional con telemetría y llevarlo al navegador. El flujo descrito por NVIDIA incluyó Blender y bibliotecas de renderizado, ejecución de escenas y transmisión. Después de la instrucción inicial, Johns pidió mover la escena al lado diurno de la Tierra para que el planeta fuera visible.
Chirag Majithia, por su parte, convirtió capturas de cámara estéreo en una habitación editable, con revisión humana de objetos y ajustes de colisiones de puertas y cajones en Isaac Sim. Para comenzar con una tarea medible, NVIDIA propone renderizar una escena OpenUSD mediante el ejemplo mínimo de Python de ovrtx y definir una métrica de sensor que permita compararla con datos registrados.
