Los investigadores de la Universidad de Cornell han desarrollado recientemente un proceso de inteligencia artificial llamado DRAWER, que puede convertir automáticamente videos cortos de habitaciones en simulaciones 3D interactivas, es decir, “gemelos digitales” altamente precisos. En este espacio digital, los usuarios pueden abrir libremente cajones y gabinetes, tocar objetos en encimeras, logrando una experiencia interactiva inmersiva. La tecnología DRAWER no solo puede usarse para desarrollar videojuegos más realistas, sino también para entrenar virtualmente a robots en operaciones en espacios reales específicos, proporcionando nuevas posibilidades para aplicaciones que requieren modelos de habitaciones realistas e interactivos.
“Las tecnologías existentes pueden sintetizar vistas desde diferentes ángulos del mundo real, pero carecen de experiencia inmersiva y verdadera interacción”, dijo Wei-Chiu Ma, profesor asistente de Ciencias de la Computación de la Universidad de Cornell. “Gracias al progreso en tecnologías de IA generativa, hemos dado un pequeño paso hacia la creación de gemelos digitales interactivos”. El 15 de junio, el estudiante de doctorado de la Universidad de Illinois Urbana-Champaign y colaborador del proyecto, Hong-Chi Xia, presentó el proyecto “DRAWER: Reconstrucción y Expresión Digital Basada en Realismo Ambiental” en la Conferencia IEEE/CVF sobre Visión por Computadora y Reconocimiento de Patrones en Nashville, Tennessee.
El proceso de creación de gemelos digitales con DRAWER es simple, requiriendo solo unos minutos de filmación para comenzar. Xia dijo: “La entrada solo necesita un video casual de una cocina filmado con un iPhone, sin necesidad de interactuar con puertas de gabinetes o objetos, y sin equipo de video avanzado”. Para convertir el video en una habitación digital interactiva realista, los investigadores integraron múltiples modelos de IA, combinaron dos métodos de renderizado, agregaron módulos de percepción para determinar partes móviles y rellenaron partes invisibles. Xia indicó que desarrollar DRAWER requirió integrar cada módulo en un marco unificado; ya ha rediseñado cocinas, baños y oficinas con este método. Los gemelos digitales generados por esta tecnología pueden colaborar sin problemas con motores de juegos, y el equipo de investigación lo ha demostrado creando juegos. Además, DRAWER puede entrenar virtualmente a robots en entornos reales a través del proceso de “real-simulado-real”.
Actualmente, la tecnología DRAWER solo se aplica a objetos rígidos, pero los investigadores planean expandirla a objetos blandos o deformables. Al mismo tiempo, esperan extender el trabajo a edificios completos y crear gemelos digitales de espacios exteriores para aplicaciones en diseño urbano o optimización de rendimientos agrícolas. Xia dijo: “Nuestro objetivo final es intentar construir gemelos digitales de todo en el mundo; hay mucho por explorar en el futuro”.
