es.wedoany.com Noticia: El equipo de Yang Shuo de la Universidad de Tecnología de Harbin (Shenzhen) ha publicado TouchWorld, un modelo táctil del mundo diseñado para que los robots, al realizar manipulaciones diestras, no solo puedan predecir cambios visuales, sino también predecir y utilizar la retroalimentación táctil para corregir acciones. El lanzamiento de TouchWorld marca una nueva etapa en la ruta técnica centrada en el tacto de este equipo. Anteriormente, el equipo ya había lanzado EgoTouch, que resuelve el problema de la recopilación de datos táctiles, y TouchAnything, que recupera información táctil a partir de videos en primera persona. Estos tres trabajos conforman conjuntamente una cadena completa que va desde la recopilación de datos, pasando por el aumento de datos, hasta la aplicación del modelo.
Yang Shuo es actualmente profesor titular y supervisor de doctorado en la Facultad de Ciencias de la Computación y Tecnología de la Universidad de Tecnología de Harbin (Shenzhen), y también es fundador y CEO de PHANES AI. El objetivo de PHANES AI es fusionar datos de video humano con la modalidad de percepción táctil para construir un modelo del mundo de manipulación diestra y móvil de cuerpo completo para robots humanoides, estableciendo una cadena de capacidades completa que abarca desde datos, modelos hasta el control. La empresa considera que, antes de que los robots entren en escenarios de operación real, eslabones como los datos táctiles, los modelos táctiles del mundo y el control de retroalimentación de manos diestras aún se encuentran en una etapa de inmadurez técnica, y espera conectar estas capacidades a través de la entrada de datos táctiles.
Desde la perspectiva de la trayectoria de investigación, uno de los problemas centrales que aborda el equipo de Yang Shuo es la fuente de datos de aprendizaje para los robots. En el campo de la inteligencia incorporada, los datos de operación continua de los humanos en el mundo real se están convirtiendo en una entrada importante para el aprendizaje de los robots. Trabajos como NVIDIA EgoScale y Generalist/Gen-1 muestran que el preentrenamiento con datos humanos a gran escala, combinado con un post-entrenamiento con una pequeña cantidad de datos de robots reales, puede mejorar la tasa de éxito de los robots en tareas complejas y de largo alcance. Sin embargo, el equipo señala que esta ruta carece de información táctil. Los videos en primera persona permiten que los robots observen cómo operan los humanos, pero no pueden proporcionar información clave como la presión de los dedos, si un objeto se desliza o si el contacto es estable. PHANES AI cree que los robots necesitan comprender lo que sucede cuando la mano entra en contacto con un objeto, y esta es la razón por la que han desarrollado la serie de trabajos que van desde EgoTouch y TouchAnything hasta TouchWorld.
La función central de TouchWorld se divide en dos partes: predictiva y reactiva. La parte predictiva significa que el robot no solo debe predecir la imagen futura, sino también el estado de contacto que debería formarse en el futuro. Por ejemplo, en la tarea de presionar el botón de una regadera, es difícil determinar si se ha presionado correctamente solo con la imagen, mientras que la predicción del objetivo táctil permite que el robot sepa claramente el contacto y la presión que deben tener los dedos al completar la subtarea. La parte reactiva se refiere a la corrección de alta frecuencia mediante retroalimentación táctil. En la operación real, los objetos pueden deslizarse o los dedos pueden no agarrar firmemente, por lo que el robot necesita ajustar rápidamente sus acciones basándose en la retroalimentación táctil en tiempo real, en lugar de esperar a que el modelo de nivel superior replanifique. En el diseño de TouchWorld, la frecuencia de inferencia del módulo reactivo es 4 veces mayor que la del modelo táctil del mundo, y cada vez genera una cantidad de corrección.
TouchWorld fue probado en seis tareas robóticas reales: regar plantas, limpiar una mesa, insertar un enchufe de corriente, insertar una taza, limpiar una olla y sacar pañuelos de papel. En un entorno sin perturbaciones, la tasa de éxito promedio alcanzó el 65.0%; en escenarios con perturbaciones añadidas artificialmente, la tasa de éxito promedio fue del 57.2%. En comparación con métodos como Pi-0.5, FTP-1 y GR00T N1.7, TouchWorld superó al modelo de referencia con mejor rendimiento entre los métodos comparados en 15.7 y 16.0 puntos porcentuales en las dos configuraciones, respectivamente. Este resultado verifica que, cuando la tarea entra en la fase de contacto, la predicción del objetivo táctil y la corrección de alta frecuencia mediante retroalimentación pueden mejorar la estabilidad de la operación del robot, demostrando que el tacto puede integrarse en los modelos del mundo y las estrategias de operación de los robots, y no limitarse a las lecturas de los sensores.
PHANES AI señala que la manipulación diestra táctil es un problema sistémico que no puede resolverse con un solo modelo puntual. Durante el proceso de investigación y desarrollo, el equipo, ante la falta de soluciones táctiles maduras para manos diestras de alta libertad, adaptó guantes táctiles recortándolos y colocándolos en una mano diestra de cinco dedos, pero se encontraron con problemas como la fácil rotura de los guantes, la deriva del sistema debido al calentamiento de la mano diestra, el alto ruido de los datos y la baja eficiencia de recopilación. Por lo tanto, la empresa está invirtiendo en infraestructura de datos, construyendo una plataforma de recopilación de datos multimodales de bajo costo, sin sensaciones y portátil, que integra información como la visión en primera persona, la perspectiva de la muñeca, la postura de la mano, el tacto de toda la palma y la postura de todo el cuerpo, con el objetivo de que los robots obtengan datos más cercanos a la sensación real de la mano humana.
PHANES AI espera, en torno a la manipulación diestra y móvil de cuerpo completo de robots humanoides, completar capacidades sistémicas que incluyen la recopilación de datos táctiles, la estimación táctil, los modelos táctiles del mundo, la teleoperación y la base de hardware, el sistema de evaluación, y el modelo de manipulación diestra y móvil de cuerpo completo. Su ruta técnica, desde EgoTouch y TouchAnything para resolver el problema de la fuente de datos táctiles, pasando por TouchWorld para lograr la predicción y el uso del tacto, hasta HumanWBC que apunta a un ciclo cerrado de percepción y comprensión, movimiento autónomo, control de cuerpo completo y manipulación diestra, permite que los robots pasen de ser capaces de ver a ser capaces de caminar, agarrar y completar tareas.
El artículo de TouchWorld se ha publicado en arXiv (arxiv.org/abs/2607.07287), y la página principal del proyecto es phanes-lab.github.io/TouchWorld-website/. El artículo de TouchAnything (arxiv.org/abs/2605.13083) y su página principal (jianyi2004.github.io/TouchAnything-Website/) también se han hecho públicos.
