es.wedoany.com Noticia: El 15 de julio, Xiaomi lanzó oficialmente el modelo base mundial autorregresivo Xiaomi-Robotics-U0, que cuenta con 38 mil millones de parámetros. Este es el primer modelo generativo encarnado unificado que combina un modelo base de generación de imágenes con el modelado del mundo encarnado, ocupando el primer lugar en la generación de videos encarnados de World Arena y logrando una mejora promedio de más del 26 % en la finalización de tareas en evaluaciones reales de alta dificultad.
A diferencia de los modelos de mundo encarnado tradicionales que solo se entrenan en trayectorias de robots, Xiaomi-Robotics-U0 unifica, dentro de un único marco autorregresivo, la generación de escenas encarnadas multivista, la transferencia encarnada, la generación de videos de interacción robótica, la generación general de texto a imagen y la edición de imágenes. Este modelo considera la generación encarnada como una extensión de la generación básica de imágenes y videos, y puede generar directamente datos de observación robótica multivista que cumplen con las leyes físicas según instrucciones de lenguaje.
En cuanto a la generación de escenas encarnadas, el modelo admite la generación desde múltiples perspectivas. En la transferencia encarnada, Xiaomi-Robotics-U0 puede transferir una escena existente a una nueva escena manteniendo invariante el comportamiento de interacción del robot, logrando una expansión exponencial de escenas mediante la desacoplación de dimensiones como el espacio de trabajo, el fondo y la iluminación. En la generación de videos de interacción robótica, el modelo puede predecir el proceso de interacción futuro basándose en observaciones iniciales e instrucciones de operación, admitiendo el desplazamiento de escenas y la predicción multivista, con capacidad de generalización de cero disparos.
En la generación general de texto a imagen y la edición de imágenes, Xiaomi-Robotics-U0 conserva simultáneamente las capacidades relevantes, logrando una síntesis visual de alta fidelidad entre escenas, objetivos y estilos, y admite la edición guiada por instrucciones que cambia la intención mientras mantiene la estructura invariante.
En evaluaciones humanas, los efectos de generación de escenas encarnadas y transferencia encarnada de Xiaomi-Robotics-U0 superan a GPT-Image-2.0. En tareas de manipulación fina, manejo de objetos deformables y tareas de largo alcance, la estrategia de entrenamiento con datos aumentados por este modelo logra una mejora promedio del 26,3 % en la finalización de tareas bajo interferencias de iluminación desconocida y fondos extraños. En comparación con GPT-Image-2, Xiaomi-Robotics-U0 muestra ventajas significativas en consistencia multivista, controlabilidad de grano fino y robustez de transferencia, evitando eficazmente problemas de desalineación de objetos entre vistas y distorsión espacial.
En el punto de referencia World Arena, desarrollado conjuntamente por la Universidad de Tsinghua, la Universidad de Pekín y otras instituciones, Xiaomi-Robotics-U0 ocupa el primer lugar entre más de 100 modelos, obteniendo las puntuaciones más altas en controlabilidad, seguimiento de instrucciones y calidad de interacción.
Xiaomi también ha introducido el esquema de aceleración de inferencia FlashAR+, que, mediante un procesamiento posterior ligero y la tecnología vLLM, combinados con decodificación paralela diagonal y programación por lotes de caché de valores clave paginados, reduce el tiempo de generación de una sola muestra a una resolución de 1024*1024 de 450,77 segundos a 5,44 segundos, mejorando la eficiencia en 82,9 veces.
En la implementación real en la fábrica de automóviles de Xiaomi, los robots de Xiaomi ya están ejecutando tareas en la estación de trabajo de colocación de tornillos autorroscantes, logrando una tasa de éxito del 98 % en operaciones bilaterales, y alcanzando una tasa de éxito del 90 % en la clasificación de tapas laterales de la consola central y en el trabajo de plegado y reciclaje de contenedores.
El avance central de Xiaomi-Robotics-U0 radica en transferir el conocimiento visual a escala de Internet a escenas encarnadas, cambiando la ruta tradicional que antes solo dependía del ajuste fino con datos de trayectorias de robots, proporcionando una nueva dirección técnica para la construcción de motores de datos escalables para sistemas de inteligencia encarnada.
