es.wedoany.com Noticia: El Instituto de Investigación en IA de Fibocom ha logrado avances clave en el campo de la inteligencia encarnada. Su marco FiboVLA desarrollado internamente y las tecnologías de optimización de inferencia en el lado del dispositivo han logrado un aumento promedio de 2.6 veces en la velocidad de inferencia de varios modelos VLA principales, y han completado la implementación de GR00T N1.5 en una plataforma de control principal de alto rendimiento en el borde. Los resultados relevantes han sido validados a través del conjunto de datos de referencia de simulación LIBERO y el entorno de verificación de robots de doble brazo en escritorio, proporcionando soporte de ingeniería para la operación eficiente de modelos de inteligencia encarnada en el lado del robot.
VLA (modelo de visión-lenguaje-acción) es una tecnología clave en la inteligencia encarnada. Integra entrada visual, instrucciones de lenguaje y generación de acciones, permitiendo que los robots generen acciones basadas en el entorno y las instrucciones de tareas. Con el aumento masivo en los parámetros de los modelos VLA, los robots enfrentan cuellos de botella en la inferencia en tiempo real en el lado del dispositivo. La velocidad de inferencia afecta directamente la respuesta de acción, la transición de tareas y la fluidez operativa del robot. Además, los robots también están limitados por múltiples restricciones como la potencia computacional, el consumo de energía, la disipación de calor y los recursos del sistema. Cómo hacer que los modelos VLA complejos funcionen de manera estable y eficiente en el control principal de alto rendimiento en el lado del dispositivo se ha convertido en un tema clave en la implementación de la inteligencia encarnada.
Para abordar el problema de la alta carga de inferencia en el lado del dispositivo de los modelos VLA, el Instituto de Investigación en IA de Fibocom adoptó el marco de compresión FiboVLA desarrollado internamente, realizando optimización a nivel de token desde la capa semántica del modelo. Durante el proceso de inferencia de VLA, existe una gran cantidad de representación redundante en la información visual y lingüística. FiboVLA, mediante la selección y compresión refinada de tokens visuales, elimina información de bajo valor y retiene contenido clave fuertemente relacionado con la comprensión de tareas, el juicio del entorno y la generación de acciones. Este marco reduce los cálculos ineficaces durante el proceso de inferencia, disminuyendo significativamente la carga computacional mientras mantiene la precisión de decisión del modelo, la capacidad de comprensión multimodal y la capacidad de generación de acciones. Al mismo tiempo, el equipo combinó la programación de la cadena de inferencia y la optimización del motor de inferencia en el lado del dispositivo para mejorar aún más la eficiencia operativa del modelo en el lado del robot. Se ha verificado que este marco no depende de una arquitectura de modelo específica y ha sido validado en múltiples modelos VLA de vanguardia principales, logrando un aumento de 2.6 veces en el rendimiento de inferencia y una compresión efectiva de la latencia de extremo a extremo.
Basándose en el marco FiboVLA y las tecnologías de optimización de inferencia en el lado del dispositivo, el Instituto de Investigación en IA de Fibocom implementó con éxito GR00T N1.5 en una plataforma de control principal de alto rendimiento en el borde y completó la verificación operativa. En el conjunto de datos de referencia de simulación LIBERO, este marco garantizó el efecto de la tarea después de la aceleración de inferencia; en el entorno físico real, también se completó la verificación operativa real de GR00T N1.5 en el escenario de robots de doble brazo en escritorio. Esto significa que los robots pueden completar más rápidamente la percepción, la toma de decisiones y la generación de acciones en el lado del dispositivo, formando un bucle de inferencia de baja latencia y continuo. Esto no solo es una mejora en la velocidad del modelo, sino también una verificación de ingeniería completada en una plataforma robótica real.
La aplicación exitosa del marco FiboVLA ha consolidado aún más las capacidades centrales del Instituto de Investigación en IA de Fibocom en las direcciones de IA en el lado del dispositivo e inteligencia encarnada, incluida la compresión de modelos, la optimización del motor de inferencia, la verificación de plataformas robóticas y la capacidad de coordinación del sistema. Ante la tendencia industrial de desarrollo acelerado de la inteligencia encarnada, Fibocom continuará combinando comunicaciones inalámbricas, potencia computacional en el borde, cadenas de herramientas de IA y las capacidades de la plataforma Fibot para ayudar a los robots y diversos terminales inteligentes a obtener una inteligencia local más eficiente y estable, proporcionando una base de ingeniería para que la inteligencia encarnada entre en sistemas operativos reales.
