es.wedoany.com Noticia: China Unicom Digital Intelligence, en colaboración con la Universidad de Tsinghua, la Universidad de Pekín, el Laboratorio Zhijiang y otras universidades, instituciones de investigación y socios industriales, ha publicado el primer libro blanco de la industria titulado «Tecnología de optimización de inferencia de modelos grandes orientada a la operación de tokens».

El libro blanco propone por primera vez una arquitectura de inferencia de cuatro capas: «fusión de múltiples modelos — optimización de modelos — fusión de modelos y cómputo — fusión de cómputo, red y modelos», sistematizando las tecnologías clave de cada capa y el estado actual de la industria, y analizando el valor de aplicación de las tecnologías relacionadas en escenarios comerciales reales. Estas tecnologías tienen como objetivo reducir el costo de producción de tokens, mejorar la eficiencia del servicio de tokens, garantizar la estabilidad del suministro de tokens y promover que los servicios de modelos grandes pasen de ser «invocables» a ser «operables».

En el nivel de fusión de múltiples modelos, se abordan la cuantificación de los límites de capacidad del modelo, el enrutamiento inteligente, la cascada de modelos y la integración de modelos, para resolver el problema de cómo emparejar diferentes solicitudes con modelos adecuados.

En el nivel de optimización de modelos, se incluyen mecanismos de atención de baja complejidad, optimización de arquitectura de expertos mixtos, decodificación especulativa, cuantificación de modelos, destilación de modelos, optimización de cadenas de pensamiento, gestión de memoria, compresión de caché de valores clave y optimización de rutas de generación de modelos de difusión, con el objetivo de reducir el costo de generación por token.

En el nivel de fusión de modelos y cómputo, se abordan la fusión de operadores, la optimización del acceso a la memoria, la aceleración de operadores básicos, el ajuste de parámetros del motor y la adaptación de la arquitectura del modelo, para mejorar la eficiencia de ejecución entre el modelo y el hardware.

En el nivel de fusión de cómputo, red y modelos, se incluyen la inferencia paralela en múltiples máquinas, el agrupamiento dinámico por lotes, la reutilización de caché, el enrutamiento de sesiones adhesivas, el equilibrio de carga, la limitación de velocidad y la degradación, para garantizar el suministro estable de servicios de tokens a gran escala.