es.wedoany.com Noticia: NVIDIA de EE. UU. ha lanzado recientemente el modelo Nemotron-Labs-TwoTower de código abierto, que mejora la eficiencia de generación de texto de modelos grandes mediante una arquitectura de dos torres. En las pruebas, este modelo conserva el 98,7 % de la calidad del modelo de referencia autorregresivo, al tiempo que logra un aumento de 2,42 veces en el rendimiento real de generación. Los pesos correspondientes ya están disponibles en la plataforma Hugging Face de EE. UU.
El enfoque técnico de TwoTower consiste en separar las dos tareas de "comprender el contexto" y "generar nuevos tokens" en los modelos de lenguaje tradicionales. La mayoría de los modelos autorregresivos necesitan generar tokens uno tras otro en secuencia; si el token anterior no se completa, el siguiente no puede entrar en un flujo de salida estable. Este método ofrece alta calidad, pero en textos largos, generación de código, tareas de agentes y servicios de alta concurrencia, tiende a formar un cuello de botella en la velocidad. La arquitectura TwoTower propuesta por NVIDIA de EE. UU. divide el modelo en una torre de contexto y una torre de eliminación de ruido: la torre de contexto se encarga de leer las indicaciones y el texto existente, manteniendo la capacidad del modelo autorregresivo para comprender la semántica, la lógica y el contexto; la torre de eliminación de ruido se encarga de corregir iterativamente los bloques ruidosos, permitiendo que la generación de texto avance de manera más paralela.
Desde la perspectiva de la estructura del modelo, Nemotron-Labs-TwoTower se basa en Nemotron-3-Nano-30B-A3B y está compuesto por dos torres de modelo de aproximadamente 30B, adoptando una arquitectura híbrida Mamba-Transformer MoE. La torre de contexto permanece congelada, asumiendo principalmente la tarea de representación de contexto de "solo lectura"; la torre de eliminación de ruido se entrena por separado, utilizando atención de bloques bidireccional y atención cruzada capa por capa para leer información semántica de la torre de contexto, y luego realizar la generación y eliminación de ruido a nivel de bloque. Este diseño evita que una sola red asuma simultáneamente las funciones de expresión de contexto y eliminación iterativa de ruido, y también permite reutilizar las capacidades del modelo autorregresivo preentrenado original, sin necesidad de entrenar un modelo de lenguaje de difusión desde cero.
En términos de entrenamiento y eficiencia, el valor de TwoTower no se limita a la mejora de la velocidad de inferencia. Según la información del artículo, el modelo se entrenó con aproximadamente 2,1 billones de tokens y se adaptó sobre la base de un modelo de arquitectura mixta de 30B con pesos abiertos. En comparación con el problema común de degradación de la comprensión semántica en los modelos de lenguaje de difusión tradicionales, TwoTower mantiene el conocimiento del lenguaje y el contexto largo del modelo existente en el sistema al conservar la torre de contexto autorregresiva congelada, y luego permite que la torre de eliminación de ruido se especialice en resolver el problema de generación paralela. En otras palabras, no sacrifica calidad por velocidad, sino que rediseña el flujo de generación mediante una división de tareas del modelo.
La aceleración de 2,42 veces en la generación de tokens tiene un significado directo para desarrolladores y despliegues empresariales. Cuando las aplicaciones de modelos grandes entran en agentes, programación con IA, preguntas frecuentes de atención al cliente, generación de bases de conocimiento y procesamiento de documentos largos, la velocidad de salida afecta el tiempo de espera del usuario, la capacidad de concurrencia del servicio y el costo de inferencia. Una tarea de agente puede incluir múltiples rondas de planificación, llamadas a herramientas, generación de código, verificación de resultados y salida explicativa; cuanto más lenta sea la generación de tokens, mayor será el tiempo total de la tarea; si el modelo mejora el rendimiento manteniendo una calidad cercana a la original, se pueden manejar más solicitudes con el mismo hardware o reducir el tiempo de respuesta bajo la misma cantidad de solicitudes.
Este lanzamiento de código abierto también convierte a TwoTower en algo más que una arquitectura de laboratorio. La página de Hugging Face de EE. UU. muestra que Nemotron-Labs-TwoTower-30B-A3B-Base-BF16 se puede cargar mediante Transformers, y también se puede implementar con vLLM, SGLang y Docker Model Runner. Para los investigadores, los pesos abiertos facilitan la reproducción de experimentos, la comparación de modos de decodificación y la exploración del rendimiento de los modelos de lenguaje de difusión en la generación de textos largos; para los equipos de ingeniería, el modelo de código abierto puede ingresar a entornos de prueba locales para evaluar el costo de inferencia, el uso de memoria, el rendimiento del servicio y la estabilidad de la calidad.
Sin embargo, TwoTower no significa que todas las tareas de texto obtengan incondicionalmente una mejora de 2,42 veces en la experiencia. La velocidad real se ve afectada por la configuración del hardware, el tamaño del lote, la longitud del contexto, la estrategia de decodificación, el marco de implementación y el tipo de tarea. Para preguntas y respuestas cortas, baja concurrencia o escenarios con una fuerte dependencia del orden de generación, los beneficios pueden no ser tan evidentes como en la generación de textos largos, la finalización de código y la salida de múltiples pasos de agentes. El hecho de que el modelo conserve el 98,7 % de la calidad también significa que todavía existe cierta pérdida de capacidad, especialmente en tareas de matemáticas, código o razonamiento riguroso; los desarrolladores deben realizar validaciones con sus propios datos comerciales.
El lanzamiento de código abierto de TwoTower por parte de NVIDIA de EE. UU. refleja que la competencia de modelos grandes está pasando de la expansión de la escala de parámetros a una fase más profunda de eficiencia de generación, costo de inferencia y capacidad de implementación de ingeniería. Una velocidad de generación de tokens más rápida puede acercar las aplicaciones de IA a la interacción en tiempo real; el soporte de pesos abiertos y marcos de implementación principales permite a las empresas probar nuevas arquitecturas en su propio hardware y procesos comerciales. El objetivo de TwoTower no es reemplazar todos los modelos autorregresivos, sino proporcionar una nueva ruta de generación para escenarios de textos largos, alta concurrencia, agentes e inferencia local: conservar la capacidad de comprensión del contexto de los modelos existentes, mientras se utiliza un mecanismo de eliminación de ruido de difusión para resolver el cuello de botella de velocidad de la generación token por token.
