es.wedoany.com Noticia: En el entrenamiento posterior de refuerzo de modelos de lenguaje grandes, el proceso de rollout que genera una gran cantidad de respuestas de razonamiento a menudo conlleva altos costos computacionales, pero muchas de estas muestras pueden no proporcionar señales de entrenamiento efectivas. Para abordar este problema, el equipo de investigación del Departamento de Automatización de la Universidad Tsinghua ha propuesto un marco de optimización llamado POPO (Group Prioritized Off-Policy Optimization), cuyo objetivo es reducir significativamente el consumo de muestras ineficaces en el entrenamiento RLVR (Reinforcement Learning with Verifiable Rewards) mediante la optimización fuera de política a nivel de grupo.
La ventaja principal de RLVR es que sus señales de recompensa pueden verificarse automáticamente mediante reglas, pero al entrenar con métodos como GRPO (Group Relative Policy Optimization), el modelo genera un conjunto de respuestas para un mismo prompt. Si todas las respuestas de este conjunto son correctas o todas son incorrectas, la varianza de la recompensa es cero, lo que hace que la ventaja relativa dentro del grupo desaparezca y las muestras apenas contribuyan a la actualización de parámetros. Esta situación, definida como "muestras ineficaces", es muy común en RLVR, especialmente para problemas demasiado simples o demasiado difíciles, donde el modelo consume una gran cantidad de recursos computacionales sin obtener gradientes efectivos.
Los métodos existentes para abordar esto incluyen principalmente: DAPO, que filtra grupos ineficaces ampliando el batch candidato y realizando rollouts adicionales, pero a costa de aumentar los costos de generación; el método de muestreo predictivo, que estima la tasa de éxito del prompt antes del rollout, pero carece de estabilidad en datos a gran escala o entrenamiento con pocas épocas; y el método de reproducción de trayectorias, que aunque guarda respuestas exitosas históricas, no puede manejar desafíos como la evaluación de validez dentro del grupo y el sesgo fuera de política.
La idea central de POPO es mantener un pequeño búfer de reproducción (replay buffer) que almacene los grupos de respuestas efectivas encontradas en el entrenamiento reciente. En cada paso de entrenamiento, el modelo primero realiza un rollout para el batch actual y luego divide los grupos de respuestas en grupos efectivos (varianza mayor que cero) y grupos ineficaces (varianza igual a cero) según la varianza de la recompensa. POPO conserva los grupos efectivos y, para las posiciones de grupos ineficaces, no realiza un nuevo rollout, sino que extrae del búfer el grupo efectivo más reciente para completarlos. Esta estrategia permite que el batch de entrenamiento esté compuesto principalmente por muestras efectivas sin aumentar el costo de nuevos rollouts.
A diferencia de la reproducción a nivel de trayectoria común, POPO elige realizar la reproducción a nivel de grupo. Un grupo contiene un prompt y su conjunto correspondiente de respuestas, y todos los datos del grupo provienen de la misma política histórica, manteniendo la coherencia interna del grupo, lo que facilita la corrección fuera de política posterior. Para la selección de grupos de reproducción, POPO se basa principalmente en dos criterios: "calidad" (varianza de recompensa no nula) y "distancia a la política actual" (priorizando la reproducción de grupos efectivos almacenados más recientemente).
Para abordar el problema del sesgo en los datos de reproducción, POPO introduce una optimización fuera de política desacoplada, que separa los roles de la "política de comportamiento" y la "política de restricción proximal". Para las muestras de reproducción, el algoritmo utiliza un muestreo por importancia para corregir el sesgo fuera de política, mientras mantiene restricciones de región de confianza consistentes con las muestras dentro de la política, equilibrando la corrección del sesgo y la estabilidad del entrenamiento.
El artículo evalúa el rendimiento de POPO en tres tipos de tareas: razonamiento matemático, planificación numérica y geometría visual. En la tarea de razonamiento matemático, se entrenaron modelos DeepSeek-R1-Distill-Qwen-1.5B y 7B en el conjunto de datos DeepScaleR; en la tarea de planificación numérica, se entrenó Qwen2.5-3B en el subconjunto Countdown-34; en la tarea de geometría visual, se entrenó y evaluó Qwen2.5-VL-3B-Instruct en Geometry3k. Los métodos de comparación incluyen líneas base como GRPO, DAPO, MoPPS y ARPO.
Según las curvas de entrenamiento, POPO converge más rápido que GRPO, ARPO y MoPPS en múltiples tareas, con un rendimiento general cercano al de DAPO, pero con un costo de rollout significativamente reducido. En DSR-1.5B, POPO obtuvo una puntuación media dentro de la distribución de 55.1, igual que DAPO, y una puntuación media fuera de la distribución de 32.9, ligeramente superior a los 32.7 de DAPO, con un tiempo de entrenamiento reducido de 30 horas a 16 horas. En DSR-7B, POPO obtuvo una puntuación media dentro de la distribución de 63.3, superior a los 63.2 de DAPO, y una puntuación media fuera de la distribución de 51.2, superior a los 50.8 de DAPO, con un tiempo de entrenamiento reducido de 55 horas a 34 horas. En la tarea Countdown, POPO alcanzó una precisión media del 60.4%, cercana al 61.5% de DAPO, pero con solo 205k rollouts (frente a los 877k de DAPO), y el tiempo de entrenamiento se redujo de 5.6 horas a 3.2 horas. En la tarea Geometry, POPO obtuvo un resultado de 50.0, cercano a los 50.6 de DAPO, con 492k rollouts (frente a los 1438k de DAPO), y el tiempo de entrenamiento se redujo de 11.2 horas a 6.8 horas.
Los experimentos de ablación validan la necesidad de cada diseño de POPO. El método de encontrar grupos de reproducción mediante la divergencia KL (POPO-KL) tiene un rendimiento similar pero una eficiencia computacional menor; el método de solo filtrar grupos ineficaces sin completar el batch (GRPO-filter) tiene un rendimiento inferior al de POPO; la reproducción sin distinguir grupos efectivos (POPO-ineff) muestra una disminución significativa en el rendimiento; y la reproducción de muestras de historias lejanas (POPO-stale) provoca un colapso del rendimiento. En cuanto al objetivo de optimización, tratar simplemente los datos de reproducción como datos dentro de la política actual provoca un colapso del rendimiento, mientras que el objetivo de optimización fuera de política desacoplado ofrece el mejor rendimiento.
Análisis adicionales muestran que POPO supera consistentemente a GRPO y se acerca a DAPO en diferentes tamaños de grupo de respuestas (k=4, 8, 16, 32), y puede aplicarse a otros algoritmos RLVR básicos como RLOO y PPO, así como combinarse con métodos de muestreo activo como MoPPS.
El artículo señala que el valor central de POPO es transformar el entrenamiento RLVR de "generar mucho y filtrar mucho" a "desperdiciar menos", almacenando en caché y reutilizando muestras efectivas de alta calidad ya generadas, reduciendo el desperdicio de rollouts ineficaces mientras se mantiene la estabilidad del entrenamiento. Tomando como ejemplo los datos de este artículo, en la tarea DeepScaleR-7B, POPO alcanzó un rendimiento cercano al de DAPO utilizando solo aproximadamente el 30% del presupuesto de rollout. En el futuro, el equipo planea explorar una estrategia híbrida que combine un búfer FIFO a corto plazo con un depósito a largo plazo para reducir aún más la cantidad de rollouts en línea y aumentar el uso controlable de datos fuera de línea.
El artículo fue completado por el equipo del profesor Ji Xiangyang del Departamento de Automatización de la Universidad Tsinghua, con autores que incluyen a Yixiu Mao, Yun Qu, Cheems Wang, Heming Zou y Xiangyang Ji (Mao Yixiu, Qu Yun, Wang, Zou Heming, Ji Xiangyang). El primer autor, Mao Yixiu, es doctorando del Departamento de Automatización de la Universidad Tsinghua y actualmente realiza prácticas en el equipo del modelo grande Tongyi Qianwen de Alibaba. El artículo fue publicado en arXiv con el número 2606.01281v1.
