GRPO (Group Relative Policy Optimization): La Técnica Detrás de DeepSeek-R1 Explicada

1. El Problema del PPO Tradicional en Modelos Frontera

El estándar de la industria para el aprendizaje por refuerzo con retroalimentación humana (RLHF) ha sido durante años PPO (Proximal Policy Optimization). Sin embargo, escalar PPO a modelos de más de 30.000 millones de parámetros es una pesadilla de infraestructura:

PPO requiere mantener en VRAM cuatro redes neuronales de escala completa simultáneamente:

• El Actor (Policy Model): El modelo que se entrena y actualiza sus pesos.
• La Referencia (Reference Model): El modelo original congelado para computar la divergencia KL.
• El Reward Model: El clasificador que puntúa la respuesta humana.
• El Critic Model (Value Function): Una red idéntica en tamaño al Actor que predice el valor esperado de cada token intermedio para calcular la ventaja (Generalized Advantage Estimation - GAE).

Entrenar un modelo de 70B con PPO requería duplicar el número de servidores GPU únicamente para alojar el Critic Model.

2. La Ecuación y Funcionamiento de GRPO

DeepSeek eliminó por completo el Critic Model mediante un principio estadístico simple y elegante: la normalización grupal.

Para cada pregunta o problema $q$ del dataset:

1. El modelo muestrea un grupo de $G$ respuestas candidatas: ${o_1, o_2, dots, o_G}$.
2. Un verificador de reglas puntúa cada una de las salidas con una recompensa escalar: ${r_1, r_2, dots, r_G}$.
3. Se calcula la media grupal $mu$ y la desviación estándar $sigma$ de las recompensas:

   mu = sum(r_i) / G
   sigma = sqrt( sum( (r_i - mu)^2 ) / G )

4. La ventaja normalizada $A_i$ de la respuesta $i$ se define directamente como su puntuación estandarizada:

   A_i = (r_i - mu) / sigma

Si una respuesta obtiene una puntuación superior a la media de sus compañeras de grupo, la ventaja es positiva ($A_i > 0$) y sus probabilidades se refuerzan; si es inferior a la media ($A_i < 0$), se penaliza. Todo ello sin un solo parámetro extra de red neuronal.

3. Funciones de Recompensa Basadas en Reglas (Rule-Based Rewards)

El segundo pilar de DeepSeek-R1 fue abandonar los modelos de recompensa neuronales subjetivos, los cuales son propensos al "Reward Hacking" (donde el modelo aprende a agradar al evaluador con respuestas elocuentes pero vacías o falsas).

En su lugar, implementaron dos verificadores estrictos:

• Recompensa de Exactitud (Accuracy Reward): Para problemas matemáticos (e.g. GSM8K o MATH) o de programación (e.g. LeetCode), la respuesta final debe coincidir exactamente con el resultado numérico o superar todos los casos de prueba del compilador.
• Recompensa de Formato (Format Reward): Obliga al modelo a estructurar su pensamiento introspectivo entre las etiquetas <think> ... </think> antes de emitir la conclusión final.

4. Comparativa: PPO vs DPO vs GRPO

5. Conclusión y Futuro del Entrenamiento de LLMs

GRPO ha demostrado que el verdadero salto cognitivo en modelos de lenguaje no requiere presupuestos multimillonarios en computación humana, sino funciones de recompensa objetivas y algoritmos de optimización matemática eficientes que permitan al modelo explorar y aprender por sí mismo.

6. Implementación de una Función de Recompensa de Reglas con TRL

A continuación mostramos cómo estructurar una función de recompensa basada en verificación matemática y formateo de etiquetas para entrenar con GRPO:

import re

def recompensa_verificacion_matematica(prompts, completions, answer, **kwargs):
    rewards = []
    for completion, solucion_verdadera in zip(completions, answer):
        score = 0.0
        # 1. Recompensa de formato: Debe contener  y 
        if "" in completion and "" in completion:
            score += 0.2
            
        # 2. Extraer la respuesta final tras la cadena de pensamiento
        patron_respuesta = r"(.*?)"
        match = re.search(patron_respuesta, completion, re.DOTALL)
        if match:
            prediccion = match.group(1).strip()
            # 3. Recompensa de exactitud: Comparación numérica estricta
            if prediccion == str(solucion_verdadera).strip():
                score += 1.0
            else:
                score -= 0.5 # Penalización por respuesta errónea
        else:
            score -= 0.3 # Penalización por no estructurar la respuesta final
            
        rewards.append(score)
    return rewards

7. El Fenómeno del "Aha Moment" y la Emergencia del Razonamiento

Durante los experimentos de DeepSeek-R1-Zero, los investigadores no introdujeron ningún dato de demostración humana sobre cómo razonar. Simplemente dejaron correr el optimizador GRPO con recompensas de acierto matemático durante miles de pasos. Hacia el paso 1.500, el modelo empezó a emitir expresiones introspectivas en su bloque de pensamiento (como "Espera, reconsideremos este paso..." o "Revisemos si la suposición inicial se cumple..."), demostrando que la reflexión estratégica es la ruta de menor entropía matemática para maximizar recompensas de problemas lógicos complejos.

8. Mitigación de Reward Hacking en Entrenamientos con GRPO

El principal riesgo de utilizar recompensas basadas en reglas es el Reward Hacking: el modelo descubre atajos semánticos para maximizar la puntuación matemática sin resolver el problema genuinamente (por ejemplo, devolviendo cadenas vacías si la penalización por formato roto no está calibrada o repitiendo infinitamente el mismo paso deductivo).

Para blindar el optimizador GRPO contra estas trampas algorítmicas:

• Penalización por Longitud Excesiva: Aplica una penalización lineal si la cadena de pensamiento supera un umbral máximo razonable (e.g. max_thought_tokens = 4096).
• Divergencia KL de Seguridad: Aunque GRPO elimina el modelo crítico, retiene una penalización por divergencia Kullback-Leibler frente a la política de referencia congelada:

  Reward_Total = Reward_Reglas - beta * KL(pi_theta || pi_ref)

  Esto impide que el modelo colapse hacia dialectos ininteligibles o patrones degenerados.

9. El Futuro del Post-Entrenamiento: De la Anotación Humana a la Auto-Corrección

El éxito de GRPO en DeepSeek marca el cambio de paradigma de toda la industria: la era de contratar miles de anotadores humanos para redactar respuestas de demostración ha tocado techo. El futuro pertenece a sistemas de aprendizaje por refuerzo autosupervisados donde los modelos compiten consigo mismos y aprenden a pensar mediante verificación algorítmica pura.

10. Comparativa: GRPO de DeepSeek vs OpenAI o1 y o3

Mientras que OpenAI mantiene en estricto secreto la metodología de entrenamiento de sus modelos o1 y o3 (sospechándose el uso de búsqueda Monte Carlo Tree Search y aprendizaje por refuerzo con modelos de valor masivos), DeepSeek demostró que una formulación matemática transparente y ligera (GRPO con recompensas de reglas) logra resultados de razonamiento equivalentes con un consumo de recursos computacionales abismalmente menor.

11. Checklist de Entrenamiento para Investigadores

• Fija el tamaño de grupo $G$ entre 4 y 8 respuestas por pregunta para obtener una estimación estadísticamente robusta de la media y la varianza.
• Utiliza siempre verificación determinista de sintaxis antes de evaluar la corrección del resultado matemático.

12. Configuración Completa de un Script de Fine-Tuning con GRPO en TRL

from trl import GRPOTrainer, GRPOConfig
from datasets import load_dataset

# Configuración del entrenamiento GRPO para razonamiento matemático
grpo_args = GRPOConfig(
    output_dir="./deepseek-r1-custom-grpo",
    per_device_train_batch_size=1,
    gradient_accumulation_steps=8,
    num_generations=4, # Tamaño del grupo G = 4 respuestas por prompt
    max_prompt_length=256,
    max_completion_length=1024,
    learning_rate=2e-6,
    lr_scheduler_type="cosine",
    warmup_steps=20,
    bf16=True,
    logging_steps=5
)

trainer = GRPOTrainer(
    model="meta-llama/Meta-Llama-3.1-8B-Instruct",
    reward_funcs=[recompensa_verificacion_matematica],
    args=grpo_args,
    train_dataset=dataset_matematico
)

trainer.train()

13. Resumen Teórico y Conclusiones

Al erradicar el modelo crítico y basar la ventaja en comparaciones relativas intragrupales, GRPO demuestra que la eficiencia algorítmica supera a la fuerza bruta computacional, abriendo el camino para que cualquier equipo desarrolle modelos de razonamiento avanzado sin presupuestos multimillonarios.

14. Desglose del Presupuesto Computacional: ¿Por Qué DeepSeek Gastó 10x Menos?

El coste colosal de entrenar modelos de razonamiento como OpenAI o1 radica en el muestreo de millones de trayectorias evaluadas por un Critic Model masivo. Al sustituir la estimación de valor continuo por la normalización intragrupal de GRPO:

• DeepSeek eliminó por completo los forward/backward passes del modelo crítico.
• El cálculo de la ventaja se reduce a operaciones elementales en CPU ($mu$ y $sigma$).
• Las recompensas basadas en compiladores y tests unitarios son gratuitas y libres de alucinaciones subjetivas.