Cómo Evaluar la Calidad de un Sistema RAG con Métricas RAGAS y TruLens: De Cero a CI/CD

1. El Fin de la Evaluación Cualitativa: 'A mí me parece que responde bien'

El mayor síntoma de inmadurez en un equipo de ingeniería de Inteligencia Artificial es evaluar las mejoras de un pipeline RAG haciendo cinco preguntas al azar en una interfaz de chat web y exclamar: "¡Parece que funciona genial, pasémoslo a producción!".

Dos semanas más tarde, un usuario corporativo introduce una consulta técnica compleja con una negación sutil, el sistema recupera un fragmento equivocado y el LLM alucina un protocolo erróneo con graves consecuencias operativas. Para desplegar sistemas RAG de misión crítica en banca, sanidad o industria, es obligatorio establecer una metodología de evaluación empírica y reproducible fundamentada en métricas numéricas automatizadas.

2. Desglose Matemático de las Métricas Clave de RAGAS

El framework RAGAS (Retrieval Augmented Generation Assessment) formaliza la medición de la calidad descomponiendo el pipeline en métricas cuantitativas independientes puntuadas entre 0.0 y 1.0:

A. Faithfulness (Fidelidad / Ausencia de Alucinación)

Mide si la respuesta generada por el LLM se sostiene exclusivamente en los fragmentos de contexto aportados. El algoritmo:

1. El modelo evaluador (LLM-Judge) extrae todas las proposiciones y hechos atómicos ($S_1, S_2, dots, S_n$) de la respuesta generada.
2. Para cada proposición $S_i$, el juez verifica si puede inferirse lógicamente del contexto recuperado.
3. Se calcula el ratio: $ ext{Faithfulness} = rac{ ext{Número de afirmaciones sustentadas en el contexto}}{ ext{Total de afirmaciones emitidas}}$.

Un score de 1.0 garantiza que el modelo no ha introducido ningún dato externo ni alucinación fuera de los documentos provistos.

B. Answer Relevance (Relevancia de la Respuesta)

Evalúa si la respuesta resuelve de verdad la necesidad planteada por el usuario. Para evitar sesgos semánticos, RAGAS aplica un enfoque ingenioso: toma la respuesta generada y le pide a un modelo auxiliar que formule $N$ preguntas posibles que habrían originado esa respuesta. Luego calcula la similitud de embeddings entre las preguntas generadas artificialmente y la pregunta real del usuario. Si coinciden con fuerza, la respuesta es plenamente relevante.

C. Context Precision (Precisión de Recuperación)

Mide si los fragmentos de contexto verdaderamente relevantes se posicionaron en los primeros lugares de la lista de resultados (idealmente en el puesto 1 y 2), penalizando aquellos pipelines donde la información crucial quedó enterrada al final del prompt.

3. Implementación Práctica de una Suite de Pruebas con RAGAS

A continuación se ilustra cómo evaluar un conjunto de consultas con RAGAS en Python:

from datasets import Dataset
from ragas import evaluate
from ragas.metrics import faithfulness, answer_relevance, context_precision, context_recall

# 1. Construcción del dataset de evaluación
datos_evaluacion = {
    "question": [
        "¿Cuál es el límite máximo de inversión sin aval en la convocatoria 2026?",
        "¿Cómo se purga el circuito de refrigeración del compresor C-40?"
    ],
    "contexts": [
        ["Las subvenciones de la convocatoria 2026 permiten inversiones sin aval bancario hasta un límite máximo de 50.000 euros por beneficiario."],
        ["El compresor C-40 requiere sustitución anual de aceite sintético. Las presiones de trabajo deben rondar los 6 bares."]
    ],
    "answer": [
        "El límite máximo de inversión sin necesidad de aportar aval bancario es de 50.000 euros según la convocatoria 2026.",
        "Para purgar el circuito debe girar la válvula de purga inferior durante 30 segundos."  # ALUCINACIÓN: no figura en el contexto
    ],
    "ground_truth": [
        "Hasta 50.000 euros por beneficiario.",
        "El manual no especifica el procedimiento de purga, solo la sustitución de aceite."
    ]
}

dataset = Dataset.from_dict(datos_evaluacion)

# 2. Ejecución de la auditoría
resultados = evaluate(
    dataset,
    metrics=[faithfulness, answer_relevance, context_precision, context_recall]
)

df_resultados = resultados.to_pandas()
print(df_resultados[["question", "faithfulness", "answer_relevance"]])

4. Automatización en CI/CD con GitHub Actions

El verdadero poder de este enfoque se materializa al integrarlo como control de calidad bloqueante en el repositorio de código de tu equipo. Ningún cambio en los prompts o en la infraestructura de búsqueda puede fusionarse a la rama principal (main) si degrada los umbrales de fidelidad del negocio:

# .github/workflows/rag-evaluation.yml
name: RAG Quality Gate CI

on:
  pull_request:
    branches: [main]

jobs:
  evaluate-rag:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - name: Setup Python
        uses: actions/setup-python@v5
        with:
          python-version: '3.11'
          
      - name: Install dependencies
        run: pip install ragas datasets openai pandas
        
      - name: Run RAGAS Benchmark
        env:
          OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
        run: |
          python scripts/evaluar_rag.py --min-faithfulness 0.90 --min-relevance 0.85

5. Observabilidad Continua en Vivo con TruLens

Mientras que RAGAS sobresale en pruebas pre-lanzamiento, TruLens está especialmente concebido para monitorizar el tráfico real de producción. Mediante instrumentación declarativa (TruChain o TruLlama), intercepta cada petición entrante y genera un panel web (Leaderboard) donde visualizas la distribución de latencias, costes por token y evolución histórica de la Tríada RAG.

# Instrumentación de observabilidad en vivo con TruLens
from trulens.core import Tru
from trulens.apps.langchain import TruChain
from trulens.providers.openai import OpenAI as TruOpenAI

tru = Tru()
tru_feedback = TruOpenAI()

# Definición de feedbacks automáticos
f_groundedness = tru_feedback.groundedness_measure_with_cot_reasons()
f_answer_relevance = tru_feedback.relevance()

# Envoltura de tu cadena RAG productiva
tru_recorder = TruChain(
    rag_chain,
    app_id="RAG_Atencion_Cliente_v2",
    feedbacks=[f_groundedness, f_answer_relevance]
)

with tru_recorder as recording:
    respuesta = rag_chain.invoke("¿Cómo cambio mi domicilio fiscal?")

# Abre el dashboard interactivo en localhost:8501
tru.run_dashboard()

6. Artículos Relacionados en The Calata

Continúa explorando técnicas avanzadas para consolidar tus aplicaciones de Inteligencia Artificial:

• Mejora la recuperación de tu sistema implementando Re-Ranking con Cohere y BGE.
• Optimiza la granularidad de tus datos con Técnicas de Chunking y Selección de Embeddings.
• Compara bases de datos de alto rendimiento en Qdrant vs Milvus vs pgvector vs ChromaDB.
• Aprende a proteger tus modelos frente a manipulaciones maliciosas en Seguridad y Defensa contra Prompt Injection.