Frameworks y plataformas

Ragas

Evalúa aplicaciones LLM con Ragas y TokenLab

Descripción general

Ragas puede evaluar aplicaciones respaldadas por TokenLab pasando un cliente AsyncOpenAI compatible con OpenAI a llm_factory.

Instalación

pip install "ragas==0.4.3" "langchain-community<0.4" openai

Entorno

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Ejemplo de evaluador

import os

from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric

client = AsyncOpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)

metric = DiscreteMetric(
    name="summary_accuracy",
    allowed_values=["accurate", "inaccurate"],
    prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)

Utiliza llm en las métricas y conjuntos de prueba de Ragas de la misma manera que usarías un modelo respaldado por el SDK de OpenAI.

Notas sobre el endpoint

Esta configuración de Ragas utiliza el SDK de OpenAI. Las respuestas, los mensajes de Anthropic y Gemini requieren un cliente de evaluación que admita el formato correspondiente.

En esta página