Frameworks y plataformas
Ragas
Evalúa aplicaciones LLM con Ragas y TokenLab
Descripción general
Ragas puede evaluar aplicaciones respaldadas por TokenLab pasando un cliente AsyncOpenAI compatible con OpenAI a llm_factory.
Instalación
pip install "ragas==0.4.3" "langchain-community<0.4" openaiEntorno
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Ejemplo de evaluador
import os
from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric
client = AsyncOpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)
metric = DiscreteMetric(
name="summary_accuracy",
allowed_values=["accurate", "inaccurate"],
prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)Utiliza llm en las métricas y conjuntos de prueba de Ragas de la misma manera que usarías un modelo respaldado por el SDK de OpenAI.
Notas sobre el endpoint
Esta configuración de Ragas utiliza el SDK de OpenAI. Las respuestas, los mensajes de Anthropic y Gemini requieren un cliente de evaluación que admita el formato correspondiente.