Frameworks y plataformas
Ragas
Evalúa aplicaciones LLM con Ragas y TokenLab
Descripción general
Ragas puede evaluar aplicaciones respaldadas por TokenLab pasando un cliente AsyncOpenAI compatible con OpenAI a llm_factory.
Instalación
pip install "ragas==0.4.3" "langchain-community<0.4" openaiEntorno
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Ejemplo de evaluador
import os
from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric
client = AsyncOpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)
metric = DiscreteMetric(
name="summary_accuracy",
allowed_values=["accurate", "inaccurate"],
prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)Utiliza llm en las métricas y conjuntos de prueba (testsets) de Ragas de la misma manera que usarías un modelo respaldado por el SDK de OpenAI.
Notas sobre los endpoints
Ragas utiliza aquí la ruta del cliente del SDK de OpenAI. Las respuestas nativas de TokenLab, los mensajes de Anthropic y las rutas de Gemini se utilizan mejor a través de ejecutores de evaluación que admitan directamente esos formatos de solicitud.