Frameworks et plateformes
Ragas
Évaluez des applications LLM avec Ragas et TokenLab
Aperçu
Ragas peut évaluer des applications basées sur TokenLab en passant un client AsyncOpenAI compatible avec OpenAI dans llm_factory.
Installation
pip install "ragas==0.4.3" "langchain-community<0.4" openaiEnvironnement
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Exemple d'évaluateur
import os
from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric
client = AsyncOpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)
metric = DiscreteMetric(
name="summary_accuracy",
allowed_values=["accurate", "inaccurate"],
prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)Utilisez llm dans les métriques et les jeux de test Ragas de la même manière que vous utiliseriez un modèle basé sur le SDK OpenAI.
Remarques sur les endpoints
Cette configuration Ragas utilise le SDK OpenAI. Les réponses, les messages Anthropic et Gemini nécessitent un client d'évaluation qui prend en charge le format correspondant.