TokenLab

Frameworks et plateformes

Ragas

Évaluez des applications LLM avec Ragas et TokenLab

Aperçu

Ragas peut évaluer des applications basées sur TokenLab en passant un client AsyncOpenAI compatible avec OpenAI dans llm_factory.

Installation

pip install "ragas==0.4.3" "langchain-community<0.4" openai

Environnement

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Exemple d'évaluateur

import os

from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric

client = AsyncOpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)

metric = DiscreteMetric(
    name="summary_accuracy",
    allowed_values=["accurate", "inaccurate"],
    prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)

Utilisez llm dans les métriques et les jeux de test Ragas de la même manière que vous utiliseriez un modèle basé sur le SDK OpenAI.

Remarques sur les endpoints

Cette configuration Ragas utilise le SDK OpenAI. Les réponses, les messages Anthropic et Gemini nécessitent un client d'évaluation qui prend en charge le format correspondant.

Sur cette page