Framework & platform

Ragas

Evaluasi aplikasi LLM dengan Ragas dan TokenLab

Gambaran Umum

Ragas dapat mengevaluasi aplikasi yang didukung oleh TokenLab dengan meneruskan klien AsyncOpenAI yang kompatibel dengan OpenAI ke dalam llm_factory.

Instalasi

pip install "ragas==0.4.3" "langchain-community<0.4" openai

Lingkungan

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Contoh Evaluator

import os

from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric

client = AsyncOpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)

metric = DiscreteMetric(
    name="summary_accuracy",
    allowed_values=["accurate", "inaccurate"],
    prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)

Gunakan llm dalam metrik dan testset Ragas dengan cara yang sama seperti Anda menggunakan model yang didukung oleh OpenAI SDK.

Catatan Endpoint

Pengaturan Ragas ini menggunakan OpenAI SDK. Responses, Anthropic Messages, dan Gemini memerlukan klien evaluasi yang mendukung format yang sesuai.

Di halaman ini