Framework'ler ve platformlar
Ragas
Ragas ve TokenLab ile LLM uygulamalarını değerlendirin
Genel Bakış
Ragas, OpenAI uyumlu bir AsyncOpenAI istemcisini llm_factory içine geçirerek TokenLab destekli uygulamaları değerlendirebilir.
Kurulum
pip install "ragas==0.4.3" "langchain-community<0.4" openaiOrtam
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Örnek Değerlendirici
import os
from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric
client = AsyncOpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)
metric = DiscreteMetric(
name="summary_accuracy",
allowed_values=["accurate", "inaccurate"],
prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)Ragas metriklerinde ve test kümelerinde llm nesnesini, OpenAI SDK destekli bir modeli kullanacağınız şekilde kullanın.
Uç Nokta Notları
Bu Ragas kurulumu OpenAI SDK'sını kullanır. Responses, Anthropic Messages ve Gemini, ilgili formatı destekleyen bir değerlendirme istemcisi gerektirir.