الأطر والمنصات
Ragas
تقييم تطبيقات LLM باستخدام Ragas و TokenLab
نظرة عامة
يمكن لـ Ragas تقييم التطبيقات المدعومة من TokenLab عن طريق تمرير عميل AsyncOpenAI متوافق مع OpenAI إلى llm_factory.
التثبيت
pip install "ragas==0.4.3" "langchain-community<0.4" openaiالبيئة
export TOKENLAB_API_KEY="sk-your-tokenlab-key"مثال على المُقيِّم (Evaluator)
import os
from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric
client = AsyncOpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)
metric = DiscreteMetric(
name="summary_accuracy",
allowed_values=["accurate", "inaccurate"],
prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)استخدم llm في مقاييس Ragas ومجموعات الاختبار (testsets) بنفس الطريقة التي تستخدم بها نموذجاً مدعوماً بـ OpenAI SDK.
ملاحظات حول نقاط النهاية (Endpoint)
يستخدم إعداد Ragas هذا OpenAI SDK. تتطلب الاستجابات (Responses)، و Anthropic Messages، و Gemini عميل تقييم يدعم التنسيق المقابل.