フレームワークとプラットフォーム
Ragas
RagasとTokenLabを使用してLLMアプリを評価する
概要
Ragasは、OpenAI互換の AsyncOpenAI クライアントを llm_factory に渡すことで、TokenLabをバックエンドとするアプリケーションを評価できます。
インストール
pip install "ragas==0.4.3" "langchain-community<0.4" openai環境設定
export TOKENLAB_API_KEY="sk-your-tokenlab-key"評価の例
import os
from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric
client = AsyncOpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)
metric = DiscreteMetric(
name="summary_accuracy",
allowed_values=["accurate", "inaccurate"],
prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)Ragasのメトリクスやテストセットで llm を使用する際は、OpenAI SDKをバックエンドとするモデルと同様の方法で行えます。
エンドポイントに関する注意点
このRagasの設定ではOpenAI SDKを使用します。Responses、Anthropic Messages、およびGeminiを使用する場合は、対応するフォーマットをサポートする評価用クライアントが必要です。