框架與平台
Promptfoo
針對 TokenLab 模型執行 Promptfoo 評估
概覽
Promptfoo 可以透過其與 OpenAI 相容的 chat 和 responses 提供者來評估 TokenLab。
環境設定
export TOKENLAB_API_KEY="sk-your-tokenlab-key"設定範例
description: TokenLab provider example
prompts:
- 'Answer in one concise paragraph: {{question}}'
providers:
- id: openai:chat:gpt-5.4-mini
label: tokenlab-chat-gpt-5.4-mini
config:
apiBaseUrl: https://api.tokenlab.sh/v1
apiKey: '{{env.TOKENLAB_API_KEY}}'
- id: openai:responses:gpt-5.5
label: tokenlab-responses-gpt-5.5
config:
apiBaseUrl: https://api.tokenlab.sh/v1
apiKey: '{{env.TOKENLAB_API_KEY}}'
tests:
- vars:
question: What are two practical ways to evaluate an LLM gateway?
assert:
- type: contains-any
value:
- latency
- reliability
- cost
- quality執行
promptfoo eval若需廣泛的相容性,請使用 chat 提供者。當評估特別依賴 Responses 行為時,請使用 responses 提供者。