框架与平台
Promptfoo
针对 TokenLab 模型运行 Promptfoo 评估
概述
Promptfoo 可以通过 OpenAI 兼容的 Chat Completions 或 Responses 配置评测 TokenLab 模型。
环境
export TOKENLAB_API_KEY="sk-your-tokenlab-key"配置示例
description: TokenLab provider example
prompts:
- 'Answer in one concise paragraph: {{question}}'
providers:
- id: openai:chat:gpt-5.4-mini
label: tokenlab-chat-gpt-5.4-mini
config:
apiBaseUrl: https://api.tokenlab.sh/v1
apiKey: '{{env.TOKENLAB_API_KEY}}'
- id: openai:responses:gpt-5.5
label: tokenlab-responses-gpt-5.5
config:
apiBaseUrl: https://api.tokenlab.sh/v1
apiKey: '{{env.TOKENLAB_API_KEY}}'
tests:
- vars:
question: What are two practical ways to evaluate an LLM gateway?
assert:
- type: contains-any
value:
- latency
- reliability
- cost
- quality运行
promptfoo eval使用 chat 提供程序以获得广泛的兼容性。当评估明确依赖于 responses 行为时，请使用 responses 提供程序。