Framework và nền tảng
Promptfoo
Chạy các đánh giá Promptfoo với các mô hình TokenLab
Tổng quan
Promptfoo có thể đánh giá TokenLab thông qua các nhà cung cấp chat và Responses tương thích với OpenAI.
Môi trường
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Cấu hình mẫu
description: TokenLab provider example
prompts:
- 'Answer in one concise paragraph: {{question}}'
providers:
- id: openai:chat:gpt-5.4-mini
label: tokenlab-chat-gpt-5.4-mini
config:
apiBaseUrl: https://api.tokenlab.sh/v1
apiKey: '{{env.TOKENLAB_API_KEY}}'
- id: openai:responses:gpt-5.5
label: tokenlab-responses-gpt-5.5
config:
apiBaseUrl: https://api.tokenlab.sh/v1
apiKey: '{{env.TOKENLAB_API_KEY}}'
tests:
- vars:
question: What are two practical ways to evaluate an LLM gateway?
assert:
- type: contains-any
value:
- latency
- reliability
- cost
- qualityChạy đánh giá
promptfoo evalSử dụng các nhà cung cấp chat để có khả năng tương thích rộng rãi. Sử dụng các nhà cung cấp Responses khi việc đánh giá phụ thuộc cụ thể vào hành vi của Responses.