TokenLab

Framework và nền tảng

Promptfoo

Chạy các đánh giá Promptfoo với các mô hình TokenLab

Tổng quan

Promptfoo có thể đánh giá TokenLab thông qua các nhà cung cấp chat và Responses tương thích với OpenAI.

Môi trường

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Cấu hình mẫu

description: TokenLab provider example

prompts:
  - 'Answer in one concise paragraph: {{question}}'

providers:
  - id: openai:chat:gpt-5.4-mini
    label: tokenlab-chat-gpt-5.4-mini
    config:
      apiBaseUrl: https://api.tokenlab.sh/v1
      apiKey: '{{env.TOKENLAB_API_KEY}}'
  - id: openai:responses:gpt-5.5
    label: tokenlab-responses-gpt-5.5
    config:
      apiBaseUrl: https://api.tokenlab.sh/v1
      apiKey: '{{env.TOKENLAB_API_KEY}}'

tests:
  - vars:
      question: What are two practical ways to evaluate an LLM gateway?
    assert:
      - type: contains-any
        value:
          - latency
          - reliability
          - cost
          - quality

Chạy đánh giá

promptfoo eval

Sử dụng các nhà cung cấp chat để có khả năng tương thích rộng rãi. Sử dụng các nhà cung cấp Responses khi việc đánh giá phụ thuộc cụ thể vào hành vi của Responses.

Trên trang này