TokenLab

Framework và nền tảng

Prompt flow

Sử dụng TokenLab thông qua các kết nối OpenAI của Prompt flow

Tổng quan

Kết nối OpenAI của Prompt flow hỗ trợ base_url tùy chỉnh. Hãy thiết lập nó thành endpoint /v1 của TokenLab và sử dụng các ID mô hình của TokenLab trong flow của bạn.

Cài đặt

pip install promptflow promptflow-tools

Tạo kết nối

Lưu kết nối dưới đây dưới dạng openai.yaml. Lệnh này sẽ yêu cầu nhập API key cục bộ. Trong một node flow OpenAI, hãy đặt ID mô hình TokenLab vào inputs.model; deployment_name được dành cho Azure OpenAI.

$schema: https://azuremlschemas.azureedge.net/promptflow/latest/OpenAIConnection.schema.json
name: open_ai_connection
type: open_ai
base_url: https://api.tokenlab.sh/v1
api_key: "<user-input>"
pf connection create --file openai.yaml

Lưu ý về Flow

Trong tệp flow.dag.yaml của bạn, hãy đảm bảo tên kết nối khớp với lệnh ở trên:

nodes:
  - name: chat
    type: llm
    source:
      type: code
      path: chat.jinja2
    inputs:
      model: claude-sonnet-5
    api: chat
    connection: open_ai_connection

Lưu ý về Endpoint

Tích hợp này sử dụng kết nối tương thích với OpenAI của Prompt flow. Các phản hồi gốc của TokenLab, Anthropic Messages và các route của Gemini yêu cầu các công cụ Prompt flow hoặc các node Python tùy chỉnh gọi trực tiếp đến các endpoint đó.

Trên trang này