Framework và nền tảng
Prompt flow
Sử dụng TokenLab thông qua các kết nối OpenAI của Prompt flow
Tổng quan
Kết nối OpenAI của Prompt flow hỗ trợ base_url tùy chỉnh. Hãy thiết lập nó thành endpoint /v1 của TokenLab và sử dụng các ID mô hình của TokenLab trong flow của bạn.
Cài đặt
pip install promptflow promptflow-toolsTạo kết nối
Lưu kết nối dưới đây dưới dạng openai.yaml. Lệnh này sẽ yêu cầu nhập API key cục bộ. Trong một node flow OpenAI, hãy đặt ID mô hình TokenLab vào inputs.model; deployment_name được dành cho Azure OpenAI.
$schema: https://azuremlschemas.azureedge.net/promptflow/latest/OpenAIConnection.schema.json
name: open_ai_connection
type: open_ai
base_url: https://api.tokenlab.sh/v1
api_key: "<user-input>"pf connection create --file openai.yamlLưu ý về Flow
Trong tệp flow.dag.yaml của bạn, hãy đảm bảo tên kết nối khớp với lệnh ở trên:
nodes:
- name: chat
type: llm
source:
type: code
path: chat.jinja2
inputs:
model: claude-sonnet-5
api: chat
connection: open_ai_connectionLưu ý về Endpoint
Tích hợp này sử dụng kết nối tương thích với OpenAI của Prompt flow. Các phản hồi gốc của TokenLab, Anthropic Messages và các route của Gemini yêu cầu các công cụ Prompt flow hoặc các node Python tùy chỉnh gọi trực tiếp đến các endpoint đó.