TokenLab

核心指南

可靠的 TokenLab 整合

可靠的 TokenLab 整合

模型與費用

從模型 API 或模型頁取得目前的能力與價格,以相同任務比較候選模型。每次請求明確指定模型;更換模型可能改變價格、品質、工具與上下文,因此不要靜默切換。

依 API 格式和模型設定輸出上限;不是所有模型都使用相同參數。減少重複上下文。媒體費用可能取決於數量、時長或解析度,昂貴生成應先顯示可取得的估價。

串流與重試

串流能提早顯示文字,但不會減少 token 費用。中斷時保留有用的部分輸出,但不要標成完整答案。

429 應依 Retry-After 或 retry_after 等待;暫時性 5xx 可短暫退避。驗證、權限、餘額與上下文錯誤需要修正後再試。設定重試次數與總時限,避免與 SDK 內建重試疊加。

保護 Key 並記錄請求

API Key 只放在伺服器環境或秘密管理工具中;不要放入瀏覽器、手機套件、公開倉庫或日誌。開發、正式環境和獨立應用程式使用不同 Key,限制模型與支出;外洩時立即撤銷。

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
    timeout=30.0,
    max_retries=0,
)

記錄 request_id、task_id、回傳的 billing_transaction_id、模型、端點和自己的工作 ID。不要記錄憑據、完整私人提示、媒體或簽名 URL。最終費用以 Console Usage 或管理 API 用量記錄為準。

非同步工作

非同步請求成功後立即保存 task ID 與 poll_url,持續查詢至 completed 或 failed。查詢失敗不等於生成失敗;逾時或重新整理後先恢復查詢,避免重複建立工作。端點支援時使用冪等鍵。

非同步任務與輪詢

上線前

上線前驗證實際使用的模型、格式、成功與常見錯誤、目前價格,以及重新整理和重複點擊的行為。

本頁內容