核心指南
可靠的 TokenLab 整合
可靠的 TokenLab 整合
模型與費用
從模型 API 或模型頁取得目前的能力與價格,以相同任務比較候選模型。每次請求明確指定模型;更換模型可能改變價格、品質、工具與上下文,因此不要靜默切換。
依 API 格式和模型設定輸出上限;不是所有模型都使用相同參數。減少重複上下文。媒體費用可能取決於數量、時長或解析度,昂貴生成應先顯示可取得的估價。
串流與重試
串流能提早顯示文字,但不會減少 token 費用。中斷時保留有用的部分輸出,但不要標成完整答案。
429 應依 Retry-After 或 retry_after 等待;暫時性 5xx 可短暫退避。驗證、權限、餘額與上下文錯誤需要修正後再試。設定重試次數與總時限,避免與 SDK 內建重試疊加。
保護 Key 並記錄請求
API Key 只放在伺服器環境或秘密管理工具中;不要放入瀏覽器、手機套件、公開倉庫或日誌。開發、正式環境和獨立應用程式使用不同 Key,限制模型與支出;外洩時立即撤銷。
import os
from openai import OpenAI
client = OpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
timeout=30.0,
max_retries=0,
)記錄 request_id、task_id、回傳的 billing_transaction_id、模型、端點和自己的工作 ID。不要記錄憑據、完整私人提示、媒體或簽名 URL。最終費用以 Console Usage 或管理 API 用量記錄為準。
非同步工作
非同步請求成功後立即保存 task ID 與 poll_url,持續查詢至 completed 或 failed。查詢失敗不等於生成失敗;逾時或重新整理後先恢復查詢,避免重複建立工作。端點支援時使用冪等鍵。
上線前
上線前驗證實際使用的模型、格式、成功與常見錯誤、目前價格,以及重新整理和重複點擊的行為。