為每個請求選擇 Auto、TokenLab Verified 或 Official,並預先顯示價格。查看最新動態

TokenLab 部落格

實用教學、模型觀察與產品更新

LLM Latency 與 Throughput:API 買家該如何衡量速度
洞察

LLM Latency 與 Throughput:API 買家該如何衡量速度

TokenLab 的一份過時的四模型串流範例顯示了為何必須分別測量首個可見 token (first visible token)、總時間 (total time) 以及每秒 token 數 (tokens per second),並需配合測試工具 (harness)、用於記錄的標頭 (headers) 以及速率限制計算 (rate-limit math)。

9月19日
AI 模型棄用與版本控制:保持 API 整合穩定
洞察

AI 模型棄用與版本控制:保持 API 整合穩定

這是一份關於 TokenLab 上 AI 模型棄用(deprecation)與版本控制的實用指南:涵蓋現有的生命週期欄位、CI 檢查腳本、模型缺失時的回傳結果,以及後備模式(fallback pattern)。

9月19日