程式工具
控制 coding agent 成本
利用真實使用數據來降低支出,同時不影響任務執行品質
Coding agents 會重複發送指令、對話歷史記錄、程式碼以及工具執行結果。因此,長時間的對話階段(session)成本可能遠高於單次聊天請求。有效的控制手段包括模型選擇、上下文(context)大小、輸出長度,以及在所選模型支援時使用快取(caching)。
從您的實際使用情況開始
在擁有您 API key 的工作區中開啟 Usage,並按模型或 key 比較請求。請比較相似的任務,而不是依賴通用的每小時估算值。
至少記錄以下項目:
- 輸入、輸出和快取的 tokens
- 每個已完成任務的成本
- 失敗或重複的請求
- 所使用的模型和 API key
讓模型與工作相匹配
最昂貴的模型不需要處理每一個步驟。
| 工作 | 優化重點 |
|---|---|
| 架構設計或困難的除錯 | 推理品質與充足的上下文 |
| 針對性編輯與例行審查 | 以較低價格實現可靠的指令遵循 |
| 搜尋、分類與樣板程式碼 | 速度與較低的輸入成本 |
| 最終審查 | 在較小且經過精心挑選的上下文中保持品質 |
請使用 Models page 查看目前的價格與功能。在變更生產環境工具之前,請先在相同的代表性任務上測試候選模型。
保持上下文的針對性
- 僅包含當前任務所需的檔案與日誌,預設不要包含整個儲存庫。
- 當舊的歷史記錄不再有幫助時,請開啟新的對話。
- 讓 agent 搜尋程式碼,而不是將大型目錄貼入每個 prompt 中。
- 保持可重複使用的指令簡短,並移除重複的規則。
限制不必要的輸出
當任務的預期答案長度可預測時,請設定您所選 API format 支援的輸出限制。Chat Completions 和 Messages 使用與 Responses 不同的請求格式;請使用該 endpoint 文件中記載的欄位。
限制可以防止意外的長篇回應,但仍應保留足夠的空間讓任務完成。
僅在有文件記載時使用快取
部分模型對快取的輸入收費較低。在依賴快取折扣之前,請先檢查模型的價格詳情,並在回應或 Usage 中確認快取 token 的使用情況。快取行為與價格因模型而異。
使用 API key 區隔專案
當您需要分開的限制和使用記錄時,請為每個專案或程式碼工具使用不同的 API key。Key 層級的限制可以防止單一工具耗盡整個帳戶餘額。
使用真實任務比較變更
- 選擇一組代表您日常工作的小型任務。
- 使用每個候選模型和相同的上下文執行相同的任務。
- 在 Usage 中比較完成品質、重試次數、總 tokens 以及最終成本。
最低的 token 單價並不總是代表每個已完成任務的最低成本。一個需要多次重試的廉價請求,其總成本可能更高。