코딩 도구
코딩 에이전트 비용 제어
실제 사용 데이터를 활용하여 작업 품질 저하 없이 비용을 절감하세요
코딩 에이전트는 지침, 대화 기록, 코드 및 도구 결과를 반복적으로 전송합니다. 따라서 긴 세션은 단일 채팅 요청보다 훨씬 많은 비용이 발생할 수 있습니다. 이를 최적화하는 유용한 수단으로는 모델 선택, 컨텍스트 크기, 출력 길이, 그리고 선택한 모델이 지원하는 경우 캐싱(caching)이 있습니다.
자체 사용량 확인부터 시작하세요
API 키를 소유한 워크스페이스에서 Usage를 열고 모델 또는 키별로 요청을 비교하세요. 일반적인 시간당 추정치에 의존하기보다 유사한 작업들을 비교하는 것이 좋습니다.
최소한 다음 항목을 기록하세요:
- 입력, 출력 및 캐시된 토큰
- 완료된 작업당 비용
- 실패하거나 반복된 요청
- 사용된 모델 및 API 키
작업에 맞는 모델 선택
가장 비싼 모델이 모든 단계를 처리할 필요는 없습니다.
| 작업 | 최적화 대상 |
|---|---|
| 아키텍처 또는 어려운 디버깅 | 추론 품질 및 충분한 컨텍스트 |
| 집중적인 편집 및 일상적인 검토 | 낮은 가격으로 안정적인 지침 준수 |
| 검색, 분류 및 상용구(boilerplate) 코드 | 속도 및 낮은 입력 비용 |
| 최종 검토 | 작고 신중하게 선택된 컨텍스트에서의 품질 |
현재 가격과 기능은 Models 페이지를 참조하세요. 프로덕션 도구를 변경하기 전에 동일한 대표 작업으로 후보 모델을 테스트하세요.
컨텍스트를 의도적으로 유지하세요
- 기본적으로 전체 저장소가 아닌, 현재 작업에 필요한 파일과 로그만 포함하세요.
- 이전 기록이 더 이상 도움이 되지 않으면 새로운 대화를 시작하세요.
- 모든 프롬프트에 대규모 디렉토리를 붙여넣는 대신 에이전트가 코드를 검색하도록 하세요.
- 재사용 가능한 지침은 짧게 유지하고 중복된 규칙은 제거하세요.
불필요한 출력 제한
작업의 답변 길이가 예측 가능한 경우, 선택한 API format에서 지원하는 출력 제한을 설정하세요. Chat Completions와 Messages는 Responses와 다른 요청 형태를 사용하므로, 엔드포인트의 문서화된 필드를 사용하세요.
제한을 설정하면 의도치 않게 긴 응답이 생성되는 것을 방지할 수 있지만, 작업이 완료될 수 있는 충분한 여유 공간은 남겨두어야 합니다.
문서화된 경우에만 캐싱 사용
일부 모델은 캐시된 입력에 대해 더 낮은 요금을 부과합니다. 캐시 할인을 기대하기 전에 모델의 가격 세부 정보를 확인하고, 응답 또는 Usage에서 캐시된 토큰 사용량을 확인하세요. 캐시 동작과 가격은 모델마다 다릅니다.
API 키로 프로젝트 분리
별도의 제한과 사용 기록이 필요한 경우 각 프로젝트나 코딩 도구마다 다른 API 키를 사용하세요. 키 수준의 제한을 설정하면 하나의 도구가 전체 계정 잔액을 소진하는 것을 방지할 수 있습니다.
실제 작업으로 변경 사항 비교
- 일반적인 업무를 대표하는 작은 작업 세트를 선택하세요.
- 각 후보 모델과 동일한 컨텍스트로 동일한 작업을 실행하세요.
- Usage에서 완료 품질, 재시도 횟수, 총 토큰 및 최종 비용을 비교하세요.
토큰당 가격이 가장 낮다고 해서 항상 완료된 작업당 비용이 가장 낮은 것은 아닙니다. 여러 번의 재시도가 필요한 저렴한 요청이 결과적으로 더 많은 비용이 들 수 있습니다.