AI 모델 라우팅 벤치마크: 토큰당 비용보다 작업당 비용이 더 중요하다

토큰당 비용은 모델이 청구하는 금액을 알려줄 뿐, 작업을 완료하는 데 드는 실제 비용을 알려주지는 않습니다. 작업당 비용(Cost per task)을 중심으로 구축된 AI 모델 라우팅 벤치마크는 재시도, 컨텍스트 길이, 출력 상세도(verbosity)를 포함하여 올바르고 사용 가능한 결과물을 얻기까지의 총 지출을 측정하며, 이것이 실제로 청구서에 찍히는 숫자입니다.

핵심 요약

• 토큰당 비용은 재시도, 상세도, 실패한 완료 건수를 무시하며, 이 모든 요소가 작업의 실제 가격을 변화시킵니다.
• 작업당 비용은 출력 길이와 성공률을 정규화하여 모델 간 비교를 의미 있게 만듭니다.
• 가장 낮은 공시 요금이 아닌 작업 유형별로 모델을 선택하는 라우팅 로직이 단일 "저렴한" 모델로 전환하는 것보다 총 지출을 더 많이 낮추는 경향이 있습니다.
• 코딩, 비디오, 이미지 작업은 실패 및 재시도 프로필이 다르므로, 벤더가 게시한 요금표를 신뢰하는 것보다 자체 워크로드를 벤치마킹하는 것이 훨씬 효과적입니다.

토큰당 비용이 잘못된 지표인 이유

토큰 가격은 경제학자들이 좋아하고 제품 팀들이 오용하는 단위입니다. 백만 입력 토큰당 $0.15인 모델이 $0.50인 모델보다 저렴해 보이지만, 그 비교는 두 모델이 동일한 출력 길이를 생성하고 첫 번째 시도에서 성공할 때만 유효합니다.

실제로는 거의 그렇지 않습니다. 답변에 설명 텍스트를 덧붙이는 상세한 모델은 동일한 질문을 받았을 때도 간결한 모델보다 출력 토큰을 3배 더 소모할 수 있습니다. 다단계 코딩 작업에서 추론 능력이 낮은 모델은 컴파일 가능한 결과를 얻기 위해 종종 두세 번의 재시도가 필요하며, 각 재시도는 전체 컨텍스트 윈도우를 다시 전송합니다. Fireworks AI의 블로그는 처리량 최적화 모델과 정확도 최적화 모델 변형을 비교할 때 이러한 패턴을 반복적으로 문서화했으며, 재시도율을 고려하면 원시 토큰 가격과 실제 작업 가격이 달라진다는 점을 지적했습니다(fireworks.ai/blog, 2026-07-07 관찰).

결과적으로, 단순히 공시된 토큰 요금만 보고 모델을 선택하는 팀은 작업 성공률을 기준으로 선택하는 팀보다 완료된 작업당 더 많은 비용을 지불하는 경우가 많습니다. 실패한 시도도 토큰을 소비하고 지연 시간으로 인한 엔지니어링 오버헤드를 추가하기 때문입니다.

작업당 비용이 실제로 측정하는 것

작업당 비용은 다음과 같은 파생 지표입니다:

작업당 비용 = (입력 토큰 x 입력 요금 + 출력 토큰 x 출력 요금) x 성공까지의 평균 시도 횟수

"성공까지의 평균 시도 횟수"는 토큰 요금 비교에서 완전히 생략되는 부분입니다. 이를 위해서는 테스트 스위트 통과, JSON 스키마 일치, 사용 가능한 이미지 렌더링, 비디오 생성의 품질 임계값 도달 등 귀하의 워크로드에서 '성공'이 무엇을 의미하는지 정의해야 합니다.

이것이 일반적인 가격 비교에서 얻을 수 있는 단순 요금 비교가 출발점일 뿐 최종 답변이 될 수 없는 이유입니다. 이는 각 제공업체가 토큰당 얼마를 청구하는지만 알려줄 뿐, 특정 작업 유형에 평균적으로 몇 개의 토큰이 필요한지, 또는 주어진 모델이 얼마나 자주 두 번째 패스를 필요로 하는지는 알려주지 않습니다.

벤치마크 설정: 작업 유형별 모델 비교

유용한 라우팅 벤치마크는 작업 카테고리별로 워크로드를 분리합니다. 실패 모드와 상세도가 작업마다 크게 다르기 때문입니다.

작업 유형	주요 비용 동인	일반적인 실패 모드	현재 모델 확인처
코드 생성	컴파일/테스트 실패 시 재시도율	논리 오류, 불완전한 함수	코딩을 위한 최고의 AI 모델
긴 텍스트	출력 토큰 상세도	패딩, 주제 이탈	OpenRouter 비교
이미지 생성	이미지당 고정 요금 vs 해상도 등급	프롬프트 오해, 재생성 필요	최고의 AI 이미지 모델
비디오 생성	초당 렌더링 비용	재렌더링이 필요한 아티팩트 발생	최고의 AI 비디오 모델

텍스트 및 코드 작업의 경우, 일반적인 벤치마크 스위트가 아닌 자체 로그에서 추출한 고정된 대표 프롬프트 세트를 사용하여 각 후보 모델을 실행하십시오. 모델별로 평균 입력 토큰, 평균 출력 토큰, 첫 번째 시도 성공률이라는 세 가지 숫자를 추적하십시오. 제공업체마다 가격이 자주 변경되므로 직접 확인해야 하는 현재 공시 요금을 사용하여 위 공식에 따라 계산하십시오. TokenLab 모델 디렉토리는 제공업체 전반의 현재 요금과 컨텍스트 윈도우를 한곳에 나열하므로, 자체 테스트를 실행하기 전에 기준 수치를 확보하는 데 유용합니다(tokenlab.sh/en/models, 2026-07-07 관찰).

이미지 및 비디오 작업의 경우 가격 책정이 토큰당이 아닌 출력 단위당인 경우가 많아 계산이 더 간단하지만, 원칙은 동일합니다. 이미지당 가격은 낮지만 프롬프트 오독으로 인해 재생성률이 높은 모델은 승인된 출력물당 더 많은 비용이 들 수 있습니다.

작업당 비용을 절감하는 라우팅 전략

몇 가지 모델에 대한 작업당 비용 수치를 확보하면, 라우팅 결정은 선호하는 제공업체를 선택하는 문제가 아니라 기계적인 작업이 됩니다.

기본 모델이 아닌 작업 카테고리별로 라우팅하십시오. 코딩 작업과 긴 글쓰기 작업은 동일한 제공업체의 라인업 내에서도 최적의 모델이 다릅니다. 모든 것을 하나의 기본 모델로 보내는 라우터는, 해당 모델이 단순 작업에는 과도하게 프로비저닝되고 복잡한 작업에는 부족하게 프로비저닝되어 있다면 비용 절감 기회를 놓치고 있는 것입니다.

작업 유형별로 재시도 예산을 설정하십시오. 특정 작업 유형의 첫 번째 시도 성공률이 임계값 미만이면, 더 저렴한 모델에서 무기한 재시도하는 대신 재시도를 제한하고 더 강력하고 비싼 모델로 폴백(fallback)하십시오. 저렴한 모델에서 세 번 실패하는 것이 더 비싼 모델에서 한 번 성공하는 것보다 비용이 더 많이 들 수 있습니다.

상세도가 가치를 더하지 않는 경우 출력 길이를 제한하십시오. JSON, 코드 diff, API 응답과 같은 구조화된 출력의 경우 최대 토큰을 제한하거나 간결한 출력을 지시하는 시스템 프롬프트를 사용하십시오. 이는 모델을 변경하지 않고도 비용당 작업 공식의 출력 토큰 항을 직접적으로 줄여줍니다.

분기별로 벤치마크를 다시 수행하십시오. 제공업체의 가격과 모델 버전은 자주 변경되므로 6개월 전에 조정된 라우팅 구성은 더 이상 작업당 가장 저렴한 경로를 반영하지 못할 수 있습니다. 실시간 모델 리더보드 뷰를 사용하면 새로운 모델이 특정 카테고리의 작업당 비용 순위를 언제 바꾸는지 쉽게 파악할 수 있습니다.

체크리스트: 작업당 비용을 위한 모델 라우터 평가

라우팅 구성을 확정하기 전에 다음을 사용하십시오:

• 기억이나 오래된 비교 게시물이 아닌, 제공업체로부터 직접 최신 토큰/출력 요금을 가져왔는가
• 각 후보 모델에 대해 작업 카테고리당 최소 20개의 대표 프롬프트를 실행했는가
• 모델별, 작업 유형별로 평균 입력 토큰, 평균 출력 토큰, 첫 번째 시도 성공률을 기록했는가
• 원시 토큰 요금이 아닌 재시도 조정 공식을 사용하여 작업당 비용을 계산했는가
• 정의된 폴백 모델과 함께 작업 카테고리별 재시도 제한을 설정했는가
• 구조화되거나 단답형인 작업 유형에 대해 최대 출력 토큰을 제한했는가
• 모델 및 가격 업데이트에 따라 순위를 다시 확인하기 위한 정기 검토(월간 또는 분기별) 일정을 잡았는가

증거 경계

모델 라우팅 연구는 세 가지 유형의 증거를 결합할 때 가장 강력합니다. 공개 모델 디렉토리와 공식 가격 페이지는 특정 시점의 단가와 가용성을 알려줍니다. Artificial Analysis와 같은 독립적인 성능 소스는 속도, 지연 시간 및 광범위한 품질 신호를 노출하는 데 도움을 줍니다. RouteLLM을 포함한 라우터 연구는 라우팅 정책이 어떻게 품질을 유지하면서 비용을 절감할 수 있는지 설명하지만, 여전히 워크로드별 레이블과 평가 데이터에 의존합니다.

게시된 라우팅 결과를 보편적인 절감 추정치로 자신의 스택에 복사하지 마십시오. 실제 절감액은 귀하의 프롬프트 조합, 성공 정의, 재시도 예산 및 폴백 정책에서 나옵니다. 고객 지원 분류기, 코딩 에이전트, 비디오 작업 오케스트레이터는 모두 실패 비용이 다릅니다. 여기에 인용된 소스를 자체 벤치마크 설계를 위한 비계(scaffolding)로 취급하십시오. 이들은 무엇을 측정해야 하는지 설명하며, 귀하의 로그와 평가 세트가 실제로 어떤 모델이 승리할지 결정합니다.

FAQ

토큰당 가격이 낮으면 항상 작업당 비용도 낮은가요? 아니요. 재시도율과 출력 상세도가 토큰당 가격이 낮은 효과를 완전히 상쇄할 수 있습니다. 토큰당 가격은 더 높더라도 첫 번째 시도 성공률이 높고 출력 스타일이 간결한 모델이 완료된 작업당 비용은 더 적게 드는 경우가 많습니다. 더 저렴한 요금이 승리한다고 가정하기 전에 자체 프롬프트를 사용하여 둘 다 테스트하십시오.

작업당 비용 수치를 신뢰하기 전에 몇 개의 테스트 프롬프트가 필요한가요? 정해진 규칙은 없지만, 작업 카테고리당 15~20개 미만의 프롬프트는 특히 통과/실패가 이진법인 코딩 작업의 경우 성공률 추정치를 불안정하게 만드는 경향이 있습니다. 난이도가 가변적인 작업 유형일수록 더 큰 샘플 크기가 중요합니다.

단순함을 위해 모든 것을 하나의 제공업체를 통해 라우팅해야 할까요? 단순함에도 비용이 들지만, 파편화에도 비용이 듭니다. OpenRouter 비교 및 가격 비교 페이지와 같은 리소스를 사용하여 제공업체를 직접 비교한 다음, 특정 작업 조합에 대해 다중 제공업체 라우팅이 추가적인 통합 작업을 수행할 가치가 있는지 결정하십시오. 코드, 텍스트, 이미지, 비디오 생성 전반에 걸쳐 대량의 작업을 실행하는 팀의 경우, 단일 제공업체 기본값보다는 제공업체 간 작업 기반 라우팅이 일반적으로 더 흔합니다.

---

제공업체 전반의 현재 요금, 컨텍스트 윈도우 및 작업별 순위를 한곳에서 확인하려면, 자체 작업당 비용 테스트를 실행하기 전에 TokenLab 모델 디렉토리로 시작하십시오.

벤치마크를 실행한 후에는 결과를 현장 데이터와 비교하십시오. 모델 리더보드를 탐색하여 선택한 모델이 현재 가격 및 성능 데이터에서 어떤 순위에 있는지 확인하십시오.