Benchmark AI Model Routing: Biaya Per Tugas Lebih Unggul daripada Biaya Per Token

Biaya per token memberi tahu Anda berapa harga yang dikenakan oleh sebuah model, bukan berapa biaya untuk menyelesaikan suatu pekerjaan. Benchmark perutean model AI yang dibangun berdasarkan biaya per tugas mengukur total pengeluaran untuk mencapai output yang benar dan dapat digunakan, termasuk percobaan ulang (retries), panjang konteks, dan verbositas output, yang merupakan angka yang sebenarnya muncul pada tagihan Anda.

Poin Penting

• Biaya per token mengabaikan percobaan ulang, verbositas, dan penyelesaian yang gagal, yang semuanya mengubah harga riil suatu tugas.
• Biaya per tugas menormalisasi panjang output dan tingkat keberhasilan, sehingga perbandingan antar-model menjadi bermakna.
• Logika perutean yang memilih model berdasarkan jenis tugas, bukan berdasarkan tarif terendah yang terdaftar, cenderung lebih menurunkan total pengeluaran dibandingkan beralih ke satu model "murah".
• Melakukan benchmark pada beban kerja Anda sendiri lebih baik daripada memercayai kartu tarif vendor, karena tugas coding, video, dan gambar memiliki profil kegagalan dan percobaan ulang yang berbeda.

Mengapa Biaya Per Token Adalah Metrik yang Salah

Harga token adalah unit yang disukai ekonom dan disalahgunakan oleh tim produk. Model dengan harga $0,15 per satu juta token input terlihat lebih murah daripada model dengan harga $0,50, tetapi perbandingan itu hanya berlaku jika kedua model menghasilkan panjang output yang sama dan berhasil pada percobaan pertama.

Dalam praktiknya, hal itu jarang terjadi. Model yang verbose (bertele-tele) yang mengisi jawaban dengan teks penjelasan dapat menghabiskan 3x lipat token output dibandingkan model yang lebih ringkas, bahkan ketika keduanya diberi pertanyaan yang sama. Model dengan batas penalaran yang lebih rendah pada tugas coding multi-langkah sering kali memerlukan dua atau tiga kali percobaan ulang untuk mendapatkan hasil yang dapat dikompilasi, dan setiap percobaan ulang mengirimkan kembali seluruh jendela konteks. Blog Fireworks AI telah mendokumentasikan pola ini berulang kali saat membandingkan varian model yang dioptimalkan untuk throughput versus yang dioptimalkan untuk akurasi, dengan mencatat bahwa harga token mentah dan harga tugas efektif berbeda setelah tingkat percobaan ulang diperhitungkan (fireworks.ai/blog, diamati 2026-07-07).

Hasilnya: tim yang memilih model murni berdasarkan tarif token yang terdaftar sering kali akhirnya membayar lebih per tugas yang diselesaikan dibandingkan tim yang memilih berdasarkan tingkat keberhasilan tugas, karena upaya yang gagal tetap mengonsumsi token dan menambah overhead teknis yang didorong oleh latensi.

Apa yang Sebenarnya Diukur oleh Biaya Per Tugas

Biaya per tugas adalah metrik turunan:

Biaya per tugas = (token input x tarif input + token output x tarif output) x rata-rata upaya hingga sukses

Istilah "rata-rata upaya hingga sukses" adalah bagian yang sepenuhnya dilewati oleh perbandingan tarif token. Hal ini mengharuskan Anda untuk mendefinisikan apa arti kesuksesan untuk beban kerja Anda; lulus rangkaian pengujian, mencocokkan skema JSON, merender gambar yang dapat digunakan, atau mencapai ambang kualitas pada pembuatan video.

Inilah sebabnya mengapa perbandingan tarif langsung, seperti yang Anda dapatkan dari perbandingan harga generik, hanyalah titik awal dan bukan jawaban akhir. Hal itu memberi tahu Anda berapa biaya yang dikenakan setiap penyedia per token. Hal itu tidak memberi tahu Anda berapa banyak token yang dibutuhkan oleh jenis tugas spesifik Anda secara rata-rata, atau seberapa sering model tertentu memerlukan upaya kedua.

Pengaturan Benchmark: Membandingkan Model di Berbagai Jenis Tugas

Benchmark perutean yang berguna memisahkan beban kerja berdasarkan kategori tugas, karena mode kegagalan dan verbositas sangat berbeda di antara keduanya.

Jenis tugas	Pendorong biaya utama	Mode kegagalan tipikal	Tempat memeriksa model saat ini
Pembuatan kode	Tingkat percobaan ulang pada kegagalan kompilasi/tes	Kesalahan logika, fungsi tidak lengkap	model AI terbaik untuk coding
Teks bentuk panjang	Verbositas token output	Padding, melenceng dari topik	perbandingan OpenRouter
Pembuatan gambar	Tarif tetap per gambar vs. tingkat resolusi	Salah interpretasi prompt, perlu regenerasi	model AI gambar terbaik
Pembuatan video	Biaya render per detik	Artefak yang memerlukan render ulang	model AI video terbaik

Untuk tugas teks dan kode, jalankan setiap model kandidat terhadap serangkaian prompt representatif tetap yang diambil dari log Anda sendiri, bukan rangkaian benchmark generik. Lacak tiga angka per model: rata-rata token input, rata-rata token output, dan tingkat keberhasilan pada percobaan pertama. Kalikan melalui rumus di atas menggunakan tarif publikasi saat ini, yang harus Anda verifikasi secara langsung karena harga sering berubah di berbagai penyedia. Direktori model TokenLab mencantumkan tarif dan jendela konteks saat ini di seluruh penyedia di satu tempat, yang berguna untuk menarik angka dasar sebelum menjalankan pengujian Anda sendiri (tokenlab.sh/en/models, diamati 2026-07-07).

Untuk tugas gambar dan video, perhitungannya lebih sederhana karena harga biasanya per unit output, bukan per token, tetapi prinsip yang sama berlaku: model dengan harga per gambar yang lebih rendah tetapi tingkat regenerasi yang lebih tinggi karena kesalahan pembacaan prompt dapat memakan biaya lebih banyak per output yang diterima.

Strategi Perutean yang Mengurangi Biaya Per Tugas

Setelah Anda memiliki angka biaya per tugas untuk beberapa model, keputusan perutean menjadi mekanis, bukan masalah memilih penyedia favorit.

Rute berdasarkan kategori tugas, bukan berdasarkan model default. Tugas coding dan tugas penulisan bentuk panjang memiliki model optimal yang berbeda bahkan dalam jajaran penyedia yang sama. Router yang mengirimkan semuanya ke satu model default akan membuang potensi penghematan jika model tersebut terlalu berlebihan untuk tugas sederhana dan kurang memadai untuk tugas yang kompleks.

Tetapkan anggaran percobaan ulang per jenis tugas. Jika suatu jenis tugas menunjukkan tingkat keberhasilan percobaan pertama di bawah ambang batas Anda, batasi percobaan ulang dan beralihlah ke model yang lebih kuat dan lebih mahal daripada mencoba ulang tanpa batas pada model yang lebih murah. Tiga upaya gagal pada model murah bisa memakan biaya lebih banyak daripada satu upaya sukses pada model yang lebih mahal.

Batasi panjang output di mana verbositas tidak memberikan nilai tambah. Untuk output terstruktur seperti JSON, diff kode, atau respons API, batasi token maksimum atau gunakan prompt sistem yang menginstruksikan output ringkas. Ini secara langsung mengurangi istilah token output dalam rumus biaya-per-tugas tanpa mengubah model.

Lakukan benchmark ulang setiap kuartal. Harga penyedia dan versi model sering berubah sehingga konfigurasi perutean yang disetel enam bulan lalu mungkin tidak lagi mencerminkan jalur termurah per tugas. Tampilan papan peringkat model langsung memudahkan untuk melihat kapan model baru menggeser peringkat biaya-per-tugas untuk kategori tertentu.

Daftar Periksa: Mengevaluasi Router Model untuk Biaya Per Tugas

Gunakan ini sebelum berkomitmen pada konfigurasi perutean:

• Mengambil tarif token/output saat ini langsung dari penyedia, bukan dari ingatan atau postingan perbandingan lama
• Menjalankan setidaknya 20 prompt representatif per kategori tugas melalui setiap model kandidat
• Mencatat rata-rata token input, rata-rata token output, dan tingkat keberhasilan percobaan pertama per model per jenis tugas
• Menghitung biaya per tugas menggunakan rumus yang disesuaikan dengan percobaan ulang, bukan tarif token mentah
• Menetapkan batas percobaan ulang per kategori tugas dengan model cadangan yang ditentukan
• Membatasi token output maksimum untuk jenis tugas terstruktur atau jawaban singkat
• Menjadwalkan tinjauan berkala (bulanan atau kuartalan) untuk memeriksa kembali peringkat seiring pembaruan model dan harga

Batasan Bukti

Penelitian perutean model paling kuat jika menggabungkan tiga jenis bukti. Direktori model publik dan halaman harga resmi memberi tahu Anda harga satuan dan ketersediaan pada suatu titik waktu. Sumber kinerja independen, seperti Artificial Analysis, membantu mengungkap kecepatan, latensi, dan sinyal kualitas yang luas. Penelitian router, termasuk RouteLLM, menjelaskan mengapa kebijakan perutean dapat mengurangi biaya sambil tetap menjaga kualitas yang dapat diterima, tetapi itu masih bergantung pada label khusus beban kerja dan data evaluasi.

Jangan menyalin hasil perutean yang dipublikasikan ke dalam stack Anda sendiri sebagai estimasi penghematan universal. Penghematan nyata berasal dari campuran prompt, definisi kesuksesan, anggaran percobaan ulang, dan kebijakan cadangan Anda. Pengklasifikasi dukungan pelanggan, agen coding, dan orkestrator pekerjaan video semuanya memiliki biaya kegagalan yang berbeda. Perlakukan sumber yang dikutip di sini sebagai perancah untuk desain benchmark Anda sendiri: mereka menjelaskan apa yang harus diukur, sementara log dan set evaluasi Anda menentukan model mana yang sebenarnya menang.

FAQ

Apakah harga per token yang lebih rendah selalu berarti biaya per tugas yang lebih rendah? Tidak. Tingkat percobaan ulang dan verbositas output dapat mengimbangi harga token yang lebih rendah sepenuhnya. Model dengan harga per token yang lebih tinggi tetapi dengan tingkat keberhasilan percobaan pertama yang lebih tinggi dan gaya output yang lebih ringkas sering kali memakan biaya lebih sedikit per tugas yang diselesaikan. Uji keduanya, menggunakan prompt Anda sendiri, sebelum berasumsi bahwa tarif yang lebih murah adalah pemenangnya.

Berapa banyak prompt uji yang saya perlukan sebelum memercayai angka biaya-per-tugas? Tidak ada aturan tetap, tetapi kurang dari 15-20 prompt per kategori tugas cenderung menghasilkan estimasi tingkat keberhasilan yang tidak akurat, terutama untuk tugas coding di mana lulus/gagal bersifat biner. Ukuran sampel yang lebih besar lebih penting untuk jenis tugas dengan tingkat kesulitan yang bervariasi.

Haruskah saya merutekan semuanya melalui satu penyedia demi kesederhanaan? Kesederhanaan juga ada harganya, begitu pula fragmentasi. Bandingkan penyedia secara langsung menggunakan sumber daya seperti halaman perbandingan OpenRouter dan perbandingan harga, lalu putuskan apakah perutean multi-penyedia sepadan dengan pekerjaan integrasi tambahan untuk campuran tugas spesifik Anda. Untuk tim yang menjalankan volume tinggi di seluruh pembuatan kode, teks, gambar, dan video, perutean berbasis tugas di seluruh penyedia umumnya lebih umum daripada default satu penyedia.

---

Untuk melihat tarif saat ini, jendela konteks, dan peringkat khusus tugas di seluruh penyedia di satu tempat, Mulai dengan direktori model TokenLab sebelum menjalankan pengujian biaya-per-tugas Anda sendiri.

Setelah Anda menjalankan benchmark, bandingkan hasil Anda dengan yang lain. Telusuri papan peringkat model untuk memeriksa peringkat model pilihan Anda pada data harga dan kinerja saat ini.