Çoğu ekip AI API çağrıları için gereğinden fazla ödeme yapıyor. Bunun nedeni yanlış modeli seçmiş olmaları değil, minimum kod değişikliği gerektiren üç optimizasyonu göz ardı etmeleridir: prompt önbelleğe alma (prompt caching), akıllı model yönlendirme ve toplu işleme (batch processing).
Burada, her bir tekniğin gerçek rakamlarla dökümünü ve harcamaları sadece bir yerden bir yere kaydırmak yerine gerçekten tasarruf sağlayan uygulama sırasını bulacaksınız.
Mevcut sağlayıcı karışımınızın sorun olup olmadığına hala karar veriyorsanız, önce fiyatlandırma karşılaştırmasına göz atın. En büyük sorununuz ham harcamadan ziyade yeniden deneme (retry) fırtınaları veya sağlayıcı kısıtlamaları ise, bu sayfayı hız sınırlama kılavuzu ile birlikte kullanın.
Önemli Çıkarımlar
- Prompt önbelleğe alma, sistem prompt önekiniz istekler arasında sabit kaldığında girdi maliyetlerini %40-75 oranında düşüren en büyük kazanımdır.
- Akıllı model yönlendirme, ucuz görevleri ucuz modellere göndererek genellikle kalite kaybı olmadan toplamda %30-50 tasarruf sağlar.
- Batch API'ler; gece işleri ve toplu etiketleme gibi acil olmayan, asenkron iş yükleri için yaklaşık %50 indirim sunar.
- Fiyatlar ve model listeleri sık sık değişir. Bir yönlendirme tablosunu kilitlemeden önce güncel rakamları OpenAI'ın fiyatlandırma sayfasından (2026-07-07 itibarıyla gözlemlenmiştir) ve TokenLab'in model dizininden (2026-07-07 itibarıyla gözlemlenmiştir) kontrol edin.
- Optimize etmeden önce maliyet görünürlüğü ekleyin: sezgilerle değil, verilerle optimize etmek için rotayı, modeli, token'ları, önbellek isabetlerini ve yeniden denemeleri günlüğe kaydedin.
1. Prompt Önbelleğe Alma: En Büyük Kazanım
Uygulamanız her istekte aynı sistem prompt'unu gönderiyorsa, sağlayıcının zaten işlediği token'lar için tam fiyat ödüyorsunuz demektir.
Nasıl Çalışır?
OpenAI, 1.024 token üzerindeki girdiler için prompt'ları otomatik olarak önbelleğe alır ve OpenAI'ın fiyatlandırma sayfasına göre (2026-07-07 itibarıyla gözlemlenmiştir) önbelleğe alınan token'lar standart girdiye göre indirimli olarak faturalandırılır. Bu avantajdan yararlanmak için kodunuzda herhangi bir şey değiştirmeniz gerekmez.
Anthropic, cache_control kesme noktaları aracılığıyla açık önbelleğe alma kullanır. Önbellek yazma işlemleri standart girdiden daha maliyetlidir, ancak önbellek okuma işlemleri çok daha ucuzdur. Önbellek TTL'si 5 dakikadır ve her isabette uzatılır.
Önbelleğe alma fiyatlandırması model nesilleri arasında değiştiğinden, herhangi bir özel indirim yüzdesini kalıcı bir kural olarak değil, bir anlık görüntü olarak değerlendirin. Bir bütçe belgesine tasarruf projeksiyonları eklemeden önce sağlayıcının güncel fiyatlandırma sayfasını kontrol edin.
Matematik
Tipik bir müşteri destek botunu ele alalım:
- Sistem prompt'u: 2.000 token
- Kullanıcı mesajı: Ortalama 200 token
- Orta seviye bir akıl yürütme modeli kullanan günlük 5.000 istek
Önbelleğe alma olmadan:
Günlük girdi maliyeti = 5.000 × 2.200 token × $3.00/1M = $33.00
Prompt önbelleğe alma ile (%95 önbellek isabet oranı varsayılarak):
Önbellek yazma: 250 × 2.200 × $3.75/1M = $2.06
Önbellek okuma: 4.750 × 2.200 × $0.30/1M = $3.14
Kullanıcı token'ları: 5.000 × 200 × $3.00/1M = $3.00
Günlük toplam = $8.20 (girdi maliyetlerinde yaklaşık %75 tasarruf)
Bu rakamlar açıklayıcıdır. OpenAI ve Anthropic model ailelerinin oranları kendi programlarına göre değiştiğinden, kendi rakamlarınızı sağlayıcınızın güncel fiyatlandırma sayfasından ve TokenLab'in model dizininden (2026-07-07 itibarıyla gözlemlenmiştir) alın.
Uygulama
from anthropic import Anthropic
client = Anthropic(
api_key="sk-tokenlab-xxx",
base_url="https://api.tokenlab.sh"
)
response = client.messages.create(
model="claude-sonnet-5",
max_tokens=1024,
system=[
{
"type": "text",
"text": "You are a customer support agent for Acme Corp...",
"cache_control": {"type": "ephemeral"} # Bu, önbelleğe almayı etkinleştirir
}
],
messages=[{"role": "user", "content": user_message}]
)
# Yanıt başlıklarında önbellek performansını kontrol edin
# cache_creation_input_tokens vs cache_read_input_tokens
OpenAI modelleri için önbelleğe alma otomatiktir. Sadece prompt'larınızın 1.024 token'ı aştığından emin olun ve statik öneki istekler arasında tutarlı tutun.
Ekiplerin hata yaptığı yerler:
- her prompt'un başına zaman damgaları veya istek kimlikleri koymak
- her çağrıda sistem talimatlarını yeniden sıralamak
- değişken kullanıcı bağlamını sabit önekten önce gömmek
Önek her seferinde değişirse, önbellek asla yardımcı olmaz. Prompt şeklini sadece bir prompt mühendisliği detayı olarak değil, bir maliyet primi olarak değerlendirin.
2. Akıllı Model Yönlendirme: Her Görev İçin Doğru Modeli Kullanın
Her istek en pahalı modelinizi gerektirmez. GPT-5.5 veya Claude Opus 4.8 gibi amiral gemisi bir modelin milyon girdi token'ı başına birkaç dolara hallettiği bir sınıflandırma görevi, genellikle aynı ailedeki daha küçük bir modelde veya DeepSeek V4 Flash ya da Gemini 3.5 Flash gibi düşük maliyetli bir modelde çok daha düşük bir maliyetle aynı derecede iyi çalışır.
Yönlendirme Stratejisi
| Görev Türü | Önerilen Model Katmanı | Notlar |
|---|---|---|
| Karmaşık akıl yürütme | Amiral gemisi akıl yürütme modeli (örn. GPT-5.5, Claude Opus 4.8) | En yüksek maliyet, zor durumlar için saklayın |
| Genel sohbet | Orta seviye sohbet modeli (örn. Claude Sonnet 5) | Çoğu konuşma için iyi denge |
| Sınıflandırma, çıkarma | Düşük maliyetli model katmanı (örn. DeepSeek V4 Flash, Gemini 3.5 Flash) | Genellikle amiral gemisinden 5-10 kat daha ucuz |
| Embeddings | Küçük embedding modeli | Token başına en ucuz maliyet |
| Basit biçimlendirme | Bütçe dostu açık ağırlıklı model (örn. DeepSeek V4 Flash, GLM-5.2) | Yüksek hacimli, düşük riskli görevler için kullanışlı |
Token başına tam fiyatlar sağlayıcılar arasında sık sık değişir, bu nedenle uygulama mantığınıza bir fiyatlandırma tablosunu sabit kodlamayın. Bunun yerine, bir yönlendirme yapılandırmasını sonlandırmadan önce güncel oranları OpenAI'ın fiyatlandırma sayfasından (2026-07-07 itibarıyla gözlemlenmiştir) çekin veya TokenLab'in model dizinindeki (2026-07-07 itibarıyla gözlemlenmiştir) çoklu sağlayıcı listesini kontrol edin.
Uygulama
from openai import OpenAI
client = OpenAI(
api_key="sk-tokenlab-xxx",
base_url="https://api.tokenlab.sh/v1"
)
def route_request(task_type: str, messages: list) -> str:
"""Bu görevi iyi yöneten en ucuz modeli seçin."""
model_map = {
"classification": "deepseek-v4-flash",
"extraction": "deepseek-v4-flash",
"summarization": "deepseek-v4-flash",
"complex_reasoning": "gpt-5.5",
"creative_writing": "claude-sonnet-5",
"code_generation": "claude-sonnet-5",
}
model = model_map.get(task_type, "deepseek-v4-flash")
response = client.chat.completions.create(
model=model,
messages=messages
)
return response.choices[0].message.content
Dağıtım yapmadan önce bu model tanımlayıcılarını TokenLab'in model dizininden (2026-07-07 itibarıyla gözlemlenmiştir) doğrulayın, çünkü sağlayıcılar yeni sürümler yayınladıkça tam model kimlikleri ve düşük maliyetli katmanlar değişir.
Gerçek Tasarruf
İsteklerin %60'ını (linting, biçimlendirme, basit tamamlamalar) düşük maliyetli bir modele ve %40'ını (mimari, hata ayıklama) Claude Sonnet 5 gibi orta seviye bir modele yönlendiren bir kodlama asistanı:
Öncesi (tümü orta seviye model):
1.000 istek/gün × 3K girdi × $3.00/1M = $9.00/gün
Sonrası (60/40 bölünme):
600 istek × 3K × $0.40/1M = $0.72/gün (düşük maliyetli model)
400 istek × 3K × $3.00/1M = $3.60/gün (orta seviye)
Toplam = $4.32/gün (%52 tasarruf)
Bölünme oranı, belirli model isimlerinden daha önemlidir. Temel fiyat noktaları değişse bile, iyi tasarlanmış bir 60/40 veya 70/30 yönlendirme bölünmesi, düşük maliyetli katman gönderdiğiniz görevlerde kalite çubuğunuzu aştığı sürece tasarrufların çoğunu yakalar.
3. Toplu İşleme: Gece İndirimi
Bir iş yükünün saniyeler içinde bir yanıta ihtiyacı yoksa, muhtemelen gerçek zamanlı fiyatlar ödememelidir. OpenAI, Anthropic ve çeşitli açık ağırlıklı sağlayıcılar, istekleri genellikle 24 saat içinde, senkron çağrıların token başına maliyetinin yaklaşık yarısına işleyen toplu uç noktalar (batch endpoints) sunar.
Toplu işleme için iyi adaylar:
- gece özetleme veya etiketleme işleri
- toplu veri etiketleme ve zenginleştirme
- yeni bir külliyat için embedding'lerin doldurulması
- dahili kullanım için eğitim veya değerlendirme verisi oluşturma
Toplu işleme için kötü adaylar: canlı bir oturumda kullanıcının beklediği her şey. Toplu işleme bir kalite takası değil, bir gecikme takasıdır, bu nedenle kullanıcıların anında yanıt beklediği istek yollarına uygulamayın.
4. Token Azaltma: Yönlendirmeden Önce Kırpın
Herhangi bir yere bir şey yönlendirmeden önce, görev için gerekenden daha fazla token gönderip göndermediğinizi kontrol edin. Yaygın israf kaynakları:
- modelin zaten güvenilir bir şekilde takip ettiği talimatları tekrarlayan ayrıntılı sistem prompt'ları
- her dönüşte gönderilen tam konuşma geçmişi yerine kayan bir özet
- kısaltılabilecek veya daha kısa bir referansla değiştirilebilecek aşırı büyük few-shot örnekleri
- önceden ayrıştırılmak yerine filtrelenmeden yapıştırılan ham araç çıktıları (log'lar, JSON blokları, HTML)
Token azaltma düşük çaba gerektirir ve önbelleğe alma ve yönlendirme ile rekabet etmek yerine onlarla birleşir. Diğer her şeyi optimize ettiğiniz temeli azalttığı için bu geçişi önce yapın.
5. İşlem Sırası
Teknikler birbirini destekler, ancak bunları uygulama sıranız ne kadar tasarruf ettiğinizi ve ne kadar risk aldığınızı değiştirir:
- Önce token'ları kırpın ve prompt önekinin sabit olduğundan emin olun, böylece önbelleğe alma gerçekten işe yarayabilir.
- Sınıflandırma, çıkarma ve kısa özetleri DeepSeek V4 Flash veya Gemini 3.5 Flash gibi daha ucuz bir model katmanına yönlendirin.
- Premium modeli yükseltme, karmaşık akıl yürütme veya nihai cevap sentezi için ayırın.
- Gece özetlerini ve veri doldurma işlemlerini toplu işlemeye gönderin.
- Prompt şekli bozulan ve önbellek verimliliğini öldüren rotalar için günlükleri haftalık olarak inceleyin.
Böyle bir dağıtım yeniden yazma gerektirmez. Bir haftalık enstrümantasyon ve prompt'ları ve yönlendirmeyi üretim yüzeyleri olarak görme isteği gerektirir.
6. Ne Yapılmamalı?
Bir maliyet optimizasyonu çabasını boşa harcamanın en hızlı yolu, yanlış şeyi optimize etmektir.
Bu tuzaklardan kaçının:
- prompt israfını ölçmeden sağlayıcı değiştirmek
- çıktı kalitesini doğrulamadan ucuz görevleri ucuz modellere yönlendirmek
- her istekte öneki değişen prompt'larda önbelleğe almayı etkinleştirmek
- gerçekten gerçek zamanlı yanıt gerektiren kullanıcı odaklı işleri toplu işlemek
- sadece token fiyatına bakıp yeniden deneme, gecikme ve geri dönüş yükünü göz ardı etmek
Maliyet çalışması, tasarruflar gerçekleştikten sonra ürün hala iyi çalıştığında başarılı olur. UX kötüleşirse, elektronik tablodaki kazanç sahtedir.
SSS
AI API maliyetlerini %30 düşürmek çıktı kalitesine zarar verir mi? Doğru sırayla yaparsanız hayır. Token israfını kaldırmak ve önbelleğe almayı düzeltmek, model hala aynı etkili talimatları aldığı için sıfır kalite etkisine sahiptir. Model yönlendirme, bir görevi onu gerçekten yönetemeyen bir katmana yönlendirirseniz bir miktar risk taşır, bu nedenle yönlendirme değişikliklerini geniş çapta yaymadan önce bir örnek üzerinde çıktı kalitesini doğrulayın. Toplu işlemenin kalite üzerinde hiçbir etkisi yoktur, sadece bir gecikme takasıdır.
Maliyetleri düşürmek için sağlayıcı değiştirmem gerekiyor mu? Genellikle önce değil. Çoğu ekip, sağlayıcı değiştirmekten ziyade prompt şekli, önbelleğe alma ve yönlendirmede daha fazla tasarruf bulur. Her üç tekniği de uyguladıysanız ve hala fazla ödüyorsanız, GPT-5.5, Claude Sonnet 5 ve GLM-5.2 ve DeepSeek V4 Flash gibi açık ağırlıklı seçenekler dahil olmak üzere birçok modelde güncel fiyatlandırmayı listeleyen TokenLab'in model dizini gibi bir kaynak kullanarak sağlayıcılar arasındaki oranları karşılaştırmaya değer.
Prompt önbelleğe almanın gerçekten çalışıp çalışmadığını nasıl anlarım? Her çağrıdaki yanıt meta verilerini kontrol edin. OpenAI ve Anthropic, önbellekle ilgili token sayılarını (SDK'ya bağlı olarak cache_creation_input_tokens, cache_read_input_tokens veya benzer alanlar) döndürür. Binlerce istek boyunca önbellek okumaları sıfıra yakın kalıyorsa, önekiniz muhtemelen zaman damgaları, istek kimlikleri veya prompt'un sabit kısmından önce duran yeniden sıralanmış talimatlar nedeniyle çağrılar arasında değişiyordur.
Hepsini Bir Araya Getirme
| Teknik | Çaba | Tipik Tasarruf |
|---|---|---|
| Prompt önbelleğe alma | Düşük (cache_control ekle) | Girdide %40-75 |
| Model yönlendirme | Orta (görevleri sınıflandır) | Genel olarak %30-50 |
| Toplu işleme | Orta (asenkron iş akışı) | Toplu işlerde %50 |
| Token azaltma | Düşük (prompt'ları kırp) | Girdide %10-30 |
Bu teknikler birbirini destekler. Dördünü de uygulayan bir ekip, çıktı kalitesinde herhangi bir düşüş olmadan aylık API faturasını birkaç bin dolardan yarısının çok altına düşürebilir. Kesin tasarruf, trafik karışımınıza ve mevcut sağlayıcınıza bağlıdır, bu nedenle bu aralıkları bir garanti değil, bir başlangıç tahmini olarak değerlendirin. Bütçe projeksiyonlarını sonlandırmadan önce yönlendirdiğiniz herhangi bir model için güncel fiyatlandırmayı OpenAI'ın fiyatlandırma sayfasından veya TokenLab'in model dizininden doğrulayın.
Temel içgörü: AI API'lerinde maliyet optimizasyonu, önce daha ucuz sağlayıcılar bulmakla ilgili değildir. Her belirli görev için doğru modeli, doğru fiyat katmanında, doğru önbelleğe alma stratejisiyle kullanmakla ilgilidir. Sağlayıcı karşılaştırması ilk değil, son adımdır.
Zaten birden fazla sağlayıcı kullanıyorsanız, operasyonel taraf da önemlidir. Geçiş kılavuzu ve OpenRouter karşılaştırması, ayrı entegrasyonları yamalamaya devam etmek yerine yönlendirmeyi ne zaman merkezileştirmeniz gerektiğine karar vermenize yardımcı olur.
Bugün başlayın: TokenLab, GPT-5.5, Claude Sonnet 5 ve DeepSeek V4 Flash ve GLM-5.2 gibi açık ağırlıklı seçenekler dahil olmak üzere 300'den fazla modele tek bir API anahtarı üzerinden erişmenizi sağlar; OpenAI ve Anthropic model ailelerinde prompt önbelleğe alma desteği ve kullanım ile fiyatlandırmayı tek bir yerde karşılaştırma imkanı sunar.
Kaynaklar
Fiyat 2026-07-07 tarihinde gözlendi
- TokenLab model directory2026-07-07 tarihinde gözlendi
- OpenAI API pricing2026-07-07 tarihinde gözlendi
