LLM Gecikme Süresi ve Throughput: API Alıcıları Hızı Nasıl Ölçmeli

Model API'lerini değerlendirirken, LLM gecikmesi (latency) ile işleme kapasitesi (throughput) arasındaki dengeleri anlamak, hem kullanıcı deneyimini hem de altyapı maliyetlerini optimize etmek için esastır. Gecikme, bir modelin bir sorguya yanıt vermesi için geçen süreyi ölçerken; işleme kapasitesi, sistemin belirli bir zaman diliminde işlediği veya ürettiği token hacmini ölçer. Geliştiriciler ve yapay zeka ürünü oluşturanlar için, bir metriği optimize etmek genellikle diğeriyle ilgili ödünleşimler yapmayı gerektirir.

Yanlış hız metriğini seçmek, yavaş kullanıcı arayüzlerine veya gereksiz yere yüksek API faturalarına yol açabilir. Bu analiz, bu metrikleri ölçmek, iş yükleriniz için doğru API'leri seçmek ve optimizasyon stratejileri uygulamak için bir çerçeve sunmaktadır.

Önemli Çıkarımlar

• İlk Token'a Kadar Geçen Süre (TTFT), sohbet arayüzleri gibi etkileşimli uygulamalar için kritik gecikme metriğidir ve algılanan kullanıcı hızını doğrudan etkiler.
• Akış başına Saniye Başına Token (TPS), belge özetleme veya toplu veri çıkarma gibi arka plan işleme görevleri için birincil işleme kapasitesi metriğidir.
• Model mimarisi ve boyutu temel performansı belirler; DeepSeek V4 Flash veya Gemini 3.5 Flash gibi daha küçük modeller, Claude Fable 5 veya GPT-5.5 gibi amiral gemisi modellere göre daha yüksek hızlar sunar.
• Çoklu sağlayıcı yönlendirmesi (multi-provider routing), geliştiricilerin gecikme veya işleme kapasitesini gerçek zamanlı sağlayıcı performansına göre dinamik olarak optimize etmelerine olanak tanır.

---

Temel Metrikleri Tanımlama: Gecikme vs. İşleme Kapasitesi

API satın alırken veya yönlendirirken bilinçli kararlar vermek için geliştiricilerin "hızı" belirgin, ölçülebilir bileşenlere ayırması gerekir.

Bir LLM API İsteğinin Zaman Çizelgesi:
[Kullanıcı İsteği Gönderir] 
       │
       ▼ (Ağ İletimi + İstem İşleme)
[İlk Token'a Kadar Süre (TTFT)] <--- Etkileşimli UX için kritik
       │
       ▼ (Otoregresif Üretim: Saniye Başına Token)
[Tokenler Arası Gecikme (ITL)]  <--- Okuma konforunu belirler
       │
       ▼ (Üretim Tamamlandı)
[Toplam Gecikme]              <--- Akış dışı engelleyici çağrılar için kritik

1. İlk Token'a Kadar Süre (TTFT)

TTFT, bir API isteği göndermek ile yanıtın ilk token'ını almak arasında geçen süredir. Bu metrik; ağ gidiş-dönüş süresini, istem serileştirmesini ve modelin girdi token'larını işlemesi için gereken süreyi (ön doldurma/prefill aşaması) içerir. Etkileşimli uygulamalar için TTFT en önemli metriktir çünkü bir kullanıcının yanıtın akmaya başladığını ne kadar hızlı göreceğini belirler.

2. Tokenler Arası Gecikme (ITL)

ITL, akış aşamasında ardışık token'lar üretilirken geçen ortalama süredir. ITL çok yüksekse, metin bir insanın okuyabileceğinden daha yavaş akar ve bu da sinir bozucu bir kullanıcı deneyimine yol açar. Kararlı ve düşük bir ITL, metnin akıcı bir şekilde görüntülenmesini sağlar.

3. Saniye Başına Token (TPS)

TPS, modelin üretim kapasitesini temsil eder. Toplam çıktı token sayısının toplam üretim süresine (ön doldurma aşaması hariç) bölünmesiyle hesaplanır. İşleme kapasitesini değerlendirirken geliştiriciler şunları ayırt etmelidir:

• Tek kullanıcılı TPS: Tek bir aktif akışın üretim hızı.
• Sistem işleme kapasitesi: API sağlayıcısının tüm aktif kullanıcılar genelinde eşzamanlı olarak işleyebileceği toplam token sayısı.

4. Toplam Gecikme

Toplam gecikme, API isteğinin baştan sona tamamlanma süresidir. Yapılandırılmış JSON çıkarma veya arka plan sınıflandırması gibi akış içermeyen istekler için toplam gecikme izlenmesi gereken birincil metriktir.

---

Mimari Ödünleşimler: Hız Neden Değişir?

LLM gecikmesi ile işleme kapasitesi arasındaki ödünleşim, transformer mimarilerinin fiziğine ve donanım bellek bant genişliğine dayanır. TTFT'yi belirleyen ön doldurma (prefill) aşamasında, tüm girdi istemi aynı anda işlendiği için hesaplama yüksek derecede paralelleştirilebilir. Bu aşama genellikle hesaplama (compute) sınırlıdır.

TPS'yi belirleyen üretim aşamasında ise model token'ları tek tek üretir. Her yeni token, tüm model ağırlıklarının Yüksek Bant Genişlikli Bellekten (HBM) GPU SRAM'ine yüklenmesini gerektirir. Bu otoregresif süreç, bellek bant genişliği sınırlıdır.

Bu kısıtlamalar nedeniyle geliştiriciler, model seçimlerini birincil performans gereksinimleriyle uyumlu hale getirmelidir:

• Amiral Gemisi Modeller: Claude Fable 5, Claude Opus 4.8 ve GPT-5.5 gibi modeller, ham hızdan ziyade akıl yürütme derinliğine öncelik verir. Devasa parametre sayılarına sahiptirler, bu da daha yüksek TTFT ve daha düşük TPS ile sonuçlanır.
• Hızlı ve Düşük Maliyetli Modeller: DeepSeek V4 Flash, Gemini 3.5 Flash ve Laguna XS 2.1 gibi modeller hız için optimize edilmiştir. Olağanüstü düşük TTFT ve yüksek TPS sunmak için daha küçük parametre sayıları, spekülatif kod çözme veya damıtılmış (distilled) mimariler kullanırlar.

Geliştiriciler, bu model katmanları arasındaki gerçek zamanlı hız metriklerini karşılaştırmak için TokenLab Geliştiriciler için LLM API Liderlik Tablosu'na başvurabilirler.

---

Karar Çerçevesi: Gecikme mi, İşleme Kapasitesi mi Önceliklendirilmeli?

Gecikme ve işleme kapasitesi arasındaki öncelik tamamen uygulama kullanım durumuna bağlıdır.

Kullanım Durumu	Birincil Metrik	İkincil Metrik	Önerilen Model Sınıfı
Etkileşimli Sohbet Botları	İlk Token'a Kadar Süre (TTFT)	Tokenler Arası Gecikme (ITL)	Hızlı Sınır (örn. Gemini 3.5 Flash)
Kodlama Asistanları	TTFT & Tek akışlı TPS	Toplam Gecikme	Uzmanlaşmış Kodlama (örn. Claude Sonnet 5, Kimi K2.7 Code)
Toplu Veri Çıkarma	Sistem İşleme Kapasitesi	Görev Başına Maliyet	Düşük Maliyetli Açık Ağırlıklı (örn. DeepSeek V4 Flash, GLM-5.2)
Otonom Ajanlar	Toplam Gecikme (Akışsız)	TTFT	Yüksek Akıl Yürütme Açık Ağırlıklı (örn. DeepSeek V4 Pro)
Görüntü/Video Üretimi	Toplam Gecikme	Görüntü Başına Maliyet	Uzmanlaşmış Medya API'leri (örn. Nano Banana 2, Seedance)

Etkileşimli Uygulamalar (Gecikme Öncelikli)

Konuşma tabanlı arayüzler, müşteri destek botları ve canlı arama asistanları için sistem yanıt vermiyor gibi hissettirirse kullanıcı tutma oranı düşer. Geliştiriciler TTFT'yi en aza indirmeye öncelik vermelidir. Toplam üretim birkaç saniye sürse bile, 300 milisaniyenin altındaki bir TTFT kullanıcıların etkileşimde kalmasını sağlar.

Toplu İşleme ve İş Akışları (İşleme Kapasitesi Öncelikli)

Binlerce PDF faturasını işlemek, günlük raporlar oluşturmak veya toplu değerlendirmeler yapmak gibi çevrimdışı görevler için TTFT önemsizdir. Amaç, mümkün olan en düşük maliyetle dakika başına işlenen toplam token hacmini maksimize etmektir. Geliştiriciler sistem işleme kapasitesine ve maliyet verimliliğine odaklanmalıdır. Toplu işleme sırasında maliyet optimizasyonuna dair derinlemesine bir analiz için TokenLab Yapay Zeka Model Yönlendirme Kıyaslaması: Görev Başına Maliyet bölümüne bakın.

---

API Performansını Ölçme: Pratik Bir Kod Örneği

TTFT, ITL ve TPS'yi doğru bir şekilde ölçmek için geliştiricilerin akış API'lerini kullanmaları ve istek yaşam döngüsündeki belirli noktalarda zaman damgalarını kaydetmeleri gerekir. Aşağıda, belirli bir model için bu metrikleri ölçmek amacıyla OpenAI uyumlu istemciyi kullanan çalıştırılabilir bir Python betiği bulunmaktadır.

import time
import os
from openai import OpenAI

# İstemciyi başlat (OpenRouter veya uyumlu herhangi bir sağlayıcı için yapılandırıldı)
client = OpenAI(
    base_url="https://openrouter.ai/api/v1",
    api_key=os.environ.get("OPENROUTER_API_KEY", "api_anahtarınız_buraya")
)

def measure_api_performance(model_name: str, prompt: str):
    print(f"Hız metrikleri değerlendiriliyor: {model_name}")
    
    start_time = time.time()
    response = client.chat.completions.create(
        model=model_name,
        messages=[{"role": "user", "content": prompt}],
        stream=True
    )
    
    ttft = None
    token_timestamps = []
    total_tokens = 0
    
    for chunk in response:
        chunk_time = time.time()
        # Chunk içinde metin içeriği olup olmadığını kontrol et
        if chunk.choices and chunk.choices[0].delta.content:
            content = chunk.choices[0].delta.content
            # Token sayısını tahmin et (kaba ölçüm için 1 token ≈ 4 karakter)
            estimated_tokens = max(1, len(content) // 4)
            total_tokens += estimated_tokens
            
            if ttft is None:
                ttft = chunk_time - start_time
                print(f"-> İlk Token'a Kadar Süre (TTFT): {ttft:.3f} saniye")
            
            token_timestamps.append(chunk_time)
            
    end_time = time.time()
    total_duration = end_time - start_time
    generation_time = total_duration - ttft if ttft else total_duration
    
    # Tokenler Arası Gecikme (ITL) ve Saniye Başına Token (TPS) hesapla
    if len(token_timestamps) > 1:
        intervals = [token_timestamps[i] - token_timestamps[i-1] for i in range(1, len(token_timestamps))]
        avg_itl = sum(intervals) / len(intervals)
        tps = total_tokens / generation_time if generation_time > 0 else 0
    else:
        avg_itl = 0
        tps = 0
        
    print(f"-> Toplam Gecikme: {total_duration:.3f} saniye")
    print(f"-> Ortalama Tokenler Arası Gecikme (ITL): {avg_itl:.3f} saniye")
    print(f"-> Tahmini İşleme Kapasitesi (TPS): {tps:.2f} token/sn")
    print("-" * 50)

# Hızlı, düşük maliyetli bir modelle örnek kullanım
if __name__ == "__main__":
    test_prompt = "Bilgisayar tarihçesi hakkında 200 kelimelik bir makale yaz."
    # Güncel bir düşük maliyetli yönlendirme modeli örneği kullanılıyor
    measure_api_performance("google/gemini-3.5-flash", test_prompt)

---

API Alıcıları İçin Optimizasyon Stratejileri

Ölçümleriniz seçtiğiniz API'nin çok yavaş veya çok pahalı olduğunu ortaya koyarsa, birkaç optimizasyon stratejisi performansı artırabilir.

1. İstem Optimizasyonu ve Ön Doldurma (Prefill) Azaltma

Ön doldurma aşaması girdi isteminin boyutuyla ölçeklendiğinden, istem uzunluğunu azaltmak doğrudan TTFT'yi düşürür.

• Gereksiz talimatları kaldırın.
• Sağlayıcı tarafından destekleniyorsa sistem istemi önbelleğe almayı (caching) kullanın. Bu, API ana bilgisayarının uzun bir sistem isteminin derlenmiş durumunu önbelleğe almasına ve sonraki isteklerde ön doldurma hesaplamasını atlamasına olanak tanır.

2. Dinamik Sağlayıcı Yönlendirmesi

OpenRouter sağlayıcı seçim belgelerine göre, bir modelin performansı isteği hangi temel ana bilgisayarın (sağlayıcı) sunduğuna bağlı olarak önemli ölçüde değişebilir. Bazı sağlayıcılar düşük gecikme için optimize ederken, diğerleri hız pahasına daha düşük maliyetler sunar.

Yönlendirme katmanlarını kullanarak geliştiriciler şunları yapabilir:

• En düşük mevcut gecikmeyi bulmak için birden fazla sağlayıcıya sorgu gönderebilir.
• Birincil sağlayıcıda bir gecikme artışı yaşanırsa isteklerin otomatik olarak daha hızlı bir alternatife yönlendirilmesi için yedek yollar (fallback paths) belirleyebilir.
• Sağlayıcıları belirli performans eşiklerine göre filtreleyebilir.

3. Model Katmanlandırma

Daha küçük modeller tarafından ele alınabilecek görevler için Claude Fable 5 veya GPT-5.5 gibi amiral gemisi modelleri kullanmayın. Basit sorguları (örn. sınıflandırma, biçimlendirme) DeepSeek V4 Flash veya GLM-5.2'ye gönderen, pahalı modelleri ise yalnızca karmaşık akıl yürütme adımları için ayıran bir yönlendirici uygulayın.

---

Hız Kıyaslamalarının Sınırlamaları

Hız metriklerini değerlendirirken geliştiriciler aşağıdaki sınırlamaları akılda tutmalıdır:

• Ağ Değişkenliği: API gecikmesi, uygulama sunucularınız ile API sağlayıcısının barındırma bölgesi arasındaki fiziksel mesafeye büyük ölçüde bağlıdır. Kıyaslamaları her zaman üretim dağıtımınızla aynı bölgede bulunan sunuculardan çalıştırın.
• Sağlayıcı Tıkanıklığı: İşleme kapasitesi ve gecikme, küresel trafik modellerine bağlı olarak gün boyunca dalgalanır. Tek bir kıyaslama çalışması, tutarlı üretim performansını temsil etmez.
• Token Tahmin Tutarsızlıkları: Farklı modeller farklı tokenlaştırıcılar (tokenizer) kullanır. Daha yüksek TPS'ye sahip bir model, tokenlaştırıcısı kelimeleri rakip bir modele göre daha küçük ve daha çok sayıda token'a bölüyorsa aslında daha hızlı olmayabilir.

---

Sıkça Sorulan Sorular

Daha yüksek işleme kapasitesi (TPS) her zaman daha hızlı bir kullanıcı deneyimi anlamına mı gelir?

Hayır. Bir API yüksek işleme kapasitesine ancak kötü bir TTFT'ye sahipse, kullanıcı metin ekranda aniden belirmeden önce uzun ve yanıt vermeyen bir duraklama yaşar. Etkileşimli uygulamalar için düşük bir TTFT, yüksek bir TPS'den daha kritiktir.

İstem önbelleğe alma (prompt caching) gecikmeyi nasıl etkiler?

İstem önbelleğe alma, uzun istemler için TTFT'yi önemli ölçüde azaltır. Sistem talimatlarının veya bağlam belgelerinin işlenmiş token'larını önbelleğe alarak, sağlayıcı sonraki isteklerde hesaplama yoğunluklu ön doldurma aşamasını atlar ve bu da daha hızlı yanıt sürelerine yol açar.

En iyi hız için açık ağırlıklı mı yoksa kapalı kaynaklı modelleri mi seçmeliyim?

Bu, barındırma altyapısına bağlıdır. Qwen3.7 Plus, GLM-5.2 veya DeepSeek V4 Pro gibi açık ağırlıklı modeller özel donanımlar üzerinde dağıtılabilir ve bu da işleme kapasitesini garanti etmenizi sağlar. Ancak, yönetilen kapalı kaynaklı API'ler genellikle özel örneklerde maliyet etkin bir şekilde çoğaltılması zor olan devasa, optimize edilmiş altyapılar kullanır. Güncel performans sıralamalarını TokenLab Model Sıralamaları sayfasından karşılaştırabilirsiniz.

---

Sonraki Adımlar

Uygulamanızın hızını ve maliyet verimliliğini optimize etmek için, yukarıda belirtilen akış metriklerini kullanarak mevcut üretim iş yüklerinizi ölçerek başlayın.

Üretim hattınız için en son modelleri değerlendirmeye ve karşılaştırmaya hazır mısınız? Uygulamanız için gecikme, işleme kapasitesi ve maliyet arasındaki en uygun dengeyi bulmak adına TokenLab'in kapsamlı model sıralamaları ile Başlayın.