API Alıcıları için Yapay Zeka Görsel Modeli Benchmark Metodolojisi

Bir yapay zeka görsel modeli kıyaslaması, yalnızca neyi, nasıl ve hangi temel değerlere (baseline) göre ölçtüğünüzü biliyorsanız faydalıdır. Görsel oluşturma API'lerini objektif bir şekilde değerlendirmek için gecikme süresi, maliyet ve çıktı kalitesini aynı koşullar altında ölçen standartlaştırılmış bir test düzeneği çalıştırmanız gerekir. Bu kılavuz; Python test düzeneği, otomatik değerlendirme stratejileri ve güncel piyasa fiyatlandırma verileriyle tamamlanmış, somut ve tekrarlanabilir bir kıyaslama metodolojisi sunar.

Önemli Çıkarımlar

• Standartlaştırılmış temel değerler zorunludur: Savunulabilir bir yapay zeka görsel modeli kıyaslaması; ürününüzü gerçekten etkileyen değişkenleri izole etmek için sağlayıcılar genelinde sabit istemleri (prompt), sabit çözünürlükleri ve sabit tohumları (seed) test eder.
• Kalite puanlamasını otomatikleştirin: Yalnızca manuel insan puanlamasına güvenmek, üretim hatları için çok yavaş ve maliyetlidir. Claude Sonnet 5 veya GPT-5.5 gibi modelleri kullanarak "LLM-as-a-judge" (yargıç olarak LLM) çerçeveleriyle otomatik metrikleri (CLIP, FID) birleştirerek istem uyumluluğunu değerlendirin.
• Fiyatlandırma yapılarını normalleştirin: Sağlayıcılar farklı şekillerde faturalandırma yapar (görsel başına, megapiksel başına veya işlem süresi başına). Ham sayıları karşılaştırmadan önce tüm maliyetleri standart bir birime (örneğin, 1 Megapiksel görsel başına maliyet) indirgeyin.
• Versiyon kaymasını takip edin: Tek bir zaman dilimindeki teste güvenmek yerine, sağlayıcılar yeni kontrol noktaları (checkpoint) yayınladıkça sıralamaların nasıl değiştiğini izlemek için TokenLab model liderlik tablosu gibi sürekli güncellenen bir tablo kullanın.

Güncel Görsel Modeli Fiyatlandırması ve Kaynak Anlık Görüntüsü

Kıyaslama maliyetlerinizi normalleştirmek için hedef API'lerinizin tam fiyatlandırma modellerini takip etmeniz gerekir. Aşağıdaki tablolar, doğrudan sağlayıcı belgelerinden ve TokenLab canlı model kayıt defterinden alınan güncel fiyatlandırma verilerini göstermektedir.

Sağlayıcı Fiyatlandırma Kaynak Anlık Görüntüsü (Temmuz 2026 itibarıyla)

Sağlayıcı / Kaynak	Model Ailesi	Fiyatlandırma Yapısı	Temel Oranlar (USD)
Black Forest Labs Docs	FLUX.2	Megapiksel tabanlı krediler (1 kredi = $0.01)	Klein 4B: $0.014/görsel Klein 9B: $0.015/görsel Pro: $0.03/görsel (T2I) Max: $0.07/görsel Flex: $0.05/görsel
fal.ai Docs	FLUX.2	Megapiksel başına ödeme	Dev: $0.012/MP'den başlayan Pro: $0.03/MP'den başlayan Flex: $0.05/MP'den başlayan Max: $0.07/MP'den başlayan
TokenLab Registry	Gemini Image Series	Token başına / Görsel başına	Nano Banana 2 (Gemini 3.1 Flash Image): $0.50/MTok giriş, $3.00/MTok çıkış Nano Banana Pro (Gemini 3 Pro Image): $2.00/MTok giriş, $12.00/MTok çıkış

Somut Model Karşılaştırma Tablosu

Bu tablo, güncel görsel oluşturma modellerini ve bunları otomatik kıyaslama hatlarında değerlendirmek için kullanılan LLM'leri karşılaştırır.

Model Adı (SSOT)	Birincil Modalite	TokenLab Maliyet Metriği	Kilit / Giriş Fiyatı	Çıkış Fiyatı
flux-2-klein-4b	Görsel Oluşturma	per_image	$0.014000 (kilit)	N/A
flux-2-klein-9b	Görsel Oluşturma	per_image	$0.015000 (kilit)	N/A
flux-2-flex	Görsel Oluşturma	per_image	$0.050000 (kilit)	N/A
flux-2-max	Görsel Oluşturma	per_image	$0.070000 (kilit)	N/A
flux-1-dev	Görsel Oluşturma	per_image	$0.025000 (kilit)	N/A
gemini-3.1-flash-image	Görsel Oluşturma	per_token	$0.500000 / MTok	$3.000000 / MTok
gemini-3-pro-image	Görsel Oluşturma	per_token	$2.000000 / MTok	$12.000000 / MTok
claude-sonnet-5	LLM Yargıç / Metin	per_token	$3.000000 / MTok	$15.000000 / MTok
gpt-5.5	LLM Yargıç / Metin	per_token	$5.000000 / MTok	$30.000000 / MTok

Neden Satıcı Tarafından Yayınlanan Kıyaslamalar Yeterli Değildir?

Çoğu görsel modeli sağlayıcısı, kendi modellerini öne çıkaran karşılaştırmalar yayınlar. Topluluk tarafından yürütülen testlere ve Replicate blogunda yayınlanan sağlayıcı analizlerine göre (Temmuz 2026'da gözlemlenmiştir), görsel modeli performansı ve çıktı kalitesi; istem stiline, en-boy oranına ve oluşturma sırasında kullanılan belirli örnekleme adımlarına bağlı olarak önemli ölçüde değişmektedir.

Bir üretim özelliği için bir API seçiyorsanız, bu değişkenleri kontrol eden bir metodolojiye ihtiyacınız vardır. Model A'nın Model B'den daha iyi göründüğü tek bir özenle seçilmiş istem, kullanıcılarınızın gerçekte göndereceği yüzlerce istemde Model A'nın hata oranı hakkında size hiçbir şey söylemez.

Otomatik Yapay Zeka Görsel Değerlendirmesi vs. Manuel Puanlama

Manuel insan puanlamaları nihai kontroller için yararlı olsa da, ölçeklenemeyecek kadar yavaş, pahalı ve özneldir. Üretim sınıfı kıyaslama, görsel kalitesini ve istem uyumluluğunu puanlamak için otomatik değerlendirme metrikleri gerektirir.

1. Otomatik Görsel Kalite Metrikleri

• Fréchet Inception Distance (FID): Oluşturulan görsellerin dağılımı ile gerçek hedef görsellerden oluşan bir veri kümesi arasındaki benzerliği ölçer. Daha düşük FID puanları, daha yüksek kaliteli ve daha gerçekçi görselleri gösterir.
• Inception Score (IS): Oluşturulan görselleri iki kritere göre değerlendirir: görseldeki nesnelerin netliği (sınıf dağılımında düşük entropi) ve sınıflar genelinde oluşturulan görsellerin çeşitliliği.
• CLIP Score: Giriş istemi ile oluşturulan görsel arasındaki anlamsal benzerliği ölçmek için OpenAI'ın Contrastive Language-Image Pre-training (CLIP) modelini kullanır. Bu, istem uyumluluğu için otomatik ve objektif bir metrik sağlar.

2. LLM-as-a-Judge (Yargıç Olarak LLM) Çerçevesi

Öznel değerlendirmeyi otomatikleştirmek için değerlendirici olarak çok modlu bir LLM (Claude Sonnet 5 veya GPT-5.5 gibi) kullanabilirsiniz. Yargıç modele orijinal istem ve oluşturulan görsel verilir, ardından model görseli katı bir kritere göre 1-5 ölçeğinde puanlar.

[Giriş İstemi] ---> [Görsel Oluşturma API'si] ---> [Oluşturulan Görsel]
                                                      |
                                                      v
[Değerlendirme Kriteri] -------------------------> [Çok Modlu LLM Yargıcı]
                                                      |
                                                      v
                                             [Puan: 1-5 + Gerekçe]

Somut Uygulama: Python Kıyaslama Düzeneği

Aşağıda, görsel oluşturma gecikmesini kıyaslamak ve çıktıları değerlendirme için kaydetmek amacıyla işlevsel bir Python betiği bulunmaktadır. Bu betik, örnek olarak fal.ai üzerinde barındırılan FLUX.2 API'sini hedeflemektedir.

import os
import time
import json
import requests

# Yapılandırma
FAL_API_KEY = os.environ.get("FAL_API_KEY")
API_URL = "https://queue.fal.run/fal-ai/flux/dev" # Örnek uç nokta
HEADERS = {
    "Authorization": f"Key {FAL_API_KEY}",
    "Content-Type": "application/json"
}

# Standartlaştırılmış istem seti
BENCHMARK_PROMPTS = [
    {
        "id": "photo_01",
        "prompt": "A professional headshot of an engineer in a brightly lit office, photorealistic, 8k resolution",
        "sync_aspect_ratio": "1:1"
    },
    {
        "id": "text_01",
        "prompt": "A neon sign on a brick wall that clearly reads the word 'TokenLab' in bright blue light",
        "sync_aspect_ratio": "16:9"
    }
]

def run_benchmark_image(prompt_data):
    payload = {
        "prompt": prompt_data["prompt"],
        "image_size": "1024x1024" if prompt_data["sync_aspect_ratio"] == "1:1" else "1344x768",
        "seed": 42, # Model varyansını izole etmek için sabit tohum
        "num_inference_steps": 28
    }

    start_time = time.time()
    try:
        response = requests.post(API_URL, json=payload, headers=HEADERS, timeout=30)
        latency = time.time() - start_time

        if response.status_code == 200:
            result = response.json()
            image_url = result.get("images", [{}])[0].get("url", "")
            return {
                "id": prompt_data["id"],
                "status": "success",
                "latency_seconds": round(latency, 3),
                "image_url": image_url,
                "error": None
            }
        else:
            return {
                "id": prompt_data["id"],
                "status": "failed",
                "latency_seconds": round(latency, 3),
                "image_url": None,
                "error": f"HTTP {response.status_code}: {response.text}"
            }
    except Exception as e:
        return {
            "id": prompt_data["id"],
            "status": "error",
            "latency_seconds": round(time.time() - start_time, 3),
            "image_url": None,
            "error": str(e)
        }

if __name__ == "__main__":
    results = []
    for item in BENCHMARK_PROMPTS:
        print(f"Running benchmark for: {item['id']}...")
        res = run_benchmark_image(item)
        results.append(res)

    print(json.dumps(results, indent=2))

Adil Bir Karşılaştırma Testi Kurmak

Adil bir karşılaştırma, model kalitesiyle ilgisi olmayan ancak ölçülen gecikmeyi büyük ölçüde etkileyen altyapı değişkenlerinin kontrol edilmesini gerektirir.

Kıyaslama Kontrol Listesi

• Coğrafi Tutarlılık: Ağ geçiş varyansını en aza indirmek için tüm API isteklerini aynı bulut bölgesinden (örneğin, us-east-1) çalıştırın.
• Günün Farklı Saatlerinde Test: Sağlayıcı kısıtlamalarını ve kapasite sorunlarını yakalamak için testleri hem yoğun olmayan hem de yoğun saatlerde çalıştırın.
• Kesin Kontrol Noktalarını (Checkpoint) Kaydedin: Test etmeden önce her sağlayıcının güncel model listesini sorgulayın. Varsayılan model sürümleri, OpenRouter karşılaştırmamızda ele aldığımız gibi LLM toplayıcıları genelinde yönlendirme davranışının değişmesine benzer şekilde, haber verilmeksizin değişir.
• Parametreleri Sabitleyin: Bu parametreleri destekleyen tüm modellerde tohumu, adım sayısını ve rehberlik ölçeğini (guidance scale) sabitleyin.
• HTTP Durum Kodlarını Kaydedin: Sessiz hataları veya agresif içerik filtrelemeyi tanımlamak için ham hata yanıtlarını günlüğe kaydedin.

Görsel Kıyaslamaları Daha Geniş Bir API Stratejisine Nasıl Uyar?

Birden fazla yapay zeka modalitesini kapsayan bir ürün geliştiriyorsanız, görsel modeli seçimi nadiren tek başına gerçekleşir. Görsel API'lerini değerlendiren ekipler, genellikle aynı ürün yol haritası için video oluşturma API'lerini ve kod oluşturma modellerini de karşılaştırırlar ve aynı kıyaslama disiplini (sabit test setleri, normalleştirilmiş maliyet, izlenen sürümler) her üçü için de geçerlidir.

Kategoriye özel daha derin karşılaştırmalar için 2026'da API için en iyi yapay zeka video modelleri, 2026'da API için en iyi yapay zeka görsel modelleri ve 2026'da kodlama için en iyi yapay zeka modelleri hakkındaki kılavuzlarımıza bakın.

Kendi test düzeneğinizi sıfırdan oluşturmak yerine bir başlangıç noktası istiyorsanız, sonuçlarınızı sağlayıcılar genelinde karşılaştırmalı verileri toplayan ve yeni kontrol noktaları yayınlandıkça güncellenen TokenLab model liderlik tablosu ile çapraz referanslayın.

Kaynak Anlık Görüntüsü ve Uyarılar

Bir görsel kıyaslaması için kaynak karışımı; sağlayıcı fiyatlandırmasını veya ürün belgelerini, bir veya daha fazla canlı model yüzeyini ve kendi istem kümenizi içermelidir. Black Forest Labs, fal, Replicate, Google ve diğer sağlayıcılar fiyat birimlerini, model modlarını ve desteklenen girişleri belgeleyebilir, ancak belgeleri müşterilerinizin hangi çıktıyı tercih edeceğini size söylemez. Bir kıyaslama düzeneği, istem setini sabit tutarak ve her çıktıyı, hatayı, gecikmeyi ve maliyet varsayımını kaydederek bu boşluğu doldurur.

Öznel kaliteyi operasyonel uygunluktan ayrı tutun. Güvenlik incelemesinden geçemeyen, bir marka rengini yeniden üretemeyen veya yeniden denemelerden sonra üç kat daha maliyetli olan güzel bir görsel, yanlış üretim seçimi olabilir. Tersine, daha ucuz bir model, küçük bir sanatsal örnekte kaybetse bile doğru toplu oluşturucu olabilir. En yararlı rapor; istemi, model sürümünü, boyutları, maliyet birimini, hata nedenini ve gözden geçiren notunu yan yana gösterir, böylece öneriye daha sonra itiraz edilebilir.

SSS

İstatistiksel olarak anlamlı bir yapay zeka görsel modeli kıyaslaması için kaç isteme ihtiyacım var?

Evrensel bir minimum olmasa da, hedef kategorilerinizde 50'den az istemi test etmek gürültülü ve genelleştirilemez sıralamalar üretme eğilimindedir. Üretim sınıfı değerlendirmeler için, temel kullanım durumlarınıza bölünmüş 100 ila 300 istemden oluşan bir veri kümesini, örnekleme varyansını ortalamak için her birini 3 ila 5 kez çalıştırmanızı öneririz.

API çağrısı başına maliyeti mi yoksa çıktı pikseli başına maliyeti mi kıyaslamalıyım?

Megapiksel (MP) başına maliyet, karşılaştırma için en güvenilir metriktir. Temel API çağrısı fiyatlandırması genellikle farklı varsayılan çözünürlükleri bir araya getirir ve bu da doğrudan karşılaştırmaları yanıltıcı hale getirir. Tüm maliyetleri standart bir birime (örneğin, 1 MP görsel başına maliyet) indirgeyin ve güncel oranları fiyatlandırma karşılaştırma sayfamızdan doğrulayın.

Kıyaslamamdaki versiyon kaymasını nasıl yönetirim?

Sağlayıcılar, API uç noktası adını değiştirmeden yeni kontrol noktalarına işaret etmek için varsayılan model takma adlarını sık sık günceller. Bu sessiz değişiklikleri tespit etmek için kıyaslama düzeneğinizi, API yanıt başlıklarında döndürülen tam model sürümünü veya kontrol noktası dizisini kaydedecek şekilde yapılandırın.

Sonraki Adım

Manuel kıyaslama gerçek farklılıkları yakalar ancak sürdürmek için sürekli mühendislik zamanı gerektirir. Sağlayıcılar genelinde model sürümlerini, fiyatlandırmayı ve karşılaştırmalı performans verilerini otomatik olarak izlemek için TokenLab canlı liderlik tablosu ile Başlayın.