Chat-Vervollständigung erstellen

ID des zu verwendenden Modells. Siehe Models für verfügbare Optionen.

Eine Liste von Nachrichten, die die Konversation bilden.

Jedes Nachrichtenobjekt enthält:

• role (string): system, developer, user, assistant, tool, function
• content (string | array | null): Der Nachrichteninhalt

Bei einer assistant-Nachricht mit tool_calls kann content fehlen oder null sein.

Wenn content ein Array ist, unterstützt TokenLab strukturierte multimodale Blöcke für kompatible Modelle:

• text: { "type": "text", "text": "..." }
• Bild: { "type": "image_url", "image_url": { "url": "https://..." } }
• audio: { "type": "audio_url", "audio_url": { "url": "https://..." } }
• video: { "type": "video_url", "video_url": { "url": "https://..." } }

Verwenden Sie für multimodale Eingaben öffentlich erreichbare https-URLs. Unterstützte Medientypen hängen vom gewählten Modell ab.

Sampling-Temperatur. Unterstützung, zulässige Werte und Standardwert hängen vom gewählten Modell ab. Ohne dieses Feld wird der Modellstandard verwendet.

Maximale Anzahl an zu generierenden Tokens.

Wenn true, werden partielle Nachrichtendeltas als SSE-Ereignisse gesendet.

Optionen fürs Streaming. Setzen Sie include_usage: true, um Token-Nutzungsdaten in Stream-Chunks zu erhalten.

Nucleus-Sampling-Parameter. Wir empfehlen, entweder diesen oder die Temperatur zu verändern, aber nicht beide.

Zahl zwischen -2.0 und 2.0. Positive Werte bestrafen wiederholte Tokens.

Zahl zwischen -2.0 und 2.0. Positive Werte bestrafen Tokens, die bereits im Text vorhanden sind.

Stoppsequenz oder Liste von Sequenzen. Unterstützung und Anzahl der zulässigen Sequenzen hängen vom gewählten Modell ab.

Eine Liste von Tools, die das Modell aufrufen kann (Funktionsaufrufe).

Steuert, wie das Modell Tools verwendet. Optionen: auto, none, required, oder ein spezifisches Tool-Objekt.

Erlaubt mehrere Tool-Aufrufe in einem Antwortschritt des Assistenten, sofern das gewählte Modell dies unterstützt.

Maximale Tokens für die Vervollständigung. Alternative zu max_tokens, nützlich für neuere modellfamilien mit Reasoning-Unterstützung.

Reasoning-Aufwand für Modelle, die ihn unterstützen. Zulässige Werte hängen vom gewählten Modell ab.

Sampling-Seed für unterstützte Modelle. Identische Ausgaben sind nicht garantiert.

Anzahl der zu erzeugenden Vervollständigungen (1-128).

Ob Log-Wahrscheinlichkeiten zurückgegeben werden sollen.

Anzahl der obersten Log-Wahrscheinlichkeiten, die zurückgegeben werden sollen (0-20). Erfordert logprobs: true.

Top-K-Sampling für Modelle, die es unterstützen.

Antwortformat. Verwenden Sie {"type": "json_object"} für den JSON-Modus oder {"type": "json_schema", "json_schema": {...}} für ein JSON-Schema. Die Unterstützung hängt vom gewählten Modell ab.

Anpassung der Wahrscheinlichkeit, dass bestimmte Tokens erscheinen. Mappen Sie Token-IDs (als Strings) auf Bias-Werte von -100 bis 100.

Ein eindeutiger Bezeichner, der Ihren Endbenutzer für Missbrauchsüberwachung repräsentiert.

Eindeutiger Bezeichner für die Vervollständigung.

Immer chat.completion.

Unix-Zeitstempel, wann die Vervollständigung erstellt wurde.

Das für die Vervollständigung verwendete Modell.

Liste der Vervollständigungsoptionen.

Jede Auswahl enthält:

• index (integer): Index der Auswahl
• message (object): Die generierte Nachricht
• finish_reason (string): Grund für das Ende der Generierung, etwa stop, length oder tool_calls

Statistiken zur Token-Nutzung.

• prompt_tokens (integer): Tokens im Prompt
• completion_tokens (integer): Tokens in der Vervollständigung
• total_tokens (integer): Insgesamt verwendete Tokens