Créer une complétion de chat

ID du modèle à utiliser. Voir Modèles pour les options disponibles.

Une liste de messages composant la conversation.

Chaque objet message contient :

• role (string) : system, developer, user, assistant, tool, function
• content (string | array | null) : Le contenu du message

Pour un message assistant contenant des tool_calls, content peut être omis ou défini sur null.

Lorsque content est un tableau, TokenLab prend en charge des blocs multimodaux structurés pour les modèles compatibles :

• texte : { "type": "text", "text": "..." }
• image : { "type": "image_url", "image_url": { "url": "https://..." } }
• vidéo : { "type": "video_url", "video_url": { "url": "https://..." } }
• audio : { "type": "audio_url", "audio_url": { "url": "https://..." } }

Pour une entrée multimodale, utilisez des URLs https accessibles publiquement. Les types de médias pris en charge dépendent du modèle sélectionné.

Température d'échantillonnage. La prise en charge, les valeurs autorisées et la valeur par défaut dépendent du modèle sélectionné ; omettez ce champ pour utiliser sa valeur par défaut.

Nombre maximum de tokens à générer.

Si défini sur true, les deltas de message partiels seront envoyés sous forme d'événements SSE.

Options pour le streaming. Définissez include_usage: true pour recevoir l'utilisation des tokens dans les fragments de flux.

Paramètre d'échantillonnage Nucleus. Nous recommandons de modifier ce paramètre ou la température, mais pas les deux.

Nombre compris entre -2.0 et 2.0. Les valeurs positives pénalisent les tokens répétés.

Nombre compris entre -2.0 et 2.0. Les valeurs positives pénalisent les tokens déjà présents dans le texte.

Séquence d'arrêt ou liste de séquences. La prise en charge et les limites de séquence dépendent du modèle sélectionné.

Une liste d'outils que le modèle peut appeler (appel de fonction).

Contrôle la manière dont le modèle utilise les outils. Options : auto, none, required, ou un objet outil spécifique.

Autorise plusieurs appels d'outils lors d'un même tour de l'assistant, lorsque cela est pris en charge par le modèle sélectionné.

Nombre maximum de tokens pour la complétion. Alternative à max_tokens, utile pour les familles de modèles plus récentes activées pour le raisonnement.

Effort de raisonnement pour les modèles qui le prennent en charge. Les valeurs acceptées dépendent du modèle sélectionné.

Pour les modèles Claude, la valeur définit la réflexion du modèle : un niveau d'effort sur les modèles avec réflexion adaptative, ou un budget de réflexion sur les modèles qui en utilisent un. none désactive la réflexion sur les modèles qui le permettent. Lorsque la réflexion est activée, Claude rejette une temperature autre que 1, top_k, un top_p en dehors de 0.95–1, et un message assistant pré-rempli. Un tool_choice forcé fonctionne avec la réflexion adaptative mais pas avec un budget de réflexion.

Options pour les modèles Claude.

• prompt_caching (boolean) : Définissez sur true pour mettre en cache le début du prompt. TokenLab marque la fin du prompt système et le dernier message utilisateur comme points de cache. Une requête ultérieure commençant par le même contenu le lira depuis le cache. Si un message possède déjà cache_control, TokenLab n'ajoute aucun point de cache.
• prompt_caching_ttl (string) : 5m (par défaut) ou 1h. Si la route de service ne prend pas en charge une heure, TokenLab utilise cinq minutes et ne rejette pas la requête.

extra.prompt_caching et extra.prompt_caching_ttl sont acceptés comme étant les mêmes options. Voir Mise en cache des prompts pour les tarifs et comment vérifier les tokens mis en cache.

Graine d'échantillonnage pour les modèles qui la prennent en charge. Une sortie identique n'est pas garantie.

Nombre de complétions à générer (1-128).

Indique s'il faut renvoyer les probabilités logarithmiques.

Nombre de probabilités logarithmiques principales à renvoyer (0-20). Nécessite logprobs: true.

Échantillonnage Top-K pour les modèles qui le prennent en charge.

Format de réponse. Utilisez {"type": "json_object"} pour le mode JSON ou {"type": "json_schema", "json_schema": {...}} pour un schéma JSON. La prise en charge dépend du modèle sélectionné.

Modifie la probabilité d'apparition de tokens spécifiés. Associez les IDs de tokens (sous forme de chaînes) à des valeurs de biais de -100 à 100.

Un identifiant unique représentant votre utilisateur final pour la surveillance des abus.

Identifiant unique pour la complétion.

Toujours chat.completion.

Horodatage Unix de la création de la complétion.

Le modèle utilisé pour la complétion.

Liste des choix de complétion.

Chaque choix contient :

• index (integer) : Index du choix
• message (object) : Le message généré
• finish_reason (string) : Raison pour laquelle le modèle s'est arrêté, par exemple stop, length, ou tool_calls

Lorsque le modèle réfléchit, message peut également contenir :

• reasoning_content (string) : Le texte de réflexion. Certains modèles ne renvoient qu'un résumé, ou aucun texte.
• reasoning_details (array) : Blocs de réflexion avec leurs signatures. Pour poursuivre une conversation avec réflexion, par exemple après un appel d'outil, renvoyez-les inchangés dans le message de l'assistant.

Dans un flux, les mêmes champs arrivent sous forme de delta.reasoning_content et delta.reasoning_details.

Statistiques d'utilisation des tokens.

• prompt_tokens (integer) : Tokens dans le prompt
• completion_tokens (integer) : Tokens dans la complétion, incluant les tokens de réflexion
• total_tokens (integer) : Total des tokens utilisés
• completion_tokens_details.reasoning_tokens (integer) : Tokens de réflexion, lorsque le modèle les signale