Créer une complétion de chat

ID du modèle à utiliser. Voir Modèles pour les options disponibles.

Une liste de messages constituant la conversation.

Chaque objet message contient :

• role (string) : system, developer, user, assistant, tool, function
• content (string | array | null) : Le contenu du message

Pour un message assistant contenant tool_calls, content peut être omis ou défini sur null.

Lorsque content est un tableau, TokenLab prend en charge des blocs multimodaux structurés pour les modèles compatibles :

• text: { "type": "text", "text": "..." }
• image: { "type": "image_url", "image_url": { "url": "https://..." } }
• vidéo: { "type": "video_url", "video_url": { "url": "https://..." } }
• audio: { "type": "audio_url", "audio_url": { "url": "https://..." } }

Pour les entrées multimodales, utilisez des URL https accessibles publiquement. Les types de médias pris en charge dépendent du modèle choisi.

Température d’échantillonnage. La prise en charge, les valeurs autorisées et la valeur par défaut dépendent du modèle choisi. Omettez ce champ pour utiliser sa valeur par défaut.

Nombre maximal de tokens à générer.

Si true, des deltas de message partiels seront envoyés comme événements SSE.

Options pour le streaming. Définissez include_usage: true pour recevoir l'utilisation des tokens dans les fragments de stream.

Paramètre de sampling nucleus. Nous recommandons de modifier celui-ci ou la température, pas les deux.

Nombre entre -2.0 et 2.0. Les valeurs positives pénalisent les tokens répétés.

Nombre entre -2.0 et 2.0. Les valeurs positives pénalisent les tokens déjà présents dans le texte.

Séquence d’arrêt ou liste de séquences. La prise en charge et le nombre maximal de séquences dépendent du modèle choisi.

Une liste d'outils que le modèle peut appeler (appel de fonctions).

Contrôle la manière dont le modèle utilise les outils. Options : auto, none, required, ou un objet outil spécifique.

Autorise plusieurs appels d’outils dans un même tour de l’assistant, si le modèle choisi le permet.

Nombre maximal de tokens pour la complétion. Alternative à max_tokens, utile pour les familles de modèles plus récentes activées pour le raisonnement.

Effort de raisonnement pour les modèles compatibles. Les valeurs acceptées dépendent du modèle choisi.

Graine d’échantillonnage pour les modèles compatibles. Un résultat identique n’est pas garanti.

Nombre de complétions à générer (1-128).

Indique s'il faut retourner les log-probabilités.

Nombre de log-probabilités les plus élevées à retourner (0-20). Nécessite logprobs: true.

Échantillonnage Top-K pour les modèles compatibles.

Format de réponse. Utilisez {"type": "json_object"} pour le mode JSON ou {"type": "json_schema", "json_schema": {...}} pour un schéma JSON. La prise en charge dépend du modèle choisi.

Modifier la probabilité d'apparition de tokens spécifiés. Mappez les IDs de tokens (comme des chaînes) à des valeurs de biais entre -100 et 100.

Identifiant unique représentant votre utilisateur final pour la surveillance des abus.

Identifiant unique de la complétion.

Toujours chat.completion.

Timestamp Unix du moment où la complétion a été créée.

Le modèle utilisé pour la complétion.

Liste des choix de complétion.

Chaque choix contient :

• index (integer) : Index du choix
• message (object) : Le message généré
• finish_reason (string) : Motif d’arrêt du modèle, par exemple stop, length ou tool_calls

Statistiques d'utilisation des tokens.

• prompt_tokens (integer) : Tokens dans le prompt
• completion_tokens (integer) : Tokens dans la complétion
• total_tokens (integer) : Total des tokens utilisés