TokenLab

Outils de code

Contrôler les coûts des agents de codage

Utilisez les données d'utilisation réelles pour réduire vos dépenses sans affaiblir l'exécution des tâches

Les agents de codage envoient de manière répétée des instructions, l'historique des conversations, du code et les résultats d'outils. Les sessions longues peuvent donc coûter beaucoup plus cher qu'une simple requête de chat. Les leviers utiles sont le choix du modèle, la taille du contexte, la longueur de sortie et la mise en cache lorsque le modèle sélectionné le prend en charge.

Commencez par votre propre utilisation

Ouvrez Usage dans l'espace de travail qui possède votre clé API et comparez les requêtes par modèle ou par clé. Comparez des tâches similaires plutôt que de vous fier à une estimation horaire générique.

Enregistrez au moins :

  • les tokens d'entrée, de sortie et mis en cache
  • le coût par tâche terminée
  • les requêtes échouées ou répétées
  • le modèle et la clé API utilisés

Adaptez le modèle au travail

Le modèle le plus coûteux n'a pas besoin de gérer chaque étape.

TravailCe qu'il faut optimiser
Architecture ou débogage difficileQualité du raisonnement et contexte suffisant
Modifications ciblées et revue de routineSuivi fiable des instructions à un prix inférieur
Recherche, classification et code standardVitesse et faible coût d'entrée
Revue finaleQualité sur un contexte plus restreint et soigneusement sélectionné

Utilisez la page Modèles pour connaître les prix et les capacités actuels. Testez les modèles candidats sur la même tâche représentative avant de modifier un outil en production.

Gardez un contexte intentionnel

  • Incluez les fichiers et les journaux nécessaires à la tâche en cours, et non l'intégralité du dépôt par défaut.
  • Commencez une nouvelle conversation lorsque l'ancien historique n'est plus utile.
  • Laissez l'agent rechercher le code au lieu de coller de grands répertoires dans chaque prompt.
  • Gardez les instructions réutilisables courtes et supprimez les règles dupliquées.

Limitez les sorties inutiles

Définissez la limite de sortie prise en charge par votre format API sélectionné lorsque la tâche a une longueur de réponse prévisible. Les Chat Completions et les Messages utilisent des formes de requête différentes de celles des Responses ; utilisez le champ documenté de l'endpoint.

Une limite empêche les réponses longues accidentelles, mais elle doit tout de même laisser suffisamment de place pour que la tâche se termine.

Utilisez la mise en cache uniquement lorsqu'elle est documentée

Certains modèles facturent moins cher pour les entrées mises en cache. Vérifiez les détails tarifaires du modèle avant de compter sur une remise liée au cache, et confirmez l'utilisation des tokens mis en cache dans la réponse ou dans Usage. Le comportement et les prix du cache diffèrent selon le modèle.

Séparez les projets avec des clés API

Utilisez une clé API différente pour chaque projet ou outil de codage lorsque vous avez besoin de limites et d'un historique d'utilisation distincts. Une limite au niveau de la clé peut empêcher un outil de consommer la totalité du solde du compte.

Comparez les changements avec des tâches réelles

  1. Choisissez un petit ensemble de tâches qui représente votre travail habituel.
  2. Exécutez les mêmes tâches avec chaque modèle candidat et le même contexte.
  3. Comparez la qualité de la complétion, les tentatives, le nombre total de tokens et le coût final dans Usage.

Le prix le plus bas par token n'est pas toujours le coût le plus bas par tâche terminée. Une requête moins chère qui nécessite plusieurs tentatives peut coûter plus cher.

Configuration des outils

Sur cette page