TokenLab

Frameworks et plateformes

AutoGen

Utilisez les modèles TokenLab avec Microsoft AutoGen via des clients compatibles OpenAI

Aperçu

AutoGen peut appeler TokenLab avec OpenAIChatCompletionClient. Configurez l'URL de base (Base URL), la clé API et l'ID du modèle TokenLab dans le client.

Installation

pip install -U autogen-agentchat "autogen-ext[openai]" pyyaml

Environnement

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Configuration du modèle YAML

Utilisez le point de terminaison /v1 de TokenLab comme base_url :

Enregistrez cette configuration sous le nom tokenlab-model.yaml :

provider: autogen_ext.models.openai.OpenAIChatCompletionClient
config:
  model: claude-sonnet-5
  base_url: https://api.tokenlab.sh/v1
  model_info:
    function_calling: true
    json_output: true
    structured_output: false
    vision: false
    family: claude

Chargez le fichier YAML et lisez la clé API depuis l'environnement. Le YAML ne développe pas automatiquement les variables d'environnement :

import os
import yaml

from autogen_agentchat.agents import AssistantAgent
from autogen_core.models import ChatCompletionClient

with open("tokenlab-model.yaml", encoding="utf-8") as config_file:
    config = yaml.safe_load(config_file)

config["config"]["api_key"] = os.environ["TOKENLAB_API_KEY"]
model_client = ChatCompletionClient.load_component(config)
agent = AssistantAgent("assistant", model_client=model_client)

Client Python

import os

from autogen_agentchat.agents import AssistantAgent
from autogen_ext.models.openai import OpenAIChatCompletionClient

model_client = OpenAIChatCompletionClient(
    model="claude-sonnet-5",
    base_url="https://api.tokenlab.sh/v1",
    api_key=os.environ["TOKENLAB_API_KEY"],
    model_info={
        "function_calling": True,
        "json_output": True,
        "structured_output": False,
        "vision": False,
        "family": "claude",
    },
)

agent = AssistantAgent("assistant", model_client=model_client)

Exécutez votre première requête

import asyncio

async def main():
    try:
        result = await agent.run(task="Reply with: Connected to TokenLab.")
        print(result.messages[-1].content)
    finally:
        await model_client.close()

asyncio.run(main())

Remarques sur les points de terminaison

L'extension OpenAI d'AutoGen attend la structure de requête compatible avec OpenAI. Pour les fonctionnalités natives des fournisseurs telles que Anthropic Messages ou Gemini generateContent, utilisez les points de terminaison natifs de TokenLab à partir d'un client qui prend directement en charge ces protocoles.

Sur cette page