Frameworks & Plattformen
AutoGen
Verwenden Sie TokenLab-Modelle mit Microsoft AutoGen über OpenAI-kompatible Clients
Überblick
AutoGen kann TokenLab über den OpenAIChatCompletionClient nutzen, denselben OpenAI-kompatiblen Client-Pfad, den es auch für andere benutzerdefinierte Chat-Completions-Endpunkte verwendet.
Typ: Agent-Framework
Primärer Pfad: OpenAI-kompatible Chat-Completions
Support-Status: Unterstützter benutzerdefinierter Endpunkt-Pfad
Installation
pip install -U autogen-agentchat "autogen-ext[openai]" pyyamlUmgebung
export TOKENLAB_API_KEY="sk-your-tokenlab-key"YAML-Modellkonfiguration
Verwenden Sie den /v1-Endpunkt von TokenLab als base_url:
Speichern Sie diese Konfiguration als tokenlab-model.yaml:
provider: autogen_ext.models.openai.OpenAIChatCompletionClient
config:
model: claude-sonnet-5
base_url: https://api.tokenlab.sh/v1
model_info:
function_calling: true
json_output: true
structured_output: false
vision: false
family: claudeLaden Sie die YAML-Datei und lesen Sie den API-Schlüssel aus der Umgebung. YAML ersetzt Umgebungsvariablen nicht automatisch:
import os
import yaml
from autogen_agentchat.agents import AssistantAgent
from autogen_core.models import ChatCompletionClient
with open("tokenlab-model.yaml", encoding="utf-8") as config_file:
config = yaml.safe_load(config_file)
config["config"]["api_key"] = os.environ["TOKENLAB_API_KEY"]
model_client = ChatCompletionClient.load_component(config)
agent = AssistantAgent("assistant", model_client=model_client)Python-Client
import os
from autogen_agentchat.agents import AssistantAgent
from autogen_ext.models.openai import OpenAIChatCompletionClient
model_client = OpenAIChatCompletionClient(
model="claude-sonnet-5",
base_url="https://api.tokenlab.sh/v1",
api_key=os.environ["TOKENLAB_API_KEY"],
model_info={
"function_calling": True,
"json_output": True,
"structured_output": False,
"vision": False,
"family": "claude",
},
)
agent = AssistantAgent("assistant", model_client=model_client)Die erste Anfrage senden
import asyncio
async def main():
try:
result = await agent.run(task="Reply with: Connected to TokenLab.")
print(result.messages[-1].content)
finally:
await model_client.close()
asyncio.run(main())Hinweise zu Endpunkten
Die OpenAI-Erweiterung von AutoGen erwartet das OpenAI-kompatible Anfrageformat. Für anbieterspezifische Funktionen wie Anthropic Messages oder Gemini generateContent verwenden Sie bitte die nativen Endpunkte von TokenLab über einen Client, der diese Protokolle direkt unterstützt.