Framework và nền tảng
AutoGen
Sử dụng các mô hình TokenLab với Microsoft AutoGen thông qua các client tương thích với OpenAI
Tổng quan
AutoGen có thể gọi TokenLab bằng OpenAIChatCompletionClient. Hãy cấu hình Base URL, API key và model ID của TokenLab trong client.
Cài đặt
pip install -U autogen-agentchat "autogen-ext[openai]" pyyamlMôi trường
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Cấu hình mô hình YAML
Sử dụng endpoint /v1 của TokenLab làm base_url:
Lưu cấu hình này dưới dạng tokenlab-model.yaml:
provider: autogen_ext.models.openai.OpenAIChatCompletionClient
config:
model: claude-sonnet-5
base_url: https://api.tokenlab.sh/v1
model_info:
function_calling: true
json_output: true
structured_output: false
vision: false
family: claudeTải tệp YAML và đọc API key từ môi trường. YAML không tự động mở rộng các biến môi trường:
import os
import yaml
from autogen_agentchat.agents import AssistantAgent
from autogen_core.models import ChatCompletionClient
with open("tokenlab-model.yaml", encoding="utf-8") as config_file:
config = yaml.safe_load(config_file)
config["config"]["api_key"] = os.environ["TOKENLAB_API_KEY"]
model_client = ChatCompletionClient.load_component(config)
agent = AssistantAgent("assistant", model_client=model_client)Python Client
import os
from autogen_agentchat.agents import AssistantAgent
from autogen_ext.models.openai import OpenAIChatCompletionClient
model_client = OpenAIChatCompletionClient(
model="claude-sonnet-5",
base_url="https://api.tokenlab.sh/v1",
api_key=os.environ["TOKENLAB_API_KEY"],
model_info={
"function_calling": True,
"json_output": True,
"structured_output": False,
"vision": False,
"family": "claude",
},
)
agent = AssistantAgent("assistant", model_client=model_client)Chạy yêu cầu đầu tiên của bạn
import asyncio
async def main():
try:
result = await agent.run(task="Reply with: Connected to TokenLab.")
print(result.messages[-1].content)
finally:
await model_client.close()
asyncio.run(main())Lưu ý về Endpoint
Phần mở rộng OpenAI của AutoGen yêu cầu định dạng yêu cầu tương thích với OpenAI. Đối với các tính năng gốc của nhà cung cấp như Anthropic Messages hoặc Gemini generateContent, hãy sử dụng các endpoint gốc của TokenLab từ một client hỗ trợ trực tiếp các giao thức đó.