Framework'ler ve platformlar

AutoGen

TokenLab modellerini OpenAI uyumlu istemciler aracılığıyla Microsoft AutoGen ile kullanın

Genel Bakış

AutoGen, OpenAIChatCompletionClient aracılığıyla TokenLab'i çağırabilir. İstemci içerisinde TokenLab Base URL, API anahtarı ve model kimliğini yapılandırın.

Kurulum

pip install -U autogen-agentchat "autogen-ext[openai]" pyyaml

Ortam

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

YAML Model Yapılandırması

TokenLab'in /v1 uç noktasını base_url olarak kullanın:

Bu yapılandırmayı tokenlab-model.yaml olarak kaydedin:

provider: autogen_ext.models.openai.OpenAIChatCompletionClient
config:
  model: claude-sonnet-5
  base_url: https://api.tokenlab.sh/v1
  model_info:
    function_calling: true
    json_output: true
    structured_output: false
    vision: false
    family: claude

YAML dosyasını yükleyin ve API anahtarını ortam değişkenlerinden okuyun. YAML, ortam değişkenlerini otomatik olarak genişletmez:

import os
import yaml

from autogen_agentchat.agents import AssistantAgent
from autogen_core.models import ChatCompletionClient

with open("tokenlab-model.yaml", encoding="utf-8") as config_file:
    config = yaml.safe_load(config_file)

config["config"]["api_key"] = os.environ["TOKENLAB_API_KEY"]
model_client = ChatCompletionClient.load_component(config)
agent = AssistantAgent("assistant", model_client=model_client)

Python İstemcisi

import os

from autogen_agentchat.agents import AssistantAgent
from autogen_ext.models.openai import OpenAIChatCompletionClient

model_client = OpenAIChatCompletionClient(
    model="claude-sonnet-5",
    base_url="https://api.tokenlab.sh/v1",
    api_key=os.environ["TOKENLAB_API_KEY"],
    model_info={
        "function_calling": True,
        "json_output": True,
        "structured_output": False,
        "vision": False,
        "family": "claude",
    },
)

agent = AssistantAgent("assistant", model_client=model_client)

İlk isteğinizi çalıştırın

import asyncio

async def main():
    try:
        result = await agent.run(task="Reply with: Connected to TokenLab.")
        print(result.messages[-1].content)
    finally:
        await model_client.close()

asyncio.run(main())

Uç Nokta Notları

AutoGen'in OpenAI uzantısı, OpenAI ile uyumlu istek yapısını bekler. Anthropic Messages veya Gemini generateContent gibi sağlayıcıya özgü özellikler için, bu protokolleri doğrudan destekleyen bir istemciden TokenLab'in yerel uç noktalarını kullanın.

Bu sayfada