TokenLab

Framework và nền tảng

LangChain

Sử dụng chat và embeddings của TokenLab với LangChain

Tổng quan

ChatOpenAI và OpenAIEmbeddings của LangChain có thể sử dụng TokenLab thông qua API tương thích với OpenAI.

ChatOpenAI xử lý các trường tương thích với OpenAI. Nếu ứng dụng của bạn cần các trường dành riêng cho Claude Messages hoặc Gemini, hãy sử dụng tích hợp LangChain tương ứng.

Cài đặt

pip install langchain langchain-openai langchain-community faiss-cpu

Cấu hình cơ bản

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="gpt-5.6-terra",
    api_key="sk-your-tokenlab-key",
    base_url="https://api.tokenlab.sh/v1",
)

response = llm.invoke("Explain TokenLab in one sentence.")
print(response.content)

Sử dụng các mô hình khác nhau

from langchain_openai import ChatOpenAI

gpt = ChatOpenAI(
    model="gpt-5.6-terra",
    api_key="sk-your-key",
    base_url="https://api.tokenlab.sh/v1",
)

claude = ChatOpenAI(
    model="claude-sonnet-5",
    api_key="sk-your-key",
    base_url="https://api.tokenlab.sh/v1",
)

gemini = ChatOpenAI(
    model="gemini-3.8-flash",
    api_key="sk-your-key",
    base_url="https://api.tokenlab.sh/v1",
)

deepseek = ChatOpenAI(
    model="deepseek-v4-pro",
    api_key="sk-your-key",
    base_url="https://api.tokenlab.sh/v1",
)

Lịch sử tin nhắn

from langchain_core.messages import HumanMessage, SystemMessage

messages = [
    SystemMessage(content="You are a helpful assistant."),
    HumanMessage(content="What is the capital of France?")
]

response = llm.invoke(messages)
print(response.content)

Streaming

for chunk in llm.stream("Write a short poem about coding."):
    if chunk.content:
        print(chunk.content, end="", flush=True)

Embeddings

from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings(
    model="text-embedding-3-small",
    api_key="sk-your-key",
    base_url="https://api.tokenlab.sh/v1",
)

vector = embeddings.embed_query("Hello world")
print(vector[:5])

Ví dụ RAG đơn giản

from langchain_openai import OpenAIEmbeddings
from langchain_community.vectorstores import FAISS
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough

embeddings = OpenAIEmbeddings(
    model="text-embedding-3-small",
    api_key="sk-your-key",
    base_url="https://api.tokenlab.sh/v1",
)

texts = [
    "TokenLab provides one API for many AI models.",
    "TokenLab supports OpenAI-compatible integrations."
]

vectorstore = FAISS.from_texts(texts, embeddings)
retriever = vectorstore.as_retriever()

prompt = ChatPromptTemplate.from_template(
    "Answer using the context below.\n\nContext:\n{context}\n\nQuestion:\n{question}"
)

rag_chain = (
    {"context": retriever, "question": RunnablePassthrough()}
    | prompt
    | llm
)

response = rag_chain.invoke("What does TokenLab provide?")
print(response.content)

Agents

Đối với các dự án agent mới, LangChain khuyến nghị cân nhắc sử dụng LangGraph để kiểm soát rõ ràng hơn đối với các quy trình làm việc chạy dài và sử dụng công cụ.

from langchain.agents import create_agent
from langchain_core.tools import tool

@tool
def search(query: str) -> str:
    """Search for information."""
    return f"Search results for: {query}"

tools = [search]

agent = create_agent(
    model=llm,
    tools=tools,
    system_prompt="You are a helpful assistant with access to tools.",
)

result = agent.invoke({
    "messages": [{"role": "user", "content": "Search for TokenLab pricing"}]
})
print(result["messages"][-1].content)

Các phương pháp tốt nhất

Trên trang này