프레임워크 및 플랫폼
LangChain
표준 OpenAI 호환 chat 및 embeddings를 사용하여 TokenLab를 LangChain과 통합합니다
개요
TokenLab는 표준 OpenAI 호환 chat 및 embeddings 인터페이스를 사용할 때 LangChain의 ChatOpenAI 및 OpenAIEmbeddings 통합과 잘 동작합니다.
현재 LangChain 문서에서는 ChatOpenAI가 공식 OpenAI 호환 request/response 형식을 대상으로 한다고 안내합니다. 프로바이더별 비표준 response 필드가 필요한 경우, ChatOpenAI에 의존하는 대신 프로바이더별 LangChain 통합을 사용하세요.
이 페이지는 표준 OpenAI 호환 LangChain 인터페이스만 다루며, 그 범위를 넘어서는 제공자별 LangChain 기능까지 약속하지는 않습니다.
설치
pip install langchain langchain-openai langchain-community faiss-cpu기본 구성
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="gpt-5.6-terra",
api_key="sk-your-tokenlab-key",
base_url="https://api.tokenlab.sh/v1",
)
response = llm.invoke("Explain TokenLab in one sentence.")
print(response.content)다양한 모델 사용
from langchain_openai import ChatOpenAI
gpt = ChatOpenAI(
model="gpt-5.6-terra",
api_key="sk-your-key",
base_url="https://api.tokenlab.sh/v1",
)
claude = ChatOpenAI(
model="claude-sonnet-5",
api_key="sk-your-key",
base_url="https://api.tokenlab.sh/v1",
)
gemini = ChatOpenAI(
model="gemini-3.5-flash",
api_key="sk-your-key",
base_url="https://api.tokenlab.sh/v1",
)
deepseek = ChatOpenAI(
model="deepseek-reasoner",
api_key="sk-your-key",
base_url="https://api.tokenlab.sh/v1",
)메시지 기록
from langchain_core.messages import HumanMessage, SystemMessage
messages = [
SystemMessage(content="You are a helpful assistant."),
HumanMessage(content="What is the capital of France?")
]
response = llm.invoke(messages)
print(response.content)스트리밍
for chunk in llm.stream("Write a short poem about coding."):
if chunk.content:
print(chunk.content, end="", flush=True)임베딩
from langchain_openai import OpenAIEmbeddings
embeddings = OpenAIEmbeddings(
model="text-embedding-3-small",
api_key="sk-your-key",
base_url="https://api.tokenlab.sh/v1",
)
vector = embeddings.embed_query("Hello world")
print(vector[:5])간단한 RAG 예제
from langchain_openai import OpenAIEmbeddings
from langchain_community.vectorstores import FAISS
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough
embeddings = OpenAIEmbeddings(
model="text-embedding-3-small",
api_key="sk-your-key",
base_url="https://api.tokenlab.sh/v1",
)
texts = [
"TokenLab provides one API for many AI models.",
"TokenLab supports OpenAI-compatible integrations."
]
vectorstore = FAISS.from_texts(texts, embeddings)
retriever = vectorstore.as_retriever()
prompt = ChatPromptTemplate.from_template(
"Answer using the context below.\\n\\nContext:\\n{context}\\n\\nQuestion:\\n{question}"
)
rag_chain = (
{"context": retriever, "question": RunnablePassthrough()}
| prompt
| llm
)
response = rag_chain.invoke("What does TokenLab provide?")
print(response.content)에이전트
새로운 agentic 프로젝트의 경우, LangChain은 장시간 실행되거나 tool을 사용하는 workflow를 더 명시적으로 제어할 수 있는 LangGraph를 고려할 것을 권장합니다.
from langchain.agents import create_agent
from langchain_core.tools import tool
@tool
def search(query: str) -> str:
"""Search for information."""
return f"Search results for: {query}"
tools = [search]
agent = create_agent(
model=llm,
tools=tools,
system_prompt="You are a helpful assistant with access to tools.",
)
result = agent.invoke({
"messages": [{"role": "user", "content": "Search for TokenLab pricing"}]
})
print(result["messages"][-1].content)