TokenLab

프레임워크 및 플랫폼

Prompt flow

Prompt flow OpenAI 연결을 통해 TokenLab 사용하기

개요

Prompt flow의 OpenAI 연결은 사용자 지정 base_url을 지원합니다. 이를 TokenLab의 /v1 엔드포인트로 설정하고 플로우에서 TokenLab 모델 ID를 사용하세요.

설치

pip install promptflow promptflow-tools

연결 생성

아래 연결 설정을 openai.yaml로 저장하세요. 이 명령은 로컬에서 API 키를 입력받습니다. OpenAI 플로우 노드에서 inputs.model에 TokenLab 모델 ID를 입력하세요. deployment_name은 Azure OpenAI용입니다.

$schema: https://azuremlschemas.azureedge.net/promptflow/latest/OpenAIConnection.schema.json
name: open_ai_connection
type: open_ai
base_url: https://api.tokenlab.sh/v1
api_key: "<user-input>"
pf connection create --file openai.yaml

플로우 참고 사항

flow.dag.yaml에서 연결 이름을 위 명령과 일치하도록 유지하세요:

nodes:
  - name: chat
    type: llm
    source:
      type: code
      path: chat.jinja2
    inputs:
      model: claude-sonnet-5
    api: chat
    connection: open_ai_connection

엔드포인트 참고 사항

이 통합은 Prompt flow의 OpenAI 호환 연결을 사용합니다. 네이티브 TokenLab 응답, Anthropic Messages 및 Gemini 라우트를 사용하려면 Prompt flow 도구 또는 해당 엔드포인트를 직접 호출하는 사용자 지정 Python 노드가 필요합니다.

이 페이지의 내용