Criar conclusão de chat

ID do modelo a ser usado. Veja Models para opções disponíveis.

Uma lista de mensagens que compõem a conversa.

Cada objeto de mensagem contém:

• role (string): system, developer, user, assistant, tool, function
• content (string | array | null): O conteúdo da mensagem

Em uma mensagem assistant com tool_calls, content pode ser omitido ou definido como null.

Quando content é um array, a TokenLab dá suporte a blocos multimodais estruturados para modelos compatíveis:

• text: { "type": "text", "text": "..." }
• image: { "type": "image_url", "image_url": { "url": "https://..." } }
• video: { "type": "video_url", "video_url": { "url": "https://..." } }
• audio: { "type": "audio_url", "audio_url": { "url": "https://..." } }

Para entradas multimodais, use URLs https acessíveis publicamente. Os tipos de mídia compatíveis dependem do modelo selecionado.

Temperatura de amostragem. O suporte, os valores permitidos e o valor padrão dependem do modelo selecionado. Omita este campo para usar o padrão do modelo.

Número máximo de tokens a serem gerados.

Se true, deltas parciais da mensagem serão enviados como eventos SSE.

Opções para streaming. Defina include_usage: true para receber uso de tokens em chunks do stream.

Parâmetro de amostragem Nucleus. Recomendamos alterar este ou temperature, não ambos.

Número entre -2.0 e 2.0. Valores positivos penalizam tokens repetidos.

Número entre -2.0 e 2.0. Valores positivos penalizam tokens já presentes no texto.

Sequência de parada ou lista de sequências. O suporte e o limite de sequências dependem do modelo selecionado.

Uma lista de ferramentas que o modelo pode chamar (chamada de função).

Controla como o modelo usa ferramentas. Opções: auto, none, required, ou um objeto de ferramenta específico.

Permite várias chamadas de ferramentas em um mesmo turno do assistente, se o modelo selecionado oferecer suporte.

Máximo de tokens para a conclusão. Alternativa a max_tokens, útil para famílias de modelos mais novas com suporte a raciocínio.

Esforço de raciocínio para modelos compatíveis. Os valores permitidos dependem do modelo selecionado.

Semente de amostragem para modelos compatíveis. Uma saída idêntica não é garantida.

Número de conclusões a gerar (1-128).

Se deve retornar probabilidades logarítmicas.

Número das maiores probabilidades logarítmicas a retornar (0-20). Requer logprobs: true.

Amostragem Top-K para modelos compatíveis.

Formato de resposta. Use {"type": "json_object"} para o modo JSON ou {"type": "json_schema", "json_schema": {...}} para um esquema JSON. O suporte depende do modelo selecionado.

Modifique a probabilidade de tokens especificados aparecerem. Mapeie IDs de tokens (como strings) para valores de bias de -100 a 100.

Um identificador único representando seu usuário final para monitoramento de abuso.

Identificador único para a conclusão.

Sempre chat.completion.

Timestamp Unix de quando a conclusão foi criada.

O modelo usado para a conclusão.

Lista de opções de conclusão.

Cada opção contém:

• index (integer): Índice da escolha
• message (object): A mensagem gerada
• finish_reason (string): Motivo pelo qual o modelo parou, por exemplo stop, length ou tool_calls

Estatísticas de uso de tokens.

• prompt_tokens (integer): Tokens no prompt
• completion_tokens (integer): Tokens na conclusão
• total_tokens (integer): Total de tokens usados