Preços de Batch Inference de API de IA: Quando Jobs Assíncronos Economizam Dinheiro

A precificação de inferência em lote (batch) funciona trocando a latência de resposta por uma taxa menor por token: você envia uma tarefa, o provedor a processa dentro de uma janela definida (comumente de até 24 horas) e você paga menos do que pagaria por uma chamada síncrona em tempo real. Se essa troca vale a pena, depende inteiramente de sua carga de trabalho tolerar a espera.

Este artigo compara a inferência em lote (assíncrona) com chamadas de API síncronas padrão, com base na documentação da API de batch publicada pela OpenAI e pelo Google, e apresenta uma estrutura de decisão sobre quando o caminho assíncrono realmente economiza dinheiro para o seu produto.

Principais Pontos

• OpenAI e Gemini publicam uma API de batch que aceita tarefas para processamento assíncrono com uma taxa de desconto em comparação com chamadas síncronas; confirme a porcentagem de desconto exata atual na página de preços de cada provedor antes de orçar, já que as taxas podem mudar.
• A inferência em lote se ajusta a cargas de trabalho que toleram uma janela de processamento em vez de precisarem de uma resposta imediata: classificação em massa, geração de embeddings, avaliação offline, rotulagem de conjuntos de dados e tarefas de backfill.
• Chat em tempo real, agentes de codificação e recursos interativos de produtos geralmente não se encaixam na precificação de batch, pois a janela de processamento os torna inutilizáveis para interação ao vivo com o usuário.
• As maiores economias cumulativas geralmente vêm da combinação de descontos de batch com a seleção de modelos e o trabalho de eficiência de prompts; veja /models/rankings e o guia de redução de custos de API de IA para as outras alavancas.

O que a Inferência em Lote Realmente Significa

As chamadas de API síncronas retornam uma resposta assim que o modelo termina de gerá-la, normalmente em segundos. Você paga uma taxa por token vinculada a essa imediatismo. A inferência em lote inverte o modelo: em vez de uma troca única de solicitação-resposta, você envia um arquivo ou lista de solicitações como uma tarefa. O provedor coloca a tarefa na fila, processa-a durante uma janela que ele controla e disponibiliza os resultados para você recuperar assim que estiverem concluídos.

Esta não é uma nova técnica de inferência dentro do modelo. É um contrato comercial e operacional diferente. O provedor programa sua carga de trabalho contra capacidade ociosa ou fora de pico e, em troca, cobra menos por token do que cobraria por uma solicitação que precisa atender instantaneamente.

Tanto a OpenAI quanto o Google documentam esse padrão para suas respectivas APIs:

• A referência da API de Batch da OpenAI descreve a criação de um objeto de batch a partir de um arquivo carregado de solicitações, o rastreamento de seu status e a recuperação da saída assim que a tarefa é concluída (platform.openai.com/docs/api-reference/batch/object).
• A documentação da API de Batch do Gemini do Google descreve um modelo comparável: envie um lote de solicitações, a tarefa é executada de forma assíncrona e os resultados são recuperados após o processamento (ai.google.dev/gemini-api/docs/batch-api).

A mecânica difere ligeiramente entre os provedores (envio baseado em arquivo, objetos de tarefa, sondagem de status, recuperação de saída), mas a forma subjacente é consistente: envie agora, colete depois, pague menos por token do que o equivalente síncrono. Verifique a documentação atual de cada provedor para a janela de processamento exata e a taxa de desconto que se aplica à sua conta e modelo, já que esses detalhes são específicos do provedor e estão sujeitos a alterações.

Como Funcionam as Duas APIs de Batch Documentadas

Em um nível mecânico, ambos os provedores seguem um ciclo de vida semelhante:

1. Prepare as solicitações. Você reúne as solicitações de inferência individuais que deseja processar, normalmente formatadas como um arquivo (a OpenAI aceita um arquivo de solicitações identificadas por um ID personalizado; o Gemini aceita um lote de solicitações estruturadas).
2. Envie a tarefa. Você cria um objeto de batch ou recurso de tarefa que referencia sua entrada carregada.
3. Sonde ou aguarde a conclusão. A tarefa passa por estados (na fila, em andamento, concluída ou falha) até que o provedor termine o processamento dentro de sua janela documentada.
4. Recupere a saída. Uma vez concluído, você baixa ou busca o arquivo de saída ou conjunto de resultados, correspondendo cada resposta à sua solicitação original por ID.

Nenhum dos provedores processa tarefas de batch instantaneamente. Esse é o objetivo do modelo de precificação: a tarefa é executada no cronograma do provedor, não no seu, e você aceita um atraso limitado em troca de uma taxa menor. Se o seu produto não puder tolerar esse atraso, a precificação de batch não está disponível para você, independentemente de quanto você economizaria no papel.

Quando a Precificação de Batch Economiza Dinheiro: Uma Lista de Verificação de Decisão

Use esta lista de verificação antes de direcionar uma carga de trabalho para um endpoint de batch:

• A carga de trabalho tem uma forma naturalmente não interativa? Passagens de classificação sobre um conjunto de dados, geração de embeddings para um corpus de documentos, varreduras de moderação de conteúdo ou tarefas de resumo noturnas se encaixam.
• Seu produto pode tolerar a janela de processamento documentada? Se um usuário ou sistema downstream precisar do resultado em segundos ou minutos, o batch não se encaixa.
• O volume é grande o suficiente para importar? Os descontos de batch se aplicam por token, portanto, a economia absoluta aumenta com o volume. Um punhado de solicitações não alterará sua fatura significativamente de qualquer maneira.
• A tarefa é idempotente ou pode ser tentada novamente com segurança? Como as tarefas de batch são executadas de forma assíncrona e podem falhar parcialmente, seu pipeline precisa lidar com o reenvio ou a conclusão parcial sem corromper o estado downstream.
• Sua camada de orquestração já suporta sondagem de tarefas assíncronas? Se você estiver construindo esse padrão pela primeira vez, reserve tempo de engenharia para envio de tarefas, sondagem de status e reconciliação de saída.

Dimensão	API Síncrona	API de Batch (assíncrona)
Latência	Segundos, tipicamente	Minutos a horas, limitado pela janela documentada do provedor
Precificação	Taxa padrão por token	Taxa descontada por token versus síncrona, conforme documentação do provedor
Melhor ajuste	Chat, agentes, recursos de produto ao vivo	Classificação em massa, embeddings, avaliação offline, backfills
Tratamento de falhas	Erro imediato na chamada	Status em nível de tarefa; falhas parciais possíveis dentro de um lote
Sobrecarga de engenharia	Solicitação-resposta simples	Requer lógica de envio de tarefa, sondagem e recuperação de saída
Ordenação de saída	Corresponde à ordem da chamada	Correspondido por ID de solicitação personalizado, não pela ordem da chamada

Quando a Precificação de Batch Não se Encaixa

A inferência em lote é uma má escolha para qualquer coisa em que uma pessoa ou um sistema downstream esteja aguardando a resposta. Isso inclui:

• Agentes conversacionais e produtos de chat. Um usuário espera uma resposta em segundos, não após uma janela de processamento.
• Assistentes de codificação e fluxos de trabalho de codificação agenticos. Ferramentas construídas em torno de modelos como Claude Sonnet 5 ou Kimi K2.7 Code dependem de ciclos de feedback apertados entre o desenvolvedor e o modelo; o batching quebraria a interação completamente.
• Geração de conteúdo em tempo real para recursos voltados ao usuário, incluindo geração de imagem ou vídeo sob demanda por meio de APIs como Nano Banana Pro ou Veo 3, onde o usuário está assistindo a um indicador de progresso.
• Qualquer coisa com um requisito de latência de nível de serviço, mesmo que esse requisito seja flexível (digamos, menos de um minuto). As janelas de batch são normalmente medidas em horas, não em segundos.

Se parte do seu pipeline é em tempo real e parte não, divida o trabalho. Direcione a parte interativa através da API síncrona e envie a parte em massa, tolerante a atrasos (reindexação noturna, re-rotulagem de conjunto de dados, execuções de avaliação) para o endpoint de batch.

Uma Forma de Solicitação Prática

O esquema exato difere entre o objeto de batch da OpenAI e a API de batch do Gemini, portanto, trate o seguinte como uma forma ilustrativa em vez de uma cópia literal do formato de solicitação de qualquer provedor. Confirme os nomes exatos dos campos e endpoints com a documentação atual antes de implementar isso.

# 1. Prepare um arquivo de solicitações, cada um com um ID personalizado
{"custom_id": "req-001", "method": "POST", "url": "/v1/chat/completions",
 "body": {"model": "your-selected-model", "messages": [{"role": "user", "content": "Classify this ticket."}]}}
{"custom_id": "req-002", "method": "POST", "url": "/v1/chat/completions",
 "body": {"model": "your-selected-model", "messages": [{"role": "user", "content": "Classify this ticket."}]}}

# 2. Envie a tarefa de batch
POST /v1/batches
{
  "input_file_id": "file-abc123",
  "endpoint": "/v1/chat/completions",
  "completion_window": "24h"
}

# 3. Sonde o status da tarefa
GET /v1/batches/{batch_id}
# retorna status: queued | in_progress | completed | failed

# 4. Recupere a saída uma vez concluída
GET /v1/files/{output_file_id}/content
# corresponda cada resposta à sua solicitação por custom_id

O padrão de engenharia central é o mesmo, independentemente do provedor: construa seu arquivo de solicitação com IDs estáveis, envie a tarefa, sonde a conclusão e reconcilie a saída com sua lista de solicitações original. Construa lógica de repetição em torno de falhas parciais no nível da tarefa, já que um lote pode ser concluído com algumas solicitações individuais falhando, mesmo que a tarefa em si seja bem-sucedida.

Combinando Descontos de Batch com Seleção de Modelo

A precificação de batch é uma alavanca. Ela se combina com, em vez de substituir, as decisões de modelo e de nível de prompt abordadas em AI model routing benchmark e no guia de redução de custos de API de IA. Uma carga de trabalho que é elegível para batch e atendida por um modelo de custo mais baixo, como DeepSeek V4 Flash, GLM-5.2 ou Gemini 3.5 Flash para tarefas amigáveis ao roteamento, normalmente verá economias absolutas maiores do que aplicar qualquer uma das alavancas sozinha. Antes de comprometer uma grande tarefa em massa a um único modelo e nível de preço, verifique a precificação e o posicionamento atuais por modelo em /models/rankings, já que a precificação relativa entre modelos de fronteira e de baixo custo muda conforme os provedores atualizam suas linhas.

Para equipes que avaliam se devem construir suporte a batch, o cálculo é direto: estime seu volume mensal de tokens para tarefas tolerantes a atrasos, compare o desconto de batch documentado com seu gasto síncrono atual nesse mesmo volume e pondere isso em relação ao custo de engenharia de construir a lógica de envio de tarefas e sondagem. Se o volume for pequeno, o desconto pode não compensar a complexidade adicionada.

Limitações

Esta comparação é baseada na mecânica geral documentada pela OpenAI e pelo Google para suas APIs de batch conforme observado em 14/07/2026. Porcentagens exatas de desconto, comprimentos de janela de processamento, disponibilidade por modelo e requisitos de formato de arquivo são específicos do provedor, mudam com o tempo e não são redefinidos aqui como números fixos. Verifique a precificação e os termos atuais de batch diretamente na documentação de cada provedor antes de orçar ou construir. Este artigo também não cobre o suporte a batch de todos os provedores de modelos; verifique se o modelo e o fornecedor escolhidos publicam um endpoint de batch antes de planejar em torno de um.

FAQ

Quanto mais barata é a inferência em lote do que as chamadas síncronas? Tanto a OpenAI quanto o Google documentam um desconto para processamento em lote em relação à sua taxa síncrona padrão, mas a porcentagem exata é específica do provedor e do tempo. Verifique a página de preços atual para seu provedor e modelo antes de estimar a economia.

O que acontece se minha tarefa de batch não terminar dentro da janela de processamento? A documentação do provedor descreve estados de status da tarefa (como na fila, em andamento, concluída e falha). Revise a documentação de cada provedor sobre como ele lida com tarefas que excedem a janela de conclusão, já que o comportamento pode diferir por provedor e está sujeito a alterações.

Posso usar inferência em lote para recursos de chat em tempo real? Não. As tarefas de batch são processadas de forma assíncrona dentro de uma janela que pode variar de minutos a muitas horas, o que as torna inadequadas para qualquer carga de trabalho onde um usuário ou sistema esteja aguardando uma resposta imediata. Use a API síncrona para recursos interativos e reserve endpoints de batch para tarefas de alto volume e tolerantes a atrasos.

Se você está avaliando se a precificação de batch se ajusta à sua carga de trabalho, compare as taxas e rankings atuais por modelo e, em seguida, comece mapeando suas tarefas tolerantes a atrasos em relação à lista de verificação acima antes de comprometer tempo de engenharia com a lógica de envio de tarefas e sondagem.