O que é o cache de prompts e como ele é cobrado?

Um modelo sem preço de cache listado é cobrado pelo preço normal de entrada. A calculadora das Tarifas dos modelos presume que 80% da entrada é lida do cache a partir do segundo turno de uma conversa, então sua estimativa é menor do que um palpite mensagem a mensagem sem cache. A economia real depende do provedor e de quão rápido um cliente responde, porque o texto em cache expira após alguns minutos.

Leia o uso informado pelo provedor

O cache é um detalhe contábil da requisição ao modelo, e não uma cópia separada da sua base de conhecimento que você gerencia no painel. Instruções repetidas podem se qualificar para o cache do provedor enquanto o texto novo do cliente ainda exige processamento normal de entrada. Uma conversa longa pode, portanto, conter tokens em cache e tokens sem cache.

Use as informações de tokens em cache no Registro de uso para entender um evento registrado. Compare os preços de entrada, saída e cache do modelo selecionado nas Tarifas dos modelos. Se um provedor não informar entrada em cache para uma resposta, não presuma que a premissa de cache da calculadora se aplicou àquele evento.

Por exemplo, duas conversas com redação parecida podem produzir resultados de cache diferentes se o tempo for diferente ou se usarem modelos distintos. Guarde essas circunstâncias junto com as contagens de tokens ao comparar custos. A calculadora é uma ferramenta de planejamento; o registro mostra o que foi informado e cobrado pela requisição real.

Para uma explicação mais ampla sobre unidades de cobrança e comparações, leia Modelos de precificação de chatbots de IA.