¿Qué es el caché de prompts y cómo se factura?

Un modelo sin precio de caché publicado se factura a su precio normal de entrada. La calculadora de Tarifas de modelos supone que el 80 % de la entrada se lee desde la caché a partir del segundo turno de una conversación, así que su estimación es menor que una suposición mensaje a mensaje sin caché. El ahorro real depende del proveedor y de la rapidez con la que responda el cliente, porque el texto en caché caduca a los pocos minutos.

Lee el uso informado por el proveedor

La caché es un detalle contable de la petición al modelo, no una copia separada de tu base de conocimiento que gestiones en el panel. Las instrucciones repetidas pueden acogerse a la caché del proveedor, mientras que el texto nuevo del cliente sigue necesitando procesamiento de entrada normal. Una conversación larga puede contener, por tanto, tokens en caché y sin caché.

Usa la información de tokens en caché del Registro de uso para entender un evento registrado. Compara los precios de entrada, salida y caché del modelo seleccionado en las Tarifas de modelos. Si un proveedor no informa de entrada en caché para una respuesta, no supongas que se aplicó el supuesto de caché de la calculadora a ese evento.

Por ejemplo, dos conversaciones con redacción parecida pueden dar resultados de caché distintos si difiere su momento o si usan modelos diferentes. Anota esas circunstancias junto a los recuentos de tokens al comparar costes. La calculadora es una herramienta de planificación; el registro muestra lo que se informó y cobró por la petición real.

Para una explicación más amplia de las unidades de facturación y las comparaciones, lee modelos de precio de chatbots con IA.