Qu'est-ce que la mise en cache des prompts et comment est-elle facturée ?

Un modèle sans prix de cache publié est facturé à son prix d'entrée normal. Le simulateur des Tarifs des modèles suppose que 80 % de l'entrée est lue depuis le cache à partir du deuxième tour d'une conversation ; son estimation est donc inférieure à une estimation message par message sans cache. Les économies réelles dépendent du fournisseur et de la rapidité de réponse du client, car le texte en cache expire après quelques minutes.

Lisez l'utilisation communiquée par le fournisseur

Le cache est un détail comptable de la requête au modèle, et non une copie séparée de votre base de connaissances que vous gérez dans le tableau de bord. Des instructions répétées peuvent être éligibles au cache du fournisseur, tandis que le nouveau texte du client nécessite toujours un traitement d'entrée normal. Une longue conversation peut donc contenir à la fois des tokens en cache et des tokens sans cache.

Utilisez les informations de tokens en cache du Journal d'utilisation pour comprendre un événement enregistré. Comparez les prix d'entrée, de sortie et de cache du modèle sélectionné sur les Tarifs des modèles. Si un fournisseur n'indique aucune entrée en cache pour une réponse, ne supposez pas que l'hypothèse de cache du simulateur s'appliquait à cet événement.

Par exemple, deux conversations à la formulation proche peuvent donner des résultats de cache différents si leur timing diffère ou si elles utilisent des modèles différents. Notez ces circonstances à côté des nombres de tokens lorsque vous comparez des coûts. Le simulateur est un outil de planification ; le journal enregistre ce qui a été communiqué et facturé pour la requête réelle.

Pour une explication plus large des unités de facturation et des comparaisons, lisez les modèles de tarification des chatbots IA.