Was ist Prompt-Caching und wie wird es abgerechnet?

Ein Modell ohne ausgewiesenen Cache-Preis wird zum normalen Eingabepreis abgerechnet. Der Rechner der Modellpreise geht davon aus, dass ab der zweiten Runde einer Unterhaltung 80 % der Eingabe aus dem Cache gelesen werden. Seine Schätzung fällt daher niedriger aus als eine Nachricht-für-Nachricht-Schätzung ohne Caching. Die tatsächliche Ersparnis hängt vom Anbieter und davon ab, wie schnell ein Kunde antwortet, denn gecachter Text läuft nach wenigen Minuten ab.

Die vom Anbieter gemeldete Nutzung lesen

Caching ist ein Abrechnungsdetail der Modellanfrage und keine separate Kopie Ihrer Wissensdatenbank, die Sie im Dashboard verwalten. Wiederholte Anweisungen können für den Cache des Anbieters in Frage kommen, während neuer Kundentext normal verarbeitet werden muss. Eine lange Unterhaltung kann daher gecachte und nicht gecachte Tokens enthalten.

Nutzen Sie die Angaben zu gecachten Tokens im Nutzungsprotokoll, um ein erfasstes Ereignis zu verstehen. Vergleichen Sie Eingabe-, Ausgabe- und Cache-Preise des gewählten Modells auf den Modellpreisen. Meldet ein Anbieter für eine Antwort keine gecachte Eingabe, nehmen Sie nicht an, dass für dieses Ereignis die Cache-Annahme des Rechners galt.

Zwei Unterhaltungen mit ähnlichem Wortlaut können zum Beispiel unterschiedliche Cache-Ergebnisse liefern, wenn sich das Timing unterscheidet oder unterschiedliche Modelle genutzt werden. Halten Sie diese Umstände zusammen mit den Token-Zahlen fest, wenn Sie Kosten vergleichen. Der Rechner ist ein Planungswerkzeug. Das Protokoll zeigt, was für die tatsächliche Anfrage gemeldet und berechnet wurde.

Eine breitere Erklärung zu Abrechnungseinheiten und Vergleichen finden Sie unter KI-Chatbot-Preismodelle.