Die Demo ist nicht das Produkt
Agenten-Demos sind alle gleich aufgebaut. Ein Ziel wird eingegeben, ein Plan erscheint, Werkzeuge werden aufgerufen, und etwas Nützliches passiert. Das ist wirklich beeindruckend und sagt Ihnen trotzdem fast nichts, denn der Lauf, den Sie sehen, ist der Lauf, der funktioniert hat.
Entscheidend dafür, ob Sie den Agenten behalten, sind die anderen Läufe. Der Agent, der eine Erstattungsrichtlinie falsch versteht und eine Erstattung anbietet, die er nicht anbieten sollte. Der Agent, der um vier Uhr morgens immer wieder etwas Kaputtes versucht. Der Agent, der entscheidet, dass der richtige Schritt ist, zweitausend Personen eine E-Mail zu schreiben.
Das sind genau genommen keine Fehler des Modells. Ein besseres Modell macht davon weniger, aber nie keine. Es geht um die Frage, was das umgebende System tut, wenn das Modell falsch liegt. Das ist eine Designentscheidung des Anbieters, die lange vor Ihrer Demo getroffen wurde.
Vier Mechanismen, die mehr wert sind als das Modell
Hält etwas an, bevor es sendet? Entscheidend ist nicht, ob es „Leitplanken“ gibt, das behaupten alle. Entscheidend ist, ob eine ausgehende Nachricht zurückgehalten wird, bevor sie eine Person erreicht. Bei ProxyAI hält ein Agent an und wartet, wenn er eine Nachricht, eine E-Mail oder einen Anruf senden möchte. Sie erhalten eine E-Mail, die Aufgabe erscheint in der Liste „Ihre Entscheidung“, und Sie sehen jede Nachricht, die er senden will: an wen, den Betreff und den Anfang des Textes. Freigeben sendet alles, Ablehnen verwirft alles.
Das ist bewusst ein stumpfes Werkzeug. Die Freigabe gilt für alles oder nichts. Sie können nicht drei von fünf Nachrichten freigeben.
Sind die Ausgaben pro Lauf begrenzt statt pro Monat? Ein Monatsbudget ist eine Rechnung, von der Sie erst später erfahren. Eine Obergrenze pro Lauf stoppt den einzelnen Lauf, der gerade schiefgeht, während er schiefgeht. Der Standard von ProxyAI liegt bei 2,00 $ pro Lauf. Ein Lauf, der diese Grenze erreicht, stoppt.
Was passiert, wenn das Guthaben leer ist? Das fragt niemand, und jeder stellt es irgendwann fest. Die ehrliche Antwort sollte eine Verweigerung sein, keine teilweise Aktion. Neue Agenten lassen sich nicht anlegen, Läufe stoppen mit der Fehlermeldung „nicht genug Guthaben“, und ein Kunde, der im Chat eine Aufgabe verlangt, erfährt, dass sie nicht verfügbar ist, statt die Hälfte davon zu erhalten.
Blockiert eine offene Entscheidung den nächsten Lauf? Ein Agent, der weiter geplante Läufe startet, während drei Freigaben ungelesen sind, produziert eine Warteschlange, die Sie nie abarbeiten werden. Zurückgehaltene Läufe warten sieben Tage und verfallen dann. Solange eine Entscheidung aussteht, startet der Agent keine neuen geplanten Läufe. Das ist weniger bequem, und es ist der richtige Kompromiss.
Die Ausnahme, die es brauchbar macht
Ein System, in dem alles auf Freigabe wartet, schaltet niemand ein. Die Ausnahme muss prinzipientreu sein und darf kein bequemer Schalter sein. Das Prinzip ist das Ziel.
Zwei Ziele werden nie zurückgehalten: ein Bericht an Ihr eigenes Postfach und eine Tabelle, die Sie selbst ausgewählt haben. Keines davon erreicht einen Kunden, also kann keines Sie in Verlegenheit bringen. Genau diese Ausnahme erlaubt es einem Berichts-Agenten, vom ersten Tag an ohne Aufsicht zu laufen, während einer, der mit Kunden spricht, überwacht bleibt. Ein Schalter, der die Aufsicht stillschweigend überall abschaltet, ist dafür nicht nötig.
Was menschliche Freigabe bei KI-Agenten bedeuten sollte
Der Begriff wird oft ungenau verwendet. Dann heißt er nur, dass irgendwo in der Nähe des Systems eine Person existiert. Präzise bedeutet er, dass die Arbeit sichtbar auf die Entscheidung eines Menschen wartet und erst danach ausgeführt wird.
Der Test ist einfach: Fragen Sie sich, wo Sie jetzt nachsehen würden, um alles zu sehen, was ein Agent vorgeschlagen, aber noch nicht erledigt hat. Ist die Antwort ein Protokoll, das Sie erst nachträglich lesen müssten, gibt es keine menschliche Freigabe vor der Ausführung. Sie haben dann einen Prüfpfad – etwas völlig anderes, das erst im Nachhinein greift.
Beginnen Sie mit dem unspektakulären Agenten
Das stärkste Argument für Agenten ist nicht der am stärksten autonome. Es ist eine tägliche Zusammenfassung dessen, was in Ihrem Shop passiert ist, die in Ihrem Postfach landet, einen Bruchteil eines Cents kostet und keinen Kunden berührt. Sie ist wirklich nützlich, und so lernen Sie, was das System richtig macht, bevor Sie es mit irgendjemandem sprechen lassen.
Gehen Sie danach einen Schritt weiter: ein Agent, der Antworten entwirft und sie zurückhält. Sie lesen die Entwürfe eine Woche lang. Sind sie gut, geben Sie sie schnell frei. Sind sie es nicht, haben Sie nichts verloren.
Die Anbieter, denen Sie am ehesten vertrauen können, sind die, deren Dokumentation diesen Fortschritt leicht auffindbar macht, einschließlich des Teils, der sagt, was der Agent nicht kann. Eine Liste von Fähigkeiten ohne Abschnitt über Grenzen ist eine Verkaufsseite.