La démo n'est pas le produit
Les démos d'agents sont toutes construites de la même façon. On saisit un objectif, un plan apparaît, des outils sont appelés, et quelque chose d'utile se produit. C'est vraiment impressionnant, et cela vous apprend presque rien, car l'exécution que vous regardez est celle qui a fonctionné.
Les exécutions qui décident si vous garderez l'agent sont les autres. L'agent qui interprète mal une politique de remboursement et propose un remboursement qu'il ne devrait pas accorder. L'agent qui, à quatre heures du matin, réessaie sans fin une opération cassée. L'agent qui décide que la bonne action est d'envoyer un e-mail à deux mille personnes.
Aucun de ces échecs n'est exactement un échec du modèle : un modèle meilleur en produit moins, jamais aucun. Ce sont des questions sur ce que fait le système qui entoure le modèle lorsque celui-ci se trompe, et c'est une décision de conception prise par le fournisseur bien avant que vous ne voyiez la démo.
Quatre mécanismes qui valent plus que le modèle
Quelque chose s'arrête-t-il avant l'envoi ? La question déterminante n'est pas « y a-t-il des garde-fous ? » : tout le monde répond oui. Il faut savoir si un message sortant est retenu avant d'atteindre une personne. Chez ProxyAI, lorsqu'un agent veut envoyer un message, un e-mail ou passer un appel, il s'arrête et attend. Vous recevez un e-mail, la tâche apparaît dans la liste « Ce qui vous attend », et vous voyez chaque message qu'il veut envoyer : à qui, l'objet et le début du texte. Approuver envoie tout ; rejeter supprime tout.
C'est un instrument volontairement sommaire. L'approbation est tout ou rien : vous ne pouvez pas approuver trois messages sur cinq.
Les dépenses sont-elles plafonnées par exécution, et non par mois ? Un budget mensuel est une facture dont vous apprenez l'existence plus tard. Un plafond par exécution arrête l'exécution individuelle qui dérape, pendant qu'elle dérape. Le plafond par défaut de ProxyAI est de 2,00 $ par exécution, et une exécution qui l'atteint s'arrête.
Que se passe-t-il lorsque le solde est vide ? C'est la question que personne ne pose et que tout le monde finit par découvrir. La réponse honnête devrait être un refus, et non une action partielle. On ne peut plus créer de nouveaux agents, les exécutions s'arrêtent avec l'erreur « crédits épuisés », et un client qui demande une tâche dans le chat est informé qu'elle n'est pas disponible, au lieu de recevoir la moitié de quelque chose.
Une décision en attente bloque-t-elle l'exécution suivante ? Un agent qui continue de lancer des exécutions planifiées alors que trois approbations restent non lues produit une file d'attente que vous ne viderez jamais. Les exécutions retenues attendent sept jours, puis expirent. Tant qu'une décision est en attente, l'agent ne lance pas de nouvelle exécution planifiée. C'est moins commode, et c'est le bon compromis.
L'exception qui rend le dispositif utilisable
Un système où tout s'arrête pour approbation est un système que personne n'active. L'exception doit être fondée sur un principe, et non sur un interrupteur de confort. Ce principe, c'est la destination.
Deux destinations ne sont jamais retenues : un rapport envoyé à votre propre boîte de réception, et une feuille de calcul que vous avez choisie vous-même. Aucune ne parvient à un client, donc aucune ne peut vous exposer. Cette seule exception permet à un agent de rapport de fonctionner sans supervision dès le premier jour, tandis qu'un agent qui parle à des clients reste supervisé, sans réglage qui désactive discrètement la supervision partout.
Ce que devrait signifier la validation humaine avant l’action
L’expression « validation humaine » est galvaudée. Elle sert parfois à dire qu’une personne se trouve quelque part près du système. En réalité, une validation humaine signifie que le travail reste en attente, visible pour vous, et ne s’exécute qu’après la décision d’une personne.
Le test est simple : demandez-vous où vous regarderiez maintenant pour voir tout ce qu'un agent a proposé et pas encore fait. Si la réponse est un journal que vous devriez lire après coup, il n'y a pas de validation humaine avant l'action. Vous avez une piste d'audit, ce qui est tout autre chose et intervient bien plus tard.
Commencez par l'agent sans histoire
L'argument le plus solide en faveur des agents n'est pas celui qui est le plus autonome. C'est un récapitulatif quotidien de ce qui s'est passé dans votre boutique, qui arrive dans votre boîte de réception, coûte une fraction de centime et ne touche aucun client. Il est vraiment utile, et c'est ainsi que vous apprenez ce que le système fait bien avant de le laisser parler à qui que ce soit.
Allez ensuite un pas plus loin : un agent qui rédige des réponses et les retient. Vous lisez les brouillons pendant une semaine. S'ils sont bons, vous les approuvez rapidement ; s'ils ne le sont pas, vous n'avez rien perdu.
Les fournisseurs les plus dignes de confiance sont ceux dont la documentation rend cette progression facile à trouver, y compris la partie qui indique ce que l'agent ne peut pas faire. Une liste de capacités sans section sur les limites est une page de vente.