A demonstração não é o produto
As demonstrações de agentes são todas construídas do mesmo jeito. Um objetivo é digitado, um plano aparece, ferramentas são chamadas, algo útil acontece. É genuinamente impressionante e diz quase nada, porque a execução que você está vendo é a que deu certo.
As execuções que decidem se você vai manter o agente são as outras. O agente que interpreta mal uma política de reembolso e oferece um que não deveria. O agente que insiste em retentar algo quebrado às quatro da manhã. O agente que decide que o movimento certo é enviar um e-mail para duas mil pessoas.
Nenhuma dessas é exatamente uma falha do modelo; um modelo melhor tem menos delas, mas nunca nenhuma. São perguntas sobre o que o sistema ao redor faz quando o modelo erra, e isso é uma decisão de projeto que o fornecedor tomou muito antes de você ver a demonstração.
Quatro mecanismos que valem mais do que o modelo
Algo para antes de enviar? A linha que importa não é “tem barreiras de proteção”, todos dizem que sim, mas se uma mensagem de saída é retida antes de chegar a uma pessoa. No ProxyAI, quando um agente quer enviar uma mensagem, um e-mail ou fazer uma ligação, ele para e espera. Você recebe um e-mail, a tarefa aparece em uma lista de Precisa de você, e você pode ver cada mensagem que ele quer enviar: para quem vai, o assunto e o início do texto. Aprovar envia tudo; rejeitar descarta.
É um instrumento deliberadamente simples. A aprovação é tudo ou nada; você não consegue aprovar três mensagens de cinco.
O gasto é limitado por execução, e não por mês? Um orçamento mensal é uma conta da qual você só fica sabendo depois. Um limite por execução interrompe a execução individual que deu errado enquanto ela está dando errado. O padrão do ProxyAI é US$ 2,00 por execução, e uma execução que atinge o limite para.
O que acontece quando o saldo acaba? Esta é a pergunta que ninguém faz e que todo mundo acaba descobrindo. A resposta honesta deve ser uma recusa, e não uma ação parcial. Novos agentes não podem ser criados, as execuções param com um erro de "sem créditos", e um cliente que pede uma tarefa no chat recebe a informação de que ela não está disponível, em vez de receber metade de algo.
Uma decisão pendente bloqueia a próxima execução? Um agente que continua iniciando execuções agendadas enquanto três aprovações ficam sem leitura está criando uma fila que você nunca vai esvaziar. Execuções retidas esperam sete dias e depois expiram, e o agente não inicia novas execuções agendadas enquanto houver uma decisão pendente. Isso é menos conveniente, e é a troca correta.
A exceção que torna isso utilizável
Um sistema em que tudo para para aprovação é um sistema que ninguém liga. A exceção precisa ser fundamentada em princípio, e não em um interruptor de conveniência, e o princípio é o destino.
Dois destinos nunca retêm: um relatório para a sua própria caixa de entrada e uma planilha que você mesmo escolheu. Nenhum dos dois chega a um cliente, então nenhum dos dois pode constranger você. Essa única exceção é o que permite que um agente de relatórios rode sem supervisão desde o primeiro dia, enquanto um voltado ao cliente continua supervisionado, sem uma configuração que desligue silenciosamente a supervisão em todos os lugares.
O que deveria significar a aprovação humana antes de agir
A expressão “aprovação humana” ficou desgastada pelo uso. Às vezes, significa apenas que existe alguém em algum lugar perto do sistema. Em sentido preciso, significa que o trabalho fica visível e aguarda a decisão de uma pessoa antes de ser executado.
O teste é simples: pergunte onde você olharia, agora mesmo, para ver tudo o que um agente propôs e ainda não fez. Se a resposta for um registro que você teria de ler depois do fato, não há aprovação humana antes de agir; há apenas uma trilha de auditoria, que é outra coisa e vem bem depois.
Comece pelo agente sem graça
O argumento mais forte a favor dos agentes não é o mais autônomo. É um resumo diário do que aconteceu na sua loja, chegando à sua caixa de entrada, custando uma fração de centavo, sem tocar em nenhum cliente. É genuinamente útil, e é assim que você descobre o que a ferramenta acerta antes de deixá-la falar com alguém.
Depois, avance um passo: um agente que rascunha respostas e as retém. Você lê os rascunhos durante uma semana. Se forem bons, aprova rapidamente; se não forem, não perdeu nada.
Os fornecedores mais dignos de confiança são aqueles cuja documentação torna essa progressão fácil de encontrar, inclusive a parte em que diz o que o agente não pode fazer. Uma lista de capacidades sem uma seção de limites é uma página de vendas.
Perguntas frequentes
O que significa a aprovação humana antes de um agente de IA agir?
Usado com precisão, significa que a ação proposta pelo agente espera onde você pode vê-la, ainda não executada, até que uma pessoa decida. Usado de forma frouxa, significa apenas que existe uma pessoa em algum lugar perto do sistema. O teste é se você consegue ver, agora mesmo, tudo o que o agente propôs e ainda não fez. Se o único registro for um log que você lê depois, isso é uma trilha de auditoria, não uma etapa de aprovação humana antes da ação.
Um agente de IA pode enviar e-mails a clientes sem aprovação?
Isso depende inteiramente do produto, e por isso vale perguntar diretamente. No ProxyAI, uma execução que quer enviar uma mensagem, um e-mail ou fazer uma ligação a um cliente para e espera até você aprovar. As exceções são destinos que não podem constranger você: um relatório para a sua própria caixa de entrada e uma planilha que você escolheu, de modo que os agentes de relatório rodam sem supervisão enquanto os voltados ao cliente continuam supervisionados.
O que impede um agente de IA de gastar demais em uma tarefa?
Um teto por execução, diferente de um orçamento mensal. Um limite mensal é uma conta que você descobre depois; um limite por execução interrompe a execução individual enquanto ela está dando errado. O padrão do ProxyAI é US$ 2,00 por execução, e uma execução que o atinge para, em vez de continuar.
O que acontece se um agente estiver aguardando aprovação e nunca a receber?
Execuções retidas expiram após sete dias, e o agente não inicia novas execuções agendadas enquanto houver uma decisão pendente. Isso é deliberadamente menos conveniente do que deixá-lo seguir em frente: um agente que continua enfileirando trabalho enquanto as aprovações ficam sem leitura cria um acúmulo que ninguém nunca esvazia.
Por onde devo começar com agentes de IA?
Com um agente que não toca em nenhum cliente: um resumo diário do que aconteceu na sua loja, enviado para a sua própria caixa de entrada. É genuinamente útil, custa uma fração de centavo, e é assim que você descobre o que o agente acerta antes de deixá-lo falar com alguém.
O Agent Tasks é o complemento de agentes do ProxyAI. O guia do Agent Tasks cobre aprovações, custos de execução e os limites, e a página de tarifas tem os preços dos modelos por trás deles.