La demo no es el producto
Las demos de agentes están construidas todas igual. Se escribe un objetivo, aparece un plan, se llaman herramientas y pasa algo útil. Es realmente impresionante y te dice casi nada, porque la ejecución que estás viendo es la que funcionó.
Las ejecuciones que deciden si conservas el agente son las otras. El agente que malinterpreta una política de reembolsos y ofrece uno que no debería. El agente que a las cuatro de la madrugada sigue reintentando algo roto. El agente que decide que lo correcto es enviar un correo a dos mil personas.
Ninguno de esos fallos es exactamente un fallo del modelo: un modelo mejor tiene menos, pero nunca ninguno. Son preguntas sobre lo que hace el sistema que lo rodea cuando el modelo se equivoca, y eso es una decisión de diseño del proveedor que tomó mucho antes de que vieras la demo.
Cuatro mecanismos que valen más que el modelo
¿Algo se detiene antes de enviar? La línea que importa no es «¿tiene barreras?», porque todos dicen que sí, sino si un mensaje saliente se retiene antes de llegar a una persona. En ProxyAI, cuando un agente quiere enviar un mensaje, un correo o hacer una llamada, se detiene y espera. Recibes un correo, la tarea aparece en una lista de «Lo que necesitas», y puedes ver cada mensaje que quiere enviar: a quién, el asunto y el comienzo del texto. Aprobar envía todo; rechazar lo descarta.
Es un instrumento deliberadamente tosco. La aprobación es de todo o nada: no puedes aprobar tres mensajes de cinco.
¿El gasto está limitado por ejecución, no por mes? Un presupuesto mensual es una factura de la que te enteras más tarde. Un límite por ejecución detiene la ejecución concreta que va mal mientras va mal. El valor predeterminado de ProxyAI es 2,00 $ por ejecución, y una ejecución que lo alcanza se detiene.
¿Qué pasa cuando el saldo está vacío? Es la pregunta que nadie hace y todos acaban descubriendo. La respuesta honesta debería ser una negativa, no una acción parcial. No se pueden crear agentes nuevos, las ejecuciones se detienen con el error «sin créditos», y un cliente que pide una tarea en el chat recibe el aviso de que no está disponible, en lugar de recibir la mitad de algo.
¿Una decisión pendiente bloquea la siguiente ejecución? Un agente que sigue iniciando ejecuciones programadas mientras tres aprobaciones están sin leer genera una cola que nunca vas a vaciar. Las ejecuciones retenidas esperan siete días y después caducan. Mientras haya una decisión pendiente, el agente no inicia nuevas ejecuciones programadas. Es menos cómodo, y es la compensación correcta.
La excepción que lo hace utilizable
Un sistema en el que todo se detiene para aprobación es uno que nadie activa. La excepción tiene que ser de principio, no un interruptor de comodidad, y el principio es el destino.
Dos destinos nunca se retienen: un informe a tu propio buzón y una hoja de cálculo que tú hayas elegido. Ninguno llega a un cliente, así que ninguno puede avergonzarte. Esa única excepción es lo que permite que un agente de informes funcione sin supervisión desde el primer día, mientras uno que habla con clientes se mantiene supervisado, sin un ajuste que desactive en silencio la supervisión en todas partes.
Qué debería significar la aprobación humana antes de actuar
La expresión «aprobación humana» se usa tanto que ha perdido precisión. A veces solo significa que hay una persona en algún lugar cerca del sistema. En sentido estricto, significa que el trabajo queda en espera, visible para ti, y no se ejecuta hasta que una persona decide.
La prueba es sencilla: pregúntate dónde mirarías ahora mismo para ver todo lo que un agente ha propuesto y aún no ha hecho. Si la respuesta es un registro que tendrías que leer después de los hechos, no hay aprobación humana antes de actuar. Tienes un rastro de auditoría, que es algo muy distinto y llega mucho después.
Empieza con el agente aburrido
El argumento más sólido a favor de los agentes no es el más autónomo. Es un resumen diario de lo que pasó en tu tienda, que llega a tu bandeja, cuesta una fracción de céntimo y no toca a ningún cliente. Es realmente útil, y así aprendes qué hace bien el sistema antes de dejar que hable con nadie.
Después avanza un paso: un agente que redacta respuestas y las retiene. Lees los borradores durante una semana. Si son buenos, los apruebas rápido; si no lo son, no has perdido nada.
Los proveedores más dignos de confianza son aquellos cuya documentación hace fácil encontrar esa progresión, incluida la parte que dice qué no puede hacer el agente. Una lista de capacidades sin una sección de límites es una página de ventas.