Toda demo de agente de IA funciona. Ela é feita com uma base curada, perguntas previsíveis e ninguém do outro lado com pressa. A sua operação não tem nenhuma dessas três coisas.
As perguntas que revelam mais sobre um fornecedor de agente de IA são as sobre falha, não sobre capacidade: o que acontece quando a resposta não está na base, quando o visitante fica irritado, quando o modelo cai, quando você quer sair. Capacidade toda demo mostra; comportamento em falha, só a operação real.
Sobre a resposta
- O que o agente faz quando a resposta não está na base? A resposta certa é admitir e escalar, não improvisar.
- Como vocês impedem que ele afirme algo que o conteúdo não sustenta? Peça para ver a verificação, não a promessa.
- Consigo ver quais trechos da base geraram cada resposta? Sem isso, depurar uma resposta errada é adivinhação.
Sobre a passagem para humano
- O que dispara um handoff? Pedido explícito, falha repetida e frustração detectada deveriam estar na lista.
- O que vai junto com a conversa quando ela chega no atendente? Se a transcrição não vai, o cliente vai repetir tudo, e essa é a maior fonte de irritação em canal automatizado.
- Consigo definir temas que nunca são automatizados? Reembolso, reclamação e qualquer coisa com peso jurídico costumam entrar aí.
Sobre latência e voz
- Qual é a latência mediana até o primeiro token, e não até a resposta completa?
- Em voz, o que acontece quando as duas pessoas falam ao mesmo tempo? É o teste mais rápido para saber se é streaming de verdade.
Sobre dados
- O que é mascarado antes de sair para o modelo e para os logs? Veja mascaramento de PII.
- Onde os dados ficam armazenados, e por quanto tempo?
- Se eu sair, o que eu levo? Transcrições, leads e base de conhecimento deveriam ser exportáveis sem depender de boa vontade.
Sobre integração
- Existe webhook para os eventos que importam, com assinatura? É o que garante que você consegue conectar o que a lista de integrações não cobre.
A pergunta que fecha a conta
Depois das doze, sobra uma: “o que o produto de vocês não faz bem?”. Quem responde com uma limitação concreta está descrevendo um produto real. Quem responde que faz tudo bem está descrevendo uma apresentação. As nossas comparações foram escritas com essa régua, cada uma inclui o cenário em que a alternativa ainda ganha.
