A IA está respondendo bem? Como revisar as conversas do agente
Respondeu não é o bastante: o que conferir em cada conversa da IA no WhatsApp, como tirar a amostra e a ficha de revisão de seis itens e quando ajustar.
Neste artigo
- Respondeu não é o bastante: o que separa resposta de solução
- As seis coisas que uma boa resposta precisa acertar
- Como tirar a amostra da semana sem virar projeto
- A ficha de revisão, item por item
- Como classificar o erro para não corrigir a coisa errada
- O que fazer com o erro encontrado
- Quando ajustar as regras e quando mexer na base
- Quanto tempo isso leva e quem deve fazer
- Os sinais de que a IA está piorando sem você ver
- O que a Meta mostra e o que ela não mostra
- O lado da lei: dado pessoal na conversa revisada
- Resumo
- Perguntas frequentes
A IA responde em dois segundos, escreve bonito e não erra o português. Isso não quer dizer que esteja respondendo bem. Responder bem é outra coisa: entender o que a pessoa quis dizer, usar a informação certa do seu negócio, não prometer o que não pode cumprir e entregar o caso para um humano quando é hora. Nenhuma dessas quatro coisas aparece em relatório de volume de mensagens.
Este guia é sobre a única forma confiável de saber se o agente está indo bem: ler conversas de verdade, com um roteiro na mão. Você vai ver o que conferir em cada conversa, como tirar a amostra, a ficha de revisão de seis itens, como classificar o erro e quando o problema é a regra, a base de conhecimento, o fluxo ou a ferramenta.
Respondeu não é o bastante: o que separa resposta de solução
Quem acompanha só o painel vê um número tranquilizador: tantas conversas atendidas, tempo médio baixinho, quase nenhuma mensagem sem retorno. Só que esses números medem atividade, não resultado. Um agente pode responder 100% das conversas e ainda deixar metade dos clientes sem saber o preço ou o próximo passo.
A confusão mais comum é tratar três coisas diferentes como se fossem a mesma:
| O que é | O que mede | Como engana |
|---|---|---|
| Automação | Quantas conversas a IA conduziu sozinha | Pode automatizar uma conversa ruim com a mesma eficiência de uma boa |
| Agilidade | Quanto tempo até a primeira resposta | Resposta rápida e genérica continua sendo resposta genérica |
| Resolução | Se a pessoa conseguiu o que precisava | O único dos três que interessa ao cliente |
Um exemplo do seu dia: o agente responde em três segundos que "o orçamento é feito após avaliação". Rápido e educado — e inútil, porque o cliente queria saber se atende no sábado. Ele agradeceu e foi para o concorrente. No painel, foi um atendimento concluído.
Por isso a revisão precisa olhar a conversa, não o gráfico. E precisa ser frequente, porque a IA erra conforme o que as pessoas perguntam — e as pessoas mudam o que perguntam.
As seis coisas que uma boa resposta precisa acertar
Seis critérios resolvem quase todos os casos. Valem tanto para um agente que tria e transfere quanto para um que só responde dúvidas simples. Não são regras da Meta nem exigência de lei: são o critério que este guia propõe, montado a partir do que costuma dar errado em atendimento automatizado no WhatsApp.
| # | Critério | A pergunta que você faz ao ler a conversa |
|---|---|---|
| 1 | Entendeu o pedido | A resposta trata do que a pessoa perguntou, ou de um assunto parecido? |
| 2 | Usou a informação certa | Preço, prazo, endereço, horário e política batem com o que a empresa pratica hoje? |
| 3 | Uma pergunta por vez | O agente fez uma pergunta ou despejou quatro de uma vez? |
| 4 | Não prometeu o que não pode | Disse "já vou transferir", "está confirmado", "o desconto é seu" sem poder garantir? |
| 5 | Encaminhou na hora certa | Transferiu quando devia, e não segurou o caso só para "tentar resolver"? |
| 6 | Fechou com próximo passo | A conversa terminou com algo concreto: horário, link, documento, retorno marcado? |
Só o item 2 depende de conhecimento técnico. Os outros cinco qualquer pessoa do time identifica lendo — é isso que torna a revisão viável sem especialista em IA.
Há um sétimo item que não entra na conta porque é obrigação, não qualidade: nunca pedir senha, dado de cartão ou documento sensível na conversa. Se aparecer, não é ajuste de tom, é correção imediata.
Como tirar a amostra da semana sem virar projeto
A revisão morre quando vira tarefa grande. Trinta conversas por semana bastam para enxergar padrão, e cabem em quarenta minutos se você souber quais pegar. O erro é abrir a caixa de entrada e ler o que aparecer primeiro, porque a lista começa sempre pelas conversas mais recentes e mais fáceis.
Monte a amostra assim:
- Cinco que terminaram em venda ou agendamento. Servem para ver se o agente atrapalhou ou ajudou no caminho.
- Cinco que terminaram sem resposta do cliente. São as mais reveladoras: quase sempre o agente fez uma pergunta ruim, demorou ou assustou.
- Cinco que foram transferidas para uma pessoa. Confira se a transferência veio com contexto ou se o atendente teve que recomeçar do zero.
- Cinco que passaram por um assunto crítico. Preço, prazo, cancelamento, reclamação, dado sensível.
- Cinco de madrugada, fim de semana ou fora do horário. É onde a IA trabalha sozinha e onde ninguém estava olhando.
- Cinco escolhidas ao acaso. Para não revisar só o que já se sabe que dá problema.
Com menos de trinta conversas na semana, revise o que houver e mantenha as categorias. Cada uma captura um tipo de falha: amostra só de conversas transferidas faz você concluir que a IA transfere demais, e amostra só de resolvidas faz você concluir que está tudo ótimo. Se quiser testar o agente pelo lado do cliente antes dessa leitura, o roteiro de cliente oculto no WhatsApp é o complemento natural.
A conversa longa que ninguém lê
Separe também uma conversa de mais de vinte mensagens. É onde o agente esquece o que já foi dito, repete pergunta e perde o fio — erro que não aparece em conversa de cinco mensagens.
A ficha de revisão, item por item
Com a amostra separada, a leitura fica mecânica. Uma ficha em planilha ou papel, com uma linha por conversa e uma coluna por critério, já resolve — a mesma lógica da auditoria do atendimento em uma tarde, aplicada a uma amostra. O que importa é que a marcação seja sempre a mesma.
| Campo da ficha | Como preencher |
|---|---|
| Data e canal | Dia da conversa e por onde ela chegou |
| Assunto | Em uma palavra: orçamento, prazo, agendamento, cobrança, dúvida técnica |
| Critérios de 1 a 6 | OK, falhou ou não se aplica |
| Gravidade | Leve (ficou estranho), média (cliente precisou insistir), grave (informação errada ou promessa indevida) |
| Causa provável | Regra, base de conhecimento, fluxo ou ferramenta |
| O que foi feito | Nada, regra ajustada, documento atualizado, caso levado ao fornecedor |
Duas regras de preenchimento evitam discussão depois. A primeira: só marque "falhou" quando conseguir apontar a mensagem exata — impressão geral não serve para corrigir nada. A segunda: registre a gravidade antes de pensar na solução. Erro grave que aconteceu uma vez merece correção imediata; erro leve que aparece em toda conversa merece ajuste de roteiro.
O que anotar quando a conversa foi bem
Quando o agente faz a pergunta certa, usa o dado certo e encaminha bem, copie o trecho para uma pasta de exemplos. Esses trechos viram modelo para regras novas e argumento interno quando alguém questionar se a IA está ajudando.
Como classificar o erro para não corrigir a coisa errada
A parte que separa revisão amadora de revisão útil é a causa. Quase todo mundo, ao ver uma resposta ruim, conclui "a IA errou" e vai mexer no tom das instruções. Na maioria das vezes o problema está em uma informação faltando, em uma regra ambígua ou em um caminho que não existe.
| Causa | Como se reconhece | Onde se corrige |
|---|---|---|
| Regra | O agente faz o que mandaram, mas a instrução estava ruim, incompleta ou contraditória | Nas diretrizes e proteções do agente |
| Base de conhecimento | A informação existe, mas está velha, desencontrada ou em documento que o agente não consulta | No documento, na versão e na organização da base |
| Fluxo | Falta um caminho: nenhuma regra previu aquele caso, então o agente improvisou | Em um cenário novo, com começo, meio e fim |
| Ferramenta | O agente tentou o certo e algo falhou: integração fora, mensagem não enviada, áudio não transcrito | No fornecedor ou na configuração técnica |
Vale decorar essa tabela, porque ela muda a conversa interna. "A IA inventou o prazo" costuma ser base de conhecimento: o prazo antigo continuava no documento e o novo foi escrito em outro lugar. "Prometeu transferir e não transferiu" costuma ser regra: a instrução mandava transferir, mas não dizia como nem para quem. Nenhum dos dois se resolve escrevendo "seja mais cuidadoso" — e o segundo pede uma olhada em como funciona a transferência da IA para o humano.
Regra ambígua é a causa mais comum
Se você só puder olhar uma coisa nesta semana, olhe as regras que falam de comportamento. "Seja simpático", "não seja insistente" e "resolva o que puder" não dizem o que fazer em nenhuma situação concreta, e cada uma deixa o agente escolher. A troca que funciona é sempre a mesma: em vez de adjetivo, um critério verificável. "Não seja insistente" vira "após duas tentativas sem resposta, encerre com uma mensagem de disponibilidade e não envie outra".
O que fazer com o erro encontrado
Encontrar o erro é a parte fácil. O que muda o resultado é o que acontece nas vinte e quatro horas seguintes:
- Separe os erros graves. Informação errada, promessa indevida, pedido de dado sensível: corrigidos no mesmo dia.
- Corrija a origem, não o sintoma. Se o prazo estava errado no documento, corrija o documento e apague a versão antiga.
- Volte na conversa. Releia a conversa original e simule a mesma pergunta no ambiente de testes. Se a resposta nova não resolver, o ajuste foi no lugar errado.
- Avise quem atende. Quem recebe as transferências precisa saber o que mudou.
- Registre a mudança. Data, o que mudou e por quê. Sem isso, em três semanas ninguém sabe por que a regra existe.
O passo 3 é o mais pulado. Ajustar sem testar é trocar a peça no escuro: você não sabe se resolveu, e na semana seguinte o erro volta com outra roupa.
Quando ajustar as regras e quando mexer na base
Com a classificação em mãos, a decisão fica clara. Ajuste as regras quando o comportamento estiver errado: pergunta demais, transfere cedo demais, insiste depois do "não". Mexa na base quando o conteúdo estiver errado: preço, prazo, endereço, política de troca, horário de feriado.
| Situação | Onde mexer | Por quê |
|---|---|---|
| O agente respondeu com o preço do ano passado | Base de conhecimento | O fato está desatualizado, o comportamento está correto |
| O agente perguntou o nome três vezes na mesma conversa | Regra | Falta instrução sobre não repetir dado já informado |
| O agente não soube responder sobre parcelamento | Base ou fluxo | Ou a informação não existe, ou não há caminho para ela |
| O agente mandou o cliente para o atendente sem resumo | Regra | A transferência precisa de instrução explícita de resumo |
| O agente respondeu "não sei" para tudo depois das 18h | Fluxo ou ferramenta | Falta caminho de fora do horário |
| O agente confirmou um agendamento que não existe | Fluxo ou ferramenta | Há promessa sem verificação na agenda |
Quando o mesmo erro aparece em pontos diferentes da conversa, desconfie de base desorganizada. Documentos duplicados, versões antigas e informação espalhada em três arquivos produzem respostas contraditórias na mesma semana. Uma base enxuta, com um dono e uma data de revisão em cada documento, evita mais erro do que qualquer ajuste de tom — as regras para montar essa base de conhecimento da IA seguem a mesma lógica.
Quanto tempo isso leva e quem deve fazer
A revisão não precisa de um cargo novo, e sim de uma pessoa com autoridade para dizer "esta resposta está errada" e acesso para mudar a regra ou o documento — em geral o dono, o responsável pelo atendimento ou o supervisor do time. O custo real é baixo: duas a três horas para montar a ficha uma vez, trinta a cinquenta minutos por semana para ler trinta conversas e de quinze minutos a duas horas para corrigir, conforme a causa.
Um caminho que funciona na primeira semana: montar a ficha no primeiro dia, separar e ler as conversas sem corrigir nada nos dois seguintes, escolher as três correções de maior impacto no quarto, aplicá-las e testá-las no quinto, e deixar rodar no fim de semana.
Os sinais de que a IA está piorando sem você ver
Há uma deterioração silenciosa que não aparece em queda de volume. O agente continua respondendo tudo, no mesmo tempo, e ainda assim está pior. Estes sinais costumam aparecer antes dos números:
- A mesma pergunta repetida em várias conversas. Quando muita gente pergunta o que o agente deveria ter respondido, a resposta não está convencendo.
- Conversas cada vez mais longas. Se a média de mensagens até resolver sobe semana a semana, o agente está enrolando.
- Mais gente pedindo "quero falar com uma pessoa" na segunda mensagem. O aumento constante indica que a abertura não está funcionando.
- Atendentes refazendo a triagem. Quando quem recebe a transferência precisa perguntar tudo de novo, o resumo não está sendo entregue.
- Cliente que some depois de uma pergunta. Se a última mensagem é sempre uma pergunta do agente, ela pode estar longa, invasiva ou fora de hora.
- Reclamação sobre o robô. "Você é um robô?", "já falei isso". Aparece em qualquer operação, mas o aumento de frequência é recado.
Nenhum desses sinais prova nada sozinho. Juntos, apontam para o mesmo lugar: a conversa piorou enquanto o painel continuava bonito. A amostra não substitui os números — ela explica os números.
O que a Meta mostra e o que ela não mostra
A plataforma oficial do WhatsApp dá um sinal de qualidade que muita gente ignora. Cada modelo de mensagem tem uma classificação, mostrada pela API e pelo Gerenciador do WhatsApp: verde para alta, amarela para média, vermelha para baixa. A avaliação considera uso, retorno dos usuários e engajamento, e um modelo com muita avaliação negativa ou pouca leitura pode acabar pausado.
Isso é útil, mas é um recorte específico. A classificação fala do modelo enviado pela empresa — o disparo, o lembrete, o aviso — e reflete a reação de quem recebeu. Não diz se o agente respondeu bem a uma pergunta fora do roteiro, se usou o preço certo ou se transferiu com contexto. O painel avisa quando o público está reagindo mal; não substitui a leitura da conversa.
O lado da lei: dado pessoal na conversa revisada
Revisar conversas significa ler dado pessoal de cliente, e isso tem regra. Pela LGPD, o tratamento precisa de finalidade definida e transparente (art. 6º) e de medidas de segurança que protejam os dados (art. 46). Revisão de qualidade é finalidade legítima, mas não autoriza circulação da conversa inteira pela empresa.
Três cuidados resolvem a maior parte: acesso restrito, definido no perfil de cada pessoa em vez de compartilhado por conveniência; recorte antes de compartilhar, copiando só o trecho necessário em vez do histórico com nome e telefone; e retenção com prazo, porque a ficha guarda a marcação, não a conversa.
Vale lembrar do art. 20: a pessoa tem direito a pedir revisão de decisão tomada unicamente por tratamento automatizado que afete seus interesses. Isso reforça a necessidade de um caminho humano claro — e de o agente saber oferecê-lo sem que o cliente insista. Se ele se apresenta como IA desde a primeira mensagem, como deve ser, a revisão também confere se essa apresentação continua acontecendo, como este guia sobre avisar que o atendimento é feito por IA detalha.
Resumo
- Responder rápido não é responder bem: automação e agilidade não medem resolução.
- Seis critérios bastam: entendeu o pedido, usou a informação certa, fez uma pergunta por vez, não prometeu o que não pode, encaminhou na hora e fechou com próximo passo.
- Trinta conversas por semana, em seis categorias de amostra, mostram padrão suficiente para decidir.
- A ficha registra critério, gravidade, causa e o que foi feito — sempre com a mensagem exata que falhou.
- Classificar a causa evita corrigir no lugar errado: regra, base de conhecimento, fluxo ou ferramenta.
- Erro grave se corrige no mesmo dia; erro leve e repetido pede ajuste de roteiro.
- Depois de ajustar, releia a conversa original e teste a mesma pergunta antes de considerar resolvido.
- A classificação de qualidade dos modelos avisa sobre reação do público, mas não diz se o agente respondeu bem; e revisar conversa é tratar dado pessoal, com acesso restrito e prazo de guarda.
Se o seu agente de IA atende no WhatsApp e você não sabe dizer, hoje, quantas conversas da semana passada terminaram sem próximo passo, a revisão está atrasada — e é mais simples do que parece. No PapoFranco, o agente de IA atende, faz a triagem e entrega o caso ao especialista com resumo, o que encurta o caminho entre encontrar o erro e corrigir a regra. Para entender como as diretrizes são escritas, comece por regras do agente de IA no atendimento.
Perguntas frequentes
De quantas em quantas conversas eu preciso revisar para saber se a IA está bem?
Trinta conversas por semana, divididas em categorias diferentes, já mostram padrão. Menos que isso funciona para pegar erro grave, mas não para comparar semanas. O critério não é o volume: é revisar sempre do mesmo jeito.
Como sei se o erro foi da IA ou da informação que ela recebeu?
Olhe o que o agente fez com o que estava escrito. Se seguiu a instrução e a instrução estava errada, o problema é de regra. Se a informação correta não existia, estava velha ou estava em documento duplicado, é base de conhecimento. Se nenhuma regra previa a situação, é falta de fluxo.
Preciso de uma ferramenta para fazer essa revisão?
Não para começar. Uma planilha com uma linha por conversa e colunas para critério, gravidade e causa resolve as primeiras semanas. Ferramenta ajuda quando você quer comparar meses.
O cliente percebe que está falando com uma IA?
Deve perceber, e desde a primeira mensagem. O agente precisa se apresentar como agente de IA, sem fingir ser uma pessoa. Além de ser o certo, isso reduz atrito: quem sabe que fala com um assistente entende melhor quando o caso passa para um humano.
Quantas pessoas do time precisam participar da revisão?
Uma pessoa com autoridade para corrigir já resolve. Duas é melhor, porque leem a mesma conversa de formas diferentes e a discussão sobre o que é grave revela problema que ninguém tinha visto.
E se a IA errar em um caso grave, como cobrar do fornecedor?
Guarde a conversa, o horário e o que o agente fez de errado, e classifique a causa antes de abrir o chamado. Erro de conteúdo se resolve na sua base; erro de funcionamento, como mensagem não enviada ou áudio não transcrito, é do fornecedor.
- IA no atendimento
- qualidade da IA
- revisão de conversas