Ir para o conteúdo
Franco
IA no atendimento

A IA está respondendo bem? Como revisar as conversas do agente

Respondeu não é o bastante: o que conferir em cada conversa da IA no WhatsApp, como tirar a amostra e a ficha de revisão de seis itens e quando ajustar.

Por Equipe Franco 16 min de leitura
Neste artigo
  1. Respondeu não é o bastante: o que separa resposta de solução
  2. As seis coisas que uma boa resposta precisa acertar
  3. Como tirar a amostra da semana sem virar projeto
  4. A ficha de revisão, item por item
  5. Como classificar o erro para não corrigir a coisa errada
  6. O que fazer com o erro encontrado
  7. Quando ajustar as regras e quando mexer na base
  8. Quanto tempo isso leva e quem deve fazer
  9. Os sinais de que a IA está piorando sem você ver
  10. O que a Meta mostra e o que ela não mostra
  11. O lado da lei: dado pessoal na conversa revisada
  12. Resumo
  13. Perguntas frequentes

A IA responde em dois segundos, escreve bonito e não erra o português. Isso não quer dizer que esteja respondendo bem. Responder bem é outra coisa: entender o que a pessoa quis dizer, usar a informação certa do seu negócio, não prometer o que não pode cumprir e entregar o caso para um humano quando é hora. Nenhuma dessas quatro coisas aparece em relatório de volume de mensagens.

Este guia é sobre a única forma confiável de saber se o agente está indo bem: ler conversas de verdade, com um roteiro na mão. Você vai ver o que conferir em cada conversa, como tirar a amostra, a ficha de revisão de seis itens, como classificar o erro e quando o problema é a regra, a base de conhecimento, o fluxo ou a ferramenta.

Respondeu não é o bastante: o que separa resposta de solução

Quem acompanha só o painel vê um número tranquilizador: tantas conversas atendidas, tempo médio baixinho, quase nenhuma mensagem sem retorno. Só que esses números medem atividade, não resultado. Um agente pode responder 100% das conversas e ainda deixar metade dos clientes sem saber o preço ou o próximo passo.

A confusão mais comum é tratar três coisas diferentes como se fossem a mesma:

O que é O que mede Como engana
Automação Quantas conversas a IA conduziu sozinha Pode automatizar uma conversa ruim com a mesma eficiência de uma boa
Agilidade Quanto tempo até a primeira resposta Resposta rápida e genérica continua sendo resposta genérica
Resolução Se a pessoa conseguiu o que precisava O único dos três que interessa ao cliente

Um exemplo do seu dia: o agente responde em três segundos que "o orçamento é feito após avaliação". Rápido e educado — e inútil, porque o cliente queria saber se atende no sábado. Ele agradeceu e foi para o concorrente. No painel, foi um atendimento concluído.

Por isso a revisão precisa olhar a conversa, não o gráfico. E precisa ser frequente, porque a IA erra conforme o que as pessoas perguntam — e as pessoas mudam o que perguntam.

As seis coisas que uma boa resposta precisa acertar

Seis critérios resolvem quase todos os casos. Valem tanto para um agente que tria e transfere quanto para um que só responde dúvidas simples. Não são regras da Meta nem exigência de lei: são o critério que este guia propõe, montado a partir do que costuma dar errado em atendimento automatizado no WhatsApp.

# Critério A pergunta que você faz ao ler a conversa
1 Entendeu o pedido A resposta trata do que a pessoa perguntou, ou de um assunto parecido?
2 Usou a informação certa Preço, prazo, endereço, horário e política batem com o que a empresa pratica hoje?
3 Uma pergunta por vez O agente fez uma pergunta ou despejou quatro de uma vez?
4 Não prometeu o que não pode Disse "já vou transferir", "está confirmado", "o desconto é seu" sem poder garantir?
5 Encaminhou na hora certa Transferiu quando devia, e não segurou o caso só para "tentar resolver"?
6 Fechou com próximo passo A conversa terminou com algo concreto: horário, link, documento, retorno marcado?

Só o item 2 depende de conhecimento técnico. Os outros cinco qualquer pessoa do time identifica lendo — é isso que torna a revisão viável sem especialista em IA.

Há um sétimo item que não entra na conta porque é obrigação, não qualidade: nunca pedir senha, dado de cartão ou documento sensível na conversa. Se aparecer, não é ajuste de tom, é correção imediata.

Como tirar a amostra da semana sem virar projeto

A revisão morre quando vira tarefa grande. Trinta conversas por semana bastam para enxergar padrão, e cabem em quarenta minutos se você souber quais pegar. O erro é abrir a caixa de entrada e ler o que aparecer primeiro, porque a lista começa sempre pelas conversas mais recentes e mais fáceis.

Monte a amostra assim:

  • Cinco que terminaram em venda ou agendamento. Servem para ver se o agente atrapalhou ou ajudou no caminho.
  • Cinco que terminaram sem resposta do cliente. São as mais reveladoras: quase sempre o agente fez uma pergunta ruim, demorou ou assustou.
  • Cinco que foram transferidas para uma pessoa. Confira se a transferência veio com contexto ou se o atendente teve que recomeçar do zero.
  • Cinco que passaram por um assunto crítico. Preço, prazo, cancelamento, reclamação, dado sensível.
  • Cinco de madrugada, fim de semana ou fora do horário. É onde a IA trabalha sozinha e onde ninguém estava olhando.
  • Cinco escolhidas ao acaso. Para não revisar só o que já se sabe que dá problema.

Com menos de trinta conversas na semana, revise o que houver e mantenha as categorias. Cada uma captura um tipo de falha: amostra só de conversas transferidas faz você concluir que a IA transfere demais, e amostra só de resolvidas faz você concluir que está tudo ótimo. Se quiser testar o agente pelo lado do cliente antes dessa leitura, o roteiro de cliente oculto no WhatsApp é o complemento natural.

A conversa longa que ninguém lê

Separe também uma conversa de mais de vinte mensagens. É onde o agente esquece o que já foi dito, repete pergunta e perde o fio — erro que não aparece em conversa de cinco mensagens.

A ficha de revisão, item por item

Com a amostra separada, a leitura fica mecânica. Uma ficha em planilha ou papel, com uma linha por conversa e uma coluna por critério, já resolve — a mesma lógica da auditoria do atendimento em uma tarde, aplicada a uma amostra. O que importa é que a marcação seja sempre a mesma.

Campo da ficha Como preencher
Data e canal Dia da conversa e por onde ela chegou
Assunto Em uma palavra: orçamento, prazo, agendamento, cobrança, dúvida técnica
Critérios de 1 a 6 OK, falhou ou não se aplica
Gravidade Leve (ficou estranho), média (cliente precisou insistir), grave (informação errada ou promessa indevida)
Causa provável Regra, base de conhecimento, fluxo ou ferramenta
O que foi feito Nada, regra ajustada, documento atualizado, caso levado ao fornecedor

Duas regras de preenchimento evitam discussão depois. A primeira: só marque "falhou" quando conseguir apontar a mensagem exata — impressão geral não serve para corrigir nada. A segunda: registre a gravidade antes de pensar na solução. Erro grave que aconteceu uma vez merece correção imediata; erro leve que aparece em toda conversa merece ajuste de roteiro.

O que anotar quando a conversa foi bem

Quando o agente faz a pergunta certa, usa o dado certo e encaminha bem, copie o trecho para uma pasta de exemplos. Esses trechos viram modelo para regras novas e argumento interno quando alguém questionar se a IA está ajudando.

Como classificar o erro para não corrigir a coisa errada

A parte que separa revisão amadora de revisão útil é a causa. Quase todo mundo, ao ver uma resposta ruim, conclui "a IA errou" e vai mexer no tom das instruções. Na maioria das vezes o problema está em uma informação faltando, em uma regra ambígua ou em um caminho que não existe.

Causa Como se reconhece Onde se corrige
Regra O agente faz o que mandaram, mas a instrução estava ruim, incompleta ou contraditória Nas diretrizes e proteções do agente
Base de conhecimento A informação existe, mas está velha, desencontrada ou em documento que o agente não consulta No documento, na versão e na organização da base
Fluxo Falta um caminho: nenhuma regra previu aquele caso, então o agente improvisou Em um cenário novo, com começo, meio e fim
Ferramenta O agente tentou o certo e algo falhou: integração fora, mensagem não enviada, áudio não transcrito No fornecedor ou na configuração técnica

Vale decorar essa tabela, porque ela muda a conversa interna. "A IA inventou o prazo" costuma ser base de conhecimento: o prazo antigo continuava no documento e o novo foi escrito em outro lugar. "Prometeu transferir e não transferiu" costuma ser regra: a instrução mandava transferir, mas não dizia como nem para quem. Nenhum dos dois se resolve escrevendo "seja mais cuidadoso" — e o segundo pede uma olhada em como funciona a transferência da IA para o humano.

Regra ambígua é a causa mais comum

Se você só puder olhar uma coisa nesta semana, olhe as regras que falam de comportamento. "Seja simpático", "não seja insistente" e "resolva o que puder" não dizem o que fazer em nenhuma situação concreta, e cada uma deixa o agente escolher. A troca que funciona é sempre a mesma: em vez de adjetivo, um critério verificável. "Não seja insistente" vira "após duas tentativas sem resposta, encerre com uma mensagem de disponibilidade e não envie outra".

O que fazer com o erro encontrado

Encontrar o erro é a parte fácil. O que muda o resultado é o que acontece nas vinte e quatro horas seguintes:

  1. Separe os erros graves. Informação errada, promessa indevida, pedido de dado sensível: corrigidos no mesmo dia.
  2. Corrija a origem, não o sintoma. Se o prazo estava errado no documento, corrija o documento e apague a versão antiga.
  3. Volte na conversa. Releia a conversa original e simule a mesma pergunta no ambiente de testes. Se a resposta nova não resolver, o ajuste foi no lugar errado.
  4. Avise quem atende. Quem recebe as transferências precisa saber o que mudou.
  5. Registre a mudança. Data, o que mudou e por quê. Sem isso, em três semanas ninguém sabe por que a regra existe.

O passo 3 é o mais pulado. Ajustar sem testar é trocar a peça no escuro: você não sabe se resolveu, e na semana seguinte o erro volta com outra roupa.

Quando ajustar as regras e quando mexer na base

Com a classificação em mãos, a decisão fica clara. Ajuste as regras quando o comportamento estiver errado: pergunta demais, transfere cedo demais, insiste depois do "não". Mexa na base quando o conteúdo estiver errado: preço, prazo, endereço, política de troca, horário de feriado.

Situação Onde mexer Por quê
O agente respondeu com o preço do ano passado Base de conhecimento O fato está desatualizado, o comportamento está correto
O agente perguntou o nome três vezes na mesma conversa Regra Falta instrução sobre não repetir dado já informado
O agente não soube responder sobre parcelamento Base ou fluxo Ou a informação não existe, ou não há caminho para ela
O agente mandou o cliente para o atendente sem resumo Regra A transferência precisa de instrução explícita de resumo
O agente respondeu "não sei" para tudo depois das 18h Fluxo ou ferramenta Falta caminho de fora do horário
O agente confirmou um agendamento que não existe Fluxo ou ferramenta Há promessa sem verificação na agenda

Quando o mesmo erro aparece em pontos diferentes da conversa, desconfie de base desorganizada. Documentos duplicados, versões antigas e informação espalhada em três arquivos produzem respostas contraditórias na mesma semana. Uma base enxuta, com um dono e uma data de revisão em cada documento, evita mais erro do que qualquer ajuste de tom — as regras para montar essa base de conhecimento da IA seguem a mesma lógica.

Quanto tempo isso leva e quem deve fazer

A revisão não precisa de um cargo novo, e sim de uma pessoa com autoridade para dizer "esta resposta está errada" e acesso para mudar a regra ou o documento — em geral o dono, o responsável pelo atendimento ou o supervisor do time. O custo real é baixo: duas a três horas para montar a ficha uma vez, trinta a cinquenta minutos por semana para ler trinta conversas e de quinze minutos a duas horas para corrigir, conforme a causa.

Um caminho que funciona na primeira semana: montar a ficha no primeiro dia, separar e ler as conversas sem corrigir nada nos dois seguintes, escolher as três correções de maior impacto no quarto, aplicá-las e testá-las no quinto, e deixar rodar no fim de semana.

Os sinais de que a IA está piorando sem você ver

Há uma deterioração silenciosa que não aparece em queda de volume. O agente continua respondendo tudo, no mesmo tempo, e ainda assim está pior. Estes sinais costumam aparecer antes dos números:

  • A mesma pergunta repetida em várias conversas. Quando muita gente pergunta o que o agente deveria ter respondido, a resposta não está convencendo.
  • Conversas cada vez mais longas. Se a média de mensagens até resolver sobe semana a semana, o agente está enrolando.
  • Mais gente pedindo "quero falar com uma pessoa" na segunda mensagem. O aumento constante indica que a abertura não está funcionando.
  • Atendentes refazendo a triagem. Quando quem recebe a transferência precisa perguntar tudo de novo, o resumo não está sendo entregue.
  • Cliente que some depois de uma pergunta. Se a última mensagem é sempre uma pergunta do agente, ela pode estar longa, invasiva ou fora de hora.
  • Reclamação sobre o robô. "Você é um robô?", "já falei isso". Aparece em qualquer operação, mas o aumento de frequência é recado.

Nenhum desses sinais prova nada sozinho. Juntos, apontam para o mesmo lugar: a conversa piorou enquanto o painel continuava bonito. A amostra não substitui os números — ela explica os números.

O que a Meta mostra e o que ela não mostra

A plataforma oficial do WhatsApp dá um sinal de qualidade que muita gente ignora. Cada modelo de mensagem tem uma classificação, mostrada pela API e pelo Gerenciador do WhatsApp: verde para alta, amarela para média, vermelha para baixa. A avaliação considera uso, retorno dos usuários e engajamento, e um modelo com muita avaliação negativa ou pouca leitura pode acabar pausado.

Isso é útil, mas é um recorte específico. A classificação fala do modelo enviado pela empresa — o disparo, o lembrete, o aviso — e reflete a reação de quem recebeu. Não diz se o agente respondeu bem a uma pergunta fora do roteiro, se usou o preço certo ou se transferiu com contexto. O painel avisa quando o público está reagindo mal; não substitui a leitura da conversa.

O lado da lei: dado pessoal na conversa revisada

Revisar conversas significa ler dado pessoal de cliente, e isso tem regra. Pela LGPD, o tratamento precisa de finalidade definida e transparente (art. 6º) e de medidas de segurança que protejam os dados (art. 46). Revisão de qualidade é finalidade legítima, mas não autoriza circulação da conversa inteira pela empresa.

Três cuidados resolvem a maior parte: acesso restrito, definido no perfil de cada pessoa em vez de compartilhado por conveniência; recorte antes de compartilhar, copiando só o trecho necessário em vez do histórico com nome e telefone; e retenção com prazo, porque a ficha guarda a marcação, não a conversa.

Vale lembrar do art. 20: a pessoa tem direito a pedir revisão de decisão tomada unicamente por tratamento automatizado que afete seus interesses. Isso reforça a necessidade de um caminho humano claro — e de o agente saber oferecê-lo sem que o cliente insista. Se ele se apresenta como IA desde a primeira mensagem, como deve ser, a revisão também confere se essa apresentação continua acontecendo, como este guia sobre avisar que o atendimento é feito por IA detalha.

Resumo

  1. Responder rápido não é responder bem: automação e agilidade não medem resolução.
  2. Seis critérios bastam: entendeu o pedido, usou a informação certa, fez uma pergunta por vez, não prometeu o que não pode, encaminhou na hora e fechou com próximo passo.
  3. Trinta conversas por semana, em seis categorias de amostra, mostram padrão suficiente para decidir.
  4. A ficha registra critério, gravidade, causa e o que foi feito — sempre com a mensagem exata que falhou.
  5. Classificar a causa evita corrigir no lugar errado: regra, base de conhecimento, fluxo ou ferramenta.
  6. Erro grave se corrige no mesmo dia; erro leve e repetido pede ajuste de roteiro.
  7. Depois de ajustar, releia a conversa original e teste a mesma pergunta antes de considerar resolvido.
  8. A classificação de qualidade dos modelos avisa sobre reação do público, mas não diz se o agente respondeu bem; e revisar conversa é tratar dado pessoal, com acesso restrito e prazo de guarda.

Se o seu agente de IA atende no WhatsApp e você não sabe dizer, hoje, quantas conversas da semana passada terminaram sem próximo passo, a revisão está atrasada — e é mais simples do que parece. No PapoFranco, o agente de IA atende, faz a triagem e entrega o caso ao especialista com resumo, o que encurta o caminho entre encontrar o erro e corrigir a regra. Para entender como as diretrizes são escritas, comece por regras do agente de IA no atendimento.

Perguntas frequentes

De quantas em quantas conversas eu preciso revisar para saber se a IA está bem?

Trinta conversas por semana, divididas em categorias diferentes, já mostram padrão. Menos que isso funciona para pegar erro grave, mas não para comparar semanas. O critério não é o volume: é revisar sempre do mesmo jeito.

Como sei se o erro foi da IA ou da informação que ela recebeu?

Olhe o que o agente fez com o que estava escrito. Se seguiu a instrução e a instrução estava errada, o problema é de regra. Se a informação correta não existia, estava velha ou estava em documento duplicado, é base de conhecimento. Se nenhuma regra previa a situação, é falta de fluxo.

Preciso de uma ferramenta para fazer essa revisão?

Não para começar. Uma planilha com uma linha por conversa e colunas para critério, gravidade e causa resolve as primeiras semanas. Ferramenta ajuda quando você quer comparar meses.

O cliente percebe que está falando com uma IA?

Deve perceber, e desde a primeira mensagem. O agente precisa se apresentar como agente de IA, sem fingir ser uma pessoa. Além de ser o certo, isso reduz atrito: quem sabe que fala com um assistente entende melhor quando o caso passa para um humano.

Quantas pessoas do time precisam participar da revisão?

Uma pessoa com autoridade para corrigir já resolve. Duas é melhor, porque leem a mesma conversa de formas diferentes e a discussão sobre o que é grave revela problema que ninguém tinha visto.

E se a IA errar em um caso grave, como cobrar do fornecedor?

Guarde a conversa, o horário e o que o agente fez de errado, e classifique a causa antes de abrir o chamado. Erro de conteúdo se resolve na sua base; erro de funcionamento, como mensagem não enviada ou áudio não transcrito, é do fornecedor.

  • IA no atendimento
  • qualidade da IA
  • revisão de conversas
  • WhatsApp

IA no atendimento

Chatbot com IA ou menu de botões: qual usar

Menu é previsível, IA entende o cliente. Veja onde cada um ganha, o custo de errar a escolha, um teste de cinco conversas e como migrar sem perder o controle.

· 18 min de leitura

Coloque isso em prática no Franco

WhatsApp, Instagram, e-mail e chat do site em uma caixa de entrada, com IA, CRM e disparos pela API oficial.