Revisar e melhorar seu bot

Esta página fornece informações sobre a revisão de dados de conversas no Bot Builder para melhorar o desempenho do seu bot. Esta é a quinta etapa no processo de implementação do robô. Trata-se também de uma tarefa de manutenção contínua necessária para manter o funcionamento otimizado do seu bot.

Depois de configurar e começar a testar os casos de uso iniciais do seu bot, Bot Builder terá dados que você pode usar para examinar a eficácia das configurações atuais. Inicialmente, os dados se originam nas conversas de teste com o robô. Posteriormente, após a liberação do bot para produção, os dados incluirão conversas em tempo real com os contatos.

Ao revisar esses dados, você pode identificar lugares em que pode melhorar o desempenho do seu bot. O desempenho de um robô é indicado pela precisão das previsões que ele faz acerca das intenções. Caso o robô preveja incorretamente uma intenção, será mais difícil aos contatos alcançar as suas metas.

Revisar dados da conversa

É possível analisar todas as conversas nas quais o robô se envolveu. Isso permite que você veja em primeira mão como o seu bot responde, onde o bot tem dificuldade, bem como a maneira como os contatos interagem com o bot e quaisquer problemas que eles tenham. Estas informações são valiosas, já que podem ser utilizadas para melhorar as intençõesClosed O significado ou a finalidade por trás do que um contato diz/digita; o que o contato deseja comunicar ou realizar. do robô, as regrasClosed Usadas para definir uma resposta de bot a mensagens que não mudam com o contexto. e as históriasClosed Usado para treinar um bot para o tratamento de interações com base na intenção e no contexto..

As seguintes opções do Bot Builder permitem analisar os dados de conversas:

Avalie Intenções

Avaliar e ajustar as intenções pode ajudá-lo a traduzir seus desafios em soluções ao modificar as respostas do seu bot. Embora você não possa atender a todos os comportamentos do usuário, você pode abordar os pontos comuns de atrito ou frustração.

Ao revisar as conversas, avalie os dados de intenção para ver se as intenções são eficazes e eficientes. O contato atinge o resultado desejado com facilidade?Caso contrário, determine se as intenções não são suficientemente específicas, demasiadamente específicas ou se os dados do treinamento são inadequados:

  • O robô compreende adequadamente o que o contato quer? Caso contrário, adicione mais exemplos de treinamento às intenções em que o bot não tem certeza.
  • Algumas das intenções são suficientemente similares a ponto de serem consideradas idênticas?Se for o caso, considere combiná-las sob uma intenção mais geral e usar os exemplos para treinar o bot a reconhecer os diferentes cenários.
  • Os contatos estão dizendo coisas que não são tratadas pelas intenções existentes?Se for o caso, considere adicionar mais intenções ou adicionar dados de treinamento às suas intenções atuais.

Refine suas Respostas do bot

O Bot Builder conta com recursos que podem auxiliá-lo a melhorar o desempenho do seu robô. É possível que o seu primeiro conjunto de intenções, histórias e regras não tenha tirado proveito destes recursos. À medida que você trabalha para melhorar a forma como o seu bot responde, os seguintes recursos podem ser úteis:

  • Examine suas respostas para ver se você poderia usar diferentes ações em respostas de bot para tornar a resposta mais sofisticada, humanizada ou amigável ao usuário.
  • Considere se qualquer uma das intenções poderia conter intenções múltiplas. intenções múltiplas são úteis quando o contato combina duas intenções em uma única expressão. Por exemplo, quando um contato diz Obrigado. Bye como uma única mensagem para o bot, eles estão combinando uma intenção de agradecimento e uma intenção de despedida.
  • Identifique os caminhos infelizesClosed História que produz um resultado incorreto para a intenção. que correspondem aos caminhos felizes que você já mapeou em suas intenções, caso ainda não tenha feito isso. Planeje como lidar com eles e, em seguida, adicione histórias ou regras conforme necessário, juntamente com os exemplos de treinamento necessários.
  • Considere as lacunas envolvendo entidades ou slots. Entidades são informações coletadas de uma conversa. As slots são como variáveis e podem armazenar as entidades coletadas.
  • Determine se será necessário um formulário para simplificar o processo de coleta de informações do contato, para que se possa preencher os slots. O robô pode seguir um formulário para fazer perguntas e coletar informações do contato. Você também pode fazer com que o bot exiba um formulário para o contato.
  • Configure outras opções nas respostas do robô, como mensagens avançadas, variações de mensagens dos robôs, digitação inteligente, substituições e redes de segurança.

Situações em que você pode aprimorar o robô

Durante a revisão, você pode executar ações para ensinar seu bot a ter um desempenho ainda melhor nas próximas conversas. A lista a seguir descreve situações que requerem melhorias e o que você pode fazer:

  • Baixa confiança na classificação de intenção: Se a classificação de intenção estiver correta, mas a confiança do bot for baixa, adicione mais dados de treinamento para a intenção para tornar o bot mais confiante. Os dados de treinamento incluem exemplos de intenções e histórias. Se a classificação da intenção não estiver correta, altere-a.
  • Confiança de previsão de ação do bot baixa: Revise seus dados de treinamento e procure por intenções que sejam muito semelhantes. Se você tiver intenções muito semelhantes, combine-as. Ou adicione mais dados de treinamento às intenções existentes para tornar o bot mais confiante sobre qual ação deve tomar nessa situação.
  • Frustração do usuário: Isso pode incluir pedidos de transferência para um humano (handoverClosed A transferência de um contato de um agente virtual para um agente ao vivo.), repetir o que já foi dito anteriormente ou insultos. Adicione mais dados de treinamento sobre o problema deles ou ajuste o limite de confiança do NLU em fallback.Isso pode indicar ao seu bot para usar o handover mais rapidamente se ele não estiver confiante sobre como ajudar o usuário.
  • Intenção “out_of_scope” ou comportamento de fallback: Isso pode incluir um usuário pedindo algo que seu bot não é capaz de fazer, ou seu bot usando fallback muito cedo. Verifique e corrija quaisquer intenções classificadas incorretamente para verificar se seu bot simplesmente não entendeu mal a situação. Adicione uma nova história ou regra para mostrar ao seu bot o que fazer na próxima vez.

Fallback e redes de segurança

Ao revisar e melhorar seu bot, você começará a identificar lugares em que é provável que os contatos fiquem frustrados com o bot. Este é o momento de se incluir substituições e redes de segurança no robô.

  • Fallback: This teaches your bot what to do when it's not sure how to proceed. There are two kinds of fallback: 
    • fallback de nlu:
    • Ação fallback:
  • Rede de segurança: uma rede de segurança permite configurar o que ocorrerá quando houver outro problema envolvendo o robô ou os sistemas aos quais ele se conecta. Isso pode incluir situações como o bot demorar mais do que o normal para responder ao contato.

Além disso, este também é o momento de se assegurar de que haja trajetórias fora de propósito, de modo que o robô possa responder às mensagens de contatos que estiverem fora de sua alçada.