Testes de comportamento

Os testes de comportamento de StandardBot permitem que você verifique como seu agente virtual de texto ou voz executa os comportamentos principais. Você pode executar todos os testes usando o script de teste StandardBot.Atualmente, o script de exemplo testa todos os comportamentos para agentes virtuais de texto e alguns comportamentos para agentes virtuais de voz.

Os testes de StandardBot funcionam fazendo com que o script envie um gatilho para o agente virtual. O agente virtual é configurado para responder a cada gatilho de uma maneira específica. O script é definido para analisar e identificar partes da resposta do agente virtual. Se a resposta não contiver o que o script está procurando, o agente virtual não é aprovado no teste. Se contiver, o agente virtual passa no teste.

Os gatilhos são exclusivos dos testes de StandardBot. Por padrão, elas são diferentes das palavras e intenções automatizadas às quais o seu agente virtual é treinado para responder em um ambiente de produção. Os gatilhos de teste StandardBot padrão provavelmente nunca serão usados por contatos. Por exemplo, debugStandardBotExchange e debugStandardBotScriptPayload são duas das frases gatilho padrão no script. Por esse motivo, os testes de StandardBot são seguros para uso em um ambiente de produção.

Categorias de testar

Há dois tipos de testes de StandardBot:

Critérios de aprovação

Além de gatilhos e respostas, cada teste de StandardBot possui critérios que devem ser atendidos para que o teste seja bem-sucedido. Para passar um teste, o agente virtual deve retornar a resposta correta. Para muitos dos testes, essa resposta é diferente da resposta que o agente virtual daria em uma interação em tempo real. Isto significa que você pode ter certeza de que o agente virtual passou cada um dos testes.

Por exemplo, para passar no teste Bot Exchange, um agente virtual deve retornar a frase bot response. Essa não é uma frase que um agente virtual usaria normalmente durante uma interação. Ela é específica e exclusiva ao teste Bot Exchange. É assim que você sabe que é a resposta correta para o teste.

Prepare para os testes de StandardBot

Antes de poder executar os testes de StandardBot no seu agente virtual, você deve:

  • Atualize seu agente virtual para a versão DE integração 3.0 do Virtual Agent Hub, se ele não estiver usando essa versão atualmente.
  • Anote o nome do agente virtual que você está testando. O nome é usado como o ID do agente virtual em Studio Scripts. Você precisa destas informações para configurar o script de teste. Você pode encontrá-la no aplicativo do agente virtual no Virtual Agent Hub. Por exemplo, na imagem a seguir, o nome do agente virtual é MS6628.

  • Treinar o seu agente virtual para responder às palavras de gatilho, frases e intenções automatizadas usadas nos testes. Consulte a documentação do seu provedor de agente virtual para informações sobre como treinar o seu agente virtual.

  • Baixar e configurar o script StandardBot.

Converter para Versão DE integração 3.0

Todos os novos agentes virtuais que você adicionar devem ser criados usando a versão DE integração 3.0. Para agentes virtuais existentes, a conversão para a versão DE integração 3.0 é opcional. Porém, se você não fizer a conversão, não poderá usar o StandardBot com esse agente virtual.

Se estiver convertendo para a versão DE integração 3.0 a partir de uma versão anterior, a compatibilidade entre suas configurações, script e a versão DE integração 3.0 é desconhecida. Para evitar qualquer interrupção inesperada no serviço de agente virtual da sua organização, é recomendável verificar a atualização em um ambiente de teste antes de converter seu ambiente de produção.

Você pode usar os testes do StandardBot para determinar se há algum problema na conversão para a nova versão e quais são. As etapas abaixo descrevem uma possível abordagem para uma conversão:

  1. Clone o aplicativo de agente virtual em Virtual Agent Hub que você deseja converter.
  2. Clique na versão clonada do aplicativo no Virtual Agent Hub.
  3. Na página Propriedades, selecione 3.0 no campo Versão DE integração.
  4. Clique em Salvar.
  5. No console do provedor do seu agente virtual, adicione os comportamentos StandardBot ao agente virtual que você está convertendo. Isso inclui as intenções automatizadas e as palavras de gatilho.
  6. Execute os testes de StandardBot na versão clonada do aplicativo usando o script StandardBot apropriado em Studio.
  7. Anote tudo o que falhar. Essas são as configurações ou locais do agente virtual no script que você precisa abordar antes de converter sua versão de produção.
  8. Corrija quaisquer problemas com seu script e configurações. As Correções podem envolver alterações no console do seu provedor de agente virtual, nas configurações no Virtual Agent Hub ou no script do Studio.
  9. Execute os testes do StandardBot e seu script clonado novamente.
  10. Repita essas etapas até que seu agente virtual passe em todos os testes e seu script do Studio se comporte conforme você espera.
  11. Quando seu agente virtual passar em todos os testes, você poderá copiar as correções para sua versão de produção. Se você precisou fazer alterações extensas em suas configurações e script, talvez queira usar a versão de teste atual como sua nova versão de produção.

Configurar e treinar o seu Agente virtual

Você deve treinar seu agente virtual para reconhecer as palavras de ativação, frases e intenções automatizadas usadas nos testes de StandardBot. Esta é a única forma dos testes funcionarem. Se o agente virtual não reconhecer um gatilho como algo que precisa ser respondido de uma forma específica, ele não responderá adequadamente e o teste será inválido. Consulte a documentação do seu provedor de agente virtual para saber como treinar o seu agente virtual.

O script StandardBot está configurado para usar um conjunto padrão de gatilhos. Se quiser usar gatilhos diferentes, você precisará alterar a configuração do script, bem como treinar o seu agente virtual a responder aos novos gatilhos. Os gatilhos padrão são respostas para cada teste descritas na página de ajuda Core Behaviors.

Configurar o Script do StandardBot

Antes de usar o script StandardBot, você precisa personalizá-lo. Isso inclui adicionar o nome do agente virtual e um endereço DE e-mail onde você quer receber o relatório de resultado.

  1. Baixar e importar o script StandardBot em Studio e salve-o.
  2. Duplo clique na ação Snippet com o rótulo Declare Objects & set Bot to Test.
  3. Clique na guia Text View na janela Snippet editor
  4. Se você quiser que o relatório de teste seja enviado para um endereço DE e-mail, localize a variável ReportEmail. Altere o valor para o endereço DE e-mail para onde você deseja que o relatório seja enviado. O valor deve ser colocado entre aspas duplas. Se você não adicionar um endereço DE e-mail, poderá verificar os resultados do teste no rastreamento do script.
  5. Configure the script with the name of the virtual agent you're testing: 
    1. Altere o valor de BotsList[1].BotName para o nome do agente virtual que você está testando. Você pode encontrar esse nome em Virtual Agent Hub, conforme descrito na seção Prepare for StandardBot Tests desta página. Por exemplo, BotsList[1].BotName = "MS6628"
    2. Se você tiver mais de um agente virtual que deseja testar com este script, remova os caracteres de comentário ( // ) na frente da próxima instrução ASSIGN. Adicione o nome de outro agente virtual como o valor. Por exemplo, // ASSIGN BotsList[2].BotName = "StandardBot_DialogFlow_ES" viraria ASSIGN BotsList[2].BotName = "GDF2123".
  6. Configure which virtual agent you want the script to test:
    1. Se o script estiver configurado para testar somente um agente virtual, não altere o valor da variável BotToTest. Ele não deve conter nenhum texto ou espaço dentro das aspas duplas. Por exemplo, BotToTest = "".
    2. Se o script for configurado para testar mais de um agente virtual e você quiser executar os testes em todos eles, não altere o valor da variável BotToTest. Ele não deve conter nenhum texto ou espaço dentro das aspas duplas. Por exemplo, BotToTest = "".
    3. Se o script estiver configurado para testar mais que um agente virtual, mas você quiser executar o teste somente em um deles, altere o valor de BotToTest para o valor de índice desse agente virtual no objeto BotsList.Por exemplo, para testar o agente virtual GDF2123 da etapa anterior, insira 2 como o valor para BotToTest.
  7. Configurar quais testes o script executa. Modifique o valor de testPath para um dos seguintes, se necessário. O padrão é testAll. As opções são:

    • testAll: Use este valor se quiser que o script execute todos os StandardBot testes. Esta opção executa o teste End Conversation, mas não o teste de Escalação.
    • EscalationPath: Use este valor se quiser que o script execute o teste de Escalação. Isso testa a capacidade do agente virtual de escalar uma interação para um agente ativo.

  8. Clique em OK para fechar a janela do Snippet editor.
  9. Clique em Fechar na janela do TextBot Exchange. Isso adiciona o agente virtual ou agentes selecionados à ação Textbot Exchange.
  10. Salve o seu script.

Personalizar o script StandardBot

Para a maioria dos testes, não é necessário personalizar o script StandardBot. O teste de Intenção automatizada exige que você modifique o script para que ele possa testar as intenções automatizadas que usa no seu script. Você também pode seguir estes passos para modificar outros testes, se necessário.

Se você fizer alterações nos valores de teste no script, deverá usar os mesmos valores ao configurar seu agente virtual. Se você fizer a alteração em apenas um lugar, o teste não funcionará.

  1. Em Studio, abra o script StandardBot que deseja personalizar.
  2. Salve uma cópia do script como backup caso precise desfazer suas alterações.
  3. Duplo clique na ação Config dados de teste SNIPPET.
  4. Na guia Text View, role para baixo até a linha DYNAMIC TestData e localize o conjunto de instruções ASSIGN referentes ao teste que você está modificando. Esse objeto configura os valores enviados ao agente virtual para acionar cada teste. Cada teste tem os seguintes parâmetros nesse objeto:

    AutoIntent = ""
    UserInput = ""
    CustomPayload = ""
    TestName = ""
    TestStatus = ""
    TestNumber = ""
    
  5. Modify any of the values you need to change, following these guidelines: 
    • Os parâmetros usados em testando são TestData[#].AutoIntent, TestData[#].UserInput e TestData[#].CustomPayload.
    • Nem todos os parâmetros são usados em cada teste. Os valores padrão para cada teste indicam os parâmetros que ele usa. Você pode adicionar um parâmetro se preciso, mas ele não afetará o resultado do teste a menos que você também configure o seu agente virtual para responder a tal parâmetro.
    • Não há necessidade de alterar TestData[#].TestStatus. O script automaticamente atualiza este parâmetro quando ele é executado.
    • Para alterar o nome do teste, modifique TestData[#].TestName.
    • Para alterar o rótulo que aparece no relatório ao final do teste, altere TestData[#].TestNumber.
  6. Clique em OK para salvar suas alterações e fechar a janela Snippet editor.
  7. Duplo clique na ação Avalie Resultados SNIPPET.

    Não faça alterações nos valores do objeto TestData neste Snippet. O script atualiza estes valores automaticamente. Qualquer alteração que fizer a estes valores será sobreposta quando o script for executado.

  8. Role para baixo até a linha SWITCH CurrentTest. Esta é uma instrução SWITCH statement, que estabelece uma série de ações diferentes que o script executa dependendo do valor da variável CurrentTest. Esta instrução SWITCH estabelece os critérios para que o script possa determinar se o agente virtual passa em cada teste.

  9. Localize a instrução CASE com o número correspondente ao teste que você está modificando. Por exemplo, para modificar os critérios de aprovação para o teste 9, Intenção automatizada, desça até CASE 9.
  10. Na instrução IF dentro da instrução CASE, altere o valor das variáveis conforme necessário.
  11. Clique em OK para salvar suas alterações e fechar a janela do editor de Snippet .
  12. Salvar o script.

Executar testes de um script StandardBot

Você pode testar todos os comportamentos de uma só vez usando o script StandardBot Testar. Se ainda não o fez, configure e treine seu agente virtual e configure o script StandardBot.

  1. Em Studio, abra o script StandardBot que você deseja executar.
  2. Clique em Iniciar com rastreio.
  3. Na janela Saída de rastreamento, você pode checar os resultados dos testes.
  4. Faça rolagem até a parte inferior dos resultados do rastreamento e clique na última linha, que é referente à ação END.
  5. Na guia Variáveis, localize a Variável testreportstring e dê um duplo clique nela para abrir o conteúdo da variável em uma nova janela. Isto lhe fornece uma visão geral dos resultados de cada teste. Se você configurou o script com um endereço DE e-mail, uma cópia dos resultados do teste é enviada automaticamente para esse endereço.

Executar um teste de StandardBot a partir de Virtual Agent Hub

No modo Test, você pode testar a maioria dos comportamentos a partir do painel Testar na página de propriedades do aplicativo do seu agente virtual em Virtual Agent Hub. Isto funciona para agentes virtuais de voz e texto.

Para saber qual entrada usar e se o agente virtual passou no teste, você precisa consultar a página de ajuda Core Behaviors. Cada Comportamento na página inclui um cabeçalho StandardBot testar que possui uma tabela de dados. A tabela tem tudo o que você precisa saber para executar o teste manualmente, incluindo uma indicação de se esse teste oferece suporte à execução manual.

  1. Em NiCE CXone, clique no seletor de aplicativos Icon of three-by-three grid of white squares on a blue background e selecioneOutras > Integrações.
  2. Clique em Virtual Agent Hub.
  3. Clique no agente virtual que quer testar.
  4. For behaviors that trigger from human input: 
    1. Na seção Testar das propriedades do agente virtual selecionado, insira a entrada descrita para o teste que você deseja realizar no campo Digite uma mensagem. Você pode encontrar a informação na linha Entrada de variável para Executar Testar no script da tabela de detalhes de teste.
    2. Pressione entrar.
  5. For behaviors that trigger from automated intents: 
    1. Na seção Testar das propriedades do agente virtual selecionado, clique em Mais opções Três pontos empilhados verticalmente. ao lado do campo Digite uma mensagem.
    2. Insira a intenção automatizada que você deseja testar. Essas são descritas para cada teste na página de ajuda Core Behaviors. Você pode encontrar as intenções automatizadas na linha Entrada para Executar Testar Manualmente da tabela de detalhes de teste para Comportamentos que têm intenções automatizadas.
    3. Clique em Gatilho.
  6. Observe a resposta do agente virtual na janela de teste do chat. Compare-a com os critérios de aprovação para o teste.
  7. Se o seu agente virtual não passar no teste, faça as alterações sugeridas no script ou nas configurações de agente, depois repita o teste.

Executar StandardBot testes a partir de uma janela de chat em tempo real

Outra opção para executar testes de StandardBot é configurar um canal digital de Live Chat Closed Agentes e contatos interagem em tempo real. que tenha o script StandardBot atribuído ao seu ponto de contatoClosed O ponto de entrada que um contato de entrada usa para iniciar uma interação, como um número de telefone ou endereço de e-mail.. Você pode testar dessa forma mesmo que não esteja planejando usar o agente virtual com um canal de Live Chat.

Esta opção de testando requer que você tenha o Digital Experience (DX). Espere, deixe-me corrigir: Esta opção de testando requer que você tenha o Digital Experience (DX).

  1. Crie e configure um script StandardBot para testar o agente virtual que deseja testar. O script pode testar um ou mais agentes virtuais.
  2. Configure um canal de Live Chat simplificado. Não coloque a janela de chat em uma página ativa do seu site.
  3. Ao criar um ponto de contato para o canal que você está criando, selecione o script StandardBot que você criou para usar com este canal.
  4. Inicie a página da Web que contém a janela do Live Chat e inicie um chat. Você não precisa mais interagir com a janela do chat. O script executa os testes conforme configurado. Você pode ver os resultados do teste na janela do chat, conforme mostrado na imagem GIF a seguir.

Configurar o script de Testar para Executar em uma Agenda

Você pode configurar o StandardBot script para ser executado em uma agenda. Dessa forma, StandardBot se torna uma ferramenta de monitoramento para informá-lo rapidamente sobre problemas. As etapas abaixo fazem com que você modifique o script para que ele envie uma notificação caso haja um problema com um dos testes.

  1. Abra seu StandardBot script de testar.
  2. If you need to, configure the email address where you want the failure notifications sent:
    1. Dê um duplo clique na ação Snippet com o rótulo Declare Objects & set Bot to Test.
    2. Clique na guia Text View na janela Snippet editor
    3. Localize a variável ReportEmail e altere o valor para o endereço DE e-mail para o qual deseja que o relatório seja enviado. O valor deve ser colocado entre aspas duplas.
    4. Clique em OK.
  3. Modify the script to only send an alert if a test fails: 
    1. Exclua o conector entre a ação Prepare Report SNIPPET e a ação Send Report EMAIL .
    2. Adicione uma ação IF e uma ação SNIPPET ao script e conecte-as de modo que o branch True de IF se conecte à ação EMAIL Send Report.A ramificação False deve se conectar a END. Isso é mostrado na imagem a seguir:

    3. Altere as legendas nas duas novas ações para indicar seu propósito. No exemplo, a legenda da ação SNIPPET é Testar para Falha. A legenda da ação IF é E-mail ao falhar.
    4. Duplo clique na ação SNIPPET e adicione a seguinte linha de código:

      
      ASSIGN isProblem = testreportstring.contains("fail")		
    5. Salvar o Snippet.
    6. Altere o valor da propriedade Expressão da nova ação IF para isProblem=1.
    7. Salve as alterações feitas no script.
  4. Configure uma agenda de script em NiCE CXone para executar este script na cadência desejada.