Observability Dashboard

Observability Dashboard permite que você examine os recursos de IA empregados por Copilot, Autopilot Knowledge e Autopilot. O painel fornece insights abrangentes sobre o desempenho das respostas generativas, permitindo que você identifique áreas de melhoria e otimize suas operações.

Copilot

O Observability Dashboard de Copilot fornece informações sobre respostas generativas, Copilot for Agents Consultas e AutoSummary.

Clique no seletor de aplicativos e selecione Actions.
No Actions, clique em Painel de observabilidade.

Por padrão, o painel Copilot é exibido. Ele contém três gráficos:
Se necessário, atualize o Intervalo de datas do painel e selecione o tipo de interação em Canal. Escolha visualizar os detalhes de Interações voz, Interações de chat ou Todos.
Clique em Executar consulta. Os três gráficos são atualizados para refletir as datas e os canais desejados.

Visualização de dados sobre Respostas generativas

Respostas generativas são respostas geradas automaticamente durante as chamadas.

Clique no rótulo Respostas generativas para detalhar as estatísticas. Três gráficos são exibidos:
- Hora extra: Mostra a porcentagem de respostas que foram usadas, modificadas, ignoradas ou que resultaram em nenhuma resposta ao longo do tempo.
- Por categoria: exibe os detalhes por categoria.
- Kb médio por interação: mostra o número médio de interações da base de conhecimento por dia
Você pode personalizar os dados que aparecem nos gráficos:
- Nos gráficos Hora extra e Categoria, você pode alternar a exibição de diferentes status de resposta clicando nas legendas.
- Nos gráficos Hora extra e Categoria, clique em Números absolutos ou Porcentagem para alternar entre porcentagens e números absolutos.
- Nos três gráficos, clique em Maximizar para visualizar os dados em formato de tabela.
Rolagem para baixo para ver os dados agrupados por categorias. A exibição Categorias organiza as respostas da base de conhecimento em diferentes categorias, oferecendo uma abordagem estruturada para análise. Cada categoria apresenta:
- Total volume de respostas da base de conhecimento
- Escore médio de adesão
- Número médio de links e imagens fornecidos
- Pontuação média de conhecimento (pontuação atribuída pela base de conhecimento)
Clicar em uma categoria revela as consultas específicas e seus detalhes, como:
- Consulta enviada ao Base de Conhecimento
- Resposta sugerida da base de conhecimento
- Resposta real do agente
- Número de links e imagens fornecidas
- Consultar feedback
- Escore de adesão (a semelhança entre a resposta sugerida e a resposta real)
- Deslocamento desde o início da interação
Para cada consulta, você pode:
- Clique em Reproduzir Interação para ouvir o áudio da interação (se disponível).
- Clique no botão Informações ao lado da consulta. Você pode exibir os comentários de consulta da interação. No painel Detalhes da resposta à direita, você pode ver se a resposta gerada por IA recebeu feedback positivo ou negativo , juntamente com quaisquer comentários e tags fornecidos.
Você pode alternar a maneira como visualiza esses dados. A visualização padrão é por categoria. Clique em Agrupar por para alterar o agrupamento de Categoria para uma das seguintes opções:
- Contato Master
- Equipe
- Competência
- Identificação do agente
Os dados reaparecem com base no novo agrupamento.

Exibindo dados sobre Consultas de agentes

Agente Consultas exibe informações sobre as respostas da base de conhecimento geradas sob demanda com base nas perguntas dos agentes. Ele fornece gráficos que mostram o status das consultas diretas e as pontuações de adesão.

Clique no cabeçalho do gráfico, Agente Consultas, para detalhar as estatísticas. O primeiro gráfico mostra a porcentagem de respostas e nenhuma resposta ao longo do tempo. O segundo gráfico exibe os detalhes por categoria.
Você pode alternar a exibição de diferentes status de resposta clicando nas legendas.
Clique em Números absoluto ou Porcentagem para alternar entre porcentagens e números absolutos.
Clique em Maximizar para visualizar o gráfico em tela cheia.
Role para baixo para ver os dados agrupados por categorias. A exibição Categorias organiza as respostas da base de conhecimento em diferentes categorias, oferecendo uma abordagem estruturada para análise. Cada categoria apresenta:
- Total volume de respostas
- Número e média de não respostas
- Número médio de links e imagens fornecidos
- Pontuação média de conhecimento (pontuação atribuída pela base de conhecimento)
Clicar em uma categoria revela as consultas específicas e seus detalhes, como:
- consulta do agente enviada ao Base de Conhecimento
- Resposta à consulta do agente
- Número de links e imagens fornecidos
- Data e hora da resposta
- A pontuação média de conhecimento

exibindo dados sobre AutoSummary Consultas

AutoSummary fornece uma visão abrangente do desempenho resumido. Você pode ver gráficos que acompanham o desempenho ao longo do tempo, com dados agrupados por intenção e competência. Tabelas detalhadas exibem resumos sugeridos ao lado de resumos reais, completos com pontuações de adesão para avaliar a precisão. Para obter detalhes mais abrangentes, você pode reproduzir interações específicas, o que lhe dará uma visão completa de como os resumos são gerados e usados em conversas reais.

Clique no título do gráfico, AutoSummary para detalhar as estatísticas.
- O primeiro gráfico mostra a porcentagem de resumos que foram usados ao longo do tempo. Resumos são identificados como sendo usados de uma das seguintes maneiras: Como estão, revisados, com pequenas revisões e ignorados.
- O segundo gráfico exibe os detalhes Por intenção.
- O terceiro gráfico exibe os detalhes Por competência.
- O quarto gráfico exibe os detalhes Por equipe.
Você pode alternar a exibição de diferentes status de resposta clicando nas legendas.
Clique em Números absoluto ou Porcentagem para alternar entre porcentagens e números absolutos.
Clique em Maximizar para visualizar o gráfico em tela cheia.
Role para baixo para ver os dados agrupados por categorias. A exibição Categorias organiza as respostas da base de conhecimento em diferentes categorias, oferecendo uma abordagem estruturada para análise. Cada categoria apresenta:
- Total volume de respostas
- Número e média de não respostas
- Número médio de links e imagens fornecidos
- Pontuação média de conhecimento (pontuação atribuída pela base de conhecimento)
Clicar em uma categoria revela as consultas específicas e seus detalhes, como:
- consulta do agente enviada para a base de conhecimento
- Resposta à consulta do agente
- Feedback geral
- Número de links e imagens fornecidos
- Data e hora da resposta
- Pontuação média de conhecimento
Clique no botão Informações ao lado da consulta. Você pode ver o feedback geral da interação. No painel Detalhes da resposta à direita, você pode ver se a interação recebeu feedback positivo ou negativo , juntamente com quaisquer comentários e tags fornecidos.

Autopilot Knowledge

O Observability Dashboard de Autopilot Knowledge mostra dados sobre como seu sistema automatizado lida com as perguntas dos clientes. Você verá um gráfico que exibe as tendências de desempenho ao longo do tempo. Isso permite que você acompanhe as alterações diariamente, semanalmente ou mensalmente.

Clique no seletor de aplicativos e selecione Actions.
No Actions, clique em Observability Dashboard.
Clique na guia Autopilot Knowledge. Defina o Intervalo de datas desejado para o painel e clique em Executar consulta. Ele exibe três gráficos:

Visualização de dados sobre a Efetividade geral

Este gráfico exibe um resumo de alto nível do desempenho e status do chatbot Autopilot Knowledge.

Clique no cabeçalho do gráfico Efetividade geral para detalhar as estatísticas. Quatro gráficos aparecem:
- Engajado: exibe o número de visitantes que interagiram com o chatbot, ajudando você a entender as tendências de engajamento ao longo do tempo.
- Contido: exibe a porcentagem e a contagem de usuários do chatbot que concluíram a conversa sem precisar escalar para um agente ativo. Com essa métrica, você pode avaliar a eficácia com que o chatbot resolve consultas de forma independente.
- Elevado: exibe a porcentagem e a contagem de usuários do chatbot que encaminharam sua conversa para um agente em tempo real, destacando os casos que exigiram intervenção humana. Com essa métrica, você pode monitorar a frequência com que o chatbot entrega conversas a agentes humanos.
- Abandonado: exibe a porcentagem e a contagem de usuários do chatbot que abandonaram uma conversa em andamento. Com essa métrica, você pode identificar pontos de desistência e melhorar o engajamento do usuário.
Você pode personalizar os dados que aparecem nos gráficos:
- Clique em Números absoluto ou Porcentagem para alternar entre porcentagens e números absolutos.
- Clique em Maximizar para visualizar o gráfico em tela cheia.

Visualização de dados sobre o desempenho GenAI

Este gráfico exibe a porcentagem de consultas de usuários que foram efetivamente atendidas pelo mecanismo de IA generativa.

Clique no rótulo GenAI Desempenho para detalhar as estatísticas. Três gráficos são exibidos:
- ao longo do tempo : exibe a porcentagem de respostas do chatbot ao longo do tempo.
- Por categoria: exibe a porcentagem de respostas do chatbot por categoria.
- Consultas ao modelo generativo: exibe o número total e a porcentagem de consultas de chatbot processadas pelo mecanismo generativo. Essa métrica fornece insights sobre a frequência com que o mecanismo generativo é utilizado para lidar com as interações do usuário.
Você pode personalizar os dados que aparecem nos gráficos:
- Nos gráficos Ao longo do tempo e Categoria, para alternar a exibição de diferentes status de resposta, clique nas legendas Resposta ou Sem resposta nos gráficos.
- Clique em Números absoluto ou Porcentagem para alternar entre porcentagens e números absolutos.
- Clique em Maximizarpara visualizar os gráficos em tela cheia.
Rolagem para baixo para ver os dados agrupados por categorias. A exibição Categorias organiza as respostas da base de conhecimento em diferentes categorias, oferecendo uma abordagem estruturada para análise. Cada categoria apresenta:
- Volume total de respostas
- Número total de não respostas
- Número médio de links e imagens fornecidos
- Pontuação média de conhecimento (pontuação atribuída pela base de conhecimento)
Clicar em uma categoria revela as consultas específicas e seus detalhes, como:
- Número de contato da interação
- Consulta que iniciou a interação do chatbot
- A resposta do Chatbot com base na entrada, intenção e contexto do usuário.
- Número de links e imagens fornecidas
- Data e hora da resposta
- Pontuação média de conhecimento.
Você pode alternar a maneira como visualiza esses dados. A visualização padrão é por categoria. Clique em Agrupar por para alterar o agrupamento de Categoria para Número de Contato. Os dados reaparecem com base no novo agrupamento.

Visualização de dados sobre o desempenho do bot

Este gráfico exibe a distribuição das intenções do chatbot, destacando as seis principais solicitações de usuário mais comuns, juntamente com as ocorrências de fallback. Ele ajuda você a entender o que os usuários perguntam e como o chatbot responde.

Clique no rótulo Desempenho do bot para detalhar as estatísticas. Dois gráficos são exibidos:
- All Bot Intenção: exibe as solicitações de usuários e os casos de fallback mais comuns, ajudando você a melhorar a forma como seu chatbot responde.
- Indicador de abandono: exibe quais intenções de chatbot eram mais comuns antes de os usuários abandonarem a conversa. Ele ajuda a identificar pontos de desistência e melhorar a retenção de usuários.
Você pode personalizar os dados que aparecem nos gráficos:
- Clique em Números absoluto ou Porcentagem para alternar entre porcentagens e números absolutos.
- Clique em Maximizarpara visualizar os gráficos em tela cheia.

Autopilot

O Observability Dashboard de Autopilot mostra como sua base de conhecimento é capaz de lidar com as perguntas dos clientes. Use este painel para procurar áreas onde você pode adicionar mais artigos à sua base de conhecimento ou personalizar os artigos para responder melhor às perguntas dos clientes.

Clique no seletor de aplicativos e selecione Actions.
No Actions, clique em Observability Dashboard.
Clique na guia Autopilot. Ele exibe o gráfico GenAI Desempenho.
Defina o Intervalo de datas desejado para o painel e clique em Executar consulta.

Visualização de dados sobre o desempenho GenAI

Este gráfico mostra o número de perguntas do usuário que receberam respostas relevantes e completas do mecanismo de IA.

Clique no rótulo GenAI Desempenho para exibir detalhes sobre as perguntas feitas e os artigos fornecidos para o período especificado.

Dois gráficos são exibidos:
- Ao longo do tempo gráfico: mostra o número de respostas bem-sucedidas e nenhuma resposta ao longo do período. Uma resposta indica que o usuário viu um artigo. Uma ausência de resposta indica que nenhum artigo correspondente foi encontrado.
- Por categoria gráfico: mostra o número de respostas bem-sucedidas e não respostas por categorias.
Você pode personalizar a aparência dos dados nos gráficos:
- Para alternar entre porcentagens e números absolutos, clique em Números absolutos ou Porcentagem .
- Para visualizar o gráfico em tela cheia, clique em Maximizar .
- Para alternar a exibição de diferentes status de resposta, clique nas legendas Resposta ou Sem resposta nos gráficos.
Rolagem para baixo abaixo dos gráficos para ver uma tabela que fornece detalhes sobre as consultas. As consultas são agrupadas por categorias.
Clicar em uma categoria revela as consultas específicas e as respostas fornecidas. Use isso para identificar áreas em que pode estar faltando artigos em sua base de conhecimento.

Gere artigos de conhecimento alimentados por IA

Clique no seletor de aplicativos e selecione Actions.
No Actions, clique em Observability Dashboard.
Clique no rótulo Resposta generativa para exibir estatísticas detalhadas.
Rolagem para baixo até a seção de dados agrupados por categorias. Clique em uma categoria para exibir consultas específicas.
Selecione uma consulta e clique no botão Informações .
No painel Detalhes da resposta à direita, clique em Criar artigo. Um artigo gerado por IA é redigido com base na transcrição. Você pode editar o artigo conforme necessário e publicá-lo.

Para obter informações completas sobre como editar e publicar um artigo, consulte a ajuda geração de conhecimento.
Quando um artigo já foi publicado, o íconeCriar artigoaparece em roxo com uma marca de seleção . Isso significa que um artigo de conhecimento está disponível e você pode visualizá-lo, mesmo que tenha sido criado por outra pessoa.

Exportar dados do Observability Dashboard

Clique no seletor de aplicativos e selecione Actions.
No Actions, clique em Observability Dashboard.
Clique no rótulo Resposta generativa para exibir estatísticas detalhadas.
Rolagem para baixo até a seção de dados agrupados por categorias. Clique em Exportar . Você pode baixar todos os dados, visíveis e ocultos, com base nos filtros definidos no construtor de consultas.

Quando você exporta dados doObservability Dashboard, alguns campos da planilha são representados por códigos numéricos. Esses códigos correspondem a tags e tipos de feedback específicos, conforme mostrado abaixo:

Tag	valor
Preciso	1
Impreciso	2
Concluir	3
Incompleto	4
Relevante	5
Irrelevante	6
Lento	7
Outra	8

Tipo de Feedback	valor
Positivo	1
Negativo	2