Observability Dashboard
O Observability Dashboard permite que você analise as capacidades de AI usadas por Copilot, Autopilot Knowledge e Autopilot (Omilia). O dashboard oferece insights abrangentes sobre o desempenho de resposta generativa, permitindo identificar áreas de melhoria e otimizar suas operações.
-
Os dados no Observability Dashboard são mantidos por um ano. Esse período DE retenção pode ser alterado no futuro com base em atualizações do produto.
-
Observability Dashboard é uma ferramenta de relatórios operacionais, não uma ferramenta de reconciliação de faturamento. Seu objetivo é fornecer visibilidade sobre o desempenho e o uso do AI, para que você possa acompanhar a adoção, identificar oportunidades de otimização e entender a eficácia geral da sua ai.
-
As métricas mostradas em Observability Dashboard nem sempre correspondem diretamente ao seu uso faturado. Por exemplo, Copilot é faturado em incrementos de 10 minutos, enquanto Observability Dashboard relata a atividade de AI por chamada. Uma chamada de 15 minutos é faturada como duas sessões de Copilot, mas aparece como um único Automated Summary (AutoSummary) em Observability Dashboard.
-
Para dúvidas sobre faturamento, consulte sua fatura ou entre em contato com sua equipe de conta NiCE.
Copilot
O Observability Dashboard para Copilot fornece informações sobre AI Agents (Cognigy) for Process Automation (Task Assist) Métricas de desempenho, respostas generativas, Copilot for Agents Consultas, e Automated Summary (AutoSummary), e Mecanismo de Regra.
-
Clique no seletor de aplicativo
, vá para Dados & Analytics e selecione Actions. -
Em Actions, clique em Observability Dashboard.
Por padrão, o dashboard Copilot é exibido. Ele inclui os seguintes gráficos:
-
Se necessário, atualize Date Range do dashboard e selecione o tipo de interação em Channel. Escolha exibir detalhes para interações de Voz , interações de Chat ou Todas.
-
Clique em Executar consulta. Os gráficos são atualizados para refletir as datas e os canais desejados.
Visualizando dados sobre o Mecanismo de Regra
Mecanismo DE regras mostra como as regras configuradas para Copilot for Agents funcionam durante as interações. Você pode ver com que frequência cada regra é acionada, o que ela exibe para os agentes e se os agentes seguem a orientação. Use essa visualização para verificar se suas regras funcionam conforme planejado e para encontrar oportunidades de coaching.
Antes de iniciar
-
Sua organização deve usar Copilot for Agents com Regras.
-
As regras devem ser criadas e atribuídas a um Copilot for Agents em AI Studio.
-
O Rule ENGINE mostra dados após o término das interações. Ele não mostra o que está acontecendo durante uma interação em tempo real.
-
No painel Copilot, localize o gráfico Mecanismo de regras. Ele mostra as regras e ações que foram acionadas ao longo do tempo.
-
Você pode filtrar o Dashboard do Mecanismo de Regras selecionando um Intervalo DE datas, um Canal, ou adicionando critérios adicionais. Depois de escolher seus filtros, clique em Executar consulta para atualizar o dashboard com os resultados atualizados.
-
Clique no título do gráfico Mecanismo de Regra para abrir a janela Mecanismo de Regra.
-
Regras & Ações: Mostra cada regra ou Ação como uma bolha. Quanto maior a bolha, mais vezes ela foi disparada. Clique em Regras ou Ações para mudar de exibição.
-
Ao selecionar a guia Regras, o gráfico exibe todas as regras como bolhas azuis individuais.
-
Clique no ícone Maximizar
. para expandir a tela do gráfico de bolhas para uma visualização em tela cheia. -
Quando você clica em um balão de regra, a regra selecionada move-se para o centro do gráfico e fica realçada. Todas as ações acionadas por essa regra aparecem em torno dela como balões conectados. linhas com setas mostram o fluxo da regra → para suas ações, ajudando você a entender os resultados gerados por essa regra. Esta é a visualização de leque de saída, que mostra para onde a regra leva.
-
Se você clicar em qualquer uma das bolhas de ação que envolvem a regra selecionada, essa ação se torna o novo centro do gráfico. O gráfico é atualizado para mostrar todas as regras que acionaram essa ação. linhas com setas agora apontam das regras → para a ação, mostrando as fontes que acionam essa ação. Esta é a visualização de convergência, que mostra o que leva à ação.
-
As dicas de ferramenta (tooltips) exibidas ao passar o cursor fornecem as contagens exatas de execução para o período selecionado.
-
-
Quando você seleciona a guia Actions, o gráfico exibe todas as ações como bolhas laranja individuais.
-
Clique no ícone Maximizar
. para expandir a tela do gráfico de bolhas em uma exibição de tela cheia. -
Quando você clica em uma bolha de ação, a ação selecionada se move para o centro do gráfico e é realçada. Todas as regras que acionaram essa ação aparecem em torno dela como bolhas azuis. conectores com setas apontam de cada regra → para a ação, mostrando a direção do fluxo de execução. Isso fornece uma visão de convergência (fan-in), em que você pode ver imediatamente quais regras são responsáveis por gerar essa ação e quantas regras diferentes contribuem para seu uso.
-
Se, em seguida, você clicar em uma das bolhas de regra que envolvem a ação, a regra clicada se tornará o novo nó central. O gráfico é atualizado para mostrar todas as ações acionadas por essa regra. Os conectores com setas agora apontam da regra → para suas ações. Isso muda a perspectiva de fan-in (em direção a uma ação) para fan-out (de uma regra para seus resultados), permitindo que você continue explorando toda a cadeia de relacionamento.
-
As dicas de ferramenta exibidas ao passar o mouse fornecem as contagens de execução exatas para o período selecionado.
-
-
Gráfico de Regra média por interação: Este gráfico mostra o número médio de regras executadas por interação do cliente ao longo do tempo.
-
Cada ponto no gráfico representa a média mensal em todas as interações, refletindo quantas regras foram acionadas durante uma interação típica. Por exemplo, o gráfico mostra 8,5; isso significa que, em média, cada interação acionou de 8 a 9 regras durante aquele mês.
-
Valores mais altos indicam que as interações acionaram mais regras em média, sugerindo maior complexidade ou condições de regra mais amplas. Valores mais baixos mostram que menos regras foram executadas, o que pode refletir uma lógica de regras mais eficiente ou simplificada.
-
Picos ou quedas destacam alterações repentinas no comportamento da regra que podem ser causadas por atualizações de configuração, padrões sazonais ou otimização de regras.
-
-
Regra mais comum: Este gráfico mostra as principais regras que foram executadas com mais frequência dentro do intervalo DE datas e canal selecionados.
-
Classifica as regras em ordem decrescente de contagem de execução, facilitando a identificação das regras que foram acionadas com mais frequência durante as interações com o cliente.
-
Este gráfico ajuda você a entender rapidamente quais regras impulsionam a maioria do comportamento do sistema e onde o Mecanismo de regras está gastando a maior parte do seu esforço de processamento.
-
-
Ações mais comuns: Este gráfico exibe as ações que foram executadas com mais frequência dentro do intervalo DE datas e canal selecionados.
-
Classifica as ações em ordem decrescente de contagem de execução, mostrando quais ações são mais usadas em todas as interações.
-
Este gráfico ajuda você a identificar rapidamente as ações de maior volume e entender onde o Rule Engine gera mais atividade posterior.
-
-
-
-
Utilize a rolagem para baixo para revisar o número total de regras e ações executadas, agrupadas pelo nome da regra. Para cada regra, a tabela mostra:
-
Nome da regra: Identifica a regra que está sendo analisada e serve como a categoria de agrupamento por padrão. Cada linha representa a atividade combinada para essa regra específica, permitindo que você revise seu desempenho geral rapidamente.
-
# de Regras Executadas: Mostra o número total de vezes que essa Regra foi acionada dentro do intervalo DE datas selecionado. Isso ajuda você a entender com que frequência a regra é disparada em todas as interações.
-
% Regras Executadas: Exibe a proporção das execuções desta Regra em relação ao número total de execuções de regras no conjunto DE dados. Essa porcentagem ajuda você a avaliar a participação e o impacto gerais da regra no aplicativo.
-
# Actions Executed: Indicates the total number of actions that were generated as a direct result of this rule being executed. This value shows how much activity the rule contributes to agent or system workflows.
-
% de Ações Executadas: Mostra a porcentagem de ações geradas por esta regra em comparação com todas as ações executadas nas interações. Isso ajuda você a avaliar a influência da regra no volume geral de ações.
-
-
Clicar em um nome da regra exibe a lista detalhada de ações executadas para essa regra específica. A tabela interna fornece uma visão granular de como cada ação realizada dentro de interações individuais. Inclui:
-
Uma lista de todas as ações individuais acionadas pela regra selecionada. Cada linha representa uma ação executada vinculada a uma interação específica do cliente.
-
Detalhes principais, como nome da ação, nome da regra, agente, competência, equipe, id do perfil e tipo DE ação.
-
O registro de data/hora exato de quando a ação foi executada. A diferença de tempo entre o momento em que a ação é executada e o momento em que a interação termina.
-
Para cada regra, você pode,
-
Clique em Play Interaction
para ouvir o áudio da interação (se disponível). -
Clique no botão informações
próximo à interação. Você pode visualizar o consultar feedback da interação.
-
-
-
Você pode mudar a forma como visualiza esses dados. A visualização padrão é por nome da regra. Clique em Group By para alterar o agrupamento de Nome da regra para Contato principal ou por qualquer outra opção listada na lista suspensa. Os dados reaparecem com base no novo agrupamento.
-
Para baixar todos os dados, tanto visíveis quanto ocultos, com base nos filtros definidos no construtor de consultas, consulte a seção Export
.
AI Agents (Cognigy) for Process Automation (Task Assist) Métricas de desempenho
A visualização AI Agents (Cognigy) for Process Automation (Task Assist) Métricas de desempenho fornece uma análise detalhada da execução de tarefas, incluindo atividade assistida por AI e manual, status de execução, resultados e tendências de desempenho. Use esta visualização para explorar como as tarefas progridem por diferentes estágios, avalie a adoção de AI e identifique oportunidades para melhorar a eficiência de execução.
-
Clique no rótulo do cabeçalho do gráfico AI Agents (Cognigy) for Process Automation (Task Assist)Métricas de desempenho para detalhar as estatísticas.
-
Os AI Agents (Cognigy) for Process Automation (Task Assist)cartões de KPI fornecem uma visão resumida dos dados exibidos no gráfico de AI Agents (Cognigy) for Process Automation (Task Assist) Métricas de desempenho. Use esses cartões para avaliar rapidamente AI a adoção, o volume de execução e o desempenho geral sem analisar todo o fluxo de tarefas.
-
Task Assist status: Mostra como as tarefas são distribuídas com base em como foi feito o tratamento delas.
-
Assistido por AI: Número total de tarefas em que a ai forneceu assistência.
-
Manual: Número total de tarefas concluídas sem a assistência de AI.
Use este cartão para entender o nível de adoção de AI.
-
-
Status de execução: Mostra como as tarefas progrediram após serem iniciadas.
-
Execução assistida por AI: Número de tarefas em que as sugestões de ai foram aceitas e executadas.
-
Execução manual: Número de tarefas executadas manualmente.
-
Rejeitado: Número de tarefas em que as sugestões de AI não foram aceitas.
Use este cartão para avaliar a frequência com que as sugestões de ai são usadas versus rejeitadas.
-
-
Resultado de execução: Mostra o resultado final das tarefas executadas.
Sucesso: Número de tarefas completadas com sucesso.
Com falha: Número de tarefas que não foram concluídas com sucesso.
Use este cartão para avaliar a eficácia geral da execução.
-
-
O gráfico AI Agents (Cognigy) for Process Automation (Task Assist)Métricas de desempenho mostra como as tarefas avançam da disponibilidade para a execução e o resultado final. Use este gráfico para entender como a assistência de AI afeta as taxas de execução e sucesso das tarefas. Cada valor no gráfico é representado como um nó, e as conexões entre os nós mostram como as tarefas avançam entre as etapas. Os nós são descritos a seguir:
-
Disponível: O número total de tarefas que poderiam ser executadas durante o período selecionado. Este é o nó inicial no gráfico. Todas as tarefas se originam aqui e passam para um tipo de execução.
-
Tipo de execução: as Tarefas de Disponíveis são divididas nas seguintes categorias:
-
Assistido por AI: Tarefas em que a ai sugeriu ou assistiu a ação.
-
Manual: Tarefas concluídas sem a assistência de AI.
Essas categorias mostram como as tarefas são tratadas inicialmente.
-
-
Execução status: Esta etapa mostra se as tarefas foram executadas e como. Tarefas de cada tipo de execução passam para um status de execução:
-
De assistido por AI:
-
Execução assistida por ai: sugestões de ai que foram aceitas e executadas.
-
Rejeitado: AI sugestões que não foram aceitas.
-
-
De Manual:
-
Execução manual: Tarefas executadas manualmente.
-
-
-
-
O gráfico Total de Métricas de Execução ao Longo do tempo mostra como as execuções assistidas por AI e manuais variam ao longo do período de tempo selecionado, ajudando você a entender as tendências na adoção e no uso de IA. Cada linha representa um tipo de execução (roxo para assistida por IA e cinza para manual), e cada ponto no gráfico mostra a distribuição das execuções em um momento específico. Isso permite comparar a proporção ou o volume de execuções assistidas por IA em relação às manuais ao longo do tempo, facilitando a identificação de padrões, mudanças de comportamento e alterações no volume de execução.
-
O gráfico Métricas de Execução total por tarefa mostra como as execuções assistidas por AI e manuais são distribuídas entre as diferentes tarefas para os filtros selecionados. Cada barra representa uma tarefa, com segmentos indicando o tipo de execução (roxo para assistida por AI e cinza para manual). A altura de cada segmento mostra a proporção ou o número de execuções. Use este gráfico para comparar como as tarefas são tratadas, identificar quais tarefas dependem mais da assistência de AI e detectar tarefas com maior envolvimento manual.
-
O gráfico tempo médio de Execução mostra a distribuição dos tempos de execução de cada tarefa, ajudando você a entender a variabilidade e a eficiência entre as tarefas. Cada caixa representa uma tarefa e exibe o alcance dos tempos de execução, incluindo os valores mínimo, máximo e mediano. A posição e o tamanho da caixa indicam quanto tempo as tarefas normalmente levam e o quanto de variação existe. Use este gráfico para identificar tarefas com tempos de execução mais longos ou inconsistentes e para identificar oportunidades de melhoria de desempenho.
-
Se necessário, atualize o Intervalo DE datas do dashboard, selecione o tipo de interação em Canal e selecione a configuração ou persona Copilot no Perfil Copilot. Clique em Executar consulta. Os gráficos são atualizados para refletir as datas, canais e perfis Copilot desejados.
-
Você pode personalizar os dados que aparecem nos gráficos:
-
Nos gráficos Total Execution Metrics Over Time e Total Execution Metrics by Task, você pode mudar entre Absolute Numbers
ou Percentage
. -
Em todos os gráficos, clique em Maximizar
para visualizar os dados em tela cheia.
-
-
Faça a rolagem para baixo para visualizar dados de desempenho detalhados agrupados em uma tabela. Por padrão, os dados podem ser agrupados por nome da ação. A tabela ajuda você a analisar como tarefas específicas estão sendo tratadas. Para cada linha agrupada, a tabela mostra valores como:
-
Total executado: Quantas vezes a tarefa foi executada.
-
AI-assistida: Quantas vezes a tarefa foi assistida por AI Agents (Cognigy) for Process Automation (Task Assist).
-
Execução assistida por AI: Quantas vezes o agente utilizou a execução sugerida por AI Agents (Cognigy) for Process Automation (Task Assist).
-
Execução média assistida por AI: A porcentagem média de execução assistida por IA.
-
Total Success: O número de vezes que a tarefa levou a um resultado bem-sucedido.
-
Sucesso médio: A taxa média de sucesso para essa tarefa.
-
-
Clicar em um nome de ação revela as consultas específicas e seus detalhes, como:
-
Uma lista de interações individuais vinculadas à ação selecionada.
-
Detalhes como id DE interação, texto da consulta, nome do agente, conjunto de competências, nome da equipe, nome DO bot e status da intenção.
-
Respostas do bot com registro de data e hora para um contexto mais profundo sobre como a ação foi executada.
-
Indicadores de desempenho como tempo de execução, contagem de sucesso e taxa de sucesso, ajudando os usuários a avaliar a eficácia de cada ação.
-
-
Para cada consulta, você pode clicar no botão Info
próximo à interação e visualizar o feedback de consulta da interação. -
Você pode mudar a forma como visualiza esses dados. A visualização padrão é por nome da ação. Clique em Group By para alterar o agrupamento de Nome da ação para Id DE interação ou para qualquer outra opção listada no menu suspenso. Os dados reaparecem com base no novo agrupamento.
-
Para baixar todos os dados, visíveis e ocultos, com base nos filtros definidos no construtor de consultas, consulte a seção Export.
Visualizando dados sobre Respostas generativas
Respostas generativas são respostas geradas por AI fornecidas durante interações.
-
Clique no rótulo Generative Responses para detalhar as estatísticas. Três gráficos são exibidos:
-
Over Time: Mostra a porcentagem de Respostas que foram usadas, modificadas, ignoradas ou que resultaram em nenhuma Resposta ao longo do tempo.
-
By Category: Exibe os detalhes Por categoria.
-
Average KB Per Interaction: Mostra o número médio de interações com a base de conhecimento por dia.
-
-
Você pode personalizar os dados exibidos nos gráficos:
-
Nos gráficos Over Time e Category, você pode alternar a exibição de diferentes status de resposta clicando nas legendas.
-
Nos gráficos Over Time e Category graphs, clique em Absolute Numbers
ou Percentage
para alternar entre porcentagens e Números absolutos. -
Em todos os três gráficos, clique em Maximize
para exibir os dados em formato de tabela.
-
-
Role para baixo para ver os dados agrupados por categorias. A Categories View organiza as respostas da base de conhecimento em diferentes categorias, oferecendo uma abordagem estruturada para a análise. Cada categoria apresenta:
-
Nome do agente
-
Equipe
-
Competência
-
Volume total de respostas da base de conhecimento
-
pontuação média de adesão
-
Número médio de links e imagens fornecidos
-
pontuação média de conhecimento (pontuação atribuída pela base de conhecimento)
-
-
Clique em uma categoria para exibir as consultas relacionadas e seus detalhes, como:
-
Consulta enviada para a Knowledge Base
-
resposta sugerida pela Base de conhecimento
-
resposta real do Agente
-
Número de links e imagens fornecidos
-
Query Feedback
-
pontuação de adesão (a semelhança entre a resposta sugerida e a real)
-
Deslocamento a partir do início da interação
Para cada consulta, você pode:
-
Clique em Play Interaction
para ouvir o áudio da interação (se disponível). -
Clique no botão Info
ao lado da consulta. Você pode exibir o Query Feedback da interação. No painel de detalhes da resposta à direita, você pode ver se a AI Resposta gerada recebeu feedback positivo
ou negativo
, junto com quaisquer comentários e tags fornecidos.
-
-
Você pode alterar a forma como os dados são agrupados. A visualização padrão é por categoria. Clique em Group By para alterar o agrupamento de Category para uma das seguintes opções:
-
Master Contact
-
Equipe
-
Competência
-
Nome do agente
Os dados reaparecem com base no novo agrupamento.
-
Exibindo dados sobre Consultas de agentes
Agent Queries exibe informações sobre as respostas da base de conhecimento geradas sob demanda com base nas perguntas dos Agentes. Ele fornece gráficos que mostram o status das Consultas diretas e as pontuações de adesão.
Clique no título do gráfico, Agent Queries, para detalhar as estatísticas. O primeiro gráfico mostra a porcentagem de respostas e de ausência de respostas ao longo do tempo. O segundo gráfico exibe os detalhes por categoria.
Você pode alternar a exibição de diferentes status de resposta clicando nas legendas.
Clique em Absolute Numbers
ou Percentage
para alternar entre porcentagens e números absolutos.Clique em Maximize
para exibir o gráfico em tela cheia.Role para baixo para ver os dados agrupados por categorias. A Categories View organiza as respostas da base de conhecimento em diferentes categorias, oferecendo uma abordagem estruturada para a análise. Cada categoria apresenta:
Volume total de respostas
Número e média de ausência de respostas
Número médio de links e imagens fornecidos
pontuação média de conhecimento (pontuação atribuída pela base de conhecimento)
Para agrupar os dados por chamada, selecione o agrupamento Master Contact ID. Para agrupar por segmento de chamada, selecione Contact ID. Uma única chamada pode ter vários segmentos, como a Rvi, o Agente e uma transferência. Cada segmento tem seu próprio Contact ID, e todos compartilham um único Master Contact ID.
Ao clicar em uma categoria, são exibidas as Consultas específicas e seus detalhes, como:
Consulta do Agente enviada para a Knowledge Base
resposta à consulta do Agente
Número de links e imagens fornecidos
Data e hora da resposta
pontuação média de conhecimento
Equipe e competência do agente
Contact ID e Master Contact ID
Equipe e competência aparecem nesta tabela somente se sua organização usar NiCE CXone ACD. Eles sempre aparecem na exportação.
Exibindo dados sobre consultas de Automated Summary (AutoSummary)
Automated Summary (AutoSummary) mostra o desempenho dos resumos gerados automaticamente. Você pode ver gráficos que acompanham o desempenho ao longo do tempo, com dados agrupados por intenção e competência. As tabelas detalhadas exibem os resumos sugeridos ao lado dos resumos reais, completos com pontuações de adesão para medir a precisão. Para obter detalhes mais abrangentes, você pode reproduzir interações específicas, o que lhe dará uma visão completa de como os resumos são gerados e usados em conversas reais.
Os resumos gerados automaticamente são compatíveis no Observability Dashboard tanto para ambientes CXone ACD quanto para ambientes CXone não ACD.
Clique no título do gráfico, AutoSummary, para detalhar as estatísticas.
O primeiro gráfico mostra a porcentagem de resumos que foram usados ao longo do tempo. Os resumos são classificados como As Is, Minor Revisions, Revised e Ignored.
O segundo gráfico exibe os detalhes By Intent.
O terceiro gráfico exibe os detalhes By Skill.
O quarto gráfico exibe os detalhes By Team.
Você pode alternar a exibição de diferentes status de resposta clicando nas legendas.
Clique em Absolute Numbers
ou Percentage
para alternar entre porcentagens e Números absolutos.Clique em Maximize
para exibir o gráfico em tela cheia.Role para baixo para ver os dados agrupados Por categorias. A Categories View organiza os Resumos em diferentes categorias. Cada categoria apresenta:
Nomes de agentes
Volume total de respostas
Número e porcentagem de ausência de Respostas
Número médio de links e imagens fornecidos
pontuação média de conhecimento (pontuação atribuída pela base de conhecimento)
Clique em uma categoria para exibir as Consultas específicas e seus detalhes, como:
Consulta do Agente enviada para a Base de conhecimento
resposta à consulta do agente
Feedback geral
Número de links e imagens fornecidos
Data e hora da Resposta
pontuação média de conhecimento
pontuação de adesão
No Automated Summary (AutoSummary), a pontuação de adesão é determinada pelo LLM usando a seguinte abordagem:
O LLM compara o significado do texto em vez da redação exata.
Se o resumo real e o resumo sugerido tiverem o mesmo significado, a pontuação é alta.
Se o resumo sugerido contiver detalhes adicionais, como Pequenas revisões não presentes no resumo real, a pontuação é média.
Se o texto do resumo sugerido e o do resumo real tiverem contextos diferentes, a pontuação é baixa.
Se o Agente não salvar o resumo, ou salvá-lo sem fazer nenhuma edição, o resumo final é tratado como idêntico ao Resumo sugerido. Observability Dashboard atualiza as colunas da seguinte forma:
Actual Summary: Igual ao Suggested Summary
Adherence Score: Alta
Comment: As Is (até que um resumo final seja recebido)
Se um resumo final for recebido dentro de 90 dias e diferir do resumo originalmente Sugerido, Observability Dashboard atualiza o registro da seguinte forma:
Actual Summary: Resumo real atualizado a partir de Automated Summary (AutoSummary)
Adherence Score: Recalculada com base na diferença entre os resumos sugerido e real
Comment: Atualizado de As Is para Minor Revisions ou Revised, dependendo do nível de alteração
Atualmente, Observability Dashboard não oferece suporte ao rastreamento de múltiplas edições sequenciais no mesmo Automated Summary (AutoSummary).
Clique no botão Info
ao lado da consulta. Você pode exibir o feedback geral da interação. No painel de detalhes da resposta à direita, você pode ver se a interação recebeu feedback positivo
ou negativo
, junto com quaisquer comentários e tags fornecidos.
Como líder de CX, Mark quer usar o Observability Dashboard para identificar lacunas de Conhecimento na base de conhecimento. Ele percebe que muitas sugestões da base de conhecimento estão sendo modificadas ou ignoradas. Mark clica em Generative Responses para exibir os dados por categoria. Ele se concentra nas categorias com pontuações médias de adesão baixas, indicando desalinhamento entre as sugestões e as respostas reais. Ao expandir categorias com pontuação baixa, como Billing and Payments, Mark observa baixa adesão em consultas sobre planos de pagamento e políticas de reembolso, sugerindo lacunas de conhecimento nessas áreas.
Por meio do Observability Dashboard, Mark pode identificar com precisão os tópicos que precisam de melhorias na base de conhecimento. Ele pode então trabalhar com a equipe da base de conhecimento para resolver essas lacunas, melhorando a qualidade das sugestões para obter melhores interações com os clientes.
Visualização do Business Impact
A visualização de Business Impact é um painel dinâmico dentro do dashboard do Copilot que oferece uma visão consolidada das principais métricas de desempenho influenciadas pela atividade do agente. Ele oferece insights visuais sobre tendências operacionais, como indicadores de desempenho do agente After Call Work (ACW
Estado que permite que um agente conclua as tarefas necessárias após finalizar uma interação.) e Average Handle Time (AHT
O tempo médio de atendimento é a quantidade média de tempo que um agente gastou atendendo a uma interação.). Ao expandir esse menu, você pode analisar tendências mensais, aplicar filtros para focar em equipes, competências ou agentes específicos e comparar médias de desempenho entre categorias selecionadas. O intervalo DE datas e as opções de filtro na visualização de Business Impact são independentes daqueles no Observability Dashboard.
-
Para abrir o menu Business Impact, clique na seta apontando para cima localizada na parte inferior do dashboard do Copilot. Isso expande o painel inferior e mostra métricas de desempenho detalhadas:
-
Na parte superior do dashboard, atualize o Dashboard date range para definir o período para o qual você deseja exibir os dados de ACW e AHT. Você pode selecionar entre opções predefinidas como Last 2 days, Last 7 days, Current month, ou definir um intervalo personalizado. Por padrão, o intervalo DE datas é o mesmo definido no dashboard do Copilot. Depois de selecionado, o gráfico é atualizado automaticamente para Mostrar a duração média de ACW e AHT para cada mês dentro desse intervalo.
-
Use as opções de Filter By para restringir os dados com base em Teams, Skills ou Agent Name. Você pode selecionar até 5 valores por tipo DE filtro. Por exemplo, escolha 5 equipes, 5 Competências ou 5 nomes de agentes. Aplique filtros para comparar o desempenho entre diferentes grupos ou indivíduos.
-
Para remover uma categoria de filtro do gráfico de ACW e AHT, clique no ícone X ao lado da equipe, Competência ou Nome do agente selecionado. Após a remoção, o gráfico é atualizado automaticamente para excluir essa categoria da visualização.
-
No dashboard, as métricas All Skills Avg., All Teams Avg. e All Agent Names Avg. aparecem dinamicamente com base nos filtros que você aplica. Quando você filtra por Skills, o gráfico exibe a linha All Skills Avg. para Mostrar a duração média de ACW e AHT entre os grupos de competências selecionados. De forma semelhante, filtrar por Teams ou Agent Name mostrará All Teams Avg. ou All Agent Names Avg., respectivamente.
-
Interpretando os gráficos:
-
Upward Trend: Indica um aumento no tempo. No caso do ACW, os agentes estão gastando mais tempo em tarefas pós-Chamada. No caso do AHT, as chamadas estão levando mais tempo para serem atendidas.
-
Downward Trend: Indica uma redução no tempo. No caso do ACW, os Agentes estão concluindo o trabalho pós-chamada mais rapidamente. No caso do AHT, as chamadas estão sendo atendidas com mais eficiência.
-
Sudden Spikes or Drops: Podem sinalizar mudanças na carga de trabalho, no processo ou no uso de ferramentas. Isso deve ser analisado para entender a causa.
-
Exibindo os dados de ACW
O gráfico de ACW (After Call Work) ajuda a acompanhar quanto tempo os Agentes gastam em tarefas pós-chamada todos os meses, mostrando a duração média em todas as Chamadas. ACW refere-se ao tempo que um agente gasta concluindo tarefas após encerrar uma chamada com o cliente — como redigir anotações, atualizar sistemas ou marcar a interação com tags. A duração média de ACW é calculada dividindo o tempo total de ACW pelo número de chamadas atendidas durante o período selecionado:
Average ACW= Total ACW time / Number of calls
Esse gráfico permite comparar o desempenho entre equipes, Competências e agentes individuais, identificar padrões ou alterações incomuns na carga de trabalho e tomar decisões informadas. Além disso, ele ajuda a Indicar se há um aumento ou redução no ACW de uma equipe, competência ou agente específico ao longo do tempo. Por exemplo, uma linha ascendente pode Indicar uma carga de trabalho pós-chamada crescente, enquanto uma tendência de queda pode sugerir melhor eficiência ou alterações de processo.
O gráfico de ACW é apresentado como um gráfico de linhas, em que o eixo X representa o tempo em intervalos mensais com base no intervalo DE datas selecionado, e o eixo Y mostra a duração média de ACW, normalmente medida em segundos ou minutos. Cada ponto de dados no gráfico reflete a média de ACW para aquele mês específico. O gráfico inclui recursos interativos, como passar o cursor para ver valores exatos, atualizações dinâmicas com base nos filtros aplicados e no intervalo DE datas, e legendas que exibem os filtros selecionados para fácil referência.
Exibindo os dados de AHT
O gráfico de AHT (Average Handle Time) ajuda a acompanhar quanto tempo os agentes gastam atendendo às interações dos clientes todos os meses, mostrando a duração média em todas as chamadas. O AHT inclui todo o tempo de interação — como tempo de conversa, tempo de espera e After Call Work (ACW). A duração média de AHT é calculada dividindo o tempo total de atendimento pelo número de chamadas atendidas durante o período selecionado:
Average AHT=Total Handle Time / Number of Calls
Esse gráfico permite comparar o desempenho entre equipes, Competências e agentes individuais, identificar padrões ou alterações incomuns na duração da interação. As tendências no gráfico de AHT podem ajudar a identificar aumentos ou reduções no AHT de equipes, Competências ou agentes específicos ao longo do tempo. Por exemplo, uma linha ascendente pode indicar interações com clientes mais longas devido a complexidade ou ineficiências, enquanto uma tendência de queda pode sugerir processos simplificados, melhor desempenho do agente ou melhor suporte do sistema.
O gráfico de AHT é apresentado como um gráfico de linhas, em que o eixo X representa o tempo em intervalos mensais com base no intervalo DE datas selecionado, e o eixo Y mostra a duração média de AHT, normalmente medida em segundos ou minutos. Cada ponto de dados no gráfico reflete a média de AHT para aquele mês específico. O gráfico inclui recursos interativos, como passar o cursor para ver valores exatos, atualizações dinâmicas com base nos filtros aplicados e no intervalo DE datas, e legendas que exibem os filtros selecionados para fácil referência.
O Observability Dashboard oferece suporte a novos recursos de Copilot para o Engagement Hub, permitindo monitorar o desempenho de recursos em diferentes tipos de cliente.
-
Para clientes CXone ACD: Você vê dados sobre resumos gerados automaticamente, detalhes da equipe e informações de Competência.
-
Para clientes não CXone ACD: Os dados de equipe e competência não estão disponíveis, e os recursos relacionados ficam ocultos.
-
Para locatários que usam tanto aplicativos ACD quanto não ACD: O dashboard exibe somente os dados relacionados a ACD.
Autopilot Knowledge
O Observability Dashboard para Autopilot Knowledge mostra dados sobre o desempenho do seu sistema automatizado ao lidar com perguntas dos clientes. Você verá um gráfico que exibe tendências de desempenho ao longo do tempo. Isso permite acompanhar as alterações diária, semanal ou mensalmente.
-
Clique no seletor de aplicativos
, vá para Data & Analytics e selecione Actions. -
Em Actions, clique em Observability Dashboard.
-
Clique na aba Autopilot Knowledge. Defina o Date Range desejado para o dashboard e clique em Run Query. São exibidos três gráficos:
Exibindo dados sobre a Efetividade geral
Este gráfico exibe um resumo de alto nível do desempenho e status do chatbot do Autopilot Knowledge.
-
Clique no título do gráfico Overall Effectiveness para detalhar as estatísticas. Quatro gráficos são exibidos:
-
Engaged: Exibe o número de visitantes que interagiram com o chatbot, ajudando você a entender as tendências de Engajamento ao longo do tempo.
-
Contained: Exibe a porcentagem e a contagem de usuários do chatbot que concluíram sua conversa sem precisar de escalação para um Agente ativo. Com essa métrica, você pode avaliar a eficácia com que o chatbot resolve Consultas de forma independente.
-
Elevated: Exibe a porcentagem e a contagem de usuários do chatbot que escalaram sua conversa para um agente ativo, destacando os casos que exigiram intervenção humana. Com essa métrica, você pode monitorar com que frequência o chatbot transfere conversas para agentes humanos.
-
Abandoned: Exibe a porcentagem e a contagem de usuários do chatbot que abandonaram uma conversa em andamento. Com essa métrica, você pode identificar pontos de Abandono e melhorar o engajamento do usuário.
-
-
Você pode personalizar os dados exibidos nos gráficos:
-
Clique em Absolute Numbers
ou Percentage
para alternar entre porcentagens e números absolutos. -
Clique em Maximize
para exibir o gráfico em tela cheia.
-
Exibindo dados sobre o Desempenho da IA generativa
Este gráfico exibe a porcentagem de consultas de usuários que foram efetivamente atendidas pelo mecanismo de IA generativa.
-
Clique no rótulo Gen AI Performance para detalhar as estatísticas. Três gráficos são exibidos:
-
Over Time: Exibe a porcentagem de respostas do chatbot ao longo do tempo.
-
By Category: Exibe a porcentagem de respostas do chatbot por categoria.
-
Queries to Generative Model: Exibe o número total e a porcentagem de consultas do chatbot processadas pelo mecanismo generativo. Essa métrica fornece informações sobre com que frequência o mecanismo generativo é usado no atendimento às interações dos usuários.
-
-
Você pode personalizar os dados exibidos nos gráficos:
-
Nos gráficos Over Time e Category, para alternar a exibição de diferentes status de resposta, clique nas legendas Response ou No Response nos gráficos.
-
Clique em Absolute Numbers
ou Percentage
para alternar entre porcentagens e Números absolutos. -
Clique em Maximize
para exibir os gráficos em tela cheia.
-
-
Role para baixo para ver os dados agrupados Por categorias. A Categories View organiza as respostas do chatbot em diferentes categorias. Cada categoria apresenta:
-
Volume total de respostas
-
Número total de ausência de respostas
-
Número médio de links e imagens fornecidos
-
pontuação média de conhecimento (pontuação atribuída pela base de conhecimento)
-
-
Ao clicar em uma categoria, são exibidas as consultas específicas e seus detalhes, como:
-
Número do contato da interação
-
Consulta que iniciou a interação com o chatbot
-
A resposta do chatbot, gerada com base na entrada, intenção e contexto do usuário.
-
Número de links e imagens fornecidos
-
Data e hora da Resposta
-
pontuação média de conhecimento
-
-
Você pode alterar a forma como esses dados são exibidos. A visualização padrão é por categoria. Clique em Group By para alterar o agrupamento de Category para Contact Number. Os dados reaparecem com base no novo agrupamento.
Exibindo dados sobre o Desempenho do bot
Este gráfico exibe a distribuição das intenções do chatbot, destacando as seis solicitações mais comuns dos usuários, juntamente com as ocorrências de fallback. Ele ajuda você a entender o que os usuários perguntam e como o chatbot responde.
-
Clique no rótulo Bot Performance para detalhar as estatísticas. Dois gráficos são exibidos:
-
All Bot Intent: Exibe as solicitações mais comuns dos usuários e os casos de fallback, ajudando você a melhorar a forma como seu chatbot responde.
-
Abandonment Indicator: Exibe quais intenções do chatbot foram mais comuns antes dos usuários abandonarem a conversa. Isso ajuda você a identificar pontos de abandono e melhorar a retenção do usuário.
-
-
Você pode personalizar os dados exibidos nos gráficos:
-
Clique em Absolute Numbers
ou Percentage
para alternar entre porcentagens e números absolutos. -
Clique em Maximize
para exibir os gráficos em tela cheia.
-
Autopilot (Omilia)
O Observability Dashboard para Autopilot (Omilia) mostra a eficácia com que sua base de conhecimento pode lidar com as perguntas dos clientes. Use esse dashboard para identificar áreas em que você pode adicionar artigos à sua base de conhecimento ou melhorar artigos existentes para responder melhor às perguntas dos clientes.
-
Clique no seletor de aplicativos
, vá para Data & Analytics e selecione Actions. -
Em Actions, clique em Observability Dashboard.
-
Clique na aba Autopilot (Omilia). É exibido o gráfico Gen AI Performance.
-
Defina o Date Range desejado para o dashboard e clique em Run Query.
Exibindo dados sobre o desempenho da IA generativa
Este gráfico mostra o número de perguntas de usuários que receberam respostas relevantes e completas do mecanismo de IA.
-
Clique no rótulo Gen AI Performance para exibir detalhes sobre as perguntas feitas e os artigos fornecidos para o período especificado.
Dois gráficos são exibidos:
-
Over Time gráfico: Mostra o número de respostas bem-sucedidas e de ausência de resposta durante o período de tempo selecionado. Uma Resposta indica que um artigo foi exibido ao usuário. Uma ausência de Resposta indica que nenhum artigo correspondente foi encontrado.
-
By Category graph: Mostra o número de respostas bem-sucedidas e de ausência de resposta por categorias.
Você pode personalizar a exibição dos dados nos gráficos:
-
Para alternar entre porcentagens e Números absolutos, clique em Absolute Numbers
ou Percentage
.
-
Para exibir o gráfico em tela cheia, clique em Maximize
. -
Para alternar a exibição de diferentes status de resposta, clique nas legendas Response ou No Response nos gráficos.
-
-
Role para baixo além dos gráficos para ver uma tabela que fornece detalhes sobre as consultas. As Consultas são agrupadas por categorias.
-
Ao clicar em uma categoria, são exibidas as consultas específicas e as respostas fornecidas. Use isso para identificar áreas em que talvez estejam faltando artigos em sua base de conhecimento.
Gerar Artigos de conhecimento Baseados em IA
-
Clique no seletor de aplicativos
, vá para Data & Analytics e selecione Actions. -
Em Actions, clique em Observability Dashboard.
-
Clique no rótulo Generative Responses para exibir estatísticas detalhadas.
-
Role para baixo até a seção de dados agrupados por categorias. Clique em uma categoria para exibir consultas específicas.
-
Selecione uma consulta e clique no botão Info
. -
No painel de detalhes da resposta à direita, clique em Create Article
. Um Artigo gerado por IA é redigido com base na transcrição. Você pode editar o Artigo conforme necessário e, em seguida, publicá-lo.Para obter informações completas sobre como editar e publicar um artigo, consulte a ajuda de base de conhecimento.
-
Quando um artigo já estiver publicado, o ícone Create Article aparece em roxo com uma marca de seleção
. Isso significa que um artigo de conhecimento está disponível e você pode exibi-lo, mesmo que tenha sido criado por outra pessoa.
Exportar dados de Observability Dashboard
-
Clique no seletor de aplicativos
, vá para Data & Analytics e selecione Actions. -
Em Actions, clique em Observability Dashboard.
-
Clique no rótulo Generative Response para exibir estatísticas detalhadas.
-
Role para baixo até a seção de dados agrupados por categorias. Clique em Export
. Você pode baixar todos os dados, visíveis e ocultos, com base nos filtros definidos no criador de consultas. -
Ao exportar dados do Observability Dashboard, alguns campos na planilha são representados por códigos numéricos. Esses códigos correspondem a tags e tipos de feedback específicos, conforme mostrado abaixo:
Tag
value
Accurate 1 Complete 2 Relevant
3 Other 4 (for positive feedback) Inaccurate 5 Incomplete 6 Irrelevant 7 Slow 8 Other 9 (for negative feedback) Feedback type
value
Positive 1 Negative 2 -
Você também pode exportar dados de Agent Queries. A exportação de Agent Queries inclui quatro colunas no final: team, skill, Master Contact ID e Contact ID. As demais colunas mantêm os mesmos nomes e a mesma ordem. Se a equipe ou a competência não estiverem disponíveis para uma consulta, a célula fica vazia.
Você não pode agrupar o resumo de Agent Queries por team ou skill no dashboard. Para analisar Por equipe ou Competência, use a exportação