Observability Dashboard

Observability Dashboard允许您仔细检查Copilot、Autopilot Knowledge和Autopilot所采用的 AI 功能。 该仪表板提供了对生成式响应性能的全面洞察，使您能够确定需要改进的领域并优化您的作。

Copilot

Observability DashboardCopilot提供有关生成式响应、Copilot for Agents Queries和AutoSummary的信息。

  1. 单击应用程序选择器 ，然后选择 Actions。

  2. 在 Actions 上，单击可观测性仪表板。

    默认情况下，将显示Copilot仪表板。 它包含三个图表：

  3. 如果需要，请更新仪表板的日期范围，然后在渠道中选择交互类型。 选择查看语音交互、聊天交互或全部的详细信息。

  4. 单击运行查询。 这三个图表将更新以反映所需的日期和渠道。

查看有关生成式应答的数据

生成式响应是在呼叫过程中自动生成的答案。

  1. 单击 生成式应答 标签以向下钻取统计信息。 将显示三个图形：

    • 随时间变化：显示一段时间内使用、修改、忽略或导致没有答案的答案的百分比。

    • 按类别：按类别显示详细信息。

    • 每次交互的平均 Kb ：显示每天知识库交互的平均次数。

  2. 您可以自定义图表中显示的数据：

    • 在“随时间变化”和“类别”图表中，您可以通过单击图例来切换不同答案状态的显示。

    • 在随时间变化和类别图表中，单击绝对数字 或百分比 到在百分比和绝对数字之间切换。

    • 在所有三个图形中，单击 Maximize以表格格式查看数据。

  3. 向下滚动以查看按类别分组的数据。 “类别视图”将知识库答案组织成不同的类别，从而提供结构化的分析方法。 每个类别均呈现：

    • 知识库答案总量

    • 平均遵守度分数

    • 提供的链接和图像的平均数量

    • 平均知识分数（知识库分数）

  4. 单击一个类别会显示特定查询及其详细信息，例如：

    • 发送到知识库的查询

    • 建议的知识库答案

    • 坐席的实际响应

    • 提供的链接和图像的数量

    • 查询反馈

    • 遵守度分数（建议响应与实际响应之间的相似度）

    • 距交互开始的偏移量

    对于每个查询，您可以：

    • 单击播放交互 收听交互的音频（如果可用）。

    • 单击查询旁边的 Info 按钮。 您可以查看交互的查询反馈。 在右侧的 Response details （响应详细信息） 面板中，您可以查看 AI 生成的响应是收到正面还是负面反馈，以及提供的任何评论和标签。

  5. 您可以切换查看此数据的方式。 默认视图是按类别。 单击分组依据将分组从类别更改为以下分组之一：

    • 主要联系

    • 团队

    • 技能

    • 代理ID

    数据将根据新的分组重新出现。

查看有关坐席查询的数据

坐席查詢显示有关根据坐席问题按需生成的知识库答案的信息。 它提供显示直接查询状态和遵守度分数的图表。

  1. 单击图表标题 坐席 查詢，向下钻取到统计数据。 第一个图表显示随时间变化的响应和无响应百分比。 第二个图表显示类别的详细信息。

  2. 您可以通过单击图例来切换不同答案状态的显示。

  3. 单击绝对数字 或百分比 ，在百分比和绝对数字之间切换。

  4. 单击最大化 全屏查看图表。

  5. 向下滚动可查看按类别分组的数据。 “类别视图”将知识库答案组织成不同的类别，从而提供结构化的分析方法。 每个类别均呈现：

    • 总计响应数量

    • 无响应的数量和平均值

    • 提供的链接和图像的平均数量

    • 平均知识分数（知识库分配的分数）

  6. 单击类别会显示特定查询及其详细信息，例如：

    • 发送到知识库的坐席查询

    • 对坐席查询的响应

    • 提供的链接和图像数量

    • 响应的日期和时间

    • 平均知识得分

查看有关AutoSummary查詢的数据

AutoSummary提供了汇总性能的全面视图。 您可以查看跟踪绩效随时间变化的图表，其中数据按意图和技能分组。 详细的表格显示建议的摘要和实际摘要，以及衡量准确性的遵守度分数。 要获得更全面的详细信息，您可以回放特定的交互，这将使您全面了解摘要是如何在真实对话中生成和使用起来的。

  1. 点击图表标题AutoSummary，深入查看统计信息。

    • 第一张图显示了一段时间内使用的摘要的百分比。 摘要被标识为按以下方式之一使用：按原样、已修订、细微修订和忽略。

    • 第二个图形按意图显示详细信息。

    • 第三个图表按技能显示详细信息。

    • 第四张图按团队显示详细信息。

    您可以通过单击图例来切换不同答案状态的显示。

  2. 单击绝对数字 或百分比 ，在百分比和绝对数字之间切换。

  3. 单击最大化 全屏查看图表。

  4. 向下滚动可查看按类别分组的数据。 “类别视图”将知识库答案组织成不同的类别，从而提供结构化的分析方法。 每个类别均呈现：

    • 总计响应数量

    • 无响应的数量和平均值

    • 提供的链接和图像的平均数量

    • 平均知识分数（知识库分配的分数）

  5. 单击类别会显示特定查询及其详细信息，例如：

    • 发送到知识库的坐席查询

    • 对坐席查询的响应

    • 总体反馈

    • 提供的链接和图像数量

    • 响应的日期和时间

    • 平均知识得分

  6. 单击查询旁边的 Info 按钮。 您可以查看交互的总体反馈。 在右侧的 Response details （响应详细信息） 面板中，您可以查看交互收到的是正面还是负面反馈，以及提供的任何评论和标签。

作为 CX 领导者，Mark 希望利用Observability Dashboard来识别知识库中的知识差距。 他注意到许多知识库建议被修改或忽略。 Mark 单击知识库答案，以便按类别查看数据。 他重点关注平均遵守度分数较低的类别，这指示建议与实际响应之间的偏差。 通过扩展计费和付款等低分类别，Mark 发现对有关付款计划和退款政策的查询的遵守度较低，这表明这些方面存在知识差距。

通过这些Observability Dashboard，Mark 可以确定需要知识库增强的主题。 然后，他可以与知识库团队合作解决这些差距，提高建议的质量，从而更好地与客户互动。

Autopilot Knowledge

Observability DashboardAutopilot Knowledge显示有关自动化系统处理客户问题的能力的数据。 您将看到一个显示随时间变化的绩效趋势的图表。 这使您可以每天、每周或每月跟踪变化。

  1. 单击应用程序选择器 ，然后选择 Actions。

  2. 在Actions上，单击Observability Dashboard。

  3. 单击 Autopilot Knowledge 选项卡。 为仪表板设置所需的日期范围，然后单击运行查询。 它显示三个图表：

查看有关整体有效性的数据

此图表显示了 Autopilot Knowledge 聊天机器人的性能和状态的高级摘要。

  1. 单击 整体有效性 图形标题以向下钻取统计数据。 此时将显示四个图形：

    • 参与：显示与聊天机器人互动的访客数量，帮助您了解一段时间内的参与趋势。

    • 包含：显示无需升级到人工代理即可完成对话的聊天机器人用户的百分比和计数。 使用此指标，您可以评估聊天机器人独立解决查询的效率。

    • 提升：显示将对话升级到人工代理的聊天机器人用户的百分比和数量，突出显示需要人工干预的案例。 使用此指标，您可以监控聊天机器人将对话移交给人工代理的频率。

    • Abandoned：显示放弃正在进行的对话的聊天机器人用户的百分比和计数。 使用此指标，您可以识别流失点并提高用户参与度。

  2. 您可以自定义图表中显示的数据：

    • 单击绝对数字 或百分比 ，在百分比和绝对数字之间切换。

    • 单击最大化 以全屏查看图表。

查看有关GenAI性能的数据

此图表显示了生成式 AI 引擎有效解决的用户查询的百分比。

  1. 单击GenAI绩效标签以向下钻取到统计信息。 将显示三个图形：

    • 随时间推移 ：显示聊天机器人响应随时间推移的百分比。

    • 按类别：显示聊天机器人响应在类别中的百分比。

    • 查詢生成模型：显示生成引擎处理的聊天机器人查询的总数和百分比。 该指标提供了对生成引擎在处理用户交互中的使用频率的见解。

  2. 您可以自定义图表中显示的数据：

    • 在 Over Time （随时间） 和 Category （类别） 图表中，要切换不同答案状态的显示，请单击图表中的 Response 或 无响应 图例。

    • 单击绝对数字 或百分比 ，在百分比和绝对数字之间切换。

    • 单击 Maximize以全屏查看图表。

  3. 向下滚动以查看按类别分组的数据。 “类别视图”将知识库答案组织成不同的类别，从而提供结构化的分析方法。 每个类别均呈现：

    • 响应总量

    • 无响应总数

    • 提供的链接和图像的平均数量

    • 平均知识分数（知识库分数）

  4. 单击一个类别会显示特定查询及其详细信息，例如：

    • 互动的联系电话

    • 启动聊天机器人交互的查询

    • 聊天机器人根据用户的输入、意图和上下文进行回复。

    • 提供的链接和图像的数量

    • 响应的日期和时间

    • 平均知识得分。

  5. 您可以切换查看此数据的方式。 默认视图是按类别。 单击 分组依据 将分组从 类别 更改为 联系电话。 数据将根据新的分组重新出现。

查看有关机器人性能的数据

此图表显示了聊天机器人意图的分布，突出显示了前 6 个最常见的用户请求以及回退发生次数。 它可以帮助您了解用户询问的内容以及聊天机器人的响应方式。

  1. 单击 机器人性能 标签以向下钻取统计信息。 将显示两个图形：

    • 所有 Bot 意图：显示最常见的用户请求和回退案例，帮助您改进聊天机器人的响应方式。

    • 放弃指示器：显示在用户放弃对话之前最常见的聊天机器人意图。 它可以帮助您识别流失点并提高用户留存率。

  2. 您可以自定义图表中显示的数据：

    • 单击绝对数字 或百分比 ，在百分比和绝对数字之间切换。

    • 单击 Maximize以全屏查看图表。

Autopilot

Observability DashboardAutopilot显示了您的知识库处理客户问题的能力。 使用此仪表板查找可以向知识库添加更多文章或自定义文章以更好地回答客户问题的区域。

  1. 单击应用程序选择器 ，然后选择 Actions。

  2. 在Actions上，单击Observability Dashboard。

  3. 单击 Autopilot 选项卡。 它将显示 GenAI Performance （性能） 图表。

  4. 为仪表板设置所需的日期范围，然后单击运行查询。

查看有关GenAI性能的数据

此图表显示了从 AI 引擎收到相关且完整答案的用户问题数。

  1. 单击GenAI绩效标签可查看有关在指定时间段内提出的问题和提供的文章的详细信息。

    将显示两个图形：

    • Over Time graph：显示一段时间内成功响应和无响应的数量。 响应指示向用户显示文章。 无响应表示未找到匹配的文章。

    • 按类别图：按类别显示成功响应和未响应的数量。

    您可以自定义图表中数据的外观：

    • 要在百分比和绝对数字之间切换，请单击绝对数字 或百分比 。

    • 要全屏查看图表，请单击最大化 。

    • 要切换不同答案状态的显示，请单击图表中的响应或 无响应 图例。

  2. 在图形下方向下滚动以查看提供有关查询的详细信息的表。 查询按类别分组。

  3. 单击类别会显示特定查询和提供的响应。 使用它来确定知识库中可能缺少文章的区域。

生成 AI 驱动的知识文章

  1. 单击应用程序选择器 ，然后选择 Actions。

  2. 在Actions上，单击Observability Dashboard。

  3. 单击 Generative Response 标签可查看详细统计信息。

  4. 向下滚动到按类别分组的数据部分。 单击类别可查看特定查询。

  5. 选择一个查询，然后单击 Info 按钮。

  6. 在右侧的 Response details 面板中，单击 Create Article。 根据成绩单起草 AI 生成的文章。 您可以根据需要编辑文章，然后发布。

    有关编辑和发布文章的完整信息，请参阅知识生成帮助。

  7. 当文章已发布时，创建文章图标将显示为紫色，并带有的复选标记。 这意味着知识文章可用，您可以查看它，即使它是由其他人创建的。

从 Observability Dashboard 导出数据

  1. 单击应用程序选择器 ，然后选择 Actions。

  2. 在Actions上，单击Observability Dashboard。

  3. 单击 Generative Response 标签可查看详细统计信息。

  4. 向下滚动到按类别分组的数据部分。 单击导出 。 您可以根据查询生成器中设置的筛选条件下载所有数据，包括可见和隐藏的数据。

  5. 当您从Observability Dashboard导出数据时，电子表格中的某些字段由数字代码表示。 这些代码对应于特定的标签和反馈类型，如下所示：

    标记

    值
    准确 1
    不准确 2

    完成

    		3
    不完整 4
    相关 5
    不相关 6
    慢 7
    其他 8

    反馈类型

    值
    阳性 1
    阴性 2