Observability Dashboard

Observability Dashboard允许您仔细检查Copilot、Autopilot Knowledge和Autopilot所采用的 AI 功能。 该仪表板提供了对生成式响应性能的全面洞察，使您能够确定需要改进的领域并优化您的作。

Copilot

Observability DashboardCopilot提供有关生成式响应、Copilot for Agents Queries和AutoSummary的信息。

1. 单击应用程序选择器 ，然后选择 Actions。

2. 在 Actions 上，单击可观测性仪表板。

   默认情况下，将显示Copilot仪表板。 它包含三个图表：

   • Mpower 坐席绩效指标

   • 生成式应答

   • 坐席查询

   • AutoSummary

3. 如果需要，请更新仪表板的日期范围，然后在渠道中选择交互类型。 选择查看语音交互、聊天交互或全部的详细信息。

4. 单击运行查询。 这三个图表将更新以反映所需的日期和渠道。

Mpower 坐席绩效指标

Mpower 代理绩效指标提供了如何在不同阶段建议、执行和评估代理作的全面视图。 这些图表有助于可视化任务绩效 - 显示作如何成功或失败，突出显示一段时间内的趋势，并揭示不同任务需要多长时间才能完成。

1. 单击Mpower 代理绩效指标标签以向下钻取到统计信息。 此时将显示四个图形：

   • Mpower 代理绩效 Metrics：此图表显示座席绩效指标如何经历不同阶段：

     • 可用：符合或准备评估或考虑性能指标的作总数。

     • 建议：根据性能标准建议用于特定评估或干预的可用作的子集。

     • 不建议：不建议执行的可用作的子集，可能是由于符合性能标准或不符合标准。

     • 拒绝：从建议作来看，这些作是在进一步审查或决策后未批准或拒绝执行的作。

     • 已执行：从建议作中，这些是成功执行的建议作。

     • 成功：满足所有必需标准并对运营目标做出积极贡献的已执行行动的子集。

     • 失败：在评估过程中被拒绝且不符合最终执行标准的建议子集。

   • 总操作：此图清晰地细分了座席操作在各个阶段的进展情况。 该图显示所有代理的作聚合计数。 圆形图的中心显示可用作总数，指示可用于评估的作总数。 周围的部分将此总数分解为多个类别，例如建议、已拒绝、执行、成功、失败等。

     此视图可帮助您了解作的总体量以及它们如何在不同的性能阶段中分布。

   • Task Assist Performance Metrics：此图提供了随时间推移和按作类型建议、执行和拒绝作的全面视图。

   • 平均 执行时间：此图显示不同作完成所需的时间。 它可以帮助您比较每个作（如故障排除、计划或数据输入）的执行时间，以便您可以了解哪些作速度很快，哪些作需要更长的时间。

     • 每个作都有一个箱线图，显示完成所需的范围和平均时间。

     • 执行时间较短或更一致的作具有较窄的框。

     • 具有更多变化或异常值的作在范围之外具有更宽的框或点。

2. 如果需要，请更新仪表板的日期范围，在渠道中选择交互类型，然后在Copilot中选择配置或角色Copilot配置文件。 单击运行查询。 这三个图表将更新，以反映您想要的日期、渠道和Copilot配置文件。

3. 您可以自定义图表中显示的数据：

   • 在随时间推移和按作图表中，您可以通过单击图例来切换代理任务的建议、执行和拒绝方式的显示。

   • 在“随时间推移”和“按作”图表中，单击绝对数字或百分比在百分比和绝对数字之间切换。

   • 在所有图表中，单击最大化以表格格式查看数据。

4. 向下滚动以查看按作名称分组的性能数据，允许用户分析特定任务的处理方式。 对于每个作，该表显示：

   • 建议总数：向座席推荐作的次数。

   • 总执行次数：代理实际执行作的次数。

   • 平均 Execution：平均执行率，通常以绿色突出显示以表示高性能。

   • 总成功：该作导致成功结果的次数。

   • 平均 成功：平均成功率，带有蓝色或红色等颜色突出显示，以指示性能级别。

5. 单击作名称会显示特定查询及其详细信息，例如：

   • 链接到所选作的各个交互的列表。

   • 关键详细信息，例如交互 ID、查询文本、代理名称、技能集、团队名称、机器人名称和意图状态。

   • 带时间戳的机器人答案，以更深入地了解作的执行方式。

   • 执行时间、成功次数和成功率等绩效指标，帮助用户评估每个作的有效性。

   • 对于每个查询，您可以：

     • 单击播放交互以收听交互的音频（如果可用）。

     • 单击交互旁边的信息按钮。 您可以查看交互的查询反馈。

6. 您可以切换查看此数据的方式。 默认视图是按作名称。 单击分组依据将分组从操作名称更改为交互 ID或按下拉菜单中列出的任何其他选项更改。 数据将根据新的分组重新出现。

7. 若要根据查询生成器中设置的筛选器下载所有可见和隐藏数据，请参阅导出部分。

查看有关生成式应答的数据

生成式响应是在呼叫过程中自动生成的答案。

1. 单击 生成式应答 标签以向下钻取统计信息。 将显示三个图形：

   • 随时间变化：显示一段时间内使用、修改、忽略或导致没有答案的答案的百分比。

   • 按类别：按类别显示详细信息。

   • 每次交互的平均 Kb ：显示每天知识库交互的平均次数。

2. 您可以自定义图表中显示的数据：

   • 在“随时间变化”和“类别”图表中，您可以通过单击图例来切换不同答案状态的显示。

   • 在随时间变化和类别图表中，单击绝对数字 或百分比 到在百分比和绝对数字之间切换。

   • 在所有三个图形中，单击 Maximize以表格格式查看数据。

3. 向下滚动以查看按类别分组的数据。 “类别视图”将知识库答案组织成不同的类别，从而提供结构化的分析方法。 每个类别均呈现：

   • 坐席姓名

   • 团队

   • 技能

   • 知识库答案总量

   • 平均遵守度分数

   • 提供的链接和图像的平均数量

   • 平均知识分数（知识库分数）

4. 单击一个类别会显示特定查询及其详细信息，例如：

   • 发送到知识库的查询

   • 建议的知识库答案

   • 坐席的实际响应

   • 提供的链接和图像的数量

   • 查询反馈

   • 遵守度分数（建议响应与实际响应之间的相似度）

   • 距交互开始的偏移量

   对于每个查询，您可以：

   • 单击播放交互 收听交互的音频（如果可用）。

   • 单击查询旁边的 Info 按钮。 您可以查看交互的查询反馈。 在右侧的 Response details （响应详细信息） 面板中，您可以查看 AI 生成的响应是收到正面还是负面反馈，以及提供的任何评论和标签。

5. 您可以切换查看此数据的方式。 默认视图是按类别。 单击分组依据将分组从类别更改为以下分组之一：

   • 主要联系

   • 团队

   • 技能

   • 坐席姓名

   数据将根据新的分组重新出现。

查看有关坐席查询的数据

坐席查詢显示有关根据坐席问题按需生成的知识库答案的信息。 它提供显示直接查询状态和遵守度分数的图表。

1. 单击图表标题 坐席 查詢，向下钻取到统计数据。 第一个图表显示随时间变化的响应和无响应百分比。 第二个图表显示类别的详细信息。

2. 您可以通过单击图例来切换不同答案状态的显示。

3. 单击绝对数字 或百分比 ，在百分比和绝对数字之间切换。

4. 单击最大化 全屏查看图表。

5. 向下滚动可查看按类别分组的数据。 “类别视图”将知识库答案组织成不同的类别，从而提供结构化的分析方法。 每个类别均呈现：

   • 总计响应数量

   • 无响应的数量和平均值

   • 提供的链接和图像的平均数量

   • 平均知识分数（知识库分配的分数）

6. 单击类别会显示特定查询及其详细信息，例如：

   • 发送到知识库的坐席查询

   • 对坐席查询的响应

   • 提供的链接和图像数量

   • 响应的日期和时间

   • 平均知识得分

查看有关AutoSummary查詢的数据

AutoSummary提供了汇总性能的全面视图。 您可以查看跟踪绩效随时间变化的图表，其中数据按意图和技能分组。 详细的表格显示建议的摘要和实际摘要，以及衡量准确性的遵守度分数。 要获得更全面的详细信息，您可以回放特定的交互，这将使您全面了解摘要是如何在真实对话中生成和使用起来的。

Observability Dashboard中支持CXoneACD和CXone非ACD客户端的自动生成摘要。 交互结束后，摘要数据最多可能需要 15 分钟才能显示在仪表板中。 此延迟可确保摘要在显示之前得到充分处理和记录。

1. 点击图表标题AutoSummary，深入查看统计信息。

   • 第一张图显示了一段时间内使用的摘要的百分比。 摘要被标识为按以下方式之一使用：按原样、已修订、细微修订和忽略。

   • 第二个图形按意图显示详细信息。

   • 第三个图表按技能显示详细信息。

   • 第四张图按团队显示详细信息。

   您可以通过单击图例来切换不同答案状态的显示。

2. 单击绝对数字 或百分比 ，在百分比和绝对数字之间切换。

3. 单击最大化 全屏查看图表。

4. 向下滚动可查看按类别分组的数据。 “类别视图”将知识库答案组织成不同的类别，从而提供结构化的分析方法。 每个类别均呈现：

   • 坐席姓名

   • 总计响应数量

   • 无响应的数量和平均值

   • 提供的链接和图像的平均数量

   • 平均知识分数（知识库分配的分数）

5. 单击类别会显示特定查询及其详细信息，例如：

   • 发送到知识库的坐席查询

   • 对坐席查询的响应

   • 总体反馈

   • 提供的链接和图像数量

   • 响应的日期和时间

   • 平均知识得分

   • 依从性分数

6. 在AutoSummary中，依从性分数由法学硕士使用以下方法确定：

   • LLM 比较文本的含义而不是确切的措辞。

   • 如果实际摘要和建议的摘要文本在含义上相同，则得分较高。

   • 如果建议的摘要包含其他详细信息，例如实际摘要中没有的细微修订，则分数为中等

   • 如果建议的摘要和实际的摘要文本具有不同的上下文，则分数较低。

   • 如果没有实际的摘要，例如，用户没有实际保存摘要，则不会给出任何分数，并且将标记为代理未保存摘要。

7. 单击查询旁边的 Info 按钮。 您可以查看交互的总体反馈。 在右侧的 Response details （响应详细信息） 面板中，您可以查看交互收到的是正面还是负面反馈，以及提供的任何评论和标签。

业务影响视图

业务影响视图是Copilot仪表板中的一个动态面板，提供受座席活动影响的关键绩效指标的综合视图。 它提供了对运营趋势的可视化洞察，例如呼叫后工作 （ACW 允许坐席在完成交互后完成工作要求的状态。） 和平均处理时间 （AHT 平均处理时间，即坐席处理一次交互所花费的平均时间。） 座席绩效指标。 通过展开此菜单，您可以分析每月趋势，应用过滤器以关注特定团队、技能或座席，并比较所选类别的绩效平均值。 业务影响视图中的日期范围和筛选器选项独立于Observability Dashboard中的日期范围和筛选器选项。

1. 要打开业务影响菜单，请单击位于 Copilot 仪表板底部的向上箭头。 此作会展开底部面板，显示详细的性能指标，即

   • ACW 允许坐席在完成交互后完成工作要求的状态。图

   • AHT 平均处理时间，即坐席处理一次交互所花费的平均时间。图

2. 在控制面板顶部，更新控制面板日期范围以定义要查看 ACW 和 AHT 数据的时间段。 您可以从预设选项中进行选择例如过去 2 天、过去 7 天、当月或设置自定义范围。 默认情况下，日期范围与仪表板中定义Copilot范围相同。 选择后，图表会自动更新，以显示该范围内每个月的平均 ACW 和 AHT 持续时间。

3. 使用筛选依据选项根据Teams、技能或代理名称缩小数据范围。 每种筛选器类型最多可以选择 5 个值。 例如，选择 5 个团队、5 个技能或 5 个代理名称。 应用过滤器来比较不同群体或个人的表现。

4. 要从 ACW 和 AHT 图表中删除筛选器类别，请单击所选团队、技能或座席名称旁边的 X 图标。 删除后，图形会自动更新，以从可视化中排除该类别。

5. 在仪表板中，指标所有技能平均、所有团队平均和所有代理名称平均 根据您应用的过滤器动态显示。 按技能筛选时，图表将显示所有技能平均值 行，以显示所选技能组的平均 ACW 和 AHT 持续时间。 同样，按Teams或代理名称进行筛选将显示所有 Teams 平均值 或所有代理名称平均 分别。

6. 解释图表：

   • 上升趋势：表示时间增加。 对于 ACW，座席将更多时间花在通话后任务上。 对于 AHT，处理呼叫需要更长的时间。

   • 下降趋势：表示时间减少。 对于 ACW，座席可以更快地完成呼叫后工作。 对于 AHT，呼叫的处理效率更高。

   • 突然的峰值或下降：可能预示着工作负载、流程或工具使用的变化。 应复习这些以了解原因。

查看 ACW 数据

ACW（通话后工作）图表有助于跟踪座席每月在通话后任务上花费的时间，显示所有通话的平均持续时间。 ACW 是指座席在结束客户通话后完成任务所花费的时间，例如写笔记、更新系统或标记交互。 平均 ACW 持续时间的计算方法是将所有呼叫的总 ACW 时间除以所选时间段内处理的呼叫数：

平均 ACW = 所有呼叫的总 ACW 时间 / 呼叫数

通过此图表，您可以比较团队、技能和单个座席之间的绩效，识别工作负载的模式或异常变化，并做出明智的决策。 此外，它还有助于指示特定团队、技能或座席的 ACW 随时间推移是增加还是减少。 例如，上升线可能表明通话后工作量增加，而下降趋势可能表明效率提高或流程发生变化。

ACW 图以折线图的形式呈现，其中 X 轴表示基于所选日期范围的每月间隔时间，Y 轴显示平均 ACW 持续时间，通常以秒或分钟为单位。 图表上的每个数据点都反映了该特定月份的平均 ACW。 该图表包括交互式功能，例如悬停查看精确值、基于应用的筛选器和日期范围的动态更新，以及显示所选筛选器以便于参考的图例。

查看 AHT 数据

AHT（平均处理时间）图表有助于跟踪座席每月处理客户交互所花费的时间，显示所有呼叫的平均持续时间。 AHT 包括整个交互时间，例如通话时间、保持时间和呼叫后工作 （ACW）。 平均 AHT 持续时间的计算方法是将所有呼叫的总处理时间除以所选时间段内处理的呼叫数：

平均 AHT=所有呼叫的总处理时间 / 呼叫数

通过此图表，您可以比较团队、技能和单个座席之间的绩效，识别交互持续时间的模式或异常变化。 AHT 图中的趋势可以帮助确定特定团队、技能或座席的 AHT 随时间的增加或减少。 例如，上升线可能表明由于复杂性或效率低下而导致客户互动时间更长，而下降趋势可能表明流程简化、座席绩效提高或系统支持更好。

AHT 图以折线图的形式呈现，其中 X 轴表示基于所选日期范围的每月间隔时间，Y 轴显示平均 AHT 持续时间，通常以秒或分钟为单位。 图表上的每个数据点都反映了该特定月份的平均 AHT。 该图表包括交互式功能，例如悬停查看精确值、基于应用的筛选器和日期范围的动态更新，以及显示所选筛选器以便于参考的图例。

Autopilot Knowledge

Observability DashboardAutopilot Knowledge显示有关自动化系统处理客户问题的能力的数据。 您将看到一个显示随时间变化的绩效趋势的图表。 这使您可以每天、每周或每月跟踪变化。

1. 单击应用程序选择器 ，然后选择 Actions。

2. 在Actions上，单击Observability Dashboard。

3. 单击 Autopilot Knowledge 选项卡。 为仪表板设置所需的日期范围，然后单击运行查询。 它显示三个图表：

   • 整体有效性

   • GenAI 性能

   • 机器人性能

查看有关整体有效性的数据

此图表显示了 Autopilot Knowledge 聊天机器人的性能和状态的高级摘要。

1. 单击 整体有效性 图形标题以向下钻取统计数据。 此时将显示四个图形：

   • 参与：显示与聊天机器人互动的访客数量，帮助您了解一段时间内的参与趋势。

   • 包含：显示无需升级到人工代理即可完成对话的聊天机器人用户的百分比和计数。 使用此指标，您可以评估聊天机器人独立解决查询的效率。

   • 提升：显示将对话升级到人工代理的聊天机器人用户的百分比和数量，突出显示需要人工干预的案例。 使用此指标，您可以监控聊天机器人将对话移交给人工代理的频率。

   • Abandoned：显示放弃正在进行的对话的聊天机器人用户的百分比和计数。 使用此指标，您可以识别流失点并提高用户参与度。

2. 您可以自定义图表中显示的数据：

   • 单击绝对数字 或百分比 ，在百分比和绝对数字之间切换。

   • 单击最大化 以全屏查看图表。

查看有关GenAI性能的数据

此图表显示了生成式 AI 引擎有效解决的用户查询的百分比。

1. 单击GenAI绩效标签以向下钻取到统计信息。 将显示三个图形：

   • 随时间推移 ：显示聊天机器人响应随时间推移的百分比。

   • 按类别：显示聊天机器人响应在类别中的百分比。

   • 查詢生成模型：显示生成引擎处理的聊天机器人查询的总数和百分比。 该指标提供了对生成引擎在处理用户交互中的使用频率的见解。

2. 您可以自定义图表中显示的数据：

   • 在 Over Time （随时间） 和 Category （类别） 图表中，要切换不同答案状态的显示，请单击图表中的 Response 或 无响应 图例。

   • 单击绝对数字 或百分比 ，在百分比和绝对数字之间切换。

   • 单击 Maximize以全屏查看图表。

3. 向下滚动以查看按类别分组的数据。 “类别视图”将知识库答案组织成不同的类别，从而提供结构化的分析方法。 每个类别均呈现：

   • 响应总量

   • 无响应总数

   • 提供的链接和图像的平均数量

   • 平均知识分数（知识库分数）

4. 单击一个类别会显示特定查询及其详细信息，例如：

   • 互动的联系电话

   • 启动聊天机器人交互的查询

   • 聊天机器人根据用户的输入、意图和上下文进行回复。

   • 提供的链接和图像的数量

   • 响应的日期和时间

   • 平均知识得分。

5. 您可以切换查看此数据的方式。 默认视图是按类别。 单击 分组依据 将分组从 类别 更改为 联系电话。 数据将根据新的分组重新出现。

查看有关机器人性能的数据

此图表显示了聊天机器人意图的分布，突出显示了前 6 个最常见的用户请求以及回退发生次数。 它可以帮助您了解用户询问的内容以及聊天机器人的响应方式。

1. 单击 机器人性能 标签以向下钻取统计信息。 将显示两个图形：

   • 所有 Bot 意图：显示最常见的用户请求和回退案例，帮助您改进聊天机器人的响应方式。

   • 放弃指示器：显示在用户放弃对话之前最常见的聊天机器人意图。 它可以帮助您识别流失点并提高用户留存率。

2. 您可以自定义图表中显示的数据：

   • 单击绝对数字 或百分比 ，在百分比和绝对数字之间切换。

   • 单击 Maximize以全屏查看图表。

Autopilot

Observability DashboardAutopilot显示了您的知识库处理客户问题的能力。 使用此仪表板查找可以向知识库添加更多文章或自定义文章以更好地回答客户问题的区域。

1. 单击应用程序选择器 ，然后选择 Actions。

2. 在Actions上，单击Observability Dashboard。

3. 单击 Autopilot 选项卡。 它将显示 GenAI Performance （性能） 图表。

4. 为仪表板设置所需的日期范围，然后单击运行查询。

查看有关GenAI性能的数据

此图表显示了从 AI 引擎收到相关且完整答案的用户问题数。

1. 单击GenAI绩效标签可查看有关在指定时间段内提出的问题和提供的文章的详细信息。

   将显示两个图形：

   • Over Time graph：显示一段时间内成功响应和无响应的数量。 响应指示向用户显示文章。 无响应表示未找到匹配的文章。

   • 按类别图：按类别显示成功响应和未响应的数量。

   您可以自定义图表中数据的外观：

   • 要在百分比和绝对数字之间切换，请单击绝对数字 或百分比 。

   • 要全屏查看图表，请单击最大化 。

   • 要切换不同答案状态的显示，请单击图表中的响应或 无响应 图例。

2. 在图形下方向下滚动以查看提供有关查询的详细信息的表。 查询按类别分组。

3. 单击类别会显示特定查询和提供的响应。 使用它来确定知识库中可能缺少文章的区域。

生成 AI 驱动的知识文章

1. 单击应用程序选择器 ，然后选择 Actions。

2. 在Actions上，单击Observability Dashboard。

3. 单击 Generative Response 标签可查看详细统计信息。

4. 向下滚动到按类别分组的数据部分。 单击类别可查看特定查询。

5. 选择一个查询，然后单击 Info 按钮。

6. 在右侧的 Response details 面板中，单击 Create Article。 根据成绩单起草 AI 生成的文章。 您可以根据需要编辑文章，然后发布。

   有关编辑和发布文章的完整信息，请参阅知识生成帮助。

7. 当文章已发布时，创建文章图标将显示为紫色，并带有的复选标记。 这意味着知识文章可用，您可以查看它，即使它是由其他人创建的。

从 Observability Dashboard 导出数据

1. 单击应用程序选择器 ，然后选择 Actions。

2. 在Actions上，单击Observability Dashboard。

3. 单击 Generative Response 标签可查看详细统计信息。

4. 向下滚动到按类别分组的数据部分。 单击导出 。 您可以根据查询生成器中设置的筛选条件下载所有数据，包括可见和隐藏的数据。

5. 当您从Observability Dashboard导出数据时，电子表格中的某些字段由数字代码表示。 这些代码对应于特定的标签和反馈类型，如下所示：

   标记	值
   准确	1
   不准确	2
   完成	3
   不完整	4
   相关	5
   不相关	6
   慢	7
   其他	8

   反馈类型	值
   阳性	1
   阴性	2

可观察性 Copilot

可观测性 Copilot 是一款人工智能助手，可帮助您使用自然语言与可观察性仪表盘进行交互。 它使您能够分析系统数据，动态管理类别和意图，并获得可作的见解以提高运营效率。

访问可观测性 Copilot

1. 打开 Observability Dashboard。

2. 选择Sparkle AI 图标以启动可观测性Copilot面板。

在 Observability Copilot 中启动和管理对话

要开始对话：

1. 在Copilot面板中，找到底部的输入字段。

2. 使用自然语言输入您的问题或命令。

   示例： “告诉我去年杂项类别的生成响应统计数据是多少？”

3. 按 Enter 提交查询。

4. Copilot 根据您的查询提供详细的结构化响应。

   

5. 使用向上 （↑） 和向下 （↓） 箭头键浏览 Observability Copilot 中的先前查询。

要编辑并重新提交查询，请执行以下作：

1. 在对话历史记录中找到最新的查询。

2. 单击查询文本。 所选查询在面板底部的输入字段中变为可编辑。

3. 根据需要修改查询。 更新措辞、更正任何拼写错误、更改查询参数以优化结果或更新整个查询。

   例如：

   原始查询：“显示 2023 年计费类别的响应统计信息。

   更新了查询：“向我显示 2023 年第一季度计费类别的响应统计信息。

4. 按 Enter 提交更新的查询。

5. Copilot处理修改后的输入，并根据更新的查询返回新的响应。

管理类别和意图

您可以使用自然语言命令直接在仪表板中添加、删除和重命名类别和意图。 只需键入您的命令并按 Enter 即可应用更改。