Observability Dashboard

Observability Dashboard允許您仔細檢查Copilot、Autopilot Knowledge和Autopilot所採用的 AI 功能。 儀錶板提供了對生成回應性能的全面洞察，使您能夠確定需要改進的領域並優化運營。

Copilot

Observability DashboardCopilot提供有關生成回應、Copilot for Agents查詢和AutoSummary的資訊。

  1. 點擊應用程式選擇器並選擇Actions。

  2. 在Actions上，點擊可觀察性控制面板。

    默認情況下，將顯示Copilot儀錶板。 它包含三個圖表：

  3. 如果需要，請更新控制面板的日期範圍，並在通道中選擇互動類型。 選擇查看語音互動、聊天互動或全部的詳細資訊。

  4. 點擊執行查詢。 這三個圖表將更新以反映您想要的日期和頻道。

檢視資料 關於產生回應

生成回應是在通話過程中自動生成的應答。

  1. 點擊 產生回應 標籤可向下鑽取統計資訊。 出現三個圖形：

    • 依據期間：顯示一段時間內被使用、修改、忽略或導致沒有答案的答案的百分比。

    • 依據類別：按類別顯示詳細資訊。

    • 每次互動的平均 Kb ：顯示每天平均知識庫互動次數。

  2. 您可以自訂圖表中顯示的資料：

    • 在依據期間和類別圖中，您可以通過單擊圖例來切換不同答案狀態的顯示。

    • 在依據期間和類別圖表中，點擊絕對數位 或百分比 在百分比和絕對數位之間切換。

    • 在所有三個圖表中，按兩下最大化以表格格式查看資料。

  3. 向下捲動以查看按類別分組的資料。 類別試圖可將知識庫答案組織為不同類別，提供結構化的分析方法。 每個類別都有：

    • 知識庫答案總數

    • 平均依從性分數

    • 平均提供的連結和圖像數量

    • 平均知識分數（知識庫指派的分數）

  4. 點擊一個類別，可以顯示特定的查詢及其詳細資訊，例如：

    • 傳送到知識庫的查詢

    • 建議的知識庫答案

    • 客服專員的實際回應

    • 提供的連結和圖像數量

    • 查詢回饋

    • 依從性分數（建議和實際回應之間的相似性）

    • 從互動開始偏移

    對於每個查詢，您可以：

    • 點擊播放互動 收聽互動的音訊（如果可用）。

    • 點擊查詢旁邊的資訊 按鈕。 您可以檢視互動的查詢回饋。 在右側的回應詳細資訊面板中，您可以查看 AI 產生的回應是收到了正面還是負面反饋，以及提供的任何評論和標記。

  5. 您可以切換檢視此資料的方式。 默認檢視是按類別。 單擊分組依據將分組從類別更改為以下分組之一：

    • 主聯絡

    • 團隊

    • 技能

    • 客服專員 ID

    數據將根據新的分組重新顯示。

檢視資料 關於客服專員查詢

客服專員查詢顯示有關根據客服專員問題按需生成的知識庫答案的資訊。 它提供了顯示直接查詢狀態和依從性分數的圖表。

  1. 點擊圖表標題 客服專員 查詢 以向下鑽取統計資訊。 第一個圖顯示了特定時段回應和無回應的百分比。 第二個圖表顯示隨類別變化的詳細資訊。

  2. 您可以通過單擊圖例來切換不同答案狀態的顯示。

  3. 點擊絕對數字 或百分比 可以在百分比和絕對數字之間切換。

  4. 點擊最大化 到全屏查看圖表。

  5. 向下捲動以查看依類別分類的資料。 類別試圖可將知識庫答案組織為不同類別，提供結構化的分析方法。 每個類別都會顯示：

    • 回應總數

    • 無回應的數量和平均值

    • 所提供連結與圖像的平均數量

    • 平均知識分數（由知識庫指定的分數）

  6. 點擊類別可顯示特定查詢及其詳細資訊，例如：

    • 客服專員查詢傳送到知識庫

    • 對客服專員查詢的回應

    • 提供的連結和圖像數量

    • 回應的日期和時間

    • 平均知識分數

查看有關AutoSummary查詢的數據

AutoSummary提供了摘要績效的全面視圖。 您可以看到隨時間追踪績效的圖表，以及按意圖和技能分組的資料。 詳細的表格顯示了建議的摘要和實際摘要，並附有對測量準確度的依從性分數。 有關更全面的詳細資訊，您可以重播特定的交互，這將使您全面瞭解如何在實際對話中生成和使用摘要。

  1. 點擊圖表標題AutoSummary，深入了解統計資料。

    • 第一個圖表顯示了一段時間內使用的摘要的百分比。 摘要被標識為以下列方式之一使用：按原樣、已修訂、次要修訂和忽略。

    • 第二個圖顯示詳細資訊依據意圖。

    • 第三個圖顯示了依據技能的詳細資訊。

    • 第四張圖顯示了依據團隊的詳細資訊。

    您可以通過單擊圖例來切換不同答案狀態的顯示。

  2. 點擊絕對數字 或百分比 可以在百分比和絕對數字之間切換。

  3. 點擊最大化 到全屏查看圖表。

  4. 向下捲動以查看依類別分類的資料。 類別試圖可將知識庫答案組織為不同類別，提供結構化的分析方法。 每個類別都會顯示：

    • 回應總數

    • 無回應的數量和平均值

    • 所提供連結與圖像的平均數量

    • 平均知識分數（由知識庫指定的分數）

  5. 點擊類別可顯示特定查詢及其詳細資訊，例如：

    • 發送到知識庫的客服專員查詢

    • 對客服專員查詢的回應

    • 整體回饋

    • 提供的連結和圖像數量

    • 回應的日期和時間

    • 平均知識分數

  6. 點擊查詢旁邊的資訊 按鈕。 您可以檢視互動的整體回饋。 在右側的回應詳細資訊面板中，您可以查看互動是收到了正面還是負面反饋，以及提供的任何評論和標記。

作為客戶體驗領導者，Mark 希望利用Observability Dashboard來識別知識庫中的知識差距。 他注意到許多知識庫建議被修改或忽略。 Mark 點擊知識庫答案以按類別查看資料。 他將重點放在平均依從性分數較低的類別上，這表示建議與實際回應之間的不一致。 透過擴展低分數類別（例如「帳單與付款」），Mark 可以看到有關付款計劃和退款原則的查詢依從性偏低，這表示在這些領域存在知識缺口。

通過Observability Dashboard，Mark 可以查明需要增強知識庫的主題。 然後，他可以與知識庫團隊合作解決這些差距，提高建議的品質，從而更好地與客戶互動。

Autopilot Knowledge

Observability DashboardAutopilot Knowledge顯示有關自動化系統處理客戶問題的能力的數據。 您會看到一個顯示一段時間內表現趨勢的圖表。 可讓您每日、每週或每月追踪變更。

  1. 點擊應用程式選擇器並選擇Actions。

  2. 在Actions，點擊Observability Dashboard。

  3. 點擊 Autopilot Knowledge 標籤。 為儀錶板設置所需的日期範圍，然後按兩下執行查詢。 它顯示三個圖表：

檢視資料 關於整體有效性

此圖顯示了聊天機器人性能和狀態的高級摘要Autopilot Knowledge。

  1. 點擊 整體有效性 圖表標題以向下鑽取統計資訊。 出現四個圖表：

    • 參與度：顯示與聊天機器人互動的訪客數量，説明您了解一段時間內的參與趨勢。

    • 包含：顯示無需上報至真人客服專員即可完成對話的聊天機器人使用者的百分比和計數。 通過此指標，您可以評估聊天機器人獨立解決查詢的效率。

    • 提升：顯示將對話升級到即時客服專員的聊天機器人使用者的百分比和數量，突出顯示需要人工干預的案例。 使用此指標，您可以監控聊天機器人將對話移交給人工代理的頻率。

    • 已放棄：顯示放棄正在進行的對話的聊天機器人使用者的百分比和數量。 使用此指標，您可以確定下降點並提高用戶參與度。

  2. 您可以自訂圖表中顯示的資料：

    • 點擊絕對數字 或百分比 在百分比和絕對數字之間切換。

    • 點擊最大限度 以全螢幕檢視圖表。

檢視有關GenAI效能的資料

此圖顯示了生成 AI 引擎有效處理的用戶查詢的百分比。

  1. 點擊GenAI績效標籤可深入了解統計資訊。 出現三個圖形：

    • 隨時間變化：顯示聊天機器人回應隨時間變化的百分比。

    • 依據類別：顯示聊天機器人回應在類別中的百分比。

    • 查詢生成模型：顯示生成引擎處理的聊天機器人查詢的總數和百分比。 此指標提供了有關生成引擎在處理使用者交互中的使用頻率的見解。

  2. 您可以自訂圖表中顯示的資料：

    • 在「隨時間變化」和「類別」圖表中，要切換不同答案狀態的顯示，請按兩下圖表中的回應或無回應圖例。

    • 點擊絕對數字 或百分比 在百分比和絕對數字之間切換。

    • 按兩下最大化以全屏查看圖形。

  3. 向下捲動以查看按類別分組的資料。 類別試圖可將知識庫答案組織為不同類別，提供結構化的分析方法。 每個類別都有：

    • 回應總數

    • 無回應總數

    • 平均提供的連結和圖像數量

    • 平均知識分數（知識庫指派的分數）

  4. 點擊一個類別，可以顯示特定的查詢及其詳細資訊，例如：

    • 互動的聯絡電話

    • 啟動聊天機器人互動的查詢

    • 聊天機器人基於使用者輸入、意圖和上下文的回覆。

    • 提供的連結和圖像數量

    • 回覆的日期與時間

    • 平均知識分數。

  5. 您可以切換檢視此資料的方式。 默認檢視是按類別。 單擊分組依據將分組從類別更改為聯繫電話。 數據將根據新的分組重新顯示。

檢視資料 關於機器人績效

此圖顯示了聊天機器人意圖的分佈，突出顯示了前六個最常見的使用者請求以及回退事件。 它可以説明您了解使用者的要求以及聊天機器人的回應方式。

  1. 點擊 機器人績效 標籤可向下鑽取統計資訊。 將出現兩個圖表：

    • 所有機器人意圖：顯示最常見的使用者請求和回退案例，説明您改進聊天機器人的回應方式。

    • 放棄指示器：顯示使用者放棄對話之前聊天機器人的意圖最常見。 它可以幫助您確定下降點並提高使用者保留率。

  2. 您可以自訂圖表中顯示的資料：

    • 點擊絕對數字 或百分比 在百分比和絕對數字之間切換。

    • 按兩下最大化以全屏查看圖形。

Autopilot

Observability DashboardAutopilot顯示了您的知識庫處理客戶問題的能力。 使用此儀錶板查找可在其中向知識庫添加更多文章或自定義文章以更好地回答客戶問題的區域。

  1. 點擊應用程式選擇器並選擇Actions。

  2. 在Actions，點擊Observability Dashboard。

  3. 點擊 Autopilot 標籤。 它顯示GenAI性能圖表。

  4. 為儀錶板設置所需的日期範圍，然後按兩下執行查詢。

檢視有關GenAI效能的資料

此圖顯示了從 AI 引擎收到相關且完整答案的用戶問題數量。

  1. 點擊GenAI績效標籤，查看有關在指定時間段內提出的問題和提供的文章的詳細資訊。

    將出現兩個圖表：

    • 隨時間變化 圖表：顯示一段時間內成功回應和無回應的次數。 回應指示向使用者顯示了一篇文章。 無回應表示未找到匹配的文章。

    • 依據類別 圖表：按類別顯示成功回應和無回應的數量。

    您可以自訂圖表中資料的外觀：

    • 要在百分比和絕對數字之間切換，請按兩下絕對數位 或百分比 。

    • 要全屏查看圖表，請按兩下最大化 。

    • 要切換不同答案狀態的顯示，請點擊圖表中的回應或 無回應 圖例。

  2. 向下捲動圖表下方以查看提供有關查詢的表格。 查詢按類別分組。

  3. 點擊類別會顯示特定查詢和提供的回應。 使用它來確定知識庫中可能缺少文章的區域。

產生 AI 驅動的知識文章

  1. 點擊應用程式選擇器並選擇Actions。

  2. 在Actions，點擊Observability Dashboard。

  3. 點擊生成回應標籤以查看詳細的統計資訊。

  4. 捲動到按類別分組的數據部分。 點擊類別可檢視特定查詢。

  5. 選擇一個查詢，然後按兩下資訊 按鈕。

  6. 在右側的回應詳細資訊面板中，點擊創建文章。 人工智慧生成的文章是根據成績單起草的。 您可以根據需要編輯文章，然後發佈它。

    有關編輯和發佈文章的完整資訊，請參閱知識生成説明。

  7. 當文章已經發佈時，創建文章圖示將顯示為紫色，並帶有一個複選標記。 這意味著知識文章可用，您可以查看它，即使它是由其他人創建的。

從Observability Dashboard匯出資料

  1. 點擊應用程式選擇器並選擇Actions。

  2. 在Actions，點擊Observability Dashboard。

  3. 點擊生成回應標籤以查看詳細的統計資訊。

  4. 捲動到按類別分組的數據部分。 點擊匯出。 您可以根據查詢產生器中設定的篩選器下載所有資料（包括可見和隱藏）。

  5. 從Observability Dashboard匯出資料時，電子表格中的某些欄位由數位代碼表示。 這些代碼對應於特定的標記和反饋類型，如下所示：

    標記

    值
    準 1
    不準確 2

    完成

    		3
    殘 4
    相關 5
    無關緊要 6
    慢 7
    其他 8

    回饋類型

    值
    正面 1
    負面 2