Observability Dashboard

Observability Dashboardを使用すると、Copilot、Autopilot Knowledge、Autopilotで採用されているAI機能を精査できます。ダッシュボードは、生成応答のパフォーマンスに関する包括的な洞察を提供し、改善すべき領域を特定し、運用を最適化できるようにします。

Copilot

Observability DashboardCopilotに関する情報は、生成応答、Copilot for Agentsクエリ、およびAutoSummaryの情報を提供します。

アプリセレクターをクリックして、Actionsを選択します。
Actionsで、[オブザーバビリティダッシュボード]をクリックします。

デフォルトでは、Copilotダッシュボードが表示されます。これには、次の 3 つのグラフが含まれています。
必要に応じて、ダッシュボードの日付範囲を更新し、チャネルでインタラクションタイプを選択します。音声インタラクション、チャットインタラクション、またはすべての詳細を表示することを選択します。
クエリーを実行をクリックします。 3つのグラフが更新され、希望の日付とチャネルが反映されます。

生成型応答に関するデータの表示

生成応答は、通話中に自動的に生成される応答です。

生成型応答ラベルをクリックして、統計にドリルダウンします。次の 3 つのグラフが表示されます。
- 時間推移:使用、変更、無視、または回答に至らなかった回答の割合を時系列で表示します。
- カテゴリー別:カテゴリ別に詳細を表示します。
- インタラクションあたりの平均Kb:1日あたりのナレッジベースインタラクションの平均数を示します。
グラフに表示されるデータをカスタマイズできます。
- 時間推移グラフとカテゴリーグラフでは、凡例をクリックすることで、さまざまな回答ステータスの表示を切り替えることができます。
- 時間推移グラフとカテゴリグラフで、絶対数またはパーセンテージ toをクリックして、パーセンテージと絶対数を切り替えます。
- 3つのグラフすべてで最大化をクリックして、データを表形式で表示します。
下にスクロールして、カテゴリー別にグループ化されたデータを確認します。カテゴリービューは、知識ベースの回答をさまざまなカテゴリーに整理し、構造化された分析アプローチを提供します。各カテゴリは以下を示します：
- 知識ベースの回答の合計数
- 平均順守スコア
- 提供されたリンクと画像の平均数
- 平均知識スコア（知識ベースによって割り当てられたスコア）
カテゴリをクリックすると、次のような特定のクエリとその詳細が表示されます。
- 知識ベースに送信されたクエリ
- 知識ベースの回答の推奨事項
- エージェントの実際の応答
- 提供されたリンクと画像の数
- クエリーに対するフィードバック
- 遵守スコア（提案された応答と実際の応答の類似度）
- インタラクションの開始からのオフセット
クエリごとに、次のことができます。
- インタラクションを再生するをクリックしてインタラクションの音声を聞きます(利用可能な場合)。
- クエリの横にある情報ボタンをクリックします。インタラクションのクエリフィードバックを表示できます。右側の応答の詳細パネルでは、AIが生成した応答が肯定的否定的なフィードバックを受け取ったかどうかを、提供されたコメントやタグとともに確認できます。
このデータの表示方法を切り替えることができます。デフォルトのビューはカテゴリ別です。グループ化をクリックして、グループ化をカテゴリから次のいずれかに変更します。
- マスターコンタクト
- チーム
- スキル
- エージェントID
新しいグループ化に基づいてデータが再表示されます。

エージェントのクエリーに関するデータの表示

エージェントクエリには、エージェントの質問に基づいてオンデマンドで生成されたナレッジベースの回答に関する情報が表示されます。直接クエリの状態と遵守スコアを示すグラフを提供します。

グラフの見出しエージェントクエリをクリックして、統計をドリルダウンします。最初のグラフは、時間推移における回答と無回答の割合を示しています。 2つ目のグラフは、カテゴリーの詳細を示しています。
凡例をクリックすると、さまざまな回答ステータスの表示を切り替えることができます。
絶対数またはパーセンテージをクリックして、パーセンテージと絶対数を切り替えます。
最大化をクリックするとグラフが全画面で表示されます。
下にスクロールすると、カテゴリー別に分類されたデータを確認できます。カテゴリービューは、知識ベースの回答をさまざまなカテゴリーに整理し、構造化された分析アプローチを提供します。各カテゴリーについて次の情報が表示されます。
- 総レスポンスの数
- 無応答の数と平均
- 提供されたリンクとイメージの平均数
- 平均ナレッジスコア(知識ベースによって割り当てられたスコア)
カテゴリーをクリックすると、具体的なクエリーと次のような詳細が表示されます：
- エージェントのクエリが知識ベースに送信されました
- エージェントのクエリへの応答
- 提供されたリンクとイメージの数
- 応答の日時
- 平均知識スコア

AutoSummaryクエリに関するデータの表示

AutoSummaryは、パフォーマンスの概要を包括的に表示します。インテントとスキル別にグループ化されたデータで、パフォーマンスの推移を時系列で追跡するグラフを確認できます。詳細なテーブルには、実際のサマリーと並んで推奨されるサマリーが表示され、精度を図るための遵守スコアも付いています。より包括的な詳細については、特定のインタラクションを再生して、実際の会話でサマリがどのように生成され、使用されているかの全体像を把握することができます。

グラフの見出しAutoSummaryをクリックして、統計をドリルダウンします。
- 最初のグラフは、時間の経過と共に使用された要約の割合を示しています。要約は、現状のまま、改訂済み、軽微な修正あり、無視のいずれかの方法で使用されていると識別されます。
- 2番目のグラフには、インテント別の詳細が表示されます。
- 3番目のグラフには、スキル別の詳細が表示されます。
- 4番目のグラフには、チーム別の詳細が表示されます。
凡例をクリックすると、さまざまな回答ステータスの表示を切り替えることができます。
絶対数またはパーセンテージをクリックして、パーセンテージと絶対数を切り替えます。
最大化をクリックするとグラフが全画面で表示されます。
下にスクロールすると、カテゴリー別に分類されたデータを確認できます。カテゴリービューは、知識ベースの回答をさまざまなカテゴリーに整理し、構造化された分析アプローチを提供します。各カテゴリーについて次の情報が表示されます。
- 総レスポンスの数
- 無応答の数と平均
- 提供されたリンクとイメージの平均数
- 平均ナレッジスコア(知識ベースによって割り当てられたスコア)
カテゴリーをクリックすると、具体的なクエリーと次のような詳細が表示されます：
ナレッジベースに送信されるエージェントクエリ
- エージェントのクエリへの応答
- 全体のフィードバック
- 提供されたリンクとイメージの数
- 応答の日時
- 平均知識スコア
クエリの横にある情報ボタンをクリックします。インタラクションの全体的なフィードバックを表示できます。右側の応答の詳細パネルでは、インタラクションが肯定的否定的なフィードバックを受け取ったかどうかを、提供されたコメントやタグとともに確認できます。

Autopilot Knowledge

Observability DashboardAutopilot Knowledgeには、自動化されたシステムが顧客の質問をどの程度うまく処理しているかに関するデータが表示されます。パフォーマンスの推移を時系列で表示するグラフが表示されます。これにより、毎日、毎週、または毎月の変更を追跡できます。

アプリセレクターをクリックして、Actionsを選択します。
Actionsで、[Observability Dashboard] をクリックします。
Autopilot Knowledgeタブをクリックします。ダッシュボードに必要な日付範囲を設定し、クエリーを実行をクリックします。次の 3 つのグラフが表示されます。

全体的な効果に関するデータの表示

このグラフには、Autopilot Knowledgeチャットボットのパフォーマンスとステータスの概要が表示されます。

全体的な効果グラフの見出しをクリックして、統計をドリルダウンします。次の 4 つのグラフが表示されます。
- エンゲージ:チャットボットとエンゲージした訪問者の数を表示し、エンゲージメントの経時的な傾向を理解するのに役立ちます。
- 包含:ライブエージェントへのエスカレーションを必要とせずに会話を完了したチャットボットユーザーの割合と数を表示します。このメトリックを使用すると、チャットボットがクエリを個別に解決する効果を評価できます。
- 昇格:会話をライブエージェントにエスカレーションしたチャットボットユーザーの割合と数を表示し、人間の介入が必要なケースを強調表示します。このメトリックを使用すると、チャットボットが会話を人間のエージェントに引き継ぐ頻度を監視できます。
- 放棄:進行中の会話を放棄したチャットボットユーザーの割合と数を表示します。この指標により、離脱ポイントを特定し、ユーザーエンゲージメントを向上させることができます。
グラフに表示されるデータをカスタマイズできます。
- 絶対数またはパーセンテージをクリックして、パーセンテージと絶対数を切り替えます。
- グラフを全画面で表示するには、最大化をクリックします。

GenAIパフォーマンスに関するデータの表示

このグラフは、生成AIエンジンによって効果的に対処されたユーザークエリの割合を表示します。

GenAIパフォーマンスラベルをクリックして、統計にドリルダウンします。次の 3 つのグラフが表示されます。
- 推移:チャットボットの応答の割合を時系列で表示します。
- カテゴリー別:カテゴリ別のチャットボットの応答の割合を表示します。
- 生成モデルへのクエリ:生成エンジンによって処理されたチャットボットクエリの総数と割合を表示します。このメトリックは、ユーザーインタラクションの処理に生成エンジンがどのくらいの頻度で利用されているかについての洞察を提供します。
グラフに表示されるデータをカスタマイズできます。
- 時間経過グラフとカテゴリグラフで、異なる回答ステータスの表示を切り替えるには、グラフの回答または応答なしの凡例をクリックします。
- 絶対数またはパーセンテージをクリックして、パーセンテージと絶対数を切り替えます。
- 最大化をクリックすると、グラフが全画面表示されます。
下にスクロールして、カテゴリー別にグループ化されたデータを確認します。カテゴリービューは、知識ベースの回答をさまざまなカテゴリーに整理し、構造化された分析アプローチを提供します。各カテゴリは以下を示します：
- 回答総量
- 無回答の総数
- 提供されたリンクと画像の平均数
- 平均知識スコア（知識ベースによって割り当てられたスコア）
カテゴリをクリックすると、次のような特定のクエリとその詳細が表示されます。
- インタラクションの連絡先番号
- チャットボットとの対話を開始したクエリ
- ユーザーの入力、意図、およびコンテキストに基づくチャットボットの返信。
- 提供されたリンクと画像の数
- 回答の日時
- 平均知識スコア。
このデータの表示方法を切り替えることができます。デフォルトのビューはカテゴリ別です。グループ化基準をクリックして、グループ化をカテゴリーからコンタクト番号に変更します。新しいグループ化に基づいてデータが再表示されます。

ボットのパフォーマンスに関するデータの表示

このグラフは、チャットボットのインテントの分布を表示し、最も一般的なユーザーリクエストの上位6つとフォールバックの発生を強調表示します。これは、ユーザーが何を尋ね、チャットボットがどのように応答するかを理解するのに役立ちます。

ボットのパフォーマンスラベルをクリックして、統計にドリルダウンします。 2つのグラフが表示されます。
- すべてのボットインテント:最も一般的なユーザーリクエストとフォールバックケースを表示し、チャットボットの応答方法を改善するのに役立ちます。
- 放棄インジケーター:ユーザーが会話を放棄する前に、どのチャットボットのインテントが最も一般的だったかを表示します。離脱ポイントを特定し、ユーザーのリテンションを向上させるのに役立ちます。
グラフに表示されるデータをカスタマイズできます。
- 絶対数またはパーセンテージをクリックして、パーセンテージと絶対数を切り替えます。
- 最大化をクリックすると、グラフが全画面表示されます。

Autopilot

Observability DashboardAutopilotは、ナレッジベースが顧客の質問にどれだけうまく対応できるかを示します。このダッシュボードを使用して、ナレッジベースに記事を追加したり、記事をカスタマイズして顧客の質問に的確に回答したりできる領域を探します。

アプリセレクターをクリックして、Actionsを選択します。
Actionsで、[Observability Dashboard] をクリックします。
Autopilotタブをクリックします。 GenAIパフォーマンスグラフが表示されます。
ダッシュボードに必要な日付範囲を設定し、クエリーを実行をクリックします。

GenAIパフォーマンスに関するデータの表示

このグラフは、AIエンジンから関連性のある完全な回答を受け取ったユーザーの質問の数を示しています。

GenAIパフォーマンスラベルをクリックすると、指定した期間に寄せられた質問と提供された記事の詳細が表示されます。

2つのグラフが表示されます。
- Over Time graph:一定期間における成功した応答と無応答の数を表示します。応答は、ユーザーに記事が表示されたことを示します。応答がない場合は、一致する記事が見つからなかったことを示します。
- カテゴリー別グラフ:カテゴリ別の成功した応答と無応答の数を表示します。
グラフ内のデータの外観をカスタマイズできます。
- パーセンテージと絶対数を切り替えるには、絶対数またはパーセンテージをクリックします。
- グラフを全画面で表示するには、最大化をクリックします。
- 異なる回答ステータスの表示を切り替えるには、グラフの回答または応答なしの凡例をクリックします。
グラフの下を下にスクロールすると、クエリの詳細を示すテーブルが表示されます。クエリはカテゴリ別にグループ化されます。
カテゴリをクリックすると、特定のクエリと提供された応答が表示されます。これを使用して、ナレッジベースで記事が不足している可能性のある領域を特定します。

AIを活用したナレッジ記事の生成

アプリセレクターをクリックして、Actionsを選択します。
Actionsで、[Observability Dashboard] をクリックします。
生成応答ラベルをクリックして、詳細な統計を表示します。
カテゴリ別にグループ化されたデータセクションまで下にスクロールします。カテゴリをクリックすると、特定のクエリが表示されます。
クエリを選択し、[Info ボタンをクリックします。
右側の応答の詳細パネルで、記事の作成をクリックします。 AIが生成した記事は、トランスクリプトに基づいて作成されます。必要に応じて記事を編集し、公開できます。

記事の編集と公開の詳細については、ナレッジ生成のヘルプを参照してください。
記事がすでに公開されている場合は、記事の作成アイコンが紫色にチェックマーク付きで表示されます。これは、サポート情報記事が利用可能であり、他のユーザーが作成した場合でも閲覧できることを意味します。

Observability Dashboardからのデータエクスポート

アプリセレクターをクリックして、Actionsを選択します。
Actionsで、[Observability Dashboard] をクリックします。
生成応答ラベルをクリックして、詳細な統計を表示します。
カテゴリ別にグループ化されたデータセクションまで下にスクロールします。エクスポートをクリックします。クエリビルダーで設定されたフィルターに基づいて、表示と非表示の両方のすべてのデータをダウンロードできます。

Observability Dashboardからデータをエクスポートすると、スプレッドシートの一部のフィールドが数値コードで表されます。これらのコードは、次に示すように、特定のタグとフィードバックの種類に対応しています。

タグ	値
正確	1
不正確	2
完了	3
未完了	4
関連性あり	5
無関係	6
遅い	7
その他	8

フィードバックの種類	値
ポジティブ	1
ネガティブ	2