Observability Dashboard

Observability Dashboard을 사용하면 Copilot, Autopilot Knowledge, Autopilot에서 사용되는 AI 기능을 자세히 살펴볼 수 있습니다. 대시보드는 생성적 응답의 성과에 대한 포괄적인 통찰력을 제공하여 개선이 필요한 영역을 파악하고 운영을 최적화할 수 있도록 도와줍니다.

Copilot

"Observability Dashboard에 대한 Copilot은 생성 응답, Copilot for Agents 쿼리 및 AutoSummary에 대한 정보를 제공합니다."

  1. 앱 선택기를 클릭하고 Actions을(를) 선택합니다.

  2. Actions에서 옵저버빌리티 대시보드를 클릭합니다.

    기본적으로 Copilot 대시보드가 나타납니다. 여기에는 3개의 차트가 포함되어 있습니다.

  3. 필요한 경우 대시보드의 날짜 범위를 업데이트하고 채널에서 상호작용 유형을 선택하세요. 음성 상호 작용, 채팅 상호 작용 또는 모두에 대한 세부 정보를 보려면 선택하세요.

  4. 쿼리 실행을 클릭합니다. 세 개의 그래프는 원하는 날짜와 채널을 반영하도록 업데이트됩니다.

생성적 반응에 대한 데이터 보기

생성적 응답은 통화 중에 자동으로 생성되는 답변입니다.

  1. 생성적 반응 레이블을 클릭하여 통계를 자세히 살펴보세요. 세 개의 그래프가 나타납니다.

    • 시간 경과에 따른: 시간 경과에 따라 사용, 수정, 무시되거나 답변이 없는 답변의 비율을 보여줍니다.

    • 카테고리별: 카테고리별로 세부 정보를 표시합니다.

    • 상호작용당 평균 Kb: 하루 평균 지식 기반 상호 작용 수를 보여줍니다.

  2. 그래프에 나타나는 데이터를 사용자 정의할 수 있습니다.

    • 시간 경과에 따른 및 범주별 그래프에서 범례를 클릭하면 다양한 답변 상태의 표시를 전환할 수 있습니다.

    • 시간 경과에 따라 및 범주 그래프에서 절대 수치 또는 백분율 을 클릭하여 백분율과 절대 수치 사이를 전환합니다.

    • 세 개의 그래프 모두에서 최대화를 클릭하면 데이터를 표 형식으로 볼 수 있습니다.

  3. 아래로 스크롤하여 범주별로 그룹화된 데이터를 확인하세요. 카테고리 보기는 지식 베이스 답변을 다양한 카테고리로 구성하여 분석에 대한 체계적 접근법을 제공합니다. 각 카테고리에는 다음이 포함됩니다.

    • 지식베이스 답변의 총 볼륨

    • 평균 준수 점수

    • 제공된 링크 및 이미지의 평균 수

    • 평균 지식 점수(지식 기반에서 할당한 점수)

  4. 카테고리를 클릭하면 다음과 같은 특정 질의와 세부 정보가 표시됩니다.

    • 지식 베이스에 쿼리가 전송되었습니다.

    • 제안된 지식 기반 답변

    • 에이전트의 실제 응답

    • 제공된 링크 및 이미지 수

    • 쿼리 피드백

    • 준수 점수(제안된 응답과 실제 응답 간의 유사성)

    • 상호작용 시작부터 오프셋

    각 쿼리에 대해 다음을 수행할 수 있습니다.

    • "재생 상호 작용 을 클릭하여 상호 작용의 오디오를 듣습니다(사용 가능한 경우)."

    • 쿼리 옆에 있는 정보 버튼을 클릭하세요. 상호작용에 대한 쿼리 피드백을 볼 수 있습니다. 오른쪽의 응답 세부 정보 패널에서 AI가 생성한 응답이 긍정적 또는 부정적피드백을 받았는지 확인할 수 있으며, 제공된 모든 의견과 태그도 확인할 수 있습니다.

  5. 이 데이터를 보는 방법을 전환할 수 있습니다. 기본 보기는 카테고리별입니다. 그룹화 기준을 클릭하여 그룹화를 범주에서 다음 중 하나로 변경하세요.

    • 마스터 컨택

    • 팀

    • 스킬

    • 상담원 ID

    새로운 그룹화를 기반으로 데이터가 다시 나타납니다.

상담원 쿼리에 대한 데이터 보기

상담원 쿼리는 에이전트 질문을 기반으로 주문형으로 생성된 지식 기반 답변에 대한 정보를 표시합니다. 직접 질의 상태와 준수 점수를 보여주는 그래프를 제공합니다.

  1. 통계를 자세히 살펴보려면 차트 제목 상담원 쿼리를 클릭하세요. 첫 번째 그래프는 시간 경과에 따른 응답 비율과 무응답 비율을 보여줍니다. 두 번째 그래프는 카테고리별 세부 정보를 표시합니다.

  2. 범례를 클릭하면 다양한 답변 상태의 표시를 전환할 수 있습니다.

  3. 절대 번호 또는 백분율 을 클릭하여 백분율과 절대 번호 사이를 전환합니다.

    4. "

  4. 그래프를 전체 화면으로 보려면 최대화 를 클릭하세요."

  5. 아래로 스크롤하면 카테고리별로 그룹화된 데이터가 표시됩니다. 카테고리 보기는 지식 베이스 답변을 다양한 카테고리로 구성하여 분석에 대한 체계적 접근법을 제공합니다. 각 카테고리의 내용:

    • 응답 총량

    • 무응답의 수와 평균

    • 제공된 링크 및 이미지의 평균 수

    • 평균 지식 점수(지식 베이스에서 할당한 점수)

  6. 카테고리를 클릭하면 다음과 같은 특정 질의와 세부 정보가 표시됩니다.

    • 지식베이스에 에이전트 쿼리가 전송되었습니다.

    • 에이전트 질의에 대한 응답

    • 제공된 링크 및 이미지 수

    • 응답 날짜 및 시간

      • "

    • 평균 지식 점수

를 통해 AutoSummary쿼리에 대한 데이터 보기

AutoSummary는 요약 성과에 대한 포괄적인 보기를 제공합니다." 시간 경과에 따른 성과를 추적하는 그래프를 볼 수 있으며, 데이터는 의도와 기술에 따라 그룹화되어 있습니다. 자세한 표에는 실제 요약과 함께 제안된 요약이 표시되어 있으며, 정확성을 가늠하기 위한 준수 점수도 함께 제공됩니다. 더욱 포괄적인 세부 정보를 얻으려면 특정 상호작용을 재생하면 요약이 생성되고 실제 대화에서 사용되는 방식에 대한 전체적인 그림을 얻을 수 있습니다.

  1. 통계를 자세히 알아보려면 차트 제목인 AutoSummary을 클릭하세요.

    • 첫 번째 그래프는 시간 경과에 따라 사용된 요약의 비율을 보여줍니다. 요약은 다음 방식 중 하나로 사용되는 것으로 식별됩니다: 있는 그대로, 개정됨, 간소한 수정 포함, 무시됨.

    • 두 번째 그래프는 인텐트별 세부 정보를 표시합니다.

    • 세 번째 그래프는 스킬별 세부 정보를 표시합니다.

    • 네 번째 그래프는 팀별 세부 정보를 표시합니다.

    범례를 클릭하면 다양한 답변 상태의 표시를 전환할 수 있습니다.

  2. 절대 번호 또는 백분율 을 클릭하여 백분율과 절대 번호 사이를 전환합니다.

    3. "

  3. 그래프를 전체 화면으로 보려면 최대화 를 클릭하세요."

  4. 아래로 스크롤하면 카테고리별로 그룹화된 데이터가 표시됩니다. 카테고리 보기는 지식 베이스 답변을 다양한 카테고리로 구성하여 분석에 대한 체계적 접근법을 제공합니다. 각 카테고리의 내용:

    • 응답 총량

    • 무응답의 수와 평균

    • 제공된 링크 및 이미지의 평균 수

    • 평균 지식 점수(지식 베이스에서 할당한 점수)

  5. 카테고리를 클릭하면 다음과 같은 특정 질의와 세부 정보가 표시됩니다.

    • 지식베이스에 에이전트 쿼리가 전송되었습니다.

    • 에이전트 질의에 대한 응답

    • 전반적인 피드백

    • 제공된 링크 및 이미지 수

    • 응답 날짜 및 시간

    • 평균 지식 점수

  6. 쿼리 옆에 있는 정보 버튼을 클릭하세요. 상호작용에 대한 전반적인 피드백을 볼 수 있습니다. 오른쪽의 응답 세부 정보 패널에서는 상호작용이 긍정적 피드백을 받았는지, 부정적피드백을 받았는지 확인할 수 있으며, 제공된 모든 의견과 태그도 확인할 수 있습니다.

CX 리더로서 Mark는 Observability Dashboard을 사용하여 지식 기반의 지식 격차를 파악하고자 합니다. 그는 많은 지식 기반 제안이 수정되거나 무시되고 있다는 사실을 알아차렸습니다. 마크는 지식 베이스 답변을 클릭하여 카테고리별 데이터를 표시합니다. 그는 제안과 실제 응답 간의 불일치를 나타내는 평균 충실도 점수가 낮은 카테고리에 집중합니다. 마크는 청구, 지불 등 점수가 낮은 카테고리를 확장하여 지불 계획 및 환불 정책에 대한 질의에서 충실도가 낮은 것을 확인하는데, 이는 해당 영역에 지식 격차가 있음을 시사합니다.

Observability Dashboard을 통해 Mark는 지식 기반 개선이 필요한 주제를 정확히 파악할 수 있습니다. 그런 다음 그는 지식 기반 팀과 협력하여 이러한 차이를 해소하고, 더 나은 고객 상호 작용을 위한 제안의 질을 개선할 수 있습니다.

Autopilot Knowledge

"Observability Dashboard에 대한 Autopilot Knowledge는 자동화 시스템이 고객 질문을 얼마나 잘 처리하는지에 대한 데이터를 보여줍니다." 시간 경과에 따른 성과 추세를 표시하는 그래프가 표시됩니다. 이를 통해 매일, 매주 또는 매월 변경 사항을 추적할 수 있습니다.

  1. 앱 선택기를 클릭하고 Actions을(를) 선택합니다.

  2. Actions에서 Observability Dashboard을 클릭하세요.

  3. Autopilot Knowledge 탭을 클릭합니다. 대시보드에 대해 원하는 날짜 범위를 설정하고 쿼리 실행을 클릭합니다. 세 개의 차트가 표시됩니다.

전반적인 효과에 대한 데이터 보기

이 그래프는 Autopilot Knowledge 챗봇의 성능과 상태에 대한 간략한 요약을 표시합니다.

  1. 전반적 효과 그래프 제목을 클릭하여 통계를 자세히 살펴보세요. 4개의 그래프가 나타납니다.

    • 참여: 챗봇에 참여한 방문자 수를 표시하여 시간 경과에 따른 참여 추세를 파악하는 데 도움이 됩니다.

    • 포함됨: 실시간 상담원에게 에스컬레이션할 필요 없이 대화를 완료한 챗봇 사용자의 백분율과 수를 표시합니다. 이 지표를 사용하면 챗봇이 얼마나 효과적으로 질의를 독립적으로 해결하는지 평가할 수 있습니다.

    • 높음: 대화를 실시간 상담원에게 전달한 챗봇 사용자의 백분율과 수를 표시하며, 인간의 개입이 필요한 사례를 강조 표시합니다. 이 지표를 사용하면 챗봇이 대화를 인간 상담원에게 얼마나 자주 넘기는지 모니터링할 수 있습니다.

    • 포기됨: 진행 중인 대화를 포기한 챗봇 사용자의 백분율과 수를 표시합니다. 이 지표를 사용하면 이탈 지점을 파악하고 사용자 참여를 개선할 수 있습니다.

  2. 그래프에 나타나는 데이터를 사용자 정의할 수 있습니다.

    • 절대 번호 또는 백분율 을 클릭하여 백분율과 절대 번호 사이를 전환합니다.

    • 그래프를 전체 화면으로 보려면 최대화 를 클릭하세요.

GenAI 성능에 대한 데이터 보기

이 그래프는 생성 AI 엔진이 사용자 질의 중 효과적으로 처리한 비율을 보여줍니다.

  1. GenAI성능 레이블을 클릭하여 통계를 자세히 살펴보세요. 세 개의 그래프가 나타납니다.

    • 시간 경과에 따른 : 시간 경과에 따른 챗봇 응답 비율을 표시합니다.

    • 카테고리별: 카테고리별 챗봇 응답 비율을 표시합니다.

    • 생성 모델에 대한 쿼리: 생성 엔진에서 처리된 챗봇 쿼리의 총 수와 백분율을 표시합니다. 이 지표는 생성 엔진이 사용자 상호작용을 처리하는 데 얼마나 자주 활용되는지에 대한 통찰력을 제공합니다.

  2. 그래프에 나타나는 데이터를 사용자 정의할 수 있습니다.

    • 시간 경과 및 범주 그래프에서 다양한 답변 상태 표시를 전환하려면 그래프에서 응답 또는 응답 없음 범례를 클릭합니다.

    • 절대 번호 또는 백분율 을 클릭하여 백분율과 절대 번호 사이를 전환합니다.

    • 그래프를 전체 화면으로 보려면 최대화를 클릭하세요.

  3. 아래로 스크롤하여 범주별로 그룹화된 데이터를 확인하세요. 카테고리 보기는 지식 베이스 답변을 다양한 카테고리로 구성하여 분석에 대한 체계적 접근법을 제공합니다. 각 카테고리에는 다음이 포함됩니다.

    • 응답 총량

    • 무응답 총 수

    • 제공된 링크 및 이미지의 평균 수

    • 평균 지식 점수(지식 기반에서 할당한 점수)

  4. 카테고리를 클릭하면 다음과 같은 특정 질의와 세부 정보가 표시됩니다.

    • 상호작용의 연락처

    • 챗봇 상호작용을 시작한 쿼리

    • 사용자의 입력, 의도, 맥락에 따라 챗봇이 응답합니다.

    • 제공된 링크 및 이미지 수

    • 응답 날짜 및 시간

    • 평균 지식 점수.

  5. 이 데이터를 보는 방법을 전환할 수 있습니다. 기본 보기는 카테고리별입니다. 그룹화 기준을 클릭하여 그룹화를 범주에서연락처 번호로 변경합니다. 새로운 그룹화를 기반으로 데이터가 다시 나타납니다.

봇 성능에 대한 데이터 보기

이 그래프는 챗봇 의도의 분포를 표시하며, 가장 흔한 사용자 요청 6개와 대체 발생 사항을 강조합니다. 이를 통해 사용자가 무엇을 묻고, 챗봇이 어떻게 응답하는지 이해하는 데 도움이 됩니다.

  1. 봇 성능 레이블을 클릭하면 통계를 자세히 살펴볼 수 있습니다. 두 개의 그래프가 나타납니다.

    • 모든 봇 의도: 가장 일반적인 사용자 요청과 대체 사례를 표시하여 챗봇의 응답 방식을 개선하는 데 도움이 됩니다.

    • 포기 지표: 사용자가 대화를 포기하기 전에 가장 흔했던 챗봇 의도를 표시합니다. 이는 이탈 지점을 파악하고 사용자 유지율을 개선하는 데 도움이 됩니다.

  2. 그래프에 나타나는 데이터를 사용자 정의할 수 있습니다.

    • 절대 번호 또는 백분율 을 클릭하여 백분율과 절대 번호 사이를 전환합니다.

    • 그래프를 전체 화면으로 보려면 최대화를 클릭하세요.

Autopilot

"Observability Dashboard에 대한 Autopilot은 지식 기반이 고객 질문을 얼마나 잘 처리할 수 있는지 보여줍니다." 이 대시보드를 사용하면 지식 기반에 더 많은 문서를 추가할 수 있는 분야를 찾거나 고객의 질문에 더 잘 답변할 수 있도록 문서를 사용자 지정할 수 있습니다.

  1. 앱 선택기를 클릭하고 Actions을(를) 선택합니다.

  2. Actions에서 Observability Dashboard을 클릭하세요.

  3. Autopilot 탭을 클릭합니다. GenAI 성능 그래프를 표시합니다.

  4. 대시보드에 대해 원하는 날짜 범위를 설정하고 쿼리 실행을 클릭합니다.

GenAI 성능에 대한 데이터 보기

이 그래프는 AI 엔진으로부터 관련성 있고 완전한 답변을 받은 사용자 질문의 수를 보여줍니다.

  1. GenAI성과 라벨을 클릭하면 지정된 기간 동안 질문된 내용과 제공된 문서에 대한 세부 정보를 볼 수 있습니다.

    두 개의 그래프가 나타납니다.

    • 시간 경과에 따른 그래프: 특정 기간 동안 성공적인 응답과 응답하지 않은 응답의 수를 보여줍니다. 응답은 사용자에게 기사가 표시되었음을 나타냅니다. 무응답은 일치하는 기사를 찾을 수 없음을 나타냅니다.

    • 카테고리별 그래프: 카테고리별로 성공한 응답과 응답하지 않은 응답의 수를 보여줍니다.

    그래프에서 데이터의 모양을 사용자 지정할 수 있습니다.

    • 백분율과 절대 숫자 사이를 전환하려면 절대 숫자 또는 백분율 을 클릭합니다.

    • 그래프를 전체 화면으로 보려면 최대화 를 클릭하세요.

    • 다양한 답변 상태 표시를 전환하려면 그래프에서 응답 또는 응답 없음 범례를 클릭하세요.

  2. 그래프 아래로 스크롤하여 쿼리에 대한 세부 정보를 제공하는 표를 확인하세요. 질의는 범주별로 그룹화됩니다.

  3. 카테고리를 클릭하면 구체적인 질의와 제공된 답변이 표시됩니다. 이를 사용하여 지식 기반에서 기사가 누락된 영역을 파악하세요.

AI 기반 지식 문서 생성

  1. 앱 선택기를 클릭하고 Actions을(를) 선택합니다.

  2. Actions에서 Observability Dashboard을 클릭하세요.

  3. 자세한 통계를 보려면 생성적 반응 레이블을 클릭하세요.

  4. 범주별로 그룹화된 데이터 섹션까지 아래로 스크롤하세요. 특정 쿼리를 보려면 카테고리를 클릭하세요.

  5. 쿼리를 선택하고 정보 버튼을 클릭하세요.

  6. 오른쪽의 응답 세부 정보 패널에서 기사 만들기를 클릭합니다. AI가 작성한 기사는 필사본을 토대로 초안을 작성합니다. 필요에 따라 기사를 편집한 후 게시할 수 있습니다.

    기사 편집 및 게시에 대한 자세한 내용은 지식 생성 도움말을 참조하세요.

  7. 기사가 이미 게시된 경우기사 만들기아이콘이 보라색으로 나타나고 체크 표시 가 있습니다. 즉, 지식 문서는 누구나 볼 수 있으며, 다른 사람이 작성한 문서라도 볼 수 있습니다.

Observability Dashboard에서 데이터 내보내기

  1. 앱 선택기를 클릭하고 Actions을(를) 선택합니다.

  2. Actions에서 Observability Dashboard을 클릭하세요.

  3. 자세한 통계를 보려면 생성적 반응 레이블을 클릭하세요.

  4. 범주별로 그룹화된 데이터 섹션까지 아래로 스크롤하세요. 내보내기 를 클릭합니다. 쿼리 빌더에서 설정한 필터에 따라 표시된 데이터와 숨겨진 데이터를 모두 다운로드할 수 있습니다.

  5. Observability Dashboard에서 데이터를 내보낼 때 스프레드시트의 일부 필드는 숫자 코드로 표시됩니다. 이러한 코드는 아래에 표시된 대로 특정 태그와 피드백 유형에 해당합니다.

    태그

    값
    정확 1
    부정확 2

    완료

    		3
    미결 4
    관련 있음 5
    관련 없음 6
    느림 7
    기타 8

    피드백 유형

    값
    긍정적 1
    부정적 2