Observability Dashboard

Observability Dashboard ermöglicht Ihnen, die von Copilot, Autopilot Knowledge und Autopilot eingesetzten KI-Fähigkeiten genau zu untersuchen. Das Dashboard bietet umfassende Einblicke in die Leistung der generativen Antworten, sodass Sie Verbesserungsbereiche erkennen und Ihre Abläufe optimieren können.

Copilot

Die Observability Dashboard für Copilot liefert Informationen zu generativen Antworten, Copilot for Agents Abfragen und AutoSummary.

1. Klicken Sie auf App-Auswahl und wählen Sie Actions .

2. Klicken Sie unter Actions auf Beobachtbarkeit-Dashboard.

   Standardmäßig wird das Copilot-Dashboard angezeigt. Es enthält drei Diagramme:

   • Generative Antworten

   • Agentenfragen

   • AutoSummary

3. Aktualisieren Sie bei Bedarf den Datumsbereich für das Dashboard und wählen Sie den Interaktionstyp im Kanal aus. Wählen Sie, ob Sie Details zu Sprach-Interaktionen, Chat-Interaktionen oder Alle anzeigen möchten.

4. Klicken Sie auf Abfrage ausführen. Die drei Diagramme werden aktualisiert, um Ihre gewünschten Daten und Kanäle widerzuspiegeln.

Anzeigen von Daten zu generativen Antworten

Generative Antworten sind während Anrufen automatisch generierte Antworten.

1. Klicken Sie auf die Bezeichnung Generative Responses, um die Statistiken genauer zu untersuchen. Es werden drei Diagramme angezeigt:

   • Im Zeitverlauf: Zeigt den Prozentsatz der Antworten an, die im Zeitverlauf verwendet, geändert oder ignoriert wurden oder zu keiner Antwort führten.

   • Nach Kategorie: Zeigt die Details nach Kategorie an.

   • Durchschnittliche KB pro Interaktion: Zeigt die durchschnittliche Anzahl der Wissensdatenbankinteraktionen pro Tag.

2. Sie können die in den Diagrammen angezeigten Daten anpassen:

   • In den Diagrammen „Im Zeitverlauf“ und „Kategorie“ können Sie die Anzeige verschiedener Antwortstatus umschalten, indem Sie auf die Legenden klicken.

   • Klicken Sie in den Diagrammen „Im Zeitverlauf“ und „Kategorie“ auf Absolute Zahlen oder Prozentsatz , um zwischen Prozentsätzen und absoluten Zahlen zu wechseln.

   • Klicken Sie in allen drei Diagrammen auf Maximieren, um die Daten im Tabellenformat anzuzeigen.

3. Scrollen Sie nach unten, um die nach Kategorien gruppierten Daten anzuzeigen. In der Kategorienansicht sind die Wissensdatenbank-Artikel nach verschiedenen Kategorien organisiert, was eine strukturierte Analyse ermöglicht. Jede Kategorie präsentiert:

   • Gesamtvolumen der Antworten in der Wissensbasis

   • Durchschnittlicher Adhärenzwert

   • Durchschnittliche Anzahl bereitgestellter Links und Bilder

   • Durchschnittlicher Wissensstand (von der Wissensdatenbank vergebener Stand)

4. Wenn Sie auf eine Kategorie klicken, werden die spezifischen Abfragen und deren Details angezeigt, beispielsweise:

   • Anfrage an die Wissensbasis gesendet

   • Vorgeschlagene Wissensdatenbank-Antwort

   • Tatsächliche Antwort des Agenten

   • Anzahl der bereitgestellten Links und Bilder

   • Anfrage-Feedback

   • Adhärenz-Score (die Ähnlichkeit zwischen vorgeschlagener und tatsächlicher Antwort)

   • Offset vom Beginn der Interaktion

   Für jede Abfrage können Sie:

   • Klicken Sie auf Interaktion abspielen , um den Ton der Interaktion anzuhören (sofern verfügbar).

   • Klicken Sie neben der Abfrage auf die Schaltfläche Info. Sie können das Abfragefeedback der Interaktion anzeigen. Im Bereich „Antwortdetails“ auf der rechten Seite können Sie sehen, ob die von der KI generierte Antwort positives oder negativesFeedback erhalten hat, zusammen mit allen bereitgestellten Kommentaren und Tags.

5. Sie können die Art und Weise ändern, wie Sie diese Daten anzeigen. Die Standardansicht erfolgt nach Kategorie. Klicken Sie auf Gruppieren nach, um die Gruppierung von Kategorie in eine der folgenden Optionen zu ändern:

   • Hauptkontakt

   • Team

   • Skill

   • Agenten-ID

   Die Daten werden basierend auf der neuen Gruppierung erneut angezeigt.

Anzeigen von Daten zu Agentenfragen

Agent Abfragen zeigen Informationen zu den Antworten der Wissensdatenbank an, die auf Anfrage basierend auf Agentenfragen generiert werden. Es bietet Diagramme, die den Status direkter Abfragen und Einhaltungswerte anzeigen.

1. Klicken Sie auf die Diagrammüberschrift Agent Abfragen, um einen Drilldown in die Statistiken durchzuführen. Das erste Diagramm zeigt den Prozentsatz der Antworten und Nicht-Antworten im Zeitverlauf. Das zweite Diagramm zeigt die Details nach Kategorie an.

2. Sie können die Anzeige verschiedener Antwortstatus umschalten, indem Sie auf die Legenden klicken.

3. Klicken Sie auf Absolute Zahlen oder Prozentsatz , um zwischen Prozentsätzen und absoluten Zahlen zu wechseln.

4. Klicken Sie auf Maximieren , um das Diagramm im Vollbildmodus anzuzeigen.

5. Scrollen Sie nach unten, um die Daten nach Kategorien gruppiert zu sehen. In der Kategorienansicht sind die Wissensdatenbank-Artikel nach verschiedenen Kategorien organisiert, was eine strukturierte Analyse ermöglicht. Jede Kategorie stellt Folgendes dar:

   • Gesamtvolumen der Antworten

   • Anzahl und Durchschnitt der Nicht-Antworten

   • Durchschnittliche Anzahl bereitgestellter Links und Bilder

   • Durchschnittlicher Wissensscore (von der Wissensdatenbank zugewiesener Score)

6. Beim Klicken auf eine Kategorie werden die spezifischen Abfragen und ihre Details angezeigt, zum Beispiel:

   • Agentenanfrage an die Wissensdatenbank gesendet

   • Antwort auf die Agentenanfrage

   • Anzahl bereitgestellter Links und Bilder

   • Datum und Uhrzeit der Antwort

   • Durchschnittlicher Wissensstand

Das Anzeigen von Daten zu AutoSummary Abfragen

AutoSummary bietet eine umfassende Übersicht über die Gesamtleistung. Sie können Diagramme anzeigen, die die Leistung im Zeitverlauf verfolgen, wobei die Daten nach Absicht und Fähigkeit gruppiert sind. In detaillierten Tabellen werden neben tatsächlichen Zusammenfassungen auch vorgeschlagene Zusammenfassungen angezeigt, komplett mit Einhaltungsbewertungen zur Messung der Genauigkeit. Um umfassendere Details zu erhalten, können Sie bestimmte Interaktionen wiedergeben. Dadurch erhalten Sie ein vollständiges Bild davon, wie Zusammenfassungen erstellt und in echten Gesprächen verwendet werden.

1. Klicken Sie auf die Diagrammüberschrift AutoSummary, um tiefer in die Statistiken einzusteigen.

   • Das erste Diagramm zeigt den Prozentsatz der Zusammenfassungen, die im Laufe der Zeit verwendet wurden. Zusammenfassungen werden anhand einer der folgenden Verwendungsarten gekennzeichnet: „Unverändert“, „Überarbeitet“, „mit Kleineren Änderungen“ und „Ignoriert“.

   • Das zweite Diagramm zeigt die Details nach Absicht.

   • Das dritte Diagramm zeigt die Details Nach Skill.

   • Das vierte Diagramm zeigt die Details nach Team.

   Sie können die Anzeige verschiedener Antwortstatus umschalten, indem Sie auf die Legenden klicken.

2. Klicken Sie auf Absolute Zahlen oder Prozentsatz , um zwischen Prozentsätzen und absoluten Zahlen zu wechseln.

3. Klicken Sie auf Maximieren , um das Diagramm im Vollbildmodus anzuzeigen.

4. Scrollen Sie nach unten, um die Daten nach Kategorien gruppiert zu sehen. In der Kategorienansicht sind die Wissensdatenbank-Artikel nach verschiedenen Kategorien organisiert, was eine strukturierte Analyse ermöglicht. Jede Kategorie stellt Folgendes dar:

   • Gesamtvolumen der Antworten

   • Anzahl und Durchschnitt der Nicht-Antworten

   • Durchschnittliche Anzahl bereitgestellter Links und Bilder

   • Durchschnittlicher Wissensscore (von der Wissensdatenbank zugewiesener Score)

5. Beim Klicken auf eine Kategorie werden die spezifischen Abfragen und ihre Details angezeigt, zum Beispiel:

   • Agentenabfrage an die Wissensdatenbank gesendet

   • Antwort auf die Agentenanfrage

   • Allgemeines Feedback

   • Anzahl bereitgestellter Links und Bilder

   • Datum und Uhrzeit der Antwort

   • Durchschnittlicher Wissensstand

6. Klicken Sie neben der Abfrage auf die Schaltfläche Info. Sie können das Gesamtfeedback der Interaktion anzeigen. Im Bereich „Antwortdetails“ auf der rechten Seite können Sie sehen, ob die Interaktion positives oder negativesFeedback erhalten hat, zusammen mit allen bereitgestellten Kommentaren und Tags.

Autopilot Knowledge

Die Observability Dashboard für Autopilot Knowledge zeigt Daten darüber, wie gut Ihr automatisiertes System Kundenfragen bearbeitet. Sie sehen ein Diagramm, das Leistungstrends im Zeitverlauf anzeigt. So können Sie Änderungen täglich, wöchentlich oder monatlich verfolgen.

1. Klicken Sie auf App-Auswahl und wählen Sie Actions .

2. Klicken Sie unter Actions auf Observability Dashboard.

3. Klicken Sie auf die Registerkarte Autopilot Knowledge. Legen Sie den gewünschten Datumsbereich für das Dashboard fest und klicken Sie auf Abfrage ausführen. Es werden drei Diagramme angezeigt:

   • Allgemeine Effektivität

   • GenAI-Performance

   • Bot-Performance

Anzeigen von Daten zur Gesamteffektivität

Dieses Diagramm zeigt eine allgemeine Zusammenfassung der Leistung und des Status des Autopilot Knowledge Chatbots.

1. Klicken Sie auf die Diagrammüberschrift Gesamteffektivität, um die Statistiken genauer zu untersuchen. Es werden vier Diagramme angezeigt:

   • Engagiert: Zeigt die Anzahl der Besucher an, die mit dem Chatbot interagiert haben. So können Sie die Engagement-Trends im Zeitverlauf besser verstehen.

   • Enthalten: Zeigt den Prozentsatz und die Anzahl der Chatbot-Benutzer an, die ihre Konversation abgeschlossen haben, ohne dass eine Eskalation an einen Live-Agenten erforderlich war. Mit dieser Kennzahl können Sie beurteilen, wie effektiv der Chatbot Anfragen selbstständig löst.

   • Erhöht: Zeigt den Prozentsatz und die Anzahl der Chatbot-Benutzer an, die ihre Konversation an einen Live-Agenten eskaliert haben, und hebt Fälle hervor, die ein menschliches Eingreifen erforderten. Mit dieser Metrik können Sie überwachen, wie oft der Chatbot Gespräche an menschliche Agenten übergibt.

   • Abgebrochen: Zeigt den Prozentsatz und die Anzahl der Chatbot-Benutzer an, die eine laufende Konversation abgebrochen haben. Mit dieser Kennzahl können Sie Abbruchpunkte identifizieren und das Engagement der Benutzer verbessern.

2. Sie können die in den Diagrammen angezeigten Daten anpassen:

   • Klicken Sie auf Absolute Zahlen oder Prozentsatz , um zwischen Prozentsätzen und absoluten Zahlen zu wechseln.

   • Klicken Sie auf Maximieren , um das Diagramm im Vollbildmodus anzuzeigen.

Anzeigen von Daten zur GenAI Leistung

Dieses Diagramm zeigt den Prozentsatz der Benutzeranfragen, die von der generativen KI-Engine effektiv bearbeitet wurden.

1. Klicken Sie auf die Bezeichnung GenAILeistung, um einen Drilldown in die Statistiken durchzuführen. Es werden drei Diagramme angezeigt:

   • Im Zeitverlauf : Zeigt den Prozentsatz der Chatbot-Antworten im Zeitverlauf an.

   • Nach Kategorie: Zeigt den Prozentsatz der Chatbot-Antworten nach Kategorie an.

   • Anfragen an das generative Modell: Zeigt die Gesamtzahl und den Prozentsatz der Chatbot-Anfragen an, die von der generativen Engine verarbeitet wurden. Diese Metrik bietet Aufschluss darüber, wie häufig die generative Engine zur Verarbeitung von Benutzerinteraktionen verwendet wird.

2. Sie können die in den Diagrammen angezeigten Daten anpassen:

   • Um in den Diagrammen „Über Zeit“ und „Kategorie“ die Anzeige verschiedener Antwortstatus umzuschalten, klicken Sie in den Diagrammen auf die Legenden Antwort oder Keine Antwort.

   • Klicken Sie auf Absolute Zahlen oder Prozentsatz , um zwischen Prozentsätzen und absoluten Zahlen zu wechseln.

   • Klicken Sie auf Maximieren, um die Diagramme im Vollbildmodus anzuzeigen.

3. Scrollen Sie nach unten, um die nach Kategorien gruppierten Daten anzuzeigen. In der Kategorienansicht sind die Wissensdatenbank-Artikel nach verschiedenen Kategorien organisiert, was eine strukturierte Analyse ermöglicht. Jede Kategorie präsentiert:

   • Gesamtvolumen der Antworten

   • Gesamtzahl der Nichtantworten

   • Durchschnittliche Anzahl bereitgestellter Links und Bilder

   • Durchschnittlicher Wissensstand (von der Wissensdatenbank vergebener Stand)

4. Wenn Sie auf eine Kategorie klicken, werden die spezifischen Abfragen und deren Details angezeigt, beispielsweise:

   • Kontaktnummer der Interaktion

   • Abfrage, die die Chatbot-Interaktion initiiert hat

   • Die Antwort des Chatbots basiert auf der Eingabe, Absicht und dem Kontext des Benutzers.

   • Anzahl der bereitgestellten Links und Bilder

   • Datum und Uhrzeit der Antwort

   • Durchschnittlicher Wissensstand.

5. Sie können die Art und Weise ändern, wie Sie diese Daten anzeigen. Die Standardansicht erfolgt nach Kategorie. Klicken Sie auf Gruppieren nach, um die Gruppierung von Kategorie inKontaktnummerzu ändern. Die Daten werden basierend auf der neuen Gruppierung erneut angezeigt.

Anzeigen von Daten zur Bot-Leistung

Dieses Diagramm zeigt die Verteilung der Chatbot-Intentionen und hebt die sechs häufigsten Benutzeranfragen sowie Fallback-Vorkommnisse hervor. Es hilft Ihnen zu verstehen, was Benutzer fragen und wie der Chatbot antwortet.

1. Klicken Sie auf die Bezeichnung Bot-Leistung, um die Statistiken genauer zu untersuchen. Es werden zwei Diagramme angezeigt:

   • Alle Bot-Absichten: Zeigt die häufigsten Benutzeranfragen und Fallback-Fälle an und hilft Ihnen, die Reaktion Ihres Chatbots zu verbessern.

   • Abbruchindikator: Zeigt an, welche Chatbot-Absichten am häufigsten vorkamen, bevor Benutzer die Konversation abbrachen. Es hilft Ihnen, Abbruchpunkte zu identifizieren und die Benutzerbindung zu verbessern.

2. Sie können die in den Diagrammen angezeigten Daten anpassen:

   • Klicken Sie auf Absolute Zahlen oder Prozentsatz , um zwischen Prozentsätzen und absoluten Zahlen zu wechseln.

   • Klicken Sie auf Maximieren, um die Diagramme im Vollbildmodus anzuzeigen.

Autopilot

Die Observability Dashboard für Autopilot zeigt, wie gut Ihre Wissensdatenbank Kundenfragen bearbeiten kann. Verwenden Sie dieses Dashboard, um nach Bereichen zu suchen, in denen Sie Ihrer Wissensdatenbank weitere Artikel hinzufügen oder die Artikel anpassen können, um die Fragen der Kunden besser zu beantworten.

1. Klicken Sie auf App-Auswahl und wählen Sie Actions .

2. Klicken Sie unter Actions auf Observability Dashboard.

3. Klicken Sie auf die Registerkarte Autopilot. Es zeigt das GenAI Leistungsdiagramm an.

4. Legen Sie den gewünschten Datumsbereich für das Dashboard fest und klicken Sie auf Abfrage ausführen.

Anzeigen von Daten zur GenAI Leistung

Dieses Diagramm zeigt die Anzahl der Benutzerfragen, die von der KI-Engine relevante und vollständige Antworten erhalten haben.

1. Klicken Sie auf das Label GenAILeistung, um Details zu den gestellten Fragen und den bereitgestellten Artikeln für den angegebenen Zeitraum anzuzeigen.

   Es werden zwei Diagramme angezeigt:

   • Zeitverlauf Diagramm: Zeigt die Anzahl der erfolgreichen Antworten und Nicht-Antworten im Zeitverlauf. Eine Antwort zeigt an, dass dem Benutzer ein Artikel angezeigt wurde. Eine Nichtbeantwortung bedeutet, dass kein passender Artikel gefunden wurde.

   • Diagramm Nach Kategorie: Zeigt die Anzahl der erfolgreichen Antworten und Nicht-Antworten nach Kategorien.

   Sie können die Darstellung der Daten in den Diagrammen anpassen:

   • Um zwischen Prozentsätzen und absoluten Zahlen zu wechseln, klicken Sie auf Absolute Zahlen oder Prozentsatz .

   • Um das Diagramm im Vollbildmodus anzuzeigen, klicken Sie auf Maximieren .

   • Um die Anzeige verschiedener Antwortstatus umzuschalten, klicken Sie in den Diagrammen auf die Legende Antwort oder Keine Antwort.

2. Scrollen Sie unter den Diagrammen nach unten, um eine Tabelle mit Details zu den Abfragen anzuzeigen. Die Abfragen sind nach Kategorien gruppiert.

3. Durch Klicken auf eine Kategorie werden die spezifischen Abfragen und die bereitgestellten Antworten angezeigt. Verwenden Sie dies, um Bereiche zu identifizieren, in denen in Ihrer Wissensdatenbank möglicherweise Artikel fehlen.

Generieren Sie KI-gestützte Wissensartikel

1. Klicken Sie auf App-Auswahl und wählen Sie Actions .

2. Klicken Sie unter Actions auf Observability Dashboard.

3. Klicken Sie auf die Bezeichnung Generative Response, um detaillierte Statistiken anzuzeigen.

4. Scrollen Sie nach unten zum Abschnitt „Nach Kategorien gruppierte Daten“. Klicken Sie auf eine Kategorie, um bestimmte Abfragen anzuzeigen.

5. Wählen Sie eine Abfrage aus und klicken Sie auf die Schaltfläche Info .

6. Klicken Sie im Bereich „Antwortdetails“ rechts auf Artikel erstellen. Auf Grundlage des Transkripts wird ein KI-generierter Artikel verfasst. Sie können den Artikel nach Bedarf bearbeiten und anschließend veröffentlichen.

   Ausführliche Informationen zum Bearbeiten und Veröffentlichen eines Artikels finden Sie in der Hilfe zur Wissensgenerierung.

7. Wenn ein Artikel bereits veröffentlicht ist, wird das SymbolArtikel erstellenin Lila mit einem Häkchen angezeigt. Dies bedeutet, dass ein Wissensartikel verfügbar ist und Sie ihn anzeigen können, auch wenn er von jemand anderem erstellt wurde.

Daten aus Observability Dashboard exportieren

1. Klicken Sie auf App-Auswahl und wählen Sie Actions .

2. Klicken Sie unter Actions auf Observability Dashboard.

3. Klicken Sie auf die Bezeichnung Generative Response, um detaillierte Statistiken anzuzeigen.

4. Scrollen Sie nach unten zum Abschnitt „Nach Kategorien gruppierte Daten“. Klicken Sie auf Exportieren . Sie können alle Daten herunterladen, sowohl sichtbare als auch verborgene, basierend auf den im Abfrage-Generator festgelegten Filtern.

5. Wenn Sie Daten ausObservability Dashboardexportieren, werden einige Felder in der Tabelle durch numerische Codes dargestellt. Diese Codes entsprechen bestimmten Tags und Feedbacktypen, wie unten gezeigt:

   Tag	Wert
   Richtig	1
   Nicht richtig	2
   Vollständig	3
   Unvollständig	4
   Relevant	5
   Nicht relevant	6
   Langsam	7
   Andere	8

   Feedback-Typ	Wert
   Positiv	1
   Negativ	2