Observability Dashboard

Observability Dashboard le permite examinar las capacidades de IA empleadas por Copilot, Autopilot Knowledge y Autopilot. El panel de control proporciona información completa sobre el rendimiento de las respuestas generativas, lo que le permite identificar áreas de mejora y optimizar sus operaciones.

Copilot

El Observability Dashboard para Copilot proporciona información sobre respuestas generativas, Copilot for Agents consultas y AutoSummary.

  1. Haga clic en el selector de aplicaciones y seleccione Actions.

  2. En Actions, haga clic en Panel de Observación.

    De forma predeterminada, aparece el panel Copilot. Contiene tres gráficos:

  3. Si es necesario, actualice el Rango de fechas para el panel y seleccione el tipo de interacción en Canal. Elija ver los detalles de las interacciones de Voz, las interacciones de Chat o Todos.

  4. Haga clic en Ejecutar Consulta. Los tres gráficos se actualizan para reflejar las fechas y canales deseados.

Visualización de datos sobre respuestas generativas

Las respuestas generativas son respuestas generadas automáticamente durante las llamadas.

  1. Haga clic en la etiqueta Respuestas generativas para explorar en profundidad las estadísticas. Aparecen tres gráficos:

    • A lo largo del tiempo: muestra el porcentaje de respuestas que se usaron, modificaron, ignoraron o no tuvieron respuesta a lo largo del tiempo.

    • Por categoría: muestra los detalles por categoría.

    • Promedio de Kb por interacción: Muestra la cantidad promedio de interacciones de la base de conocimiento por día.

  2. Puede personalizar los datos que aparecen en los gráficos:

    • En los gráficos A lo largo del tiempo y Categoría, puede alternar la visualización de diferentes estados de respuesta haciendo clic en las leyendas.

    • En los gráficos A lo largo del tiempo y Categoría, haga clic en Números absolutos o Porcentaje para alternar entre porcentajes y números absolutos.

    • En los tres gráficos, haga clic en Maximizar para ver los datos en formato de tabla.

  3. Desplácese hacia abajo para ver los datos agrupados por categorías. La vista Categorías organiza las respuestas de la base de conocimientos en categorías distintas y ofrece un enfoque estructurado para el análisis. Cada categoría presenta:

    • Volumen total de respuestas de la base de conocimientos

    • Puntuación media de adherencia

    • Número promedio de enlaces e imágenes proporcionados

    • Puntuación media de conocimientos (puntuación asignada por la base de conocimientos)

  4. Al hacer clic en una categoría se revelan las consultas específicas y sus detalles, como:

    • Consulta enviada a la Base de Conocimiento

    • Respuesta sugerida de la base de conocimientos

    • Respuesta real del agente

    • Número de enlaces e imágenes proporcionados

    • Comentarios de consulta

    • Puntuación de adherencia (la similitud entre la respuesta sugerida y la real)

    • Desplazamiento desde el inicio de la interacción

    Para cada consulta, puedes:

    • Haga clic en Reproducir Interacción para escuchar el audio de la interacción (si está disponible).

    • Haga clic en el botón Información junto a la consulta. Puede ver los comentarios de la consulta de la interacción. En el panel Detalles de respuesta a la derecha, puede ver si la respuesta generada por IA recibió comentarios positivos o negativos, junto con los comentarios y las etiquetas proporcionadas.

  5. Puede cambiar la forma en que ve estos datos. La vista predeterminada es por categoría. Haga clic en Agrupar por para cambiar la agrupación de Categoría a una de las siguientes:

    • Contacto maestro

    • Equipo

    • Habilidad

    • Identificación del agente

    Los datos reaparecen según la nueva agrupación.

Visualización de datos sobre consultas de agentes

Agente Consultas muestra información sobre las respuestas de la base de conocimientos generadas a pedido en función de las preguntas del agente. Proporciona gráficos que muestran el estado de las consultas directas y los puntajes de adherencia.

  1. Haga clic en el encabezado del gráfico, Agente Consultas, para explorar en profundidad las estadísticas. El primer gráfico muestra el porcentaje de respuestas y ninguna respuesta a lo largo del tiempo. El segundo gráfico muestra los detalles de la Categoría a lo largo del tiempo.

  2. Puede alternar la visualización de diferentes estados de respuesta haciendo clic en las leyendas.

  3. Haga clic en Números absolutos o Porcentaje para alternar entre porcentajes y números absolutos.

  4. Haga clic en Maximizar para ver el gráfico en pantalla completa.

  5. Desplácese hacia abajo para ver los datos agrupados por categorías. La vista Categorías organiza las respuestas de la base de conocimientos en categorías distintas y ofrece un enfoque estructurado para el análisis. Cada categoría presenta lo siguiente:

    • Volumen total de respuestas

    • Número y promedio de no respuestas

    • Cantidad promedio de enlaces e imágenes suministrados

    • Puntuación media de conocimientos (puntuación asignada a la base de conocimientos)

  6. Hacer clic en una categoría muestra las consultas específicas y sus detalles, como:

    • Consulta del agente enviada a la base de conocimientos

    • Respuesta a la consulta del agente

    • Cantidad de enlaces e imágenes suministrados

    • Fecha y hora de la respuesta

    • Puntuación promedio de conocimiento

Ver datos sobre AutoSummary consultas

AutoSummary proporciona una vista completa del rendimiento resumido. Puede ver gráficos que rastrean el rendimiento a lo largo del tiempo, con datos agrupados por intención y habilidad. Las tablas detalladas muestran resúmenes sugeridos junto con resúmenes reales, completos con puntajes de adherencia para medir la precisión. Para obtener detalles más completos, puede reproducir interacciones específicas, lo que le brindará una imagen completa de cómo se generan y utilizan los resúmenes en conversaciones reales.

  1. Haga clic en el encabezado del gráfico, AutoSummary para explorar en profundidad las estadísticas.

    • El primer gráfico muestra el porcentaje de resúmenes que se utilizaron a lo largo del tiempo. Los resúmenes se identifican según se utilicen en una de las siguientes formas: tal cual, revisado, con revisiones menores e ignorado.

    • El segundo gráfico muestra los detalles por intención.

    • El tercer gráfico muestra los detalles por habilidad.

    • El cuarto gráfico muestra los detalles por equipo.

    Puede alternar la visualización de diferentes estados de respuesta haciendo clic en las leyendas.

  2. Haga clic en Números absolutos o Porcentaje para alternar entre porcentajes y números absolutos.

  3. Haga clic en Maximizar para ver el gráfico en pantalla completa.

  4. Desplácese hacia abajo para ver los datos agrupados por categorías. La vista Categorías organiza las respuestas de la base de conocimientos en categorías distintas y ofrece un enfoque estructurado para el análisis. Cada categoría presenta lo siguiente:

    • Volumen total de respuestas

    • Número y promedio de no respuestas

    • Cantidad promedio de enlaces e imágenes suministrados

    • Puntuación media de conocimientos (puntuación asignada a la base de conocimientos)

  5. Hacer clic en una categoría muestra las consultas específicas y sus detalles, como:

    • Consulta del agente enviada a la base de conocimientos

    • Respuesta a la consulta del agente

    • Comentarios generales

    • Cantidad de enlaces e imágenes suministrados

    • Fecha y hora de la respuesta

    • Puntuación media de conocimientos

  6. Haga clic en el botón Información junto a la consulta. Puede ver la retroalimentación general de la interacción. En el panel Detalles de respuesta a la derecha, puede ver si la interacción recibió comentarios positivos o negativos, junto con los comentarios y las etiquetas proporcionadas.

Como líder de CX, Mark quiere utilizar el Observability Dashboard para identificar brechas de conocimiento en la base de conocimientos. Observa que muchas sugerencias de la base de conocimientos están siendo modificadas o ignoradas. Marcos hace clic en Respuestas de la base de conocimientos para ver los datos por categoría. Se centra en categorías con baja puntuación media de observancia, algo que indica un desajuste entre las sugerencias y las respuestas reales. Al expandir las categorías con baja puntuación, como Facturación y Pagos, detecta una baja observancia de las consultas sobre planes de pago y políticas de reembolso, lo que sugiere la presencia de lagunas de conocimiento en esas áreas.

A través del Observability Dashboard, Mark puede identificar temas que necesitan mejoras en la base de conocimientos. Luego puede trabajar con el equipo de base de conocimientos para abordar estas brechas y mejorar la calidad de las sugerencias para lograr mejores interacciones con los clientes.

Autopilot Knowledge

El Observability Dashboard para Autopilot Knowledge muestra datos sobre qué tan bien su sistema automatizado maneja las preguntas de los clientes. Verá un gráfico que muestra las tendencias de rendimiento a lo largo del tiempo. Esto le permite realizar un seguimiento de los cambios diariamente, semanalmente o mensualmente.

  1. Haga clic en el selector de aplicaciones y seleccione Actions.

  2. En Actions, haga clic en Observability Dashboard.

  3. Haga clic en la pestaña Autopilot Knowledge. Establezca el Rango de fechas deseado para el panel y haga clic en Ejecutar consulta. Se muestran tres gráficos:

Visualización de datos sobre la eficacia general

Este gráfico muestra un resumen de alto nivel del rendimiento y el estado del chatbot Autopilot Knowledge.

  1. Haga clic en el encabezado del gráfico Efectividad general para explorar en profundidad las estadísticas. Aparecen cuatro gráficos:

    • Comprometidos: muestra la cantidad de visitantes que interactuaron con el chatbot, lo que le ayuda a comprender las tendencias de participación a lo largo del tiempo.

    • Contenido: muestra el porcentaje y el recuento de usuarios del chatbot que completaron su conversación sin necesidad de escalarla a un agente en vivo. Con esta métrica puedes evaluar la eficacia con la que el chatbot resuelve consultas de forma independiente.

    • Elevado: muestra el porcentaje y el recuento de usuarios de chatbot que escalaron su conversación a un agente en vivo, destacando los casos que requirieron intervención humana. Con esta métrica puedes monitorear la frecuencia con la que el chatbot transfiere conversaciones a agentes humanos.

    • Abandonado: muestra el porcentaje y el recuento de usuarios del chatbot que abandonaron una conversación en curso. Con esta métrica puedes identificar puntos de abandono y mejorar la participación del usuario.

  2. Puedes personalizar los datos que aparecen en los gráficos:

    • Haga clic en Números absolutos o Porcentaje para alternar entre porcentajes y números absolutos.

    • Haga clic en Maximizar para ver el gráfico en pantalla completa.

Visualización de datos sobre el rendimiento de GenAI

Este gráfico muestra el porcentaje de consultas de usuario que fueron abordadas eficazmente por el motor de IA generativa.

  1. Haga clic en la etiqueta GenAIRendimiento para explorar en profundidad las estadísticas. Aparecen tres gráficos:

    • A lo largo del tiempo : muestra el porcentaje de respuestas del chatbot a lo largo del tiempo.

    • Por categoría: muestra el porcentaje de respuestas del chatbot por categoría.

    • Consultas al modelo generativo: muestra el número total y el porcentaje de consultas de chatbot procesadas por el motor generativo. Esta métrica proporciona información sobre la frecuencia con la que se utiliza el motor generativo para gestionar las interacciones del usuario.

  2. Puedes personalizar los datos que aparecen en los gráficos:

    • En los gráficos A lo largo del tiempo y Categoría, para alternar la visualización de diferentes estados de respuesta, haga clic en las leyendas Respuesta o Sin respuesta en los gráficos.

    • Haga clic en Números absolutos o Porcentaje para alternar entre porcentajes y números absolutos.

    • Haga clic en Maximizarpara ver los gráficos en pantalla completa.

  3. Desplácese hacia abajo para ver los datos agrupados por categorías. La vista Categorías organiza las respuestas de la base de conocimientos en categorías distintas y ofrece un enfoque estructurado para el análisis. Cada categoría presenta:

    • Volumen total de respuestas

    • Número total de respuestas negativas

    • Número promedio de enlaces e imágenes proporcionados

    • Puntuación media de conocimientos (puntuación asignada por la base de conocimientos)

  4. Al hacer clic en una categoría se revelan las consultas específicas y sus detalles, como:

    • Número de contacto de la interacción

    • Consulta que inició la interacción del chatbot

    • La respuesta del chatbot se basa en la entrada, la intención y el contexto del usuario.

    • Número de enlaces e imágenes proporcionados

    • Fecha y hora de la respuesta

    • Puntuación media de conocimientos.

  5. Puede cambiar la forma en que ve estos datos. La vista predeterminada es por categoría. Haga clic en Agrupar por para cambiar la agrupación de Categoría a Número de contacto. Los datos reaparecen según la nueva agrupación.

Visualización de datos sobre el rendimiento del bot

Este gráfico muestra la distribución de las intenciones del chatbot, resaltando las seis solicitudes de usuario más comunes junto con las incidencias de respaldo. Le ayuda a comprender qué preguntan los usuarios y cómo responde el chatbot.

  1. Haga clic en la etiqueta Rendimiento del bot para explorar en profundidad las estadísticas. Aparecen dos gráficos:

    • Todas las intenciones del bot: muestra las solicitudes de usuarios más comunes y los casos de respaldo, lo que le ayuda a mejorar la forma en que responde su chatbot.

    • Indicador de abandono: muestra qué intenciones del chatbot eran más comunes antes de que los usuarios abandonaran la conversación. Le ayuda a identificar puntos de abandono y mejorar la retención de usuarios.

  2. Puedes personalizar los datos que aparecen en los gráficos:

    • Haga clic en Números absolutos o Porcentaje para alternar entre porcentajes y números absolutos.

    • Haga clic en Maximizarpara ver los gráficos en pantalla completa.

Autopilot

El Observability Dashboard para Autopilot muestra qué tan bien su base de conocimientos puede manejar las preguntas de los clientes. Utilice este panel para buscar áreas donde pueda agregar más artículos a su base de conocimiento o personalizar los artículos para responder mejor a las preguntas de los clientes.

  1. Haga clic en el selector de aplicaciones y seleccione Actions.

  2. En Actions, haga clic en Observability Dashboard.

  3. Haga clic en la pestaña Autopilot. Muestra el gráfico de rendimiento GenAI.

  4. Establezca el Rango de fechas deseado para el panel y haga clic en Ejecutar consulta.

Visualización de datos sobre el rendimiento de GenAI

Este gráfico muestra la cantidad de preguntas de usuarios que recibieron respuestas relevantes y completas del motor de IA.

  1. Haga clic en la etiqueta GenAIRendimiento para ver detalles sobre las preguntas realizadas y los artículos proporcionados durante el período de tiempo especificado.

    Aparecen dos gráficos:

    • A lo largo del tiempo Gráfico: Muestra la cantidad de respuestas exitosas y de ausencia de respuestas durante el período de tiempo. Una respuesta indica que se le mostró un artículo al usuario. Una respuesta "no" indica que no se encontró ningún artículo coincidente.

    • Gráfico Por categoría: muestra la cantidad de respuestas exitosas y no respuestas por categorías.

    Puede personalizar la apariencia de los datos en los gráficos:

    • Para cambiar entre porcentajes y números absolutos, haga clic en Números absolutos o Porcentaje .

    • Para ver el gráfico en pantalla completa, haga clic en Maximizar .

    • Para alternar la visualización de diferentes estados de respuesta, haga clic en las leyendas Respuesta o No hay respuesta en los gráficos.

  2. Desplácese hacia abajo debajo de los gráficos para ver una tabla que proporciona detalles sobre las consultas. Las consultas están agrupadas por categorías.

  3. Al hacer clic en una categoría se revelan las consultas específicas y las respuestas proporcionadas. Utilice esto para identificar áreas en las que es posible que falten artículos en su base de conocimientos.

Generar artículos de conocimiento basados en IA

  1. Haga clic en el selector de aplicaciones y seleccione Actions.

  2. En Actions, haga clic en Observability Dashboard.

  3. Haga clic en la etiqueta Respuesta generativa para ver estadísticas detalladas.

  4. Desplácese hacia abajo hasta la sección de datos agrupados por categorías. Haga clic en una categoría para ver consultas específicas.

  5. Seleccione una consulta y haga clic en el botón Información .

  6. En el panel Detalles de respuesta a la derecha, haga clic en Crear artículo. Se redacta un artículo generado por IA a partir de la transcripción. Puede editar el artículo según sea necesario y luego publicarlo.

    Para obtener información completa sobre la edición y publicación de un artículo, consulte la ayuda de generación de conocimiento.

  7. Cuando un artículo ya está publicado, el íconoCrear artículoaparece en color violeta con una marca de verificación . Esto significa que un artículo de conocimiento está disponible y puedes verlo, incluso si fue creado por otra persona.

Exportar datos desde Observability Dashboard

  1. Haga clic en el selector de aplicaciones y seleccione Actions.

  2. En Actions, haga clic en Observability Dashboard.

  3. Haga clic en la etiqueta Respuesta generativa para ver estadísticas detalladas.

  4. Desplácese hacia abajo hasta la sección de datos agrupados por categorías. Haga clic enExportar . Puede descargar todos los datos, tanto visibles como ocultos, en función de los filtros establecidos en el generador de consultas.

  5. Al exportar datos desdeObservability Dashboard, algunos campos de la hoja de cálculo están representados por códigos numéricos. Estos códigos corresponden a etiquetas y tipos de comentarios específicos, como se muestra a continuación:

    Etiqueta

    valor
    Preciso 1
    Inexacto 2

    Finalizar

    		3
    Incompleto 4
    Importante 5
    No importante 6
    Lento 7
    Otro 8

    Tipo de retroalimentación

    valor
    Positivo 1
    Negativo 2