Come misurare le performance di un Chatbot (Parte 2)

Come misurare le performance di un Chatbot
Come misurare le performance di un Chatbot (Parte 2)

La cosiddetta “Rivoluzione dei Chatbot” non è ancora compiuta ma i grandi player del settore, come Facebook o Google, da qualche anno a questa parte “se le stanno dando di santa ragione”. Avere il primato assoluto in questo campo equivale infatti a dominare il mercato del futuro, in cui AI e Chatbot rappresenteranno la normalità e non più solo una “auspicabile innovazione” per addetti ai lavori. I passi in avanti fatti fino a questo momento sono stati comunque notevoli.

Delle enormi potenzialità di Meena (il Chatbot in grado di “parlare di qualsiasi cosa”) abbiamo già parlato precedentemente ma, da quanto sostiene anche il MIT Technology Review, soprattutto grazie alla mole gigantesca di dati sui cui si è allenato (1,5 miliardi di conversazioni del Social Network Reddit), sembrerebbe esserci anche un altro concorrente a contendersi il primato di Google: Blender, il nuovo Chatbot di Facebook.

Staremo a vedere. Nel frattempo, proviamo ad addentrarci ancora una volta e più in profondità nelle metriche dei Chatbot, passando a rassegna altri potenziali indicatori per monitorare puntualmente le loro performance. Perché, al di là di tutto, un Chatbot potrà considerarsi davvero utile solo quando sarà completamente in grado di assolvere alle proprie specifiche mansioni, nei modi e nei tempi prestabiliti.

Self-Service Rate (Tasso di risoluzione in modalità Self-Service)

Il Tasso di Risoluzione in modalità Self-Service esprime il numero di utenti in grado di risolvere autonomamente i propri problemi attraverso le risposte fornite dal Chatbot, senza dover successivamente contattare il servizio clienti. In altre parole, corrisponde alla percentuale di sessioni completate correttamente senza essere reindirizzati ad un operatore umano.

Come qualcuno di voi avrà già notato, è un indicatore del tutto equivalente al First Contact Resolution (FCR) di un Customer Service o Contact Center. Al pari di quest’ultimo, anche il Self-Service Rate è un KPI essenziale per valutare la soddisfazione dei propri clienti ed analizzare il ROI del tuo progetto di implementazione del Chatbot.

Comprehension Level (Livello di comprensione)

Il Livello di Comprensione del Chatbot rappresenta senz’altro uno degli indicatori più sensibili e determinanti per valutare complessivamente l’efficacia e l’efficienza del progetto. E’ un KPI in continua evoluzione in quanto dipende sia dalla capacità di comprensione del Chatbot delle specifiche domande che gli vengono poste, sia dalla completezza della Knowledge Base da cui attinge.

Se un Chatbot non dovesse comprendere una domanda, potrebbe dipendere o dalla sua errata formulazione da parte dell’utente oppure dalla tipologia di domanda, che potrebbe infatti esulare dalle specifiche conoscenze del Chatbot. Immaginate di porre una domanda di natura tecnica ad un bot che fornisce esclusivamente gli orari di apertura di un negozio!

Usage Distribution by Hour (Distribuzione oraria utilizzo)

Come è ormai più che assodato, i Chatbot rappresentano un strumento efficace e relativamente economico per estendere il presidio orario del proprio servizio. Un Chatbot è, di fatto, sempre disponibile, 24 ore su 24, 7 giorni su 7.

Per questo motivo, è piuttosto importante monitorare attentamente la distribuzione oraria delle sessioni di utilizzo del bot, evidenziando e valorizzando soprattutto quelle che avvengono in fasce orarie durante le quali i servizi di supporto all’utente non erano precedentemente disponibili.

Chatbot Conversation Lenght (Durata della conversazione)

La Chatbot Conversation Lenght è una metrica utile a calcolare la durata media delle interazioni tra il Chatbot ed i propri utenti. I target di riferimento sono piuttosto variabili in quanto dipendono in maniera determinante dalla tipologia di domande a cui il Chatbot abitualmente risponde.

Un bot deputato a risolvere problemi di natura tecnica richiederà conversazioni senz’altro più lunghe e complesse rispetto ad un bot che fornisce gli orari di apertura e chiusura di un negozio. Indipendentemente dal suo campo di applicazione, il costante monitoraggio di questo KPI consente di quantificare il tempo risparmiato dai clienti/utenti per risolvere i propri problemi.

Most Frequently Asked Questions (Domande più frequenti)

Una delle pratica più utili ed efficaci per migliorare le prestazioni di un Chatbot è senz’altro quella di identificare quali richieste gli vengono indirizzate più spesso. In altre parole, la misurazione di questo indicatore serve a definire in maniera specifica i diversi campi di applicazione del bot.

L’analisi delle domande ricorrenti a cui il Chatbot abitualmente risponde consente di “allenarlo” in maniera puntuale, concentrandosi esclusivamente sugli argomenti di maggiore interesse per il proprio target di riferimento e, quindi, sul miglioramento complessivo della qualità delle sue risposte.

2 thoughts on “Come misurare le performance di un Chatbot (Parte 2)

  1. Grazie per il post!
    Ritengo che sia assolutamente indispensabile sensibilizzare gli utenti all’utilizzo dei Chatbot perché possono veramente migliorare la cosiddetta “customer experience”. Ad esempio sono utili per evitare il grande numero di “carrelli vuoti” sui siti di e-commerce!

    1. Passata questa prima fase di entusiasmo diffuso, peraltro comprensibile, bisognerà cominciare a monitorare attentamente le performance dei Chatbot! Sono piuttosto ottimista. E Lei?

Rispondi