Se per i servizi di stampo tradizionale (voce, e-mail…) la misurazione degli indicatori chiave di performance è da sempre una vera e propria consuetudine, con l’avvento delle nuove tecnologie e di un uso sempre più massiccio dell’Intelligenza Artificiale nella gestione delle relazioni con i clienti, sta diventando molto importante anche misurare le performance quantitative e qualitative dei Chatbot.

Come spesso abbiamo sottolineato su queste pagine, nel settore del Customer Service, il vero ed unico valore aggiunto della tecnologia è rappresentato dalla sua intrinseca capacità di semplificare e, in alcuni casi, velocizzare il processo di interazione con i clienti, coadiuvando e non sostituendo l’imprescindibile contributo umano (“Human Touch”). Eppure, per valorizzare al meglio l’impiego di tali soluzioni, evitando di ricorrervi solo con finalità di marketing, è ormai diventato indispensabile anche quantificarne in maniera specifica ed oculata gli impatti sul proprio target di riferimento.

Di qui nasce la necessità di definire una serie di KPI per monitorare le performance complessive dei nostri Chatbot. Sebbene siano davvero numerosissimi gli indicatori potenzialmente considerabili, in questo articolo ho provato ad elencarne alcuni, riservandomi di aggiornare costantemente questa lista in relazione alle mutevoli esigenze del mercato.

Total Conversations (Totale conversazioni)

Per verificare l’engagement dei propri clienti ovvero se il Chatbot possa davvero rappresentare un adeguato canale di contatto, è opportuno misurare il numero totale di conversazioni avviate e completate correttamente in un determinato periodo di tempo (abitualmente un giorno).

Chiaramente, un Chatbot può essere utilizzato volontariamente (Voluntary Use), quando cioè gli utenti avviano l’interazione prendendo l’iniziativa, oppure “su richiesta” (Prompted Use), quando invece gli utenti avviano un’interazione dopo aver ricevuto una specifica notifica da parte dello stesso bot (molto comune, ad esempio, sui siti web). Questo indicatore è piuttosto utile per capire se il nostro Chatbot è usato frequentemente (quindi, se è popolare), se il numero di utenti cresce progressivamente e se vi sono più utenti che lo usano volontariamente rispetto a quanti lo utilizzano “su richiesta”.

Questions Per Conversation (Domande per conversazione)

Questo indicatore misura il numero di domande a cui un determinato Chatbot deve rispondere prima di fornire le informazioni richieste dagli utenti. E’ un KPI molto utile per verificare quanto sia funzionale ed aggiornata la repository di risposte predefinite (FAQ, articoli, domande simili o conversazioni passate) a cui il nostro Chatbot non conversazionale (Retrieval-based) accede oppure, nel caso di un Chatbot conversazionale (Generative-based), quanto sia stato adeguatamente “allenato” od “istruito”.

Avete presente quelle aziende che decidono di implementare un Chatbot in azienda ma lo lasciano abbandonato a sé stesso? Ecco, il monitoraggio di questo indicatore ci permette di verificarne costantemente l’efficienza e l’efficacia.

Bounce Rate (Frequenza di rimbalzo)

La Frequenza di rimbalzo è un indicatore molto utile per misurare il numero di sessioni utente che non portano ad una reale consultazione del Chatbot su argomenti rilevanti per la sua area di competenza. In altre parole, rappresenta il volume di sessioni in cui il bot viene aperto ma non consultato.

E’ evidente che una percentuale elevata del Bounce Rate indica un’insufficente aggiornamento dei contenuti a cui attinge il bot oppure un suo errato posizionamento a livello di Customer Journey.

Non-response Rate (Tasso di mancata risposta)

Il Non-response Rate misura la quantità di volte in cui il Chatbot non è stato in grado di rispondere ad un utente per mancanza di contenuti adeguati o per eventuali incomprensioni. Tenere sotto controllo questo KPI consente, non solo di ottimizzare progressivamente le prestazioni complessive del Chatbot e di incrementare le sue performance qualitative, ma anche di testare il grado di complessità delle domande a cui potenzialmente può o dovrebbe rispondere.

Performance Rate (Tasso di rendimento)

Il Performance Rate è un indicatore che misura il numero di risposte restituite correttamente dal Chatbot diviso il numero complessivo di sessioni attive. Ma cosa si intende per risposta “corretta”? Una risposta restituita da un Chatbot può essere ritenuta corretta quando viene, ad esempio, cliccata dall’utente in caso di scelte multiple oppure selezionata immediatamente in caso di una correlazione diretta fra un particolare contesto ed un determinata parola chiave fornita (“corrispondenza semantica”).

Goal Completion Rate (Tasso di completamento dell’obiettivo)

Il Goal Completion Rate consente di misurare la percentuale di successo di una determinata azione eseguita mediante il Chatbot (Call to Action), come ad esempio cliccare su un link, compilare un modulo o procedere ad un acquisto. E’ evidente che questo particolare indicatore è utile soprattutto in contesti di vendita diretta (pensate, ad esempio, ad un E-commerce) oppure in servizi che puntano in maniera specifica su azioni di up-selling o cross-selling.