Fino a oggi gran parte dell'attenzione si è concentrata su ciò che sta davanti all'intelligenza artificiale: i punti di contatto, le interfacce, le situazioni in cui le persone interagiscono con un assistente.
Ma chi mette in opera un'AI lo fa con degli obiettivi e a un certo punto quegli obiettivi vanno misurati.
Bisogna capire se l'investimento sta producendo qualcosa, se le persone usano davvero lo strumento e se da quell'uso nasce valore.
Senza strumenti di misurazione, tutto questo resta lettera morta e si naviga fuori controllo.
Il limite dell'analytics numerico
Il contesto degli assistenti conversazionali è particolare, perché la misurabilità è più nebulosa: non ci sono numeri immediati da tradurre in un foglio di calcolo, si è nel linguaggio.
Per l'analisi numerica esistono tonnellate di strumenti, ma chiunque lavori con le analytics dei siti e delle interfacce digitali ne è rimasto un po' deluso: scoprire che le conversioni sono calate del 2 o 3 per cento, o che le persone abbandonano in un certo punto, non dice mai perché succede e cosa fare.
Sono segnali numerici poco azionabili. Spostandosi nel mondo dell'AI serve quindi un approccio diverso, altrimenti si finisce ancora più lontani dal poter decidere se una cosa funziona o no.
Ascoltare le conversazioni con la semantica
Un sistema di AI Analytics ribalta la prospettiva: la componente numerica resta presente, ma è secondaria.
La parte principale è utilizzare l'AI per ascoltare le conversazioni, rigorosamente anonimizzate. Non interessa chi ha detto cosa, ma di cosa la persona voleva parlare, se ha trovato la risposta alla sua domanda, se era soddisfatta dell'esperienza e come si potrebbe migliorare.
Il punto di partenza è l'analisi semantica, e lo si può fare proprio perché l'AI sa comprendere il significato e non solo le parole.
Il primo compito è capire quali sono gli argomenti più trattati, creando cluster omogenei: c'è chi parla di automobili, chi di biciclette, chi di moto. Trattandosi di ambienti nativamente multilingua, si può scegliere l'inglese come lingua franca per la clusterizzazione e includere comunque chi parla di automobili in francese, tedesco o giapponese insieme a chi ne parla in italiano o spagnolo. La semantica tiene insieme tutte le persone che parlano dello stesso tema indipendentemente dalla lingua, e all'occorrenza permette anche di dividerle per paese o di confrontare gli argomenti tra gruppi linguistici diversi.
La cosa sorprendente è proprio questa: ragionare sul significato e non sul significante, raggruppando automobile, macchina e bolide sotto lo stesso concetto.
Fino a poco tempo fa raggruppare le cose in questo modo era complessissimo, oggi è semplice.
Soddisfazione esplicita e implicita
Capire gli argomenti non basta: serve anche misurare la soddisfazione degli utenti.
Dopo aver costruito automaticamente ontologie e tassonomie sulla base di come le persone usano lo strumento, si può analizzare il sentimento e il livello di soddisfazione o insoddisfazione, non solo se va bene o male ma quanto.
La soddisfazione esplicita si raccoglie con pollice su o pollice giù e meccanismi simili.
Quella implicita si ricava leggendo la conversazione: se l'AI risponde che non ha l'informazione per rispondere, è evidente che chi ha fatto la domanda non può essere soddisfatto.
Le persone, inoltre, parlano con l'AI come parlano con gli umani, fino a scrivere non mi hai capito, cercavo un'altra cosa, e talvolta fino all'insulto.
Tutta semantica che, letta dall'AI, fa suonare campanelli d'allarme e indica dove andare a guardare. Espressioni diverse vengono raggruppate sotto cluster di problematiche analoghe, e questo dà direzioni precise su dove intervenire.
3 macro blocchi e i watcher
Il sistema si articola così in tre grandi macro blocchi:
- Le soddisfazioni e insoddisfazioni esplicite, espresse da un pulsante, un like, un pollice.
- Le soddisfazioni e insoddisfazioni rilevate dalla semantica, dedotte dal modo in cui la conversazione si svolge.
- I watcher: si può chiedere all'AI Analytics di tenere sott'occhio un argomento specifico, di rilevare quando viene tirato in mezzo e di seguire come prosegue la discussione.
Su questa base si possono impostare alert, allarmi che segnalano quando una situazione critica si verifica e con quale ricorrenza statistica, e intervenire sul comportamento dell'assistente, ad esempio attraverso regole, per correggere i singoli punti critici.
Perché diventa indispensabile
Gestire un progetto di AI conversazionale senza uno strumento di questo tipo è di fatto impossibile.
Con numeri molto bassi si potrebbero leggere a mano le conversazioni, ma appena l'utilizzo cresce questo non è più sostenibile, e senza analisi automatica si naviga al buio.
La criticità è ancora maggiore se si considera che questi assistenti sono la personificazione della marca: un conto è il peso di un carrello abbandonato, un altro è una questione di reputazione.
Se qualcosa non funziona, possono nascere crisi anche consistenti, e per questo il controllo su ciò che succede è strategico.
Una domanda utile da porsi all'inizio di un progetto è semplice: tra un anno, sarò contento se?
Qualunque sia la risposta, senza uno strumento di AI Analytics a bordo sarà difficile dare quelle informazioni, perché semplicemente non le si conoscerà.