Introduzione

In questa serie di articoli stiamo raccontando da varie prospettive il tema della misurazione del valore. Abbiamo parlato di misurazioni interne, concentrate sull’organizzazione che sviluppa il prodotto, e di quelle esterne, volte a misurare il comportamento dell’utente.

Proseguendo nella trattazione delle misurazioni esterne, questo mese parleremo di un misuratore molto utilizzato e apprezzato nel mondo del management: il Net Promoter Score (o NPS), indicatore pensato originariamente per valutare il livello di apprezzamento dei clienti nei confronti di un servizio o di un prodotto.

 

Cosa è e come funziona il Net Promoter Score

Il Net Promoter Score (NPS) è stato sviluppato (e registrato) da Fred Reichheld che lo presentò in un articolo del 2003 [1]. Si tratta di un indicatore numerico che esprime la propensione di un cliente che ha appena usufruito di un servizio o un prodotto di raccomandare tale servizio o prodotto a un amico.

Gli intervistati sono quindi classificati in detrattori e promotori in una scala percentuale che varia da –100% (la totalità degli intervistati sono classificati come detrattori) a +100% (la totalità degli intervistati sono classificati come promotori).

All’intervistato viene proposta una sola semplice domanda:

In una scala da 1 (= “per nulla probabile”) a 10 (= “altamente probabile”), con quale probabilità consiglieresti questo prodotto/servizio/sito a un amico o a un collega?

Le risposte fornite dagli intervistati sono quindi classificate come segue:

• voto 0-6 = detrattori
• voto 7-8 = passivi o neutri
• voto 9-10 = promotori

Il Net Promoter Score viene calcolato sottraendo la percentuale di detrattori alla percentuale di promotori ottenuta. Il risultato però non viene espresso in punti percentuali, ma come numero assoluto compreso tra –100 e + 100. Dunque la formula è:

NPS = (% promotori – % detrattori) × 100

 

Qualche considerazione su NPS

Sulla carta NPS è semplice da presentare, basato su una sola domanda, molto facile da comprendere e con una risposta facile da classificare e misurare. Per questo motivo è molto popolare fra gli addetti di product management.

Inoltre dal punto di vista del cliente non fa perdere il tempo che servirebbe invece per un questionario lungo e articolato. È amato da chi lo usa perché fornisce un numero univoco e semplice da osservare e portare in una discussione.

Dal nostro punto di vista, però, nutriamo un certo scetticismo. Non tutti i prodotti, i servizi, le esperienze si prestano a questo tipo di valutazione. Di seguito, pertanto, riportiamo una serie di commenti e valutazioni sui limiti di questo indicatore e sui potenziali problemi che si possono verificare quando venga usato in modo inadeguato.

Un’ampia discussione del tema è riportato nell’articolo [2] da cui abbiamo preso spunto per le immagini con cui spieghiamo il funzionamento del NPS.

NPS non esprime la fedeltà dei clienti, né la propensione all’acquisto

La sua popolarità è cresciuta talmente tanto da snaturarne spesso il significato, tramutandolo da un indicatore della propensione al passaparola verso qualcosa che sia in grado di misurare la fedeltà dei propri clienti o addirittura la propensione all’acquisto. Dal “consiglieresti a un amico” al “torneresti a comprare da noi” il passaggio sembra rapido, ma in realtà, quando poniamo la domanda, stiamo chiedendo altro. NPS è comunque un indicatore fortemente influenzato dallo stato d’animo dell’intervistato, che non ci dice nulla di quello che realmente farà nel futuro.

NPS non è un indicatore della qualità del prodotto

Si trovano in rete interessanti studi statistici che mostrano come in realtà spesso si abbiano punteggi maggiori in corrispondenza di bassi volumi di vendita e viceversa [2].

Alcune testimonianze paradossali dicono cose del tipo

Sono anni che compro questo servizio. Sono insoddisfatto ma continuerò a comprarlo. Non ne parlo bene con nessuno dei miei amici

Oppure

… è probabile che consigli il servizio ad altri, nonostante la qualità sia bassa o poco soddisfacente

Questo tipo di risposte sono più frequenti in regime di bassa concorrenza o con poche alternative (telefonia, trasporti ferroviari, prodotti proprietari); soddisfazione utente è differente dalla qualità del prodotto, che invece dovrebbe essere la cosa che ci interessa maggiormente.

NPS non dice nulla su usabilità del prodotto o sulla UX

Non è difficile trovare alti volumi di vendita con NPS bassi. Si pensi per esempio all’esperienza utente che si ha quando dobbiamo prendere un treno per spostarci durante il periodo natalizio: alti volumi di vendita ma anche molti ritardi e treni sovraffollati; probabilmente bassa soddisfazione utente.

Ciò nonostante, se chiedessimo agli utenti se consiglierebbero di comprare un biglietto del treno per raggiungere la propria famiglia il 23/12 la risposta sarebbe comunque positiva: in mancanza di alternative o in presenza di alternative comunque peggiori, tante persone vogliono trascorrere le festività natalizie con i propri cari.

NPS quindi non fornisce indicazioni circa l’usabilità del servizio — l’app di acquisto si blocca spesso quando c’è molta affluenza — né sulla UX, probabilmente non esaltante a causa di treni in ritardo, coincidenze che saltano, treni molto affollati.

NPS non abilita una rete di ambasciatori

Un’altra buffa supposizione è che l’utilizzo del NPS permetta alla propria organizzazione di entrare nel fantastico mondo dei brand ambassadors, ossia dar vita a quelle dinamiche fatte di relazioni e di promozioni, di social community, di champion, evangelist, ambassador e via dicendo.

Per quanto questi strumenti siano interessanti e utili, fanno parte di un mondo — quello delle community, dei social network e delle grandi aziende in stile Spotify — che non si attivano semplicemente perché qualcuno ha espresso un giudizio positivo alla domanda “Ci consiglieresti?”.

Il risultato di NPS è poco attendibile

NPS ha un approccio totalmente diverso dalle metriche raccolte in tempo reale durante l’interazione utente, per esempio il tempo che un utente impiega per effettuare un pagamento, il numero di errori commessi durante la compilazione di un F24, il numero di click effettuati per recuperare o azzerare una password.

La domanda infatti viene posta alla fine della interazione utente e qui, fra i molti, due fattori possono influenzare la risposta dell’utente: lo stato d’animo con cui è giunto al termine e il fatto che lo stiamo chiedendo solo a chi è arrivato a termine; nulla possiamo chiedere a chi abbandona.

Nel primo caso, per esempio, la gioia per essere riuscito a comprare un biglietto per andare a trovare la famiglia che ci aspetta dall’altra parte del Paese potrebbe alterare il nostro giudizio.

Se invece a metà della transazione ci trovassimo talmente scontenti per come funziona il servizio da farci abbandonare non verremmo coinvolte in alcuna intervista finale. Molti NPS post-task surveys ricevono solo una percentuale di risposte che variano fra il 4%-7%. Un tasso del 7% per esempio indica che per ogni persona che ha risposto al questionario 13 non lo hanno fatto… Cosa pensavano del servizio?

Si noti che il tasso di abbandono nasconde probabilmente i problemi maggiori nel servizio, problemi che non emergono e dei quali non sapremo mai nulla. Questo particolare modo di informare le decisioni è viziato da un errore logico di fondo che prende il nome di Survivorship bias [3].

Per come è progettato NPS porta a nascondere i problemi e quindi ad avere magicamente risultati migliori della realtà. Paradossalmente peggiore è l’esperienza utente, migliore potrebbe essere il punteggio. Nuovamente troviamo che NPS, UX e fedeltà clienti sono grandezze scollegate.

NPS è un numero, semplice da raccontare | NPS è un numero, difficile da interpretare

Sebbene sia amato dai manager o dai preparatori di slides, proprio perché con un solo valore sembra esprimere il sentimento dell’utente, questo numero non ci dice nulla sul perché.

Cosa è piaciuto durante l’acquisto? La grafica? La velocità di esecuzione? La possibilità di usare differenti tipi di pagamento? Se dobbiamo intervenire per migliorare il servizio, si tratta di lavoro da passare all’ufficio tecnico? Al marketing?

Dal punto di vista dell’esperienza, se tutto è andato liscio o addirittura in modo egregio, perché un utente dovrebbe rispondere a un sondaggio di questo tipo? Molte piattaforme di booking propongono ai propri utenti un breve sondaggio per valutare la struttura e l’esperienza di prenotazione, di permanenza e di viaggio: in questi casi, il vantaggio per gli utenti è quello di avere un’offerta filtrabile anche per recensioni e rating, nato dalla vera esperienza. Se le recensioni sono autentiche, questo tipo di valutazioni ex-post aiuta a costruire fiducia e qualità percepibile anche da chi userà il servizio dopo di me.

Molti e-commerce si affidano a enti terzi per entrare in un circuito di valutazione neutrale (Trust Pilot, Feedaty etc.), il cui unico scopo è quello di fornire agli utenti elementi utili per capire se possono fidarsi del servizio. Nel caso di NPS, invece, lo score non restituisce un chiaro valore per gli utenti finali. Inoltre, non di rado svela alcune ambiguità interne al servizio, se non addirittura vere e proprie disfunzioni.

Un esempio? Siamo ad aprile e tra poco molti di noi faranno il cambio gomme alla propria auto, un’operazione che tipicamente facciamo due volte l’anno. La mia officina di fiducia, ogni volta e mentre pago, mi ricorda che riceverò un questionario e che dovrò votare 9 o 10 se il servizio è stato adeguato alle mie aspettative, ma ogni volta penso che questo non sarebbe il vero voto che darei.

Per un servizio adeguato, darei un 7; per un servizio che supera le mie aspettative, darei un 8, un 9 o un 10. Quando ricevo il sondaggio (uno smaccato NPS), rispondo con un 9 pensando che la mia officina di fiducia merita considerazione da parte della casa madre. Come cliente, il mio voto è in realtà un voto a logiche di reward interne con cui non vorrei avere nulla a che fare.

Di fatto solo chiedendo “perché” possiamo capire meglio come stanno le cose. Solo grazie a una analisi più approfondita possiamo capire i dettagli della situazione. Verrebbe da chiedersi “perché non chiedere direttamente il perché” e lasciar perdere il NPS?

L’algoritmo con cui è calcolato è quantomeno “singolare”.

La matematica che è dietro questo indicatore è certamente “singolare”: non effettua la media dei valori registrati dal sondaggio, ma definisce alcune classi di appartenenza in modo perlomeno discrezionale. Da 1 a 6 sono detrattori, neutri 6–8 e solo 9 e 10 promotori.

Sebbene tale suddivisione in classi di appartenenza possa anche avere un senso, di fatto è sbilanciata e non è detto che possa valere in ogni contesto e per ogni campione di popolazione.

Secondo aspetto bizzarro del modello di calcolo dell’NPS è che nasconde ogni progresso, proprio per la “larghezza” e lo sbilanciamento delle classi di merito.

Si prendano ad esempio due sondaggi fatti prima e dopo una operazione di miglioramento. Supponiamo che al primo sondaggio i nostri utenti ci abbiano fornito un punteggio molto basso (–100) che ci ha fatto capire come fosse necessario intervenire in qualche modo (figura 1).

 

Dopo l’intervento, il nuovo sondaggio offre sempre un NPS molto negativo (ancora -100) anche se osservando i risultato è indubbio che gli utenti stiano premiando con il loro voto il lavoro svolto (figura 2).

 

Le cose, dal punto di vista dell’NPS, migliorano di poco anche quando gli utenti in teoria iniziano (figura 3) a dimostrarsi più soddisfatti.

 

Poi all’improvviso il prodotto diventa “ottimo”: ora potete avere il vostro bonus produzione.

 

Questo modo di “interpretare” il feedback da un lato potrebbe essere fortemente demotivante per il team di lavoro (NPS resta negativo nonostante i molti sforzi); dall’altro i progressi sono nascosti, per cui non è possibile sapere quando le cose stanno andando meglio e, peggio ancora, non è possibile capire quali siano state le modifiche che hanno portato beneficio (essendo nascosto il trend di crescita).

Le sfumature e i bias cognitivi

Se avete modo di leggere il libro Measuring th User Experience [4] scoprirete che, quando si decide di usare una scala di misurazione con valori discreti, il numero e la “distanza” degli intervalli influenza fortemente la valutazione dell’utente.

Per fare un esempio semplice, parlando di voti assegnati al compito in classe, è difficile comprendere la differenza tra 6/7, un 6 ½ e un “esoterico” 7- – oppure fra un 7 ½ e un 7/8; ma, se interrogassimo un qualsiasi insegnante, molti di loro — per quanto non tutti — sarebbero in grado di fornire risposte circostanziate e motivazioni solidissime circa la “scientificità” di tali numeri.

In realtà è molto poco credibile che un 6/7 sia un punteggio significativamente differente da un 6 ½. Nella carriera scolastica di uno degli autori dell’articolo c’è anche il ricordo di un voto 4 -, commutato poi in un ben più “sostanzioso” 4 ½, con somma gioia nel comprendere che il quadrimestre non era ancora perso…

Ma torniamo al nostro NPS e vediamo in che modo i bias cognitivi e le sfumature influenzino i risultati: a una domanda del tipo “Consiglieresti il servizio a un amico”, il modo in cui formuliamo la domanda fa molta differenza.

Se mi chiedi di rispondere “sì” o “no” è abbastanza semplice rispondere. Se chiediamo di formulare un “sì”, un “forse” o un “no” ancora è fattibile, anche se la risposta potrebbe essere meno precisa: perché viene risposto “forse”?

Le cose peggiorano se chiediamo “In una scala da 1 a 5, quanto consiglieresti il nostro servizio a un amico?”. Peggio ancora se chiedessimo di consigliare su una scala da 1 a 10. Il punteggio assegnato su questo tipo di scale è fortemente influenzato da interpretazioni personali su cosa valga 6, 7 o 8.

Più si aumenta la scala, maggiore è l’effetto dell’interpretazione; non essendoci una matematica precisa che distingua fra due voti, minore è la distanza fra due voti, maggiore è l’impatto dell’interpretazione

Si tratta di un vero e proprio bias cognitivo, ossia, come recita la voce su Wikipedia, una “interpretazione fondata su una convinzione sviluppata sulla base dell’interpretazione delle informazioni in possesso, anche se non logicamente o semanticamente connesse tra loro e che portano dunque a un errore di valutazione o mancanza di oggettività di giudizio. Per dirla con una frase riportata nell’articolo già citato [2]: “An Eleven-Point Scale Pretends Noise is Science”.

Ottimo libro da leggere per capire come il nostro cervello sia influenzabile — anzitutto da se stesso — quando deve fare delle scelte o esprimere un giudizio è quello di Daniel Kahneman [5]. Se invece volete approfondire il discorso sui bias cognitivi, esiste un cheat sheet [6] che può rappresentare un ottimo punto di partenza.

 

NPS, in conclusione

Per concludere, se ci chiedete cosa ne pensiamo del NPS, vi diciamo onestamente che non lo riteniamo uno strumento utile quando si parla di misurazione della qualità del prodotto.

Non mette in luce quali sono i veri punti deboli o punti di forza del vostro prodotto. I risultati possono facilmente “sporcarsi” di rumore o dati non significativi.

NPS non ci dice nulla sulla reale esperienza utente. Non offre indicazioni sul processo di miglioramento, anzi. È uno strumento di misurazione che con il tempo sta rivelando un dark pattern che non ha nulla a che vedere con l’esperienza utente, se non di molestarlo con una domanda che per il rispondente è del tutto priva di valore per se stesso: ho usufruito di un servizio che quasi certamente ho pagato; perché dovrei valutarlo, magari più e più volte?

Non è utilizzabile come indicatore alla propensione all’acquisto né alla fedeltà dei consumatori, anche se questo, probabilmente, non è mai stato fra i suoi obiettivi.

Se volete fare quello che NPS non fa, noi consigliamo un approccio più mirato, fatto di indicatori specifici in cui il questionario sia una parte — ma con domande specifiche e mirate — affiancato anche da misuratori della reale esperienza utente. Suggeriamo per questo di proseguire la lettura questa serie di articoli visto che, nella prossima puntata, parleremo di Usability Metrics (metriche e statistiche di usabilità).