Introduzione

Nella puntata precedente della serie abbiamo parlato del Net Promoter Score, indicatore molto usato per valutare la qualità di un prodotto, al quale secondo noi viene attribuito un significato che va oltre le sue potenzialità.

L’errore principale è quello di associare il valore del prodotto con la propensione di un utente a consigliare — forse, un giorno, chissà mai… — il prodotto ad altre persone. Fornisce valori facilmente alterabili, non oggettivi e spesso legati all’emotività della persona intervistata e, infine, non coerentemente misurabili.

Con questo articolo, quindi, vorremmo fornirvi qualche suggerimento per introdurre nel vostro processo di misurazione della qualità alcuni indicatori numerici che non siano necessariamente affetti dai problemi di cui sopra. Il focus principale sarà la valutazione di metriche derivanti dall’osservazione del comportamento utente.

Misurare il comporamento senza influenzarlo

Siamo convinti che il modo più efficace di valutare il grado di soddisfazione di un utente sia quello di misurarne il comportamento senza influenzarlo, cosa che invece fa un questionario, e senza chiederlo dopo che ha terminato, cosa che è necessaria se vogliamo usare una survey a fine processo.

Vorremmo infine capire come valutare anche un singolo passaggio, la singola procedura, la singola pagina, indipendentemente da quello che accade dopo e dal fatto che si completi o meno tutta la procedura. Avevani infatti visto che un altro difetto degli NPS e di tutti i sistemi basati su interviste sta nel non poter considerare gli abbandoni, che rappresentano invece una statistica significativa.

 

Che cosa è la User Experience

Una nota sulla terminologia: le metriche sulle statistiche di utilizzo possono misurare l’usabilità del prodotto — o indirettamente la capacità del prodotto di mettere l’utente a proprio agio — mentre se parliamo di User Experience (UX) entrano in gioco altri fattori psicologici, il gusto estetico, e così via.

Ma cosa si intende esattamente per UX? Sebbene non esista una definizione standard di UX, esistono vari standard internazionali che ne parlano. Tra tutti, quello che include concetti come progettazione incentrata sugli utenti (human-centred design), usabilità, accessibilità e misurazione della user experience è la ISO 9241 Ergonomics of Human-System Interaction e, in particolare, la ISO 9241-210 Human-centred design for interactive systems.

Design incentrato sugli utenti

Nello standard ISO 9241-210, sono descritti i 6 principi chiave che certificano che il design sia incentrato sugli esseri umani:

• Il design è basato su una comprensione esplicita degli utenti, delle attività e degli ambienti.
• Gli utenti sono coinvolti nel design e nello sviluppo.
• Il design è guidato e rifinito da una valutazione incentrata sugli utenti.
• II processo è iterativo.
• Il design affronta l’intera User eXperience.
• Il team di design include competenze e punti di vista multidisciplinari.

Usando quindi questo standard ISO come guida, per quanto riguarda la misurazione della User Experience ci concentreremo in particolare su questi 3 aspetti fondamentali:

• La persona è coinvolta.
• La persona interagisce con il prodotto, con il sistema o almeno con la sua interfaccia.
• L’esperienza è al centro dello studio ed è osservabile e misurabile.

Escluderemo quindi dalla nostra trattazione sulle metriche UX tutto quello che ha a che fare con aspetti intangibili della UX, come il gusto personale, l’estetica o considerazioni legate all’empatia o alla psicologia comportamentale dell’utente. Attenzione però: questi aspetti non rientrano nelle misurazioni statistiche di cui parliamo qui, ma sono tutti elementi comunque essenziali quando si parla di UX in senso più completo.

Cosa misuriamo?

In assenza di un utente che svolge un’operazione, possiamo solo misurare attitudini o preferenze, come succede in un sondaggio politico o in quelli che si fanno per capire la preferenza accordata a un particolare prodotto.

Ma a noi interessa che ci sia un comportamento misurabile quando parliamo di metriche della User Experience: per esempio, il tempo necessario per svolgere un’operazione, quale sia il pulsante più cliccato o il numero di volte che un utente clicca su un’icona durante l’esecuzione di un task.

 

Cosa sono le User Experience Metrics

Una metrica è un modo per misurare un fenomeno, un oggetto, un processo, sia per fare confronti fra istanze differenti che per valutare l’evoluzione a fronte di variazioni o correzioni.

Tipicamente, il concetto di misurazione si basa su un agreement o uno standard condiviso e utilizzato per confrontare la misurazione stessa con un scala o per confrontare valori differenti. Il metro o il kilogrammo hanno senso nel momento in cui sappiamo come comparare un oggetto con la misura campione universalmente accettata.

Per le metriche dedicate all’esperienza utente (UX Metrics) vale lo stesso ragionamento: si basano su un sistema universalmente riconosciuto e affidabile, in modo che determinate misurazioni siano ripetibili, confrontabili, utilizzabili per scegliere e valutare.

Quali metriche?

In tal senso, una metrica di questo tipo dovrebbe poterci dare indicazioni circa l’esperienza dell’utente che usa il prodotto: potremmo prendere in considerazione la percentuale di successo nello svolgimento di un compito, l’efficienza (quanti click sono stati necessari per completare il task), l’efficacia (il task fa raggiungere effettivamente l’obiettivo prefissato), o le performance assolute.

Metriche di questo tipo ci forniscono indicazioni per poter trovare risposte non facilmente recuperabili in altro modo:

• Il nuovo prodotto è più efficiente del precedente?
• Quanto tempo impiega un nuovo utente a imparare ad usare la nuova interfaccia?
• Quali sono i principali problemi di usabilità del prodotto?
• Le modifiche introdotte nell’ultima release velocizzano il processo?

e così via.

Tenendo sempre ben presente il percorso intrapreso in questa serie, le UX Metrics sono importanti per aiutare il Product Owner a comprendere come valutare il valore rilasciato o per guidare la strategia evolutiva del prodotto stesso.

 

Summative vs Formative

Quando usiamo le UX Metrics per effettuare un’indagine, possiamo seguire sotanzialmente due approcci: uno più analitico, valutativo, basato su misurazioni e classificazioni (summative assessment) e uno invece più qualitativo (formative assessment) che ha lo scopo di identificare punti di miglioramento e viene utilizzato in modo iterativo lungo tutto un percorso di miglioramento, o durante l’implementazione di nuove funzioni.

Si aggiunge una nuova feature o si modifica una parte, si misurano gli effetti e si cerca di capire se questa cosa ha portato a un miglioramento misurabile, concreto, oggettivo oppure no. Entrambi i termini derivano dal mondo della formazione accademica e hanno a che fare con la modalità con cui sono effettuati test di verifica o sistemi di valutazione.

Indagine qualitativa: formative assessment

Un formative assessment si svolge tipicamente quando ci troviamo di fronte a evidenti opportunità di miglioramento dell’interfaccia o più genericamente della esperienza utente nel suo complesso. Possiamo pertanto provare varie implementazioni o soluzioni alternative, anche evolutive le une delle altre.

Qualora non ci sia la possibilità di intervenire nel design dell’applicazione, una valutazione di questo tipo — per quanto quasi sempre accettata dai vari stakeholder come attività di valore — rischia di avere costi troppo alti per i benefici che introduce; un budget limitato potrebbe rappresentare un ostacolo severo.

Misurazione quantitava: summative assessment

Un summative assessment, invece, ha lo scopo di valutare quanto un prodotto o una parte di prodotto raggiunge i propri obiettivi. Può essere utile anche in quei casi in cui si debbano comparare tra loro prodotti differenti, prendendo come riferimento alcuni aspetti di riferimento.

 

Alcuni esempi di metriche

Ora che abbiamo visto la differenza tra summative e formative assessment, riportiamo di seguito alcuni esempi di metriche molto utilizzate.

Metriche per la navigazione o l’Information Architecture

Si misura in questo caso quanto sia semplice o intuitiva l’architettura (strutturale o informativa) per esempio di un applicativo o di un sito web, ovvero come le informazioni siano reperibili al suo interno.

Si possono preparare per esempio dei test in stile “caccia al tesoro” (scavenger hunt tests) per valutare quanto tempo — o che numero di click — un utente impieghi per svolgere un compito o trovare un’informazione. Possiamo anche valutare in questo modo quanto sia facile perdersi nella mappa ipertestuale del sito.

Metriche sulle performance

Quando si parla di processi, transazioni o di una qualsiasi procedura — come il cambio password o un acquisto online — una prima valutazione potrebbe essere la percentuale di completamento con successo, che deve corrispondere a uno stato ben preciso e misurabile. Questa metrica fornisce già interessanti informazioni sulla facilità d’uso; sono informazioni numeriche e misurabili, non un parere chiesto all’utente, ma che potrebbero essere “sporcate” dagli abbandoni per mancanza di interesse o altro.

In linea di principio, ogni volta che si vuole misurare un comportamento utente — ossia tutte le volte che si parla di UX — si apre la possibilità di valutare la performance relativa a un determinato task: quanto tempo impiega un utente a completare un form oppure quanti bottoni sono premuti per accendere una stufa o riattivare un decoder.

Piuttosto che interrogarsi se un determinato prodotto sia “debole” su un determinato aspetto — una parte, una procedura, una pagina web — possiamo misurare la percentuale di completamento entro un certo tempo, oppure il tasso di errori di input, oppure gli abbandoni. E possiamo confrontare questi numerio con la versione precedente).

Il management spesso usa questi numeri anche per valutazioni economiche: banalmente, un minor tempo di esecuzione per un operatore significa un maggior numero di task completati per unità di tempo. Ma non sempre le misurazioni di performance ci possono fornire indicazioni su dove sia il problema anche se, restringendo il campo d’azione, si possono ottenere indicazioni più precise.

Task success e metriche derivate

La metrica di performance più utilizzata è senza dubbio il coefficiente di successo per un determinato task (task success rate), per il quale è necessario definire in modo chiaro e circoscritto cosa si intende per task che vogliamo misurare: non è possibile infatti misurare il tempo che un utente impiega per “girellare” su un sito.

Può essere calcolato su un risultato binario (successo/fallimento), oppure su una valutazione qualitativa comparativa (ossia quanto un task è stato eseguito con successo). Sul task success si possono costruire metriche sulla efficienza (tempo necessario per completare un task con successo oppure percentuale dei successi).

Il task success trend permette poi di valutare il coefficiente di apprendibilità di un prodotto, metrica interessante per i prodotti nuovi che sono lanciati sul mercato o per quelli che non usiamo tutti i giorni: maggiore è il coefficiente di apprendibilità (= imparo / mi ricordo come fare a usarli in poco tempo), minore sarà il tempo necessario per essere operativi e con meno errori.

Ci sono poi oggetti che usiamo per la prima volta ma dove è necessario imparare velocemente, o immediatamente, senza compiere errori: si pensi a un estintore antincendio o al cardiodefibrillatore automatico che si trova spesso per le strade e che in caso di emergenza dovrebbe essere facile da usare per chiunque.

Ulteriori sviluppi sulle metriche di performance

Grazie alla misurazione dei successi, possiamo anche provare a creare segmentazioni sugli utenti: per esempio possiamo cercare la relazione fra tasso di successo e altre grandezze come l’anzianità di utilizzo, la conoscenza del dominio (low-domain knowledge vs. high-domain knowledge), l’età media del gruppo, la collocazione geografica e altro ancora.

Le misurazioni sulle performance introducono aspetti legati ai dati come la dimensione del campione statistico, la distribuzione dei dati e l’andamento delle metriche centrali (media, mediana, moda etc.) rispetto ai valori esterni (dimensione del segmento con valore maggiore/minore). Sono tutti aspetti che, se ben conosciuti e opportunamente applicati, possono fornire informazioni molto significative relativamente al valore rilasciato con il prodotto [1].

 

Conclusione

In questo articolo abbiamo introdotto alcuni concetti legati alle misurazioni dell’esperienza utente (UX). Indipendentemente dal tipo di metrica che si decide di adottare, dal tipo di indagine, dalla fase del processo e dalla parte di prodotto che si intende indagare, le metriche hanno un innegabile vantaggio rispetto ad altre forme di indagine (survey o NPS): sono puntuali, immediate, oggettive.

È possibile apportare una modifica al nostro prodotto e capire se l’utente impiega più o meno tempo rispetto a prima per svolgere un determinato compito o se il coefficiente di apprendimento è migliorato o peggiorato.

Chiaramente, non stiamo dicendo di abbandonare ogni altra forma di indagine; spesso, nel considerare il valore di un prodotto, l’utente considera alcuni aspetti intangibili (gusto, affinità, empatia) che conviene comunque tenere in considerazione se vogliamo rilasciare valore. Attenzione però a non confondere le due cose. Probabilmente solo KPI misurabili possono fornire indicazioni utilizzabili quando si deve popolare un backlog o cambiarne l’ordinamento.