Product Ownership e misurazione del valore di un prodotto

II parte: Le metriche esterne/direttedi e

Introduzione

Nel precedente articolo abbiamo introdotto il concetto di misurazione del valore rilasciato al cliente grazie a un prodotto. Abbiamo parlato delle metriche interne (o indirette) ossia di quelle valutazioni che, tramite l’osservazione delle performance della organizzazione, del processo o semplicemente del team, possono fornirci una misura indiretta del grado di soddisfazione dell’utente finale.

Questo mese invece “usciamo fuori dall’ufficio” per andare a misurare in qualche modo cosa pensa l’utente del prodotto che sta usando. Qui le cose si fanno più difficili, dovendo intercettare sentimenti e valutazioni che non sono misurabili in senso numerico, ma sono invece espressione di uno stato d’animo e di fattori non sempre strettamente collegabili al prodotto in sé. Senza la pretesa di fornire una trattazione omnicomprensiva o esaustiva, proveremo a fornire tre strumenti o punti di vista riguardanti lo stesso argomento.

Nel cercare di intercettare il grado di soddisfazione dell’utente possiamo pensare di mettere in pista una serie di strumenti che, partendo dalla semplice intervista, si fanno via via più sofisticati.

 

Com’è fatta una survey e come si fa

Una survey è uno strumento di indagine statistica svolta su un campione di persone per ottenere informazioni su loro comportamenti, opinioni o sentimenti. Usata per decenni nei campi della psicologia e sociologia a scopo di ricerca sociale o demografica, con il tempo la survey ha iniziato a essere utilizzata in moltissimi altri campi tra cui quello della pubblicità, del marketing e, più di recente, del design e dello sviluppo.

Indagini qualitative e quantitative

Nel mondo del design, le survey sono uno degli strumenti principali della ricerca quantitativa, così come le interviste o i test di persona lo sono per la ricerca qualitativa. Con la qualitativa si esplorano i “perché” e i “cosa”, con la quantitativa il “quanto”. Le due tipologie di ricerca vengono spesso svolte insieme, mescolando approcci e strumenti dell’una con l’altra, per ottenere sia informazioni ispirazionali che dati e risultati.

Questionari strutturati

Possiamo descrivere una survey come un questionario strutturato, preceduto da una fase di preparazione — definizione degli obiettivi e del campione rappresentativo che si vuole raggiungere, delle modalità di invio e raccolta risposte, preparazione delle domande — oltre che da una breve fase di test del questionario, da una fase di rilevazione — risposte al questionario — e, infine, da quella di estrazione e analisi delle risposte con restituzione dei dati emersi.

In base all’obiettivo stabilito, una survey può essere quindi fatta in vari modi. Alcuni esempi di obiettivi sono

  • profilare i propri utenti;
  • raccogliere l’opinione delle persone relativamente a un determinato prodotto o servizio al fine di migliorarlo;
  • comprendere il livello di coinvolgimento e fedeltà dei propri clienti;
  • testare il concept di una nuova funzione o servizio;
  • individuare alcuni trend rispetto ai temi proposti nella survey.

Il campione a cui sottoporre le survey

Nel mondo del design e dello sviluppo software, una survey può essere agganciata al prodotto e quindi intercettare un campione di persone che già conoscono il prodotto/servizio o che già lo utilizzano; oppure può essere inviata a un campione di persone reclutate da panel (Doxa, Ipsos, etc.) per dimensionare e comprendere la rilevanza del percepito.

Nel primo caso, la survey sarà tipicamente più verticale, nel secondo potrebbe essere longitudinale oppure verticale. Vediamo di seguito queste possibilità.

 

Survey rivolte a chi conosce o usa il prodotto o servizio

A seconda del tipo di feedback che si sta cercando, la survey potrebbe essere proposta agli utenti del prodotto in varie modalità. Ne prendiamo in esame alcune, riportate di seguito, come rappresentative delle possibilità del tool.

Feedback poll + questionario

Questo tipo di survey è diviso in due parti: la prima consiste nel proporre ai visitatori del sito o utenti del prodotto pochissime domande a cui è possibile rispondere con un semplice click o tap (feedback poll).

Queste domande possono essere presentate in un pannello che l’utente vede mentre visita il sito e/o usa il prodotto (modalità sincrona) oppure possono arrivare via email (modalità asincrona). In entrambi i casi, le risposte vengono registrate e a questo punto si invita l’utente a rispondere a qualche ulteriore domanda, eventualmente con richiesta facoltativa di profilarsi in forma più o meno anonima.

Questo tipo di indagine non può dare particolari garanzie sulla varianza del panel dei rispondenti. vale a dire la rappresentatività dei rispondenti rispetto alla base di utenti totale; pertanto, viene tenuta aperta fino al raggiungimento di un numero di risposte giudicato congruo rispetto al tema su cui si sta raccogliendo feedback. In base al bacino di utenza, le risposte al poll potrebbero essere migliaia e al questionario centinaia.

Figura 1 – Un esempio di feedback pool su Hotjar; in questo caso, dopo il send il pannello si chiude e il pool finisce, ma si può agganciare il resto della survey nel messaggio di feedback.

Figura 1 – Un esempio di feedback pool su Hotjar; in questo caso, dopo il send il pannello si chiude e il pool finisce, ma si può agganciare il resto della survey nel messaggio di feedback.

 

Su web, esistono vari strumenti che consentono di proporre una survey in questa modalità per esempio Hotjar, Crazyegg o Ethnio, combinati eventualmente tra loro o con altri tool.

Figura 2 – Esempio di feedback pool via email su Booking: dopo il rating veloce (smileys) si finisce in una pagina in cui è possibile dare una valutazione più completa; si può fare la stessa cosa con feedback poll + survey.

Figura 2 – Esempio di feedback pool via email su Booking: dopo il rating veloce (smileys) si finisce in una pagina in cui è possibile dare una valutazione più completa; si può fare la stessa cosa con feedback poll + survey.

Questionario rivolto a tutti gli utenti del prodotto

Si tratta del classico questionario strutturato a bivi e funnel, in cui tipicamente vengono indagate 3 o 4 idee (o dubbi) sul prodotto. Può essere arricchito con immagini o video. Dopo alcune domande volte a profilare in forma anonima la tipologia di utente — per esempio: Con che frequenza usi la funzione X? In che orari? Da quale device? — il questionario propone le domande dedicate all’approfondimento del tema indagato e infine alcune domande facoltative di profilazione del rispondente (età, sesso, occupazione etc.).

Anche in questo caso, la profilazione è facoltativa e in fase di analisi è importante tenerne conto. Oltre a Hotjar ed Ethnio, questo tipo di questionari può essere realizzato con strumenti come Google Modules, disponibile anche gratuitamente, Typeform [1] che, nella versione a pagamento, offre un interessante pannello di analisi delle risposte, o Surveymonkey, che è disponibile solo a pagamento.

Si tenga conto che, per completare questo tipo di questionari, gli utenti impiegano diversi minuti. Devono quindi essere ben motivati a farlo: potrebbero esserlo perché la funzione o il prodotto sono in fase di test e il campione di utenti è per sua natura disposto a dare feedback; oppure la funzione o il prodotto sono molto amati o richiesti. In alternativa, è il caso di chiedersi se non convenga proporre qualche forma di premio ai rispondent, quali, ad esempio, dei buoni regalo a estrazione, oppure ai primi 10 rispondenti e così via. Anche in questo caso, in base al bacino di utenza, le risposte al poll potrebbero essere migliaia e quelle al questionario centinaia.

Questionario rivolto a un campione scelto di utenti del prodotto o servizio

Questo tipo di questionari può essere inviato agli utenti che abbiano autorizzato ad essere contattati per questo tipo di indagini. Gli utenti vengono selezionati e contattati tramite mailing list o direttamente via email o telefono.

L’analisi terrà ovviamente conto della selezione fatta a monte: per esempio: si vogliono intervistare i power-user; oppure solo gli utenti che nell’ultimo mese hanno smesso di usare il prodotto etc. È consigliabile proporre un incentivo ai rispondenti (coupon, buono spesa, ricarica telefonica, buono benzina). Visti i costi dell’incentivo e i tempi necessari per la selezione del campione, di solito tali questionari vengono proposti a diverse decine o poche centinaia di persone.

Si tenga conto che un buon tasso di conversione di un questionario è 5%: ciò significa che se provate a inviare un questionario a 1000 persone, ottenere 50 questionari completi è un buon risultato.

 

Survey su panel

Le aziende che svolgono ricerche e analisi di mercato sono proprietarie di, oppure hanno accesso a, uno o più panel, cioè a una sorta di registro di decine di migliaia di persone che consentono di essere contattate e intervistate.

È una buona idea raggiungere persone che in larga maggioranza potrebbero non conoscere il prodotto nel caso si stia cercando di comprendere aspetti non condizionati dall’abitudine d’uso. Potrebbe essere usato per raccogliere opinioni su funzioni non testabili dagli attuali utenti, per esempio un flusso di onboarding, oppure per dimensionare bisogni e percezioni di chi non ha scelto o non conosce il prodotto.

In questo caso, una survey può essere pensata per essere compilata solo da un gruppo di persone che corrispondono a un certo profilo, per esempio solo da donne dai 25 ai 35 anni, del Centro o del Sud Italia, che abbiano almeno una carta di debito o credito aggiunta al wallet del proprio telefono e che abbiano fatto almeno un pagamento dal wallet.

La survey viene inviata per il tempo necessario a raccogliere un numero di risposte statisticamente rilevante, equivalente, di solito, a poche settimane.

 

La survey: uno strumento

Come qualunque altro strumento, anche una survey può essere utile, inutile o addirittura dannosa. Vediamone anzitutto alcune criticità:

  • si tratta di uno strumento un po’ invasivo perché chiede, spesso in forma gratuita, di dedicare del tempo a rispondere a un tot di domande per migliorare il prodotto;
  • viene usata in modalità diverse (approfondimento o ampiezza dell’indagine) da aree diverse di un’organizzazione, che spesso non sanno di stare svolgendo analisi simili e di farlo totalmente all’oscuro tra loro;
  • proprio per la sua natura invasiva, la survey può essere somministrata solo occasionalmente e in questo caso può capitare che venga infarcita di domande estranee all’obiettivo originario, rendendola più ostico e, in alcuni casi, anche meno attendibile o addirittura orientata;
  • si decide di ricorrere a questo strumento non tanto per monitorare e raccogliere feedback, quanto per procrastinare una decisione; in tal senso, può essere usata come strumento schiva-conflitto, per guadagnare tempo e trovare motivazioni convincenti a risposte che avevamo già deciso di dare anche senza survey.

Oggi i tool consentono facilmente di preparare, inviare un questionario e di reclutare gli utenti del proprio servizio. Grazie ai panel delle aziende specializzate, non è difficile ottenere un quadro statistico rispetto a un determinato aspetto del prodotto.

Va ricordato però che i tempi di preparazione, attesa per la compilazione e analisi sono rilevanti, così come va tenuto presente che una survey risponde fondamentalmente alle domande “Cosa?” e “Quanti?”, ma non alla domanda “Perché?”, alla quale è possibile trovare risposta con tecniche di ricerca qualitativa (osservazione, interviste dirette, shadowing, mystery, etc.). Queste ultime aiutano a inquadrare le giuste domande e ad accordarsi sulle decisioni che andranno prese.

 

In conclusione

In un precedente articolo della serie Product ownership e strategie di prodotto [2], avevamo parlato di segmentazione di mercato, di strumenti che aiutano a modellare il prodotto e prioritizzare lo sviluppo delle funzioni. Il product owner ha il compito di sostenere i processi che aiutino a raccogliere informazioni di qualità, con strumenti e approcci adeguati, per abilitare i decisori a fare le scelte migliori. Se il product owner sta svolgendo il suo ruolo in questo modo, per quanto riguarda le survey la fase più critica rimarrebbe quella iniziale, poiché le successive (questionario e analisi) sono la conseguenza dei presupposti da cui nasce: che risposte state cercando da una survey? Potete ottenerle in modo diverso? È importante o meno che il campione sia profilato o anonimo? Quali decisioni deve abilitare?

 

Riferimenti

[1] Esempio di un template di Typeform per il Product Feedback Survey

https://www.typeform.com/templates/t/product-feedback/

 

[2] Giovanni Puliti, Product Ownership e strategie di prodotto – IV parte: Come far evolvere il prodotto. MokaByte 241, luglio-agosto 2018

http://www.mokabyte.it/2018/07/postrategy-4/

 

[3] Jan Chipchase, The Field Study Handbook. 2017

https://medium.com/the-field-study-handbook/table-of-contents-heat-map-c3a6478aa2d9

 

[4] Elizabeth Goodman – Mike Kuniavsky – Andrea Moed, Observing the User Experience. A practioner guide to User Research. Morgan Kaufmann, 2nd edition, 2012

 

[5] Alan Cooper – Robert Reimann – David Cronin, About Face 3. The essentials of interaction design. John Wiley & Sons Inc, 2014

 

[6] Jeff Sauro, When a survey is the better research method

https://measuringu.com/better-survey/

 

[7] Jeff Sauro, Using surveys to measure the user experience

https://measuringu.com/survey-ux/

 

Condividi

Pubblicato nel numero
248 marzo 2019
Giovanni Puliti lavora come consulente nel settore dell’IT da oltre 20 anni. Nel 1996, insieme ad altri collaboratori crea MokaByte, la prima rivista italiana web dedicata a Java. Da allora ha svolto attività di formazione e consulenza su tecnologie JavaEE. Autore di numerosi articoli pubblicate sia su MokaByte.it che su…
Ilaria Mauric è socia e Head of Design di Tangible, un’azienda specializzata in experience design. Come Head of Design, si occupa di progettazione di prodotti e servizi digitali. Supporta i team interni e quelli esterni dei clienti nella creazione collaborativa di prodotti e servizi in modo sostenibile e misurabile, individuando…
Articoli nella stessa serie
Ti potrebbe interessare anche