Mi capita, a volte, sui social, di assumere il ruolo di puffo brontolone. Un paio di settimane fa, dopo l'ennesimo questionario postato in un gruppo facebook dedicato alla ux, ho scritto un post su Linkedin spiegando perché i questionari non sono un buon modo per fare ricerca in ambito UX.
Il problema però non è solo lo strumento. È anche la tipologia di domande che spesso è poco indicata per comprendere bisogni, attitudini e modelli mentali delle persone.
Ad esempio, è forte la tentazione di chiedere ai partecipanti (in questionari o interviste) le loro preferenze (preferisci la soluzione A o la B?) o le possibili intenzioni (useresti questa funzione?).
Il problema è che queste domande generano risposte poco affidabili. Non perché le persone vogliano imbrogliarci, ma perché fanno fatica a valutare o a fare previsioni.
Prevedere le intenzioni
Partiamo dalle intenzioni. La domanda "saresti intenzionato a usare un servizio, acquistare un prodotto, fare qualcosa" rischia di ottenere risposte infondate per due motivi.
La prima, il Social Desirability Bias: le persone possono - più o meno consapevolmente - dare delle risposte compiacenti, ovvero le risposte che immaginano la ricercatrice vuole sentirsi dire. E dunque magari rispondere di sì anche se non ne sono del tutto sicure.
La seconda: l'intention-behavior gap [Sheeran et. al. (2016)]: la differenza fra le intenzioni delle persone ed il loro comportamento.
Hai presente le persone che si iscrivono in palestra e poi non ci vanno? No, lo so che tu non l'hai mai fatto, ma c'è gente che lo fa. Perché lo fa? Perché le intenzioni sono buone: ci si iscrive in palestra, la si frequenta regolarmente, almeno due volte alla settimana, magari tre. Poi però si lavora fino a tardi, c'è il traffico, è brutto tempo, la stanchezza, dai oggi no, vado domani.
Questo non significa che le nostre intenzioni non siano mai un affidabile predittore dei nostri comportamenti. Il divario - il gap - fra intenzioni e comportamenti si allarga soprattutto quando pianifichiamo un nuovo comportamento, mentre se si tratta di mantenere un comportamento, generalmente siamo più bravi a mantenere le promesse che facciamo a noi stessi.
Ed è per questo che è molto più affidabile indagare i comportamenti passati e presenti delle persone, più che una stima dei comportamenti futuri.
Atteggiamenti e decisioni
La difficoltà a rendere esplicite alcune scelte o decisioni è legata anche ad altri aspetti.
Ad esempio, gli atteggiamenti (o attitudini) sono delle valutazioni - positive o negative - che le persone fanno nei confronti di alcune categorie di eventi, di cose o di persone. Ebbene in parte le attitudini delle persone sono implicite, e dunque non consce [Corneille et. al. (2020)].
Anche i processi decisionali sono in parte condizionati da processi inconsci. Anzi, in alcune circostanze il riflettere consciamente prima di prendere delle decisioni ci porta a prendere delle decisioni peggiori [Dijksterhuis (2004)].
A complicare le cose ci si mette anche l'illusione dell'introspezione (Introspection Illusion - Pronin (2009)): le persone non sono consapevoli dei fattori inconsci che condizionano le loro valutazioni, le loro attitudini, le loro scelte, i processi cognitivi, le emozioni e i comportamenti, e tendono a sovrastimare la loro capacità introspettiva: siamo convinti di sapere perché abbiamo fatto determinate scelte anche se, in realtà, parte della motivazione è inconscia.
Un'altra distorsione di cui tener conto è l'ipotetical bias, ovvero la differenza fra le preferenze e le intenzioni espresse dai partecipanti in una situazione ipotetica (es "quanto pagheresti per questo servizio") rispetto alle situazioni reali (quanto pagherebbe se dovesse davvero tirare fuori i soldi - Harrison et. al. (2008))
Alcuni suggerimenti
Questo naturalmente non significa che per fare ricerca sia necessario un dottorato in scienze cognitive (anche se aiuta, ma le cantonate si prendono lo stesso). E nemmeno che questo genere di domande vada tassativamente evitato. Però è necessario adottare delle strategie per limitare i rischi di ottenere risultati farlocchi.
Dunque, queste domande non sono tabu, ma è comunque consigliabile privilegiare le domande inerenti i comportamenti attuali, indagando cosa le persone fanno in questo periodo o hanno fatto nel recente passato. In questo modo si evita l'ipotetical bias e ci si focalizza sui comportamenti, sulle scelte fatte e non solo sulle intenzioni. Ne parla anche Dave Hora nel post The Fundamental Research Question.
E nel chiedere cosa le persone fanno o hanno fatto può essere interessante indagare proprio l'eventuale intention-behavior gap: "dunque mi ha detto che si era iscritta in palestra ma poi ci è andata molto meno del previsto. Come mai? Quali sono stati gli ostacoli principali?". Questo ci permette di identificare eventuali pain point che può essere opportuno affrontare per migliorare l'esperienza d'uso (della palestra, dell'app, del servizio).
In ogni caso, se si fanno domande su intenzioni o scelte ipotetiche è molto, molto importante leggere le risposte con la dovuta cautela.
Alcune delle distorsioni che abbiamo elencato sono inoltre asimmetriche: ad esempio nelle nostre intenzioni tendiamo a sovrastimare i nostri comportamenti (ho intenzione di fare ma poi non faccio). E dunque se la persona dice che sì, avrebbe intenzione, è un sì che va preso con cautela, perché l'intenzione potrebbe non tradursi in comportamento. Ma se dice di no, è più probabile che quel no sia davvero un no.
Va inoltre valutata la forza dell'evidenza. Se, in un campione di 12 partecipanti, 10 ti dicono con convinzione che sceglierebbero la soluzione B e due che tutto sommato valuterebbero A, possiamo concludere che "fra i partecipanti della ricerca c'è una marcata preferenza per la soluzione B". Ma se 7 ti dicono B e 5 ti dicono A, concludere che "il 58% dei partecipanti ha scelto B, e dunque B è vincente" è una affermazione sbagliata per più motivi. Tutto quello che puoi desumere è che "fra i partecipanti non vi è una marcata preferenza fra le due soluzioni".
Soprattutto, la risposta A o B, sì o no ci dicono relativamente poco. Molto più utile è cercare di capire le motivazioni delle scelte delle persone - consapevoli che dalle interviste otterremo solo le motivazioni esplicite, mentre sarà più difficile cogliere quelle implicite. E dunque "cosa ti piace di B? Perché lo preferisci?"
Infine, se possibile è opportuno "triangolare", ovvero confrontare le risposte con l'osservazione, oppure con dei dati esterni (ad esempio analytics) o fare della desk research sul tema oggetto di analisi.
La ricerca crea modelli
Un aspetto che è chiaro a chi fa ricerca di base ma meno a chi fa ricerca applicata è che la ricerca serve per costruire, aggiornare, ampliare, falsificare dei modelli, delle teorie. Fare un sondaggio, ma anche un A/B test, prendere atto dei risultati e farsi guidare nelle scelte senza avere un modello concettuale che ci aiuti ad interpretarli non è "fare ricerca".
Conclusioni
La ricerca qualitativa è fondamentale per sviluppare dei modelli (delle teorie) delle persone, delle loro attività, delle motivazioni, dei modelli mentali. È necessario però essere consapevoli che non basta fare domande (magari attraverso una google form) per farsi davvero un quadro del contesto in cui ciò che progettiamo andrà a collocarsi.