L’ AB Test è uno strumento che consente di stabilire causa ed effetto. Tanto che il 75% delle realtà attive online utilizza piattaforme per questo tipo di testing. Mentre il 61% delle restanti ha in programma attività di questo tipo.
Nonostante questo però, attività di testing poco efficaci portano a considerevoli perdite, oltre che di performance, anche di vendite.
In questo articolo vi proponiamo 3 casi fallimentari di AB Test. Conoscendo le trappole in cui queste realtà sono incappate può aiutare a trasformare un testing da incubo in una favola a lieto fine.
Storia 1: La variazione e l’altra faccia della moneta
Un sito dedicato ai viaggi intendeva ridisegnare completamente il proprio funnel di prenotazione (e acquisto). Per valutare l’efficacia delle scelte strategiche e di design è stato testato sul 50% dei visitatori.
I primi risultati sembravano ottimali tanto da rilevare un significativo aumento delle entrate. Dopo tre giornate uno dei manager della compagnia ha chiesto il motivo per cui la variante non fosse stata mostrata al restante 50% del target, visti i dati positivi raccolti fino a quel momento. La nuova soluzione è stata quindi implementata completamente sul sito, senza che il test avesse raggiunto un’adeguata significatività statistica. Dopo un paio di settimane è stato registrato un calo verticale nelle prenotazioni.
Il risultato dell’AB Test su tutto il campione ha portato a una decrescita complessiva del conversion rate pari al 10% .
Morale della storia
Mai giocato a testa o croce? Le prime volte potreste ottenere risultati positivi. Ma se si lancia 100 volte la moneta le possibilità di vittoria sono 50/50. Allo stesso modo quando si conduce un test, più accurato e preciso risulta, minori saranno le probabilità di ottenere risultati casuali e non significativi.
La dimensione del campione e la durata del test devono essere sufficientemente lunghe tanto da raggiungere la significatività statistica. Se si fanno asserzioni sulla base di risultati precoci si trarranno conclusioni basate sul caso.
Torniamo quindi alle ipotesi di test e ripartiamo. Un AB Test condotto con accuratezza e precisione consentirà di ridurre le perdite e migliorare le performance.
Storia 2: il caso del falso positivo
Il test Multivariato (o MVT) è uno dei metodi comuni utilizzati negli AB Test. La caratteristica è che propone differenti combinazioni degli elementi del sito: colore, posizione, copy, etc. L’obiettivo è valutare quale risulta essere la variante vincitrice.
Un’azienda appartenente al settore musicale ha deciso di testare 100 varianti differenti ed ha atteso di raggiungere qualche tipo di risultato che ricevesse rilevanza statistica, seguendo in apparenza le testing best practice. Alcune versioni sono risultate vincenti ed è stato deciso di applicare queste varianti direttamente nell’eCommerce. Purtroppo però, alla fine dell’anno, sono state riscontrate delle flessioni negative delle entrate, nonostante le soluzioni scelte si fossero rivelate vincenti.
Riattivando il test è stato riscontrato che nessuna delle proposte è risultata significativa. È stato quindi una perdita di tempo e denaro.
Morale della storia
Senza una validazione della variante vincitrice attraverso una seconda fase di test non è possibile asserire se risulti la migliore in base di un concreto motivo o per effetto del caso.
I falsi positivi sono frequenti in caso di un alto numero di variabili. Se quindi si ottengono molti test vincenti ma nessun incremento delle conversione è importate chiedersi se non si tratti di un caso di questo tipo.
Storia 3: il triste caso dell’abbandono precoce
Un’agenzia di viaggio online ha investito un ingente capitale in una nuova pagina “prodotto” e, su questa, ha attivato un AB Test.
Dopo la prima settimana la percentuale di conversione ha registrato delle perdite verticali. Il test è stato interrotto prima del raggiungimento della significatività statistica e non è stato quindi possibile capire se questa flessione fosse il risultato o meno del caso. La nuova pagina è stata eliminata in quando definita non in linea con gli obiettivi di marketing aziendali.
Morale della storia
I primi dati che vengono raccolti non incorporano alcun tipo di significatività statistica. Interrompere un test senza aver ottenuto alcun risultato concreto ne diminuisce l’efficacia e, soprattutto, annulla la possibilità di individuarne la reale utilità. Non si trova quindi alcuna variabile vincente.
Inoltre, eliminare un nuovo elemento del sito (nel caso specifico la pagina prodotto) interrompe bruscamente il flusso di visite proprio durante l’interazione e la fase di ricerca degli utenti. Questa scelta conduce a breve termine a un impatto negativo.
Conclusioni
Un test AB può risultare un campo minato. È quindi fondamentale conoscerne i dettagli e le potenziali “trappole” statistiche che possono condurre a ingenti perdite di tempo e denaro.
