Molto spesso gli articoli e gli approfondimenti puramente teorici dedicati agli A/B Test, o che esulano da un preciso contesto, possono risultare, a volte troppo astratti e poco concreti.
In questo post ci caliamo in una situazione reale dove, un semplice test ha permesso all’ormai ex Presidente degli Stati Uniti Obama di raccogliere, con una campagna di beneficienza, oltre 60 milioni di dollari.
Era il 21 ottobre 2010 quando il Presidente Obama era in visita a Paolo Alto per una cena di beneficienza (da $ 30.400-per-plate). Un evento di questo tipo è tra i più classici e collaudati per raccogliere fondi, soprattutto se partecipa il Presidente degli Stati Uniti in persona. Ma come si fa a organizzare un evento benefico di successo se nessuno ti conosce e non si ha un sito web?
Se infatti si fa un ulteriore passo indietro nel passato e si torna al 2007 tutto ciò che distingueva Obama dagli altri candidati era il vantaggio nei sondaggi per la nomina alla Casa Bianca.
L’esperimento
Durante la campagna elettorale del 2008, l’obiettivo dello staff di Obama era di sfruttare ogni dato raccolto per raggiungere la vittoria. Tutto il processo è iniziato con un semplice esperimento condotto nel dicembre 2007. Questo test ha sottolineato come ogni visitatore che ha navigato il sito rappresentasse una concreta opportunità e come, l’utilizzo di queste informazioni, attraverso la website optimization e l’A/B Testing si sia rivelato un supporto indispensabile a raccogliere decine di milioni di dollari.
Il test ha coinvolto due parti della Landing Page:
- la sezione Media
- la call to action “Button”
Sono stati testati 4 differenti pulsanti e 6 proposte di media (3 immagini e 3 video). Un totale di 24 combinazioni da testare. Per questo full-factorial multivariate test è stato utilizzato Google Website Optimizer .
A ogni visitatore è stata mostrata, in modo casuale, una delle versioni e monitorato il comportamento.
Prima di proseguire nella lettura, quale pensate che sia stata la combinazione che ha ottenuto il maggior numero di registrazioni?
Varianti della Call To Action (Bottone)
Varianti della Sezione Media
Risultati
La metrica che è stata analizzata per misurare il successo è la sign-up rate, ovvero il numero di utenti che si sono iscritti diviso per quello di coloro che hanno visualizzato una particolare variazione. Durante l’esperimento sono arrivati sulla Landing Page 310,382 visitatori quindi, ogni proposta di test è stata visualizzata da 13,000 persone.
Di seguito sono indicati i tassi di iscrizione osservati per ogni sezione.
La tabella che segue indica invece le sign-up rate delle combinazioni delle diverse sezioni.
Il vincitore
La variabile vincente è stata la 11 che proponeva la CTA “Learn More” e l’immagine della famiglia.
Prima di effettuare i test, lo staff supponeva che il video dedicato a Sam fosse il favorito e, se non fosse stata condotta l’analisi, sarebbe probabilmente stato inserito nella Landing Page. Si sarebbe rivelato un grave errore in quanto, tra le proposte, è stata la peggiore.
La variazione vincitrice ha registrato un sign-up rate del 11,6%, mentre quella originale 8,26%. Un miglioramento del 40,6%. Cosa indica questo dato?
Dal momento che questa crescita si è mantenuta più o meno costante per tutto il tempo della campagna, questo test è stato una leva fondamentale per il successo. Circa 10 milioni di persone hanno aderito alla proposta presente in questa Landing Page. Se non fosse stato fatto alcun esperimento, le iscrizioni sarebbero, indicativamente, state 7,120,000. Una differenza di ben 2.880.000 contatti eMail.
L’attività di eMail Marketing condotta su coloro che si sono iscritti, finalizzata a convertirli in volontari, ha ottenuto un 10% in più di accettazione. Questo vuol dire che le 2,880,000 eMail si sono trasformate in 288,000 volontari e in una donazione di 21$ per ciascuno, per un totale di 60$ milioni di dollari devoluti in beneficienza.
Conclusioni
- Ogni visitatore del sito rappresenta un’opportunità ed è utile utilizzare questo vantaggio per la website optimization e A/B Testing.
- Testare le ipotesi prima di implementarle. Un’assunzione o una convinzione personale non sono sufficienti per prendere una decisione.
- Testare spesso e il prima possibile. Condurre questo esperimento nel dicembre 2007 ha permesso di influenzare positivamente i traguardi raggiunti con la campagna elettorale. Inoltre, dal momento che questo primo esperimento ha dimostrato di essere efficace, sono stati effettuate molte altre analisi su tutto il sito web, per tutta la durata della campagna.
