Probabilmente ti sei imbattuto in tanti articoli e post dedicati a casi di A/B Test di successo. Il nostro blog non fa eccezione.
Quasi nessuno però parla degli insuccessi. Ovviamente non è semplice presentare qualcosa che non ha funzionato, ma ciò non toglie che, molto più spesso di quanto si creda, molti A/B Test possano non condurre ai risultati sperati (o non portarne proprio).
Per noi di Boraso il fallimento è parte del processo di miglioramento continuo. E, molto spesso, dietro a una sconfitta si nasconde una vittoria ancora più grande.
Non contano gli anni di esperienza maturati, non importa quanto si pensa di capire i propri utenti, le nostre ipotesi non saranno mai corrette al 100%. Se così fosse, perché allora dovremmo testare? Avremmo già in tasca le risposte che cerchiamo.
Per sottolineare che “anche i migliori sbagliano”, in questo articolo ti proponiamo due casi di insuccesso di Kissmetric, tool per registrare il comportamento degli utenti.
Fallimento # 1: Troppo spazio bianco sulla pagina prodotto
Ipotesi di test
La parte superiore della pagina risulta caotica e poco chiara. Eliminando l’immagine di background, riducendo lo white space e rendendo il copy più visibile si agevoleranno gli utenti a scorrere verso la parte bassa della pagina e a interagire maggiormente con il sito.
Questo test è fallimentare già a partire dalle ipotesi. La risposta è nei dati che indicavano una flessione delle conversioni in questa pagina.
Versione di controllo
Variante
Non sono state trovate prove che avvallavano il fatto che il motivo per cui gli utenti non visualizzavano la parte inferiore della pagina a causa di un eccessivo spazio bianco tra testo e immagine. Se un’ipotesi non registra dati (siano essi negativi o positivi) si hanno effimere possibilità di ottenere risultati vincenti.
Risultati
Registrazioni
- Miglioramento rispetto all’originale: 4,41%
- Certezza assoluta: 55,27% per la variante
Spunti di riflessione
Non ci sono dati significativi.
Avere o meno una hero image in questa pagina non influenza le conversioni. In altri casi di testing che coinvolgevano la Home Page era un aspetto rilevante. Non lo è però per questa pagina.
Per ciò che concerne invece i testi, anche per le fasi di testing precedenti risultava essere un aspetto critico. Per i prossimi test può essere quindi un elemento da considerare per migliorare il conversion rate.
Fallimento # 2: Copy e immagini della pagina del prodotto
Ipotesi di test
Migliorando la percezione dei benefici del prodotto, enfatizzandone caratteristiche e peculiarità si otterranno lead qualitativamente migliori. A più benefici orientati pagina di destinazione del prodotto porterà a contatti di qualità migliori.
Versione di controllo
Variante
Risultati
Registrazioni
- Miglioramento rispetto all’originale: -13,68%
- Certezza assoluta: 80.12%
Acquisizioni
- Miglioramento rispetto all’originale: 8,77%
- Certezza assoluta: 60.78%
Spunti di riflessione
Come abbiamo visto dal Fallimento #1, se non ci sono risultati significativi le modifiche non sono rilevanti.
In questa seconda situazione sono stati modificati:
- Copy
- Immagini dei prodotti
- Layout generale della pagina e hero image
Il problema è che sono stati apportati troppi cambiamenti insieme. Non è quindi possibile attribuire precisamente a quale delle modifiche è dovuto il miglioramento o meno delle performance. In altre parole non è possibile isolare la variabile responsabile del risultato ottenuto.
È fondamentale testare un cambiamento per volta. È quello che è stato fatto nel test che segue.
Win: Scheda Prodotto – headline
Ipotesi di test
L’inserimento di un titolo che focalizzi l’attenzione su specifici bisogni dell’utente e sottolinei come il prodotto sia la soluzione perfetta per soddisfarli, aumenterà le richieste di demo e le registrazioni al sito.
Versione di controllo
Variante
Risultati
Registrazioni
- Miglioramento rispetto all’originale: 163.46%
- Certezza assoluta: 97.33%
Richiesta di demo
- Miglioramento rispetto all’originale: 507,97%
- Certezza assoluta: 99.67%
Spunti di riflessione
Per trovare la strada corretta sono stati necessari due fallimenti. Il problema è stato analizzato passo dopo passo e, in modo sempre più analitico, si è scomposto in piccoli tasselli, fino a trovare la leva per il successo.
Conclusione
I fallimenti portano a una vittoria, sofferta, ma sicuramente di grande valore. Il successo è dovuto all’apprendimento e alla convinzione di poter giungere alla risposta che si sta cercando. È importante sottolineare che, quello che funziona in alcuni contesti può risultare inefficace in altri.
Anche se ci vorranno diversi tentativi e si dovranno superare ostacoli, individuando gli errori che hanno impedito di raggiungere il traguardo.
