SmartStats är VWOs nya bayeska statistikmotor lovar att ge oss testare ett “sannare” svar på den eviga frågan, vad är sannolikheten för att variation A faktiskt presterar bättre än variation B. Men vad innebär det egentligen?


Men först: vad innebär bayesisk statistik?

Innan vi kan prata om de nya statistikmotorerna som börjar poppa upp så måste vi först reda ut: vad är den stora skillnaden?

Jo, tidigare har deras statistikmotor använt sig av frequensiska statistikberäkningar för att räkna ut vinnaren av ett test. Nu har Visual Website Optimizer gått över till att använda bayesisk statistik.

Så för de av oss som är lite trötta att få matematiska formler (som nedan) uppkörda i ansiktet när vi snällt frågar Google vad Bayesisk statistik innebär så har vi försökt sammanfatta det på svenska. Så att ni slipper få ont i huvudet. Varsågoda.

Screen Shot 2015-11-12 at 11.01.56

Bayes teori — förklarat med en saga

En gång var det en buss som var fast i trafiken. På bussen var både ett litet barn på 10 år och en begåvad musiker. Busschauffören var uttråkad av den långa väntan på att trafiken skulle öppna upp, och när han såg musikerns cello så började han först diskutera och sedan kritisera Mozart och Beethovens verk. Det lilla barnet som började bli rastlöst utan bättre sällskap än en pappa som satt och knappade på sin iPhone, ville också vara med i samtalet. Så flickan slog vad med musikern ”Jag kan namnge fler låtar än dej!”

De båda andra var även de uttråkade och såg en chans att få några billiga skratt på den barnets bekostnad, så musikern accepterade vadet. Busschauffören hade ett stort bibliotek av klassisk musik på sin telefon och spelade tre stycken för flickan, och tre stycken för musikern. Båda gissade rätt två gånger, och fel en gång.

Making smart statistical desicions

Så – frequentisk statistik skulle säga att sannolikheten för att nästa svar skulle bli korrekt, i båda fallen, skulle vara 2 av 3. Bayes statistik skulle räkna med det faktum att en var en tränad musiker och den andre ett barn utan större musikerfarenhet, och tillskriva musikern en högre sannolikhet för att svara rätt på nästa stycke.

Bayes statisk innebär enkelt förklarat att vi uppdaterar våra antaganden med beaktande av ny bevisning.

Intervaller över missvisande konverteringsgrader!

Genom att nu presenteras för ett intervall istället för fasta procentsatser, som frequentiskt drivna statistikmotorer visat, får vi en ökad förståelse för hur nära A och B presterade i testet.

Confidence intervals gives bigger picture


Finns inga exakta siffror

“Vad kunden vill ha är en exakt siffra”, säger Chris Stucchio, VWOs statistiker. “Men jag är en statistiker, så jag kan bara vara ärlig och säga att du inte kan få en exakt siffra – det finns helt enkelt inte en. Allt du kan få är ett intervall.”

“Får du en specifik siffra för konverteringsgrad, kan du vara säker på att det är en lögn. Konverteringsgraden kan ha många värden, så vi understryka att det finns en rad olika utkomster.”


Ett exempel

Ponera att vi kör ett A/B-test där vi ändrar färgen på en knapp från blå till grön. Frequensisk statistik visar att ingen skillnad i konverteringsgrad mellan kontroll och variation A. Men om vi vet att det är 10% chans att variation A presterar 50% bättre, visst skulle vi vilja implementera variation A i sådana fall? Den typen av insikter kommer den nya statistikmotorn kunna hjälpa oss att nå fram till tack vare intervaller.

Vi kommer fortfarande vilja titta på resultaten i vårt primära analysverktyg, där vi kan segmentera datan och titta på delmål för ännu djupare förståelse.

Vad tror ni, kommer SmartStats och bayesisk statisk bli det nya svarta?