Öka A/B-testernas ROI med Insights workshops

insights-workshos-payday-for-conversion-optimization

Konverteringsoptimering är ett race mot klockan. Hur många frågor hinner vi få svar på inom en given tidsperiod? A/B-tester är det närmsta vi kan komma ett säkert svar och testvinnare ska ge oss mer pengar på kontot. Vinner vi inte ska vi lära oss. Och ju fler vi lär, desto fler kan fatta bättre beslut. 

Med Insights workshops kommer vi kunna sprida svaren både bredare och djupare i organisationen samtidigt som det oftast ger oss större mandat och resurser att köra fler tester! Då har vi ökat både tempo och ROI av optimeringsprocessen. 

Vi behöver prata om datan för att förstå den, för att insikterna inte ska vara begränsad till ett fåtal snillen. I Insights workshops får alla chans att göra det. Vi diskuterar vad vi har lärt oss, vad det egentligen betyder och vi frågar oss om vi kan använda den här insikten på fler sätt. 

Konceptet Insights workshops körs hos Outfox kunder för att det är det bästa sättet att etablera processen och engagera personer runt insikter. Det sätter data högt på agendan.

Insights workshops hjälper oss att:

  • Sprida A/B-testresultat och user research brett i organisationen
  • Minska att insikter fastnar i silon – (ett av de vanligast problemen vi stöter på!)
  • Bygga en datadriven kultur
  • Fira vinster och insikter

insights-workshop-outcomes

För att komma igång med det här, i sin enkelhet revolutionerande kunskapsdelningen, så behöver du boka in en stående tid i kalendern, sedan bjuda in högt och lågt i din organisation och följa den här enkla checklistan: 

 

1. Presentera grundreglerna:

  • Ingen sanning gäller för alltid, vi kan när som helst ifrågasätta en gammal sanning.
  • Vem som helst kan presentera en kundinsikt
  • Sammankomsten hålls regelbundet på samma tid, det ska var enkelt att delta. 

insights-workshops-ground-rules

2. Gå igenom avslutade A/B-tester

  • Vad testade vi?
  • Varför testade vi det?
  • Vilket resultat fick det?
  • Vad lär vi oss av resultatet?

Du vill få med dig gruppen i diskussionen. Deltagarna får ut mer insikter som sätter sig djupare om de själva får diskutera lärdomar. Var inte en ”guru”. Bjud in till diskussion. 

3. Insikter från research och analys, alla bidrar! 

Vilken annan research och analys har vi gjort och vad kan vi använda insikterna till? Här ger du deltagarna möjlighet att berätta om insikter och analyser som genomförts. Har någon från kundservice plockat upp något spännande eller har vi genomfört användningsstudier?

4. Kommande A/B-tester

En cliffhanger! Berätta om vilka tester som är på gång och vad vi kommer gå igenom vid nästa tillfälle. 

 insights-workshop-agenda

 

Insights workshops är en del av Outfox optimeringsprocess som några av Sveriges största företag använder. Lär dig processen och teknikerna på utbildningen där vi lär ut vad vi lärt oss de senaste 10 åren.

User Explorer är något helt nytt i Google Analytics

Google Analytics har börjat rulla ut den nya rapporten “User Explorer” i betaversion. Det är en helt ny typ av rapport som vi inte sett i Google Analytics tidigare. För första gången får vi i en färdig rapport dyka ner i en enskild användares besöksmönster.

Här ger vi dig en guidning

      • genom rapporterna
      • deras möjliga användningsområden
      • begränsningar
      • vad Outfox hoppas utvecklas under betan

 

Rapporterna

Den första rapporten är en lista med dimension ClientID tillsammans med några standardmetrics som vi vanligtvis ser i andra rapporter. 

User explorer overview i Google Analytics. Rullas nu ut i öppen beta.

Användningsområden

  1. Vi kan enkelt hitta ett toppskikt i vilka användare som har genererat högst intäkt
  2. Dra paralleller mellan till exempel hög intäkt och antal sessioner hos våra mest lojala användare
  3. Det hjälper oss att i en vy överblicka vad en lojal användare är och därefter skapa segment för dessa. Till exempel användare med fler än 100 sessioner som genererat mer än X kr i intäkt. Vi har kunnat göra detta redan innan med segment men inte fått lika enkel hjälp i definitionen av vad en lojal användare kan vara.
  4. Du kan också applicera segment på den här rapporten för att till exempel bryta ner vad lojalitet innebär hos mobil respektive tabletanvändare

Drilla ner en nivå i User reports

Klickar du in på ett ClientID får du den nya User Report och det är här det börjar hända grejer rapportmässigt.

 user report example

Här får du en tidslinje över vilka interaktioner som skett i vilken ordning.

Användningsområden

  1. Awesome för felsökning!
  2. Om du segmenterat ut de besökare du är mest intresserad av i User Explorer rapporten tidigare kan du gräva ner dig i de användare som interagerat på något särskilt sätt med din webbplats eller app.
  3. Här kommer en halleluja moment för mig; Man kan äntligen direkt från en rapport skapa segment. Jag önskar av hela min själ att detta skulle finnas i alla rapporter!

create segment from report

Det här lyfter fram en av Google Analytics fetaste funktioner in i rapportens gränssnitt. Jag hoppas att det gör det lättare för nya användare att förstå och i högre grad använda segment.

Potential:

Stoppar vi in User ID här kommer rapporten att följa flödet över alla enheter och genom appar. Det skulle bli en superdetaljerad kombination av User ID rapporter och Multi channel rapporter. Hajja!!

Jag kan tänka mig att vi kommer kunna skapa remarketing listor med ännu större förståelse och därmed göra vår kommunikation i annonsering mycket mer träffsäker.

begränsningar i betan och vad vi hoppas utvecklas

  1. Vi får bara se trafikkällan för den första sessionen – vi hoppas på att kunna få se alla så klart
  2. Det hade varit häftigt om man kunde identifiera segment utifrån besökare vars sekvenser liknar varandra inför konvertering och skapa segment utifrån det. Till exempel:

simple funnels example

Eller varför inte så här om jag verkligen passar på att drömma:

sunburst visualization example

Kuriosa

Den nya rapporten påminner om Google Analytics back in the days – 2002. Då hette verktyget Urchin och rapporten Visitor Footprint och såg ut så här:

Urchin visitor footprint

Patrik Gamryd ansluter till Outfox styrelse

På Outfox bolagstämma den 31 mars beslutades att välja in Patrik Gamryd som ordinarie ledamot i styrelsen. Patrik är VD för InkClub och har en bakgrund som koncernchef för nätverket Dentsu Aegis samt styrelseordförande i dess bolag, bland andra iProspect och Isobar.

I Outfox styrelse kommer Patrik bidra med sin erfarenhet av att utveckla företag med internationell verksamhet och kundbas.

– Att analysera data i syfte att öka intäkter, minska kostnader och öka kundnöjdheten är hetare än någonsin. Vi ser därför mycket fram mot att tillsammans med Patrik utveckla verksamheten för att expandera vårt erbjudande till nya kundgrupper och skapa ännu större värde av våra produkter och tjänster, säger Lars Johansson, styrelseordförande på Outfox.

– Jag har ett genuint intresse för den bransch som Outfox representerar och delar grundarna Lars och Christoffers syn på potentialen framåt. Outfox har under sina verksamma år skapat sig en imponerande stark position på marknaden. Jag hoppas kunna bidra till att utveckla bolaget vidare, såväl lokalt som internationellt, med hjälp av de perspektiv och den erfarenhet jag har med mig, säger Patrik Gamryd.

Patrik Gamryd

Vi välkomnar Google Optimize 360!

Google har äntligen lanserat A/B-testverktyget Optimize 360! Fantastiska nyheter tycker vi, men du kanske undrar varför? Det finns ju redan flera aktörer som gör jobbet. Och ja, det stämmer. Men använder du Google Analytics (eller till och med Google Analytics Premium, som numer heter Analytics 360) så erbjuds du nu möjligheten att dra ännu större nytta av ditt befintliga analysverktyg!


Låt oss reda ut vad Optimize 360 faktiskt innebär:

Bättre analys när du jämför samma data

Analysen av dina Optimize experiment i sker direkt inuti ditt analysverktyg, vilket innebär att du aldrig behöver jämföra äpplen och päron, utan du utgår från samma siffror som testet rapporterar och behöver inte spendera tid på att fundera varför ditt testverktyg och analysverktyg rapporterar skillnader. Om du till exempel har en vy i Google Analytics som filtrerar bort interna besökare så kommer de inte heller att ingå i utvärderingen av testet.
Analytics 360

Utökad och förenklad segmentering

Men det är inte bara för att det underlättar analysen som vi vill arbeta med Optimize 360, utan vi ser fram emot att använda våra färdiga segment i Google Analytics för att sätta upp tester och börja personalisera upplevelsen för våra besökare. Vi vet alla att det som gör en målgrupp lycklig kanske inte alls lämpar sig för en annan målgrupp, så istället för att arbeta med ytterligare verktyg för personalisering kan vi nu nyttja våra segment i Analytics för detta.

Fram tills nu har det varit en bökig apparat att segmentera målgruppen som presenteras för testet utifrån segment i Google Analytics. De tidigare verktygen har haft ett inbyggt stöd för de mer basala målgrupperna som nya och återkommande besökare, men nu kan vi äntligen enkelt testa på specifika segment av besök som till exempel de som kommer från en specifik kampanj, som t.ex. besöker webbplatsen för tredje gången och bor i Stockholm. Vi kan till och med använda oss av metadata från custom dimensions för att bygga dessa grupper.

Säg att du har data om vilken typ av kundgrupp din besökare tillhör, om hen är en big spender eller en mer prismedveten individ. Istället för att skapa en webbplats som tilltalar alla så kan vi nu testa vad som tilltalar de olika grupperna och anpassa budskapet som vi riktar mot dem.

Eller till exempel att du har data som identifierar när en kund först blev medlem och du vet att kunder i snitt churnar efter 6 månader, skapa då tester för att hitta det perfekta budskapet i månad 5 för att behålla dem som kunder.

Listan med potentiella tester vi nu kan köra är oändlig och väldigt spännande. Har du själv någonsin tänkt på vad som påverkar konverteringen på din webbplats och kört ett test som aldrig nådde ett signifikant resultat. Det kan helt enkelt ha varit så att du var något på spåret, men som bara passade ett visst segment av besökare. Problemet var att du testade din hypotes på samtliga besökare. Nu kan du hitta den perfekta balansen.

Lättnavigerat gränssnitt

Utöver det så är vi tacksamma för att Google lagt lite extra fokus på att utveckla gränssnittet för att passa även de utan vana av webbutveckling och tagit till sig av den feedback vi kommit med.

Google strävar efter ett lite extra intuitivt verktyg, där du som saknar erfarenhet av programmering lättare kan förstå hur koden genereras. Dessa smidiga breadcrumbs låter till exempel användaren hålla koll på hur HTML-hierarkin ser ut för valt element.

Tidigare har Googles testverktyg (Google Website Optimizer och Content Experiments i Google Analytics) inte erbjudit något WYSIWYG-gränssnitt alls, så redan där är det en klar förbättring!

Geo targeting

Det är till och med lätt att ställa in geo targeting, typ – jättelätt! (som ni ser här):


Så, summerade fördelar med Optimize 360:

  • Rapporterar samma data som Google Analytics
  • Strömlinjeformad geotargeting
  • Vi kan använda våra Audience Lists för att rikta tester och ändra upplevelsen för besökarna
  • Metadata i form av Custom Dimensions blir otroligt kraftfullt för detta
  • Tester kan nyttja information som finns i datalagret för Google Tag Manager

– Ett litet steg för människan, ett stort steg för analys!

Outfox är återförsäljare av Google Analytics Suite 360 i allmänhet och förstås även Optimize 360 i synnerhet.

Kontakta oss för mer information!

God Jul önskar Outfox

I år har vi valt att inte ge några julklappar till våra kunder och istället skänka pengar till välgörenhet.

God Jul!

Denna jul skänker vi därför 50 000 kr till UNHCR. Valet bygger på läget i världen och förstås även baserat på en granskning av nyckeltal. Tidigare år har vi skänkt till många olika organisationer och låtit våra kunder vara med och rösta på hur pengarna ska fördelas, men denna jul fokuserar vi på en enskild, men större, insats istället.

Miljontals människor är på flykt i vinter. UNHCR hjälper genom att dela ut nödhjälp som passar vinterväder som till exempel sovsäckar, varma filtar, regnkläder, strumpor, kläder och skor. Barn, äldre och familjer som är särskilt sårbara i kylan får extra vård och stöd.

Årets julkort är framtaget av Ola Skogäng, en fantastisk illustratör och serieskapare som är van vid att teckna en serie som utspelar sig i Gamla Stan. Han är influerad av bland annat Hergé. Ja, det är korsningen Stora Nygatan och Tyska Brinken som du ser på bilden. Och visst är det i våra fönster som flitens lampa lyser!

Som du kanske vet är räven i Outfox logotype ritad av Johan Wanloo, så det är inte första gången vi anlitar en serieskapare.

Vi vet vi är tidigt ute, men vi vill önska er alla riktigt fina adventshelger, en skön jul, ett fantastiskt nyårsfirande och en bra start på 2016!

UNHCR

The new kid in town: SmartStats

SmartStats är VWOs nya bayeska statistikmotor lovar att ge oss testare ett “sannare” svar på den eviga frågan, vad är sannolikheten för att variation A faktiskt presterar bättre än variation B. Men vad innebär det egentligen?


Men först: vad innebär bayesisk statistik?

Innan vi kan prata om de nya statistikmotorerna som börjar poppa upp så måste vi först reda ut: vad är den stora skillnaden?

Jo, tidigare har deras statistikmotor använt sig av frequensiska statistikberäkningar för att räkna ut vinnaren av ett test. Nu har Visual Website Optimizer gått över till att använda bayesisk statistik.

Så för de av oss som är lite trötta att få matematiska formler (som nedan) uppkörda i ansiktet när vi snällt frågar Google vad Bayesisk statistik innebär så har vi försökt sammanfatta det på svenska. Så att ni slipper få ont i huvudet. Varsågoda.

Screen Shot 2015-11-12 at 11.01.56

Bayes teori — förklarat med en saga

En gång var det en buss som var fast i trafiken. På bussen var både ett litet barn på 10 år och en begåvad musiker. Busschauffören var uttråkad av den långa väntan på att trafiken skulle öppna upp, och när han såg musikerns cello så började han först diskutera och sedan kritisera Mozart och Beethovens verk. Det lilla barnet som började bli rastlöst utan bättre sällskap än en pappa som satt och knappade på sin iPhone, ville också vara med i samtalet. Så flickan slog vad med musikern ”Jag kan namnge fler låtar än dej!”

De båda andra var även de uttråkade och såg en chans att få några billiga skratt på den barnets bekostnad, så musikern accepterade vadet. Busschauffören hade ett stort bibliotek av klassisk musik på sin telefon och spelade tre stycken för flickan, och tre stycken för musikern. Båda gissade rätt två gånger, och fel en gång.

Making smart statistical desicions

Så – frequentisk statistik skulle säga att sannolikheten för att nästa svar skulle bli korrekt, i båda fallen, skulle vara 2 av 3. Bayes statistik skulle räkna med det faktum att en var en tränad musiker och den andre ett barn utan större musikerfarenhet, och tillskriva musikern en högre sannolikhet för att svara rätt på nästa stycke.

Bayes statisk innebär enkelt förklarat att vi uppdaterar våra antaganden med beaktande av ny bevisning.

Intervaller över missvisande konverteringsgrader!

Genom att nu presenteras för ett intervall istället för fasta procentsatser, som frequentiskt drivna statistikmotorer visat, får vi en ökad förståelse för hur nära A och B presterade i testet.

Confidence intervals gives bigger picture


Finns inga exakta siffror

“Vad kunden vill ha är en exakt siffra”, säger Chris Stucchio, VWOs statistiker. “Men jag är en statistiker, så jag kan bara vara ärlig och säga att du inte kan få en exakt siffra – det finns helt enkelt inte en. Allt du kan få är ett intervall.”

“Får du en specifik siffra för konverteringsgrad, kan du vara säker på att det är en lögn. Konverteringsgraden kan ha många värden, så vi understryka att det finns en rad olika utkomster.”


Ett exempel

Ponera att vi kör ett A/B-test där vi ändrar färgen på en knapp från blå till grön. Frequensisk statistik visar att ingen skillnad i konverteringsgrad mellan kontroll och variation A. Men om vi vet att det är 10% chans att variation A presterar 50% bättre, visst skulle vi vilja implementera variation A i sådana fall? Den typen av insikter kommer den nya statistikmotorn kunna hjälpa oss att nå fram till tack vare intervaller.

Vi kommer fortfarande vilja titta på resultaten i vårt primära analysverktyg, där vi kan segmentera datan och titta på delmål för ännu djupare förståelse.

Vad tror ni, kommer SmartStats och bayesisk statisk bli det nya svarta?

Varför Electronic Arts använder en väggmonterad dashboard för att öka intresse och engagemang

Hallå där, Ulf Thor, Electronic Arts! Med anledning av att ni använder Outfox lösning för dashboards vill vi ställa några frågor till dig.

Ulf Thor, Electronic Arts

Vilken effekt hoppades du att dashboarden skulle föra med sig?

Jag hoppades på flera olika effekter;

  • Jag ville att den skulle informera de personer som ansvarar för de kampanjer och områden som mätetalen direkt berör, främst produktchefer och marknadsansvariga. Ge svar på återkommande frågor om våra kampanjer, men även väcka nya frågor som de kanske inte funderat på annars.
  • Jag ville även att den skulle inspirera de som regelbundet jobbar med kampanjerna på något sätt. Visa resultaten i olika former och även om dashboarden bara uppdateras en gång per dygn så blir intrycket en levande ögonblicksbild.
  • Jag ville även att den skulle utbilda kollegor som inte är direkt involverade i kampanjerna. Vara mer transparent internt och visa vad vi på marknad (delvis) håller på med.

Samma mätetal går givetvis att dela genom Excel-ark eller i andra format, men det kosmetiska bör inte underskattas. En del feedback har just varit att det blir lättare och mer intressant att ta in allt när det presenteras på ett mer visuellt tilltalande sätt.

Har den fått den effekt du hoppades på?

Responsen har varit positiv, men vissa effekter har tyvärr uteblivit än så länge, av följande skäl:

  • Dels sitter TV:n temporärt uppsatt för tillfället och det är på en plats som inte är en naturlig samlingsplats. Därför har den spontana kollen inte blivit av i den utsträckning jag hade hoppats på. Detta kommer dock åtgärdas när vi genomför en planerad omflyttning på kontoret.
  • Även om vi försökte undvika buzzwords och koka ner allt till det mest väsentliga så tror jag vi behöver förändra innehållet ytterligare till nästa version för att alla inte har samma förkunskap om den data som presenteras som jag har.

Hur kommer det sig att ni vände er till Outfox för att lösa ert behov?
Ni har hjälpt oss i andra sammanhang tidigare och jag kände till att ni hade en dashboard-lösning. Jag ville ha en leverantör som kunde vara ett konstruktivt bollplank och er lösning kan även behandla mätetalen innan de presenteras i dashboarden, vilket var önskvärt. Ni är dessutom ett kunnigt, hjälpsamt och trevligt gäng vilket gjorde beslutet ännu lättare!

Läs mer om den plattform vi byggt och som ligger till grund bland annat till Electronic Arts dashboard, men även till automatiserad rapportering för Visit Sweden, AMF, med flera.

Hur Unicef jobbar med A/B-tester och optimering

Det var många bra talare på konferensen Outfox Your Competition den 12 mars. Min favoritpresentation hölls av Maria Del Riccio från Schibsted som gav sina bästa tips på hur man klarar sig som konverteringsoptimerare. Om du missade henne den här gången, missa inte nästa gång hon pratar.

Read More

:)

Outfox årskrönika 2014

Ännu ett fantastiskt bra och trevligt år är nu över.

Här följer några av höjdpunkterna.

• Vi har befäst vår position som Nordens största återförsäljare av Google Analytics Premium, med flera stora internationella varumärken i vår portfölj. Vi hjälper till med Google Analytics Premium för fler än 150 webbplatser som finns i fler än 50 länder.

• Vi har utbildat mängder av företag, organisationer och individer i analys i allmänhet, och Google Analytics i synnerhet, genom egna utbildningar samt genom utbildningar i samarbete med Wednesday Relations, Berghs, med flera.

• Vi står för en stor del av den matnyttiga delen i Sveriges enda utbildning till framtidsyrket Webbanalytiker, genom att vi utbildar på Medieinstitutet.

• Vi utbildar, tillsammans med Google, de byråer som ingår i www.google.com/partners/. När Google har behövt utbildare i Google Analytics har de vänt sig till Outfox.

• Vi besökte Google i Kalifornien för femte året i rad.

• Vi var åter drivande bakom Google Analytics Conference, som vi tog initiativet till, i Stockholm för fjärde gången.

Det var bara ett litet urval av allt det som hände hos oss under året. Med det vill vi önska dig ett riktigt bra 2015!

Kanske vill du passa på att följa oss på Google+, Twitter, Instagram, Facebook eller LinkedIn?

Sida 1 av 912345...Sista »