Følgende blev syndikeret fra Medium til Det Faderlige Forum, et fællesskab af forældre og influencers med indsigt i arbejde, familie og liv. Hvis du gerne vil tilmelde dig forummet, så skriv til os på [email protected].
"Jeg spekulerer på, hvordan vi kan få dem til at sove mere." Denne enkle tanke, udtrykt af min kone, ikke engang et spørgsmål, blev en udfordring for mig. Mit ingeniørsind tog dette som et problem, der skulle løses, og når en softwareudvikler ser et problem, udtænker de tests. Heldigvis kendte jeg det perfekte system til at afprøve nogle ideer i kontrollerede og målbare omgivelser. Og med tvillinger ville det være endnu nemmere at teste. Velkommen til forældreskab, A/B-teststil.
A/B-test bruges overalt på nettet. Du støder sandsynligvis på det dusinvis, hvis ikke hundredvis af gange om dagen, uden overhovedet at bemærke det. Alle de store teknologivirksomheder gør det ved at bruge det som et værktøj til at teste idéernes ydeevne og måle dem. Google er berømt for at teste 41 blå nuancer til søgeresultater. Designere kunne angiveligt ikke beslutte, hvilken af 2 nuancer de skulle bruge, så de testede 41 i alt for at se, hvad der førte til, at flere brugere klikkede på resultaterne. Facebook tester forskellige oplevelser i feedet konstant. Amazon ændrer endda ret ofte omkring købsknapperne og vognlayouterne. Du vil muligvis bemærke disse, hvis du nogensinde logger ind fra en ny computer eller ser en ven bruge et websted, der ser subtilt anderledes ud end dit.
A/B-test bruges til at teste en eller flere "behandlinger" eller eksperimenter over en "kontrol" eller den eksisterende erfaring. En metric måles, normalt baseret på en brugerhandling såsom et klik igennem eller "konvertering" med en baseline i forhold til kontrolelementet. For Google-eksemplet kan de teste sandsynligheden for, at brugere klikker videre til mindst ét resultat med den anden nuance. Efter en statistisk signifikant periode, ofte en uge eller 2, vil den oplevelse, der har en bedre rate, blive valgt som vinder og bliver den nye kontrol.
Hvor dette bliver virkelig kompliceret er, når flere eksperimenter køres på samme tid, eller når procentdelen af brugere ikke er ligeligt fordelt. Her er der brug for et kompliceret kendskab til statistik. Eller brugen af et af de mange effektive testværktøjer, der er tilgængelige. Hos Audible og Amazon tester vi oplevelser som denne hele tiden. Det er den bedste måde at se, hvordan brugerne faktisk opfører sig, så ofte det, som brugerne siger, de vil gøre, og hvad de gør, kan være lidt anderledes.
Jeg besluttede at bruge denne metode, hvis jeg testede med drengene for at se, om vi kunne øge det vigtigste mål i huset for alle med 10 uger gamle børn, især tvillinger; søvntider. At bruge den ene af drengene som kontrol og den anden som behandlingen – pyt med det faktum, at ingen ville beskrive nogen del af vores lever lige nu med ordene kontrol eller behandling — jeg testede flere teorier om søvnlængde ud fra styring.
I ethvert eksperiment er nøjagtige målinger og datasporing afgørende. Ofte vælges en succesmetrik på grund af tilgængeligheden af data eller måleevne. Du ønsker ikke at prøve at måle noget, der tager længere tid at måle, end det gør at ændre testen eller testinput. Heldigvis er det så nemt som muligt at måle søvn. Når de vågner om natten, skriver vi det bare ned. Det er præcis, hvad vi har gjort siden den dag, de blev født, siden sygeplejerskerne på hospitalet indgydte det i os. Vi har allerede gennemgået flere notesbøger, men det er så nemt at spore. Til dette begyndte vi endda at importere dataene til et regneark for at se virkningen mere visuelt.
En god lektie for A/B-tests er, at der nogle gange er en tilpasningsperiode på flere dage, mens folk finder ud af ny ny behandling og tilpasser sig.
Først testede vi at øge mængden givet ved fodring umiddelbart før sengetid. I stedet for de normale 4 ounces prøvede vi 5 og derefter 6. For at forhindre skævhed fra ét barn skiftede vi, hvem der var testen, og hvem der var kontrollen, da de ser ud til at være i en cyklus af godt og ondt. Mens det ene barn fik en større aftenfodring, ville det andet blive ved 4 ounce. Resultatet: uoverskueligt. Begge børn så ud til at begynde at øge søvnlængden alligevel i denne periode. De sov begge næsten lige så længe. Der var en nat, hvor en øget fodring korrelerede med en rekordstor søvn på 5,5 timer, men et datapunkt er ubetydeligt i dette datasæt. Det var også svært at fortsætte med at teste dette, da alt ud over 5 ounce havde stor sandsynlighed for at blive spyttet ud et par minutter efter at have spist.
Dernæst blev en hemmelighed hvisket om i de mørke kroge af forældreblogs rundt omkring på nettet og videregivet fra forælder til medforælder i det mindste på mit kontor, grebe vand. Okay, måske er det ikke så meget af en hemmelighed, men det tog os et stykke tid at prøve det. Angiveligt ville denne blanding af urter og krydderier, modsat KFC's blanding, dæmpe maverne fra refluks og gas, især natten over, hvilket resulterer i længere søvn. Efter en uges test fandt vi ud af, at det faktisk hjalp med refluks, især spyt, og selvom vi ikke sporede individuelle bøvser eller prutter, så det ud til at reducere dem også. Søvnens længde blev dog ikke påvirket meget. Vi så en lille stigning i gennemsnit, mellem 20 og 30 minutter, men igen kan det have været naturlige stigninger på grund af alder.
Efter gripevand, som blev den nye kontrol, testede vi en ekstra fodring inden sengetid. Drengene begyndte alligevel at gøre dette naturligt på egen hånd, og vi havde forsøgt at forhindre det. Det virkede dog som en mulighed, der var moden til at teste, så vi gav det et skud. Mange børn vil "klynge" fodring før sengetid med en fodring kun kort tid efter den forrige, lige før sengetid. Vi lavede denne fodring omkring 1,5 til 2 timer efter den forrige, sammenlignet med 3 timer normalt. I denne fodring prøvede vi 4 ounce sammenlignet med de 4-5 de normalt tager i dagtimerne.
Nogle gange ville de nægte at tage mere end 3. Af alle forsøgene virkede dette bedst. Vi så stigninger i op til en ekstra times søvn som et resultat, dog ofte ikke før et par dage inde i eksperimentet, det tager tilsyneladende tid at påvirke søvnmønstret. En god lektie for A/B-tests er, at der nogle gange er en tilpasningsperiode på flere dage, mens folk finder ud af ny ny behandling og tilpasser sig. Det er dog vigtigt at fange både tilpasningsperiodens resultater og efterjusteringen. Apple har berømt forsømt tilpasningsperioden på flere produktlanceringer, især kort.
Til sidst testede vi at holde dem vågne længere i løbet af dagen. Vores hypotese var, at de derfor ville være mere trætte om natten og som følge heraf ville sove længere. Dette kan have været lidt sandt, vi så mindre stigninger i søvnlængden, men vi tog ikke højde for den stress og udmattelse, det ville forårsage ved at holde dem vågne og gøre dem ulykkelige. Det tog også betydeligt længere tid at få dem til at falde til ro og sove om natten, da de var overtrætte og kræsne. Lektionen til test: Giv ikke ofre andre målinger for en lille gevinst i én.
Tyler Lund er redaktør af Far på flugt.
Vil du have tips, tricks og råd, som du rent faktisk vil bruge? Klik her for at tilmelde dig vores e-mail.
