Følgende ble syndikert fra Medium til Det faderlige forumet, et fellesskap av foreldre og påvirkere med innsikt om jobb, familie og liv. Hvis du ønsker å bli med i forumet, send oss en forespørsel på [email protected].
"Jeg lurer på hvordan vi kan få dem til å sove mer." Denne enkle tanken, uttrykt av min kone, ikke engang et spørsmål, ble en utfordring for meg. Ingeniøren min tok dette som et problem som skulle løses, og når en programvareutvikler ser et problem, lager de tester. Heldigvis kjente jeg det perfekte systemet for å teste ut noen ideer i en kontrollert og målbar setting. Og med tvillinger ville testing vært enda enklere. Velkommen til foreldreskap, A/B-testing.
A/B-testing brukes over hele nettet. Du støter sannsynligvis på det dusinvis om ikke hundrevis av ganger om dagen uten engang å merke det. Alle de store teknologiselskapene gjør det, og bruker det som et verktøy for å teste ytelsen til ideer og måle dem. Google er kjent for å teste 41 nyanser av blått for søkeresultater. Designere kunne angivelig ikke bestemme hvilken av 2 nyanser de skulle bruke, så de testet 41 totalt for å se hvilke som førte til at flere brukere klikket på resultatene. Facebook tester ulike opplevelser i feeden hele tiden. Amazon endrer til og med kjøpsknappene og handlekurvoppsettene ganske ofte. Du kan legge merke til disse hvis du noen gang logger på fra en ny datamaskin eller ser en venn bruke et nettsted som ser subtilt annerledes ut enn ditt.
A/B-testing brukes til å teste en eller flere "behandlinger" eller eksperimenter over en "kontroll" eller den eksisterende erfaringen. En beregning måles, vanligvis basert på en brukerhandling som en gjennomklikk eller "konvertering" med en grunnlinje mot kontrollen. For Google-eksemplet kan de teste sannsynligheten for at brukere klikker seg videre til minst ett resultat med den andre nyansen. Etter en statistisk signifikant tidsperiode, ofte en uke eller 2, vil den erfaringen som har en bedre rate bli valgt som vinner, og blir den nye kontrollen.
Der dette blir veldig komplisert er når flere eksperimenter kjøres samtidig eller når prosentandelen av brukere ikke er likt delt. Her trengs det komplisert kunnskap om statistikk. Eller bruk av noen av mange kraftige testverktøy tilgjengelig. Hos Audible og Amazon tester vi opplevelser som dette hele tiden. Det er den beste måten å se hvordan brukere faktisk oppfører seg, så ofte det brukere sier de vil gjøre og hva de gjør kan være litt annerledes.
Jeg bestemte meg for å bruke denne metoden hvis jeg testet med guttene for å se om vi kunne øke den viktigste metrikken i huset til alle med 10 uker gamle barn, spesielt tvillinger; søvntider. Å bruke en av guttene som en kontroll og den andre som behandling – bry deg ikke om det faktum at ingen ville beskrive noen del av vår lever akkurat nå med ordene kontroll eller behandling — jeg testet flere teorier om lengden på søvn basert på kontroll.
I ethvert eksperiment er nøyaktige målinger og datasporing avgjørende. Ofte velges en suksessmåling på grunn av tilgjengeligheten av data eller måleevne. Du vil ikke prøve å måle noe som tar lengre tid å måle enn det gjør å endre testen eller testinngangen. Heldigvis er det omtrent så enkelt å måle søvn. Når de våkner om natten, skriver vi det bare ned. Dette er akkurat det vi har gjort siden dagen de ble født siden sykepleierne på sykehuset innpodet det i oss. Vi har gått gjennom flere notatbøker allerede, men det er så enkelt å spore. For dette begynte vi til og med å importere dataene til et regneark for å se effekten mer visuelt.
En god lærdom for A/B-tester er at noen ganger er det en tilpasningsperiode på flere dager mens folk finner ut ny ny behandling og justerer.
Først testet vi å øke mengden gitt ved matingen rett før leggetid. I stedet for de vanlige 4 gram, prøvde vi 5, deretter 6. For å forhindre skjevhet fra ett barn, vekslet vi hvem som var testen og hvem som var kontroll, siden de ser ut til å være i sykluser på godt og vondt. Mens ett barn hadde en større kveldsmating, holdt det andre seg på 4 gram. Resultatet: usikkert. Begge barna så ut til å begynne å øke søvnlengden uansett i denne perioden. De sov begge nesten like lenge også. Det var en natt hvor en økt fôring korrelerte med en rekordstor søvn på 5,5 timer, men ett datapunkt er ubetydelig i dette datasettet. Det var også vanskelig å fortsette å teste dette, da alt over 5 gram hadde stor sannsynlighet for å bli spyttet ut noen minutter etter å ha spist.
Neste var en hemmelighet hvisket om i de mørke hjørnene av foreldre blogger rundt på nettet og gikk fra forelder til medforelder i det minste på kontoret mitt, gripe vann. Ok, kanskje det ikke er så mye av en hemmelighet, men det tok oss en stund å prøve det. Antagelig ville denne blandingen av urter og krydder, i motsetning til KFCs blanding, roe magen fra refluks og gass, spesielt over natten, noe som resulterer i lengre søvn. Etter en uke med testing fant vi ut at det faktisk hjalp med refluks, spesielt spyttet, og selv om vi ikke sporet individuelle burps eller fiser, så det ut til å redusere dem også. Lengden på søvnen ble imidlertid ikke påvirket mye. Vi så en liten økning i gjennomsnitt, mellom 20 og 30 minutter, men igjen kan dette ha vært naturlige økninger på grunn av alder.
Etter gripevann, som ble den nye kontrollen, testet vi en ekstra fôring før sengetid. Guttene begynte å gjøre dette naturlig på egenhånd uansett, og vi hadde prøvd å forhindre det. Imidlertid virket det som en mulighet moden for testing, så vi ga det en sjanse. Mange barn vil "klynge" mat før sengetid med en mating bare kort tid etter den forrige, rett før sengetid. Vi gjorde denne fôringen omtrent 1,5 til 2 timer etter den forrige, sammenlignet med 3 timer normalt. I denne fôringen prøvde vi 4 unser sammenlignet med de 4–5 de vanligvis tar på dagtid.
Noen ganger ville de nekte å ta mer enn 3. Av alle eksperimentene så dette ut til å fungere best. Vi så økninger i opptil en ekstra time søvn som et resultat, men ofte ikke før noen dager ut i eksperimentet, tilsynelatende tar dette tid å påvirke søvnmønsteret. En god lærdom for A/B-tester er at noen ganger er det en tilpasningsperiode på flere dager mens folk finner ut ny ny behandling og justerer. Det er imidlertid viktig å fange både tilpasningsperiodens resultater og etterjusteringen. Apple har som kjent forsømt tilpasningsperioden på flere produktlanseringer, spesielt kart.
Sist testet vi å holde dem våkne lenger i løpet av dagen. Vår hypotese var at de derfor ville være mer trøtte om natten og ville sove lenger som et resultat. Dette kan ha vært litt sant, vi så små økninger i søvnlengden, men vi tok ikke hensyn til stresset og utmattelsen det ville forårsake ved å holde dem våkne og gjøre dem ulykkelige. Det tok også betydelig lengre tid å få dem til å slå seg til ro og sove om natten da de var overtrøtte og masete. Leksjonen for testing: ikke ofre andre beregninger for en liten gevinst i en.
Tyler Lund er redaktør for Pappa på flukt.
Vil du ha tips, triks og råd som du faktisk vil bruke? Klikk her for å registrere deg for vår e-post.
