Het volgende is gesyndiceerd van: Medium voor Het Vaderlijke Forum, een community van ouders en influencers met inzichten over werk, gezin en leven. Als je lid wilt worden van het Forum, stuur ons dan een bericht op [email protected].
"Ik vraag me af hoe we ze meer kunnen laten slapen." Deze simpele gedachte, uitgedrukt door mijn vrouw, niet eens een vraag, werd een uitdaging voor mij. Mijn ingenieursgeest beschouwde dit als een op te lossen probleem, en wanneer een softwareontwikkelaar een probleem ziet, bedenken ze tests. Gelukkig kende ik het perfecte systeem om een aantal ideeën in een gecontroleerde en meetbare setting uit te testen. En met een tweeling zou testen nog eenvoudiger zijn. Welkom bij ouderschap, A/B-teststijl.
A/B-testen worden overal op internet gebruikt. Je komt het waarschijnlijk tientallen, zo niet honderden keren per dag tegen zonder het zelfs maar te merken. Alle grote technologiebedrijven doen het en gebruiken het als een hulpmiddel om de prestaties van ideeën te testen en te meten. Google staat bekend om het testen van 41 tinten blauw voor zoekresultaten. Ontwerpers konden naar verluidt niet beslissen welke van de 2 kleuren ze moesten gebruiken, dus testten ze in totaal 41 om te zien wat ertoe leidde dat meer gebruikers op de resultaten klikten. Facebook test voortdurend verschillende ervaringen binnen de feed. Amazon verandert zelfs vrij vaak rond de koopknoppen en winkelwagenlay-outs. U kunt deze opmerken als u zich ooit aanmeldt vanaf een nieuwe computer of als een vriend een site gebruikt die er subtiel anders uitziet dan de uwe.
A/B-testen wordt gebruikt om een of meer "behandelingen" of experimenten te testen over een "controle" of de bestaande ervaring. Een statistiek wordt gemeten, meestal op basis van een gebruikersactie zoals een doorklik of 'conversie' met een basislijn ten opzichte van de controle. Voor het Google-voorbeeld kunnen ze de waarschijnlijkheid testen dat gebruikers doorklikken naar ten minste één resultaat met de andere tint. Na een statistisch significante periode, vaak een week of 2, wordt de ervaring die het beste scoort als winnaar gekozen en wordt de nieuwe controle.
Waar dit echt ingewikkeld wordt, is wanneer meerdere experimenten tegelijkertijd worden uitgevoerd of wanneer het percentage gebruikers niet gelijk is verdeeld. Hier is een gecompliceerde kennis van statistiek nodig. Of het gebruik van een van de vele krachtige testtools die beschikbaar zijn. Bij Audible en Amazon testen we dit soort ervaringen voortdurend. Het is de beste manier om te zien hoe gebruikers zich daadwerkelijk gedragen, zo vaak wat gebruikers zeggen dat ze zullen doen en wat ze doen kan iets anders zijn.
Ik besloot deze methode te gebruiken bij het testen met de jongens om te zien of we de belangrijkste metriek in het huis van iedereen met kinderen van 10 weken oud konden verhogen, vooral tweelingen; slaap tijden. Met een van de jongens als controle en de andere als behandeling - laat staan het feit dat niemand enig deel van onze leeft op dit moment met de woorden controle of behandeling - ik heb verschillende theorieën over slaapduur getest tegen de controle.
In elk experiment zijn nauwkeurige metingen en gegevensregistratie van cruciaal belang. Vaak wordt een succesmaatstaf gekozen vanwege de beschikbaarheid van gegevens of meetbaarheid. U wilt niet proberen iets te meten dat langer duurt om te meten dan om de test of testinvoer te wijzigen. Gelukkig is het meten van slaap ongeveer net zo eenvoudig als het wordt. Als ze 's nachts wakker worden, schrijven we het gewoon op. Dit is precies wat we doen sinds de dag dat ze werden geboren sinds de verpleegsters in het ziekenhuis het ons hebben ingeprent. We hebben al verschillende notitieboeken doorgenomen, maar het is zo gemakkelijk te volgen. Hiervoor zijn we zelfs begonnen de gegevens in een spreadsheet te importeren om de impact visueel te zien.
Een goede les voor A/B-tests is dat er soms een aanpassingsperiode van meerdere dagen is terwijl mensen een nieuwe, nieuwe behandeling bedenken en aanpassen.
Eerst hebben we getest om de hoeveelheid die gegeven wordt bij de voeding vlak voor het slapengaan te verhogen. In plaats van de normale 4 ons, probeerden we 5, dan 6. Om vooringenomenheid van één kind te voorkomen, wisselden we af wie de test was en wie de controle had, omdat ze op cycli van goed en slecht lijken te zitten. Terwijl het ene kind een grotere avondvoeding kreeg, bleef het andere bij 4 ons. Het resultaat: onbeslist. Beide kinderen leken in deze periode toch steeds langer te slapen. Ze sliepen ook allebei bijna exact dezelfde tijd. Er was een nacht waarin een verhoogde voeding correleerde met een recordtijd van 5,5 uur slaap, maar één datapunt is onbeduidend in deze dataset. Het was ook moeilijk om dit te blijven testen, omdat alles boven de 5 ons een grote kans had om een paar minuten na het eten te worden uitgespuugd.
Vervolgens werd een geheim gefluisterd in de donkere hoeken van ouderblogs op internet en doorgegeven van ouder op medeouder, tenminste in mijn kantoor, treurig water. Oké, misschien is het niet zo'n geheim, maar het kostte ons een tijdje om het te proberen. Vermoedelijk zou deze mix van kruiden en specerijen, in tegenstelling tot KFC's melange, de magen bezinken van reflux en gas, vooral 's nachts, wat resulteert in een langere slaap. Na een week testen, ontdekten we dat het echt hielp bij reflux, vooral spit-ups, en hoewel we geen individuele boeren of scheten volgden, leek het ze ook te verminderen. De lengte van de slaap werd echter niet veel beïnvloed. We zagen gemiddeld een kleine toename, tussen de 20 en 30 minuten, maar ook dit kan een natuurlijke toename zijn geweest door de leeftijd.
Na veel water, dat de nieuwe controle werd, testten we een extra voeding voor het slapengaan. De jongens begonnen dit hoe dan ook vanzelf te doen en we hadden geprobeerd het te voorkomen. Het leek echter een kans die rijp was om te testen, dus we probeerden het. Veel kinderen "clusteren" voeding voor het slapengaan met een voeding slechts een korte tijd na de vorige, vlak voor het slapengaan. We deden deze voeding ongeveer 1,5 tot 2 uur na de vorige, vergeleken met 3 uur normaal. In deze voeding probeerden we 4 ons in vergelijking met de 4-5 die ze normaal gesproken overdag nemen.
Soms weigerden ze meer dan 3 te nemen. Van alle experimenten leek dit het beste te werken. Als resultaat zagen we een toename van tot wel een uur extra slaap, hoewel vaak pas na een paar dagen in het experiment, blijkbaar kost dit tijd om het slaappatroon te beïnvloeden. Een goede les voor A/B-tests is dat er soms een aanpassingsperiode van meerdere dagen is terwijl mensen een nieuwe, nieuwe behandeling bedenken en aanpassen. Het is echter belangrijk om zowel de resultaten van de aanpassingsperiode als de resultaten na de aanpassing vast te leggen. Apple heeft de aanpassingsperiode bij verschillende productlanceringen, met name kaarten, verwaarloosd.
Als laatste hebben we getest om ze overdag langer wakker te houden. Onze hypothese was dat ze daardoor 's nachts vermoeider zouden zijn en daardoor langer zouden slapen. Dit was misschien een beetje waar, we zagen een kleine toename van de slaapduur, maar we hielden geen rekening met de stress en uitputting die het zou veroorzaken door ze wakker te houden en ze ongelukkig te maken. Het duurde ook aanzienlijk langer om ze te laten settelen en 's nachts te slapen, omdat ze oververmoeid en kieskeurig waren. De les voor het testen: offer geen andere statistieken op voor een kleine winst in één.
Tyler Lund is de redacteur van Papa op de vlucht.
Wil je tips, trucs en advies die je ook echt gaat gebruiken? Klik hier om u aan te melden voor onze e-mail.
