Quanto segue è stato sindacato da medio per Il forum paterno, una comunità di genitori e influencer con approfondimenti su lavoro, famiglia e vita. Se desideri unirti al Forum, scrivici a [email protected].
"Mi chiedo come possiamo farli dormire di più." Questo semplice pensiero, espresso da mia moglie, nemmeno una domanda, è diventato per me una sfida. La mia mente ingegneristica ha preso questo come un problema da risolvere e quando uno sviluppatore di software vede un problema, escogita dei test. Fortunatamente, conoscevo il sistema perfetto per testare alcune idee in un ambiente controllato e misurabile. E con i gemelli, il test sarebbe ancora più semplice. Benvenuto nella genitorialità, stile di test A/B.
Il test A/B viene utilizzato in tutto il web. Probabilmente lo incontri dozzine se non centinaia di volte al giorno senza nemmeno accorgertene. Tutte le big tech lo fanno, usandolo come strumento per testare le performance delle idee e misurarle. Google è famoso per aver testato 41 sfumature di blu per i risultati di ricerca. I designer presumibilmente non potevano decidere quale delle 2 tonalità utilizzare, quindi hanno testato 41 in totale per vedere quale ha portato il maggior numero di utenti a fare clic sui risultati. Facebook testa costantemente diverse esperienze all'interno del feed. Amazon cambia anche intorno ai pulsanti di acquisto e ai layout del carrello abbastanza spesso. Potresti notarli se accedi da un nuovo computer o vedi un amico che utilizza un sito che sembra leggermente diverso dal tuo.
Il test A/B viene utilizzato per testare uno o più "trattamenti" o esperimenti su un "controllo" o sull'esperienza esistente. Viene misurata una metrica, di solito basata su un'azione dell'utente come un clic o una "conversione" con una linea di base rispetto al controllo. Per l'esempio di Google, potrebbero testare la probabilità che gli utenti facciano clic su almeno un risultato con una tonalità diversa. Dopo un periodo di tempo statisticamente significativo, spesso una settimana o 2, l'esperienza con un tasso migliore verrà scelta come vincitrice e diventa il nuovo controllo.
Dove questo diventa davvero complicato è quando vengono eseguiti più esperimenti contemporaneamente o quando la percentuale di utenti non è equamente divisa. Qui è necessaria una complessa conoscenza della statistica. O l'uso di uno dei tanti potenti strumenti di test disponibili. In Audible e Amazon, testiamo sempre esperienze come questa. È il modo migliore per vedere come gli utenti si comportano effettivamente con la stessa frequenza con cui gli utenti dicono che faranno e cosa fanno può essere leggermente diverso.
Ho deciso di usare questo metodo se provavo con i ragazzi per vedere se potevamo aumentare la metrica più importante nella casa di chiunque abbia bambini di 10 settimane, specialmente gemelli; tempi di sonno. Usando uno dei ragazzi come controllo e l'altro come trattamento, non importa il fatto che nessuno descriverebbe nessuna parte del nostro vive in questo momento con le parole controllo o trattamento - ho testato diverse teorie sulla durata del sonno in base al controllo.
In qualsiasi esperimento, la misurazione accurata e il monitoraggio dei dati sono fondamentali. Spesso viene scelta una metrica di successo in base alla disponibilità di dati o alla capacità di misurazione. Non vuoi provare a misurare qualcosa che richiede più tempo per misurare che per modificare il test o l'input del test. Fortunatamente misurare il sonno è facile come si arriva. Quando si svegliano di notte, lo scriviamo e basta. Questo è esattamente quello che abbiamo fatto dal giorno in cui sono nati da quando le infermiere dell'ospedale ce l'hanno instillato. Abbiamo già esaminato diversi taccuini, ma è così facile da tenere traccia. Per questo, abbiamo persino iniziato a importare i dati in un foglio di calcolo per vedere l'impatto in modo più visivo.
Una buona lezione per i test A/B è che a volte c'è un periodo di adattamento di diversi giorni mentre le persone scoprono un nuovo trattamento e si adattano.
Per prima cosa abbiamo provato ad aumentare la quantità data alla poppata immediatamente prima di andare a dormire. Invece delle normali 4 once, ne abbiamo provate 5, poi 6. Per evitare distorsioni da parte di un bambino, abbiamo alternato chi era il test e chi era il controllo poiché sembrava che fossero in cicli di bene e di male. Mentre un bambino ha avuto un'alimentazione serale più grande, l'altro sarebbe rimasto a 4 once. Il risultato: inconcludente. Entrambi i bambini sembravano iniziare comunque ad aumentare la durata del sonno durante questo periodo. Entrambi dormirono quasi per la stessa identica durata. C'è stata una notte in cui un aumento dell'alimentazione era correlato a un periodo di sonno record di 5,5 ore, ma un punto di dati è insignificante in questo set di dati. È stato anche difficile continuare a testarlo poiché qualsiasi cosa oltre 5 once aveva un'alta probabilità di essere sputata pochi minuti dopo aver mangiato.
Poi c'è stato un segreto sussurrato negli angoli bui dei blog dei genitori in giro per il web e passato da genitore a genitore almeno nel mio ufficio, lamentela. Ok, forse non è un gran segreto, ma ci è voluto un po' per provarlo. Presumibilmente questo mix di erbe e spezie, opposto alla miscela di KFC, calmerebbe lo stomaco dal reflusso e dal gas, specialmente durante la notte, con conseguente sonno più lungo. Dopo una settimana di test, abbiamo scoperto che effettivamente aiutava con il reflusso, in particolare gli sputi, e sebbene non avessimo tracciato i singoli rutti o scoregge, sembrava anche ridurli. Tuttavia, la durata del sonno non è stata influenzata molto. Abbiamo visto un piccolo aumento in media, tra 20 e 30 minuti, ma anche in questo caso potrebbe essere stato un aumento naturale dovuto all'età.
Dopo il problema dell'acqua, che è diventato il nuovo controllo, abbiamo testato un'alimentazione extra prima di andare a letto. I ragazzi stavano comunque iniziando a farlo naturalmente da soli e noi stavamo cercando di impedirlo. Tuttavia, sembrava un'opportunità matura per i test, quindi ci abbiamo provato. Molti bambini "raggruppano" la poppata prima di andare a letto con una poppata solo poco tempo dopo quella precedente, subito prima di andare a letto. Abbiamo fatto questa alimentazione da 1,5 a 2 ore dopo la precedente, rispetto alle 3 ore normalmente. In questa alimentazione abbiamo provato 4 once rispetto alle 4-5 che normalmente prendono durante le poppate diurne.
A volte si rifiutavano di prenderne più di 3. Di tutti gli esperimenti, questo sembrava funzionare meglio. Di conseguenza, abbiamo visto aumenti fino a un'ora in più di sonno, anche se spesso non prima di pochi giorni dall'inizio dell'esperimento, a quanto pare questo richiede tempo per influenzare i modelli di sonno. Una buona lezione per i test A/B è che a volte c'è un periodo di adattamento di diversi giorni mentre le persone scoprono un nuovo trattamento e si adattano. Tuttavia, è importante acquisire sia i risultati del periodo di aggiustamento che quelli successivi all'aggiustamento. Apple ha notoriamente trascurato il periodo di adeguamento su diversi lanci di prodotti, in particolare le mappe.
Infine, abbiamo provato a tenerli svegli più a lungo durante il giorno. La nostra ipotesi era che sarebbero quindi stati più stanchi la notte e di conseguenza avrebbero dormito più a lungo. Questo potrebbe essere stato leggermente vero, abbiamo visto lievi aumenti della durata del sonno, ma non abbiamo tenuto conto dello stress e della stanchezza che avrebbe causato tenendoli svegli e rendendoli infelici. Ci è voluto anche molto più tempo per farli sistemare e dormire la notte perché erano troppo stanchi e pignoli. La lezione per i test: non sacrificare altre metriche per un piccolo guadagno in una.
Tyler Lund è l'editore di Papà in fuga.
Vuoi suggerimenti, trucchi e consigli che utilizzerai effettivamente? Clicca qui per iscriverti alla nostra email.
