Poniższy został syndykowany z Średni dla Forum Ojcowskie, społeczność rodziców i influencerów, którzy mają spostrzeżenia na temat pracy, rodziny i życia. Jeśli chcesz dołączyć do Forum, napisz do nas na [email protected].
„Zastanawiam się, jak możemy sprawić, by więcej spali”. Ta prosta myśl, wyrażona przez moją żonę, nie będąca nawet pytaniem, stała się dla mnie wyzwaniem. Mój umysł inżyniera wziął to za problem do rozwiązania, a kiedy programista widzi problem, opracowuje testy. Na szczęście znałem idealny system do testowania niektórych pomysłów w kontrolowanym i mierzalnym otoczeniu. A z bliźniakami testowanie byłoby jeszcze łatwiejsze. Witamy w rodzicielstwie, w stylu testów A/B.
Testy A/B są stosowane w całej sieci. Prawdopodobnie napotykasz go dziesiątki, jeśli nie setki razy dziennie, nawet tego nie zauważając. Robią to wszystkie duże firmy technologiczne, używając go jako narzędzia do testowania wydajności pomysłów i ich mierzenia. Google słynie z testowania 41 odcieni niebieskiego w wynikach wyszukiwania. Projektanci rzekomo nie mogli zdecydować, którego z 2 odcieni użyć, więc przetestowali w sumie 41, aby zobaczyć, który z nich spowodował, że więcej użytkowników kliknęło wyniki. Facebook stale testuje różne doświadczenia w ramach kanału. Amazon dość często zmienia nawet przyciski kupowania i układy koszyka. Możesz to zauważyć, jeśli kiedykolwiek zalogujesz się z nowego komputera lub zobaczysz znajomego korzystającego z witryny, która wygląda nieco inaczej niż Twoja.
Testy A/B służą do testowania jednego lub więcej „leków” lub eksperymentów nad „kontrolą” lub istniejącym doświadczeniem. Mierzona jest metryka, zwykle na podstawie działania użytkownika, takiego jak kliknięcie lub „konwersja” z punktem odniesienia w porównaniu z kontrolką. W przypadku Google mogą przetestować prawdopodobieństwo, że użytkownicy przejdą do co najmniej jednego wyniku o innym odcieniu. Po statystycznie istotnym okresie, często po tygodniu lub dwóch, którekolwiek doświadczenie ma lepszą stawkę, zostanie wybrane jako zwycięzca i stanie się nową kontrolą.
Naprawdę komplikuje się to, gdy wiele eksperymentów jest przeprowadzanych w tym samym czasie lub gdy odsetek użytkowników nie jest równo podzielony. Tutaj potrzebna jest skomplikowana wiedza statystyczna. Lub użycie jednego z wielu dostępnych potężnych narzędzi testowych. W Audible i Amazon cały czas testujemy takie doświadczenia. To najlepszy sposób, aby zobaczyć, jak użytkownicy faktycznie zachowują się tak często, jak mówią, że zrobią, a to, co robią, może się nieco różnić.
Postanowiłem użyć tej metody podczas testów z chłopcami, aby sprawdzić, czy możemy zwiększyć najważniejszy wskaźnik w domu każdego, kto ma 10-tygodniowe dzieci, zwłaszcza bliźniaków; czasy snu. Używanie jednego z chłopców jako kontroli, a drugiego jako leczenia — nieważne, że nikt nie opisałby żadnej części naszego żyje teraz ze słowami kontrola lub leczenie — przetestowałem kilka teorii na temat długości snu w odniesieniu do kontrola.
W każdym eksperymencie dokładne pomiary i śledzenie danych mają kluczowe znaczenie. Często miara sukcesu jest wybierana ze względu na dostępność danych lub możliwości pomiaru. Nie chcesz próbować zmierzyć czegoś, czego zmierzenie trwa dłużej niż zmiana danych wejściowych testu lub testu. Na szczęście mierzenie snu jest tak proste, jak to tylko możliwe. Kiedy budzą się w nocy, po prostu to zapisujemy. To jest dokładnie to, co robimy od dnia ich narodzin, odkąd pielęgniarki w szpitalu zaszczepiły to w nas. Przejrzeliśmy już kilka notatników, ale tak łatwo je śledzić. W tym celu zaczęliśmy nawet importować dane do arkusza kalkulacyjnego, aby zobaczyć wpływ bardziej wizualnie.
Dobrą lekcją dla testów A/B jest to, że czasami jest kilkudniowy okres przystosowawczy, podczas gdy ludzie wymyślają nowe leczenie i dostosowują się.
Najpierw przetestowaliśmy zwiększenie ilości podawanej przy karmieniu bezpośrednio przed snem. Zamiast normalnych 4 uncji, spróbowaliśmy 5, a potem 6. Aby zapobiec stronniczości jednego dziecka, zmienialiśmy, kto był testem, a kto kontrolą, ponieważ wydaje się, że są w cyklach dobra i zła. Podczas gdy jedno dziecko miało większe wieczorne karmienie, drugie pozostawało przy 4 uncjach. Wynik: niejednoznaczny. Wydawało się, że w tym okresie obydwoje dzieci i tak zaczynało dłużej sypiać. Oboje spali prawie dokładnie tak samo długo. Była jedna noc, w której zwiększone karmienie korelowało z rekordowym 5,5-godzinnym odcinkiem snu, ale jeden punkt danych jest nieistotny w tym zestawie danych. Trudno było również kontynuować testowanie tego, ponieważ wszystko powyżej 5 uncji miało duże prawdopodobieństwo wyplucia kilka minut po jedzeniu.
Następna była tajemnica, o której szeptano w ciemnych zakamarkach nadrzędnych blogów w sieci i przekazywano ją z rodzica na drugiego rodzica przynajmniej w moim biurze, narzekać na wodę. Dobra, może to nie jest aż tak wielka tajemnica, ale zajęło nam to trochę czasu. Podobno ta mieszanka ziół i przypraw, w przeciwieństwie do mieszanki KFC, uspokoiłaby żołądki z refluksu i gazów, zwłaszcza w nocy, powodując dłuższy sen. Po tygodniu testów stwierdziliśmy, że faktycznie pomogło to w refluksie, zwłaszcza pluciach, i chociaż nie śledziliśmy pojedynczych beknięć ani pierdnięć, wydawało się, że również je zmniejsza. Jednak długość snu nie miała większego wpływu. Zauważyliśmy niewielki wzrost średnio między 20 a 30 minutami, ale znowu mógł to być naturalny wzrost ze względu na wiek.
Po złapaniu wody, która stała się nową kontrolą, przetestowaliśmy dodatkowe karmienie przed snem. Chłopcy i tak zaczęli to robić naturalnie sami, a my staraliśmy się temu zapobiec. Wydawało się jednak, że to okazja do przetestowania, więc spróbowaliśmy. Wiele dzieci będzie karmić się w gronie przed snem, a karmienie niedługo po poprzednim, tuż przed snem. Karmiliśmy to około 1,5 do 2 godzin po poprzednim, w porównaniu z 3 godzinami normalnie. W tym karmieniu wypróbowaliśmy 4 uncje w porównaniu z 4-5, które normalnie przyjmują podczas karmienia w ciągu dnia.
Czasami odmówili przyjęcia więcej niż 3. Ze wszystkich eksperymentów, to wydawało się działać najlepiej. W rezultacie zaobserwowaliśmy wzrost nawet o dodatkową godzinę snu, choć często dopiero po kilku dniach eksperymentu, najwyraźniej wymaga to czasu, aby wpłynąć na wzorce snu. Dobrą lekcją dla testów A/B jest to, że czasami jest kilkudniowy okres przystosowawczy, podczas gdy ludzie wymyślają nowe leczenie i dostosowują się. Ważne jest jednak uchwycenie zarówno wyników okresu dostosowawczego, jak i tych po korekcie. Apple słynie z zaniedbania okresu dostosowawczego przy kilku premierach produktów, w szczególności mapach.
Na koniec testowaliśmy utrzymywanie ich w stanie czuwania dłużej w ciągu dnia. Nasza hipoteza była taka, że w nocy będą bardziej zmęczone i w rezultacie będą spać dłużej. Mogło to być trochę prawdą, zaobserwowaliśmy niewielki wzrost długości snu, ale nie wzięliśmy pod uwagę stresu i wyczerpania, które spowodowałoby to, że nie zasnęli i sprawili, że byli nieszczęśliwi. Zajęło im również znacznie więcej czasu, aby uspokoić się i spać w nocy, ponieważ były przemęczone i wybredne. Lekcja dla testowania: nie poświęcaj innych metryk dla niewielkiego zysku w jednym.
Tyler Lund jest redaktorem Tata w biegu.
Potrzebujesz wskazówek, trików i porad, z których będziesz korzystać? Kliknij tutaj, aby zapisać się na nasz e-mail.
