Sledeće je sindicirano iz Srednje за Otački forum, zajednica roditelja i uticajnih ljudi sa uvidima o poslu, porodici i životu. Ako želite da se pridružite forumu, javite nam se na [email protected].
„Pitam se kako da ih nateramo da više spavaju. Ova jednostavna misao koju je izrazila moja žena, čak ni pitanje, postala je izazov za mene. Moj inženjerski um je ovo shvatio kao problem koji treba rešiti, a kada programer softvera vidi problem, smišlja testove. Srećom, znao sam savršen sistem za testiranje nekih ideja u kontrolisanom i merljivom okruženju. A sa blizancima, testiranje bi bilo još lakše. Dobrodošli u roditeljstvo, stil A/B testiranja.
A/B testiranje se koristi na celom vebu. Verovatno ćete ga susresti na desetine, ako ne i stotine puta dnevno, a da to niste ni primetili. Sve velike tehnološke kompanije to rade, koristeći to kao alat za testiranje performansi ideja i njihovo merenje. Gugl je poznat po testiranju 41 nijanse plave za rezultate pretrage. Dizajneri navodno nisu mogli da odluče koju od 2 nijanse da koriste, pa su testirali ukupno 41 da vide šta je dovelo do toga da više korisnika klikne na rezultate. Facebook neprestano testira različita iskustva unutar fida. Amazon se čak prilično često menja oko dugmadi za kupovinu i rasporeda kolica. Ovo ćete možda primetiti ako se ikada prijavite sa novog računara ili vidite prijatelja koji koristi sajt koji se suptilno razlikuje od vašeg.
A/B testiranje se koristi za testiranje jednog ili više „tretmana“ ili eksperimenata preko „kontrole“ ili postojećeg iskustva. Pokazatelj se meri, obično na osnovu radnje korisnika kao što je klik ili „konverzija“ sa osnovnom linijom u odnosu na kontrolu. Za primer Google-a, oni bi mogli da testiraju verovatnoću da korisnici kliknu na bar jedan rezultat sa drugom nijansom. Nakon statistički značajnog vremenskog perioda, često nedelju ili dve, koje god iskustvo ima bolju stopu biće izabrano kao pobednik i postaje nova kontrola.
Ono što postaje zaista komplikovano je kada se više eksperimenata izvodi u isto vreme ili kada procenat korisnika nije podjednako podeljen. Ovde je potrebno komplikovano poznavanje statistike. Ili korišćenje bilo kog od mnogih dostupnih moćnih alata za testiranje. U Audible-u i Amazon-u stalno testiramo ovakva iskustva. To je najbolji način da vidite kako se korisnici zapravo ponašaju onoliko često što korisnici kažu da će uraditi i ono što rade može biti malo drugačije.
Odlučio sam da koristim ovu metodu prilikom testiranja sa dečacima da vidim da li možemo da povećamo najvažniju metriku u kući bilo koga sa decom od 10 nedelja, posebno blizancima; vremena spavanja. Koristeći jednog od dečaka kao kontrolu, a drugog kao tretman — nema veze što niko ne bi opisao bilo koji deo našeg trenutno živi sa rečima kontrola ili lečenje — testirao sam nekoliko teorija o dužini sna u odnosu na kontrolu.
U svakom eksperimentu, precizno merenje i praćenje podataka su kritični. Često se metrika uspeha bira zbog dostupnosti podataka ili sposobnosti merenja. Ne želite da pokušavate da merite nešto za šta je potrebno više vremena za merenje nego za promenu testa ili unosa testa. Srećom, merenje sna je otprilike onoliko lako koliko može. Kada se probude noću, mi to samo zapišemo. To je upravo ono što radimo od dana njihovog rođenja od kada su nam medicinske sestre u bolnici to usadile. Već smo prošli kroz nekoliko beležnica, ali ih je tako lako pratiti. Za ovo smo čak počeli da uvozimo podatke u tabelu da bismo vizuelno videli uticaj.
Dobra lekcija za A/B testove je da ponekad postoji period prilagođavanja od nekoliko dana dok ljudi smišljaju novi tretman i prilagođavaju se.
Prvo smo testirali povećanje količine datog tokom hranjenja neposredno pre spavanja. Umesto normalnih 4 unce, probali smo 5, pa 6. Da bismo sprečili pristrasnost jednog deteta, smenjivali smo se ko je bio test, a ko je bio kontrolni, jer se čini da su u ciklusima dobrog i lošeg. Dok je jedno dete imalo veće večernje hranjenje, drugo bi ostajalo na 4 unce. Rezultat: neuverljiv. Činilo se da su oba deteta ionako počela da povećavaju dužinu sna tokom ovog perioda. Obojica su takođe spavali skoro isto vreme. Bilo je jedne noći u kojoj je povećano hranjenje bilo povezano sa rekordnim spavanjem od 5,5 sati, ali jedna tačka podataka je beznačajna u ovom skupu podataka. Takođe je bilo teško nastaviti sa testiranjem jer je bilo šta više od 5 unci imalo veliku verovatnoću da bude ispljunuto nekoliko minuta nakon jela.
Sledeće je bila tajna o kojoj se šaputalo u mračnim uglovima roditeljskih blogova širom interneta i prenošeno sa roditelja na kolegu roditelja, barem u mojoj kancelariji, zarazna voda. U redu, možda to i nije tolika tajna, ali nam je trebalo vremena da probamo. Navodno bi ova mešavina biljaka i začina, suprotna KFC-ovoj mešavini, rešila stomak od refluksa i gasova, posebno preko noći, što bi rezultiralo dužim snom. Posle nedelju dana testiranja, otkrili smo da zaista pomaže kod refluksa, posebno kod pljuvanja, i iako nismo pratili pojedinačne podrigivanje ili prdenje, činilo se da ih je takođe smanjilo. Međutim, dužina sna nije mnogo uticala. Videli smo mali porast u proseku, između 20 i 30 minuta, ali opet je to možda bio prirodni porast zbog starosti.
Nakon vode koja je postala nova kontrola, testirali smo dodatno hranjenje pre spavanja. Dečaci su to ionako počeli da rade prirodno, a mi smo to pokušavali da sprečimo. Međutim, činilo se da je sazrela prilika za testiranje, pa smo pokušali. Mnoga deca će se hraniti u klasteru pre spavanja sa hranjenjem samo kratko vreme nakon prethodnog, neposredno pre spavanja. Ovo hranjenje smo uradili oko 1,5 do 2 sata nakon prethodnog, u poređenju sa 3 sata normalno. U ovom hranjenju probali smo 4 unce u poređenju sa 4–5 koje obično uzimaju tokom dnevnog hranjenja.
Ponekad bi odbijali da uzmu više od 3. Od svih eksperimenata, ovo je izgledalo najbolje. Kao rezultat toga, primetili smo povećanje do jednog dodatnog sata sna, mada često tek nekoliko dana nakon eksperimenta, očigledno je potrebno vreme da utiče na obrasce spavanja. Dobra lekcija za A/B testove je da ponekad postoji period prilagođavanja od nekoliko dana dok ljudi smišljaju novi tretman i prilagođavaju se. Međutim, važno je uhvatiti i rezultate perioda prilagođavanja i one nakon prilagođavanja. Apple je slavno zanemario period prilagođavanja na nekoliko lansiranja proizvoda, posebno mapa.
Na kraju, testirali smo da ih držimo budnima duže tokom dana. Naša hipoteza je bila da će zbog toga biti umorniji noću i da će zbog toga duže spavati. Ovo je možda donekle tačno, videli smo neznatno povećanje dužine sna, ali nismo uzeli u obzir stres i iscrpljenost koje bi to izazvalo tako što bi ih držalo budnim i činilo nesrećnim. Takođe im je trebalo znatno više vremena da se smire i spavaju noću jer su bili preumorni i nervozni. Lekcija za testiranje: nemojte žrtvovati druge metrike za mali dobitak u jednom.
Tajler Lund je urednik Tata u bekstvu.
Želite savete, trikove i savete koje ćete zaista koristiti? Kliknite ovde da biste se prijavili za našu e-poštu.
