Sljedeće je sindicirano iz Srednji za Očinski forum, zajednica roditelja i utjecajnih osoba sa uvidima o poslu, obitelji i životu. Ako se želite pridružiti forumu, javite nam se na [email protected].
“Pitam se kako ih možemo natjerati da više spavaju.” Ova jednostavna misao koju je izrazila moja supruga, čak ni pitanje, postala mi je izazov. Moj inženjerski um je to shvatio kao problem koji treba riješiti, a kada programer softvera vidi problem, smišlja testove. Srećom, poznavao sam savršen sustav za testiranje nekih ideja u kontroliranom i mjerljivom okruženju. A s blizancima testiranje bi bilo još lakše. Dobrodošli u roditeljstvo, stil A/B testiranja.
A/B testiranje se koristi na cijelom webu. Vjerojatno ćete ga susresti desetke, ako ne i stotine puta dnevno, a da to uopće ne primijetite. Sve velike tehnološke tvrtke to rade, koristeći ga kao alat za testiranje izvedbe ideja i njihovo mjerenje. Google je poznat po testiranju 41 nijanse plave za rezultate pretraživanja. Dizajneri se navodno nisu mogli odlučiti koju od 2 nijanse koristiti, pa su testirali ukupno 41 kako bi vidjeli što je dovelo do toga da je više korisnika kliknulo na rezultate. Facebook neprestano testira različita iskustva unutar feeda. Amazon se prilično često mijenja oko gumba za kupnju i izgleda košarice. Možda ćete ih primijetiti ako se ikada prijavite s novog računala ili vidite prijatelja koji koristi web-mjesto koje se suptilno razlikuje od vašeg.
A/B testiranje se koristi za testiranje jednog ili više "tretmana" ili eksperimenata preko "kontrole" ili postojećeg iskustva. Mjerni podatak se mjeri, obično na temelju radnje korisnika kao što je klik ili "konverzija" s osnovnom linijom u odnosu na kontrolu. Za primjer Googlea, mogli bi testirati vjerojatnost da će korisnici kliknuti na barem jedan rezultat s drugom nijansom. Nakon statistički značajnog vremenskog razdoblja, često tjedan ili dva, ovisno o tome koje iskustvo ima bolju ocjenu bit će izabrano kao pobjednik i postaje nova kontrola.
Ono što postaje stvarno komplicirano je kada se više eksperimenata izvodi u isto vrijeme ili kada postotak korisnika nije jednako podijeljen. Ovdje je potrebno komplicirano poznavanje statistike. Ili korištenje bilo kojeg od mnogih dostupnih moćnih alata za testiranje. U Audibleu i Amazonu cijelo vrijeme testiramo ovakva iskustva. To je najbolji način da vidite kako se korisnici zapravo ponašaju onoliko često što korisnici kažu da će učiniti, a ono što rade može biti malo drugačije.
Odlučio sam upotrijebiti ovu metodu ako testiram s dječacima da vidim možemo li povećati najvažniju metriku u kući bilo koga s djecom starom 10 tjedana, osobito blizancima; vremena spavanja. Koristeći jednog od dječaka kao kontrolu, a drugog kao tretman - nema veze što nitko ne bi opisao bilo koji dio našeg trenutno živi s riječima kontrola ili liječenje - testirao sam nekoliko teorija o duljini sna u odnosu na osnovnu vrijednost kontrolirati.
U svakom eksperimentu, precizno mjerenje i praćenje podataka su kritični. Često se metrika uspjeha odabire zbog dostupnosti podataka ili sposobnosti mjerenja. Ne želite pokušavati izmjeriti nešto za što je potrebno više vremena za mjerenje nego za promjenu testa ili unosa testa. Srećom, mjerenje sna je jednako jednostavno. Kad se probude noću, mi to samo zapišemo. Upravo to radimo od dana kada su se rodili otkako su nam sestre u bolnici to usadile. Već smo prošli kroz nekoliko bilježnica, ali ih je tako lako pratiti. Za to smo čak počeli uvoziti podatke u proračunsku tablicu kako bismo vizualno vidjeli utjecaj.
Dobra lekcija za A/B testove je da ponekad postoji nekoliko dana prilagodbe dok ljudi shvate novi tretman i prilagode se.
Prvo smo testirali povećanje količine koja se daje prilikom hranjenja neposredno prije spavanja. Umjesto normalnih 4 unce, probali smo 5, pa 6. Kako bismo spriječili pristranost jednog djeteta, izmjenjivali smo se tko je bio test, a tko kontrolni jer se čini da su u ciklusima dobrog i lošeg. Dok je jedno dijete imalo veće večernje hranjenje, drugo bi ostajalo na 4 unce. Rezultat: neuvjerljiv. Činilo se da su oba djeteta ionako počela povećavati duljinu sna tijekom tog razdoblja. Oboje su spavali gotovo isto vrijeme. Bilo je jedne noći u kojoj je povećano hranjenje koreliralo s rekordnim spavanjem od 5,5 sati, ali jedna točka podataka je beznačajna u ovom skupu podataka. Također je bilo teško nastaviti s testiranjem jer je bilo što više od 5 unci imalo veliku vjerojatnost da će se ispljunuti nekoliko minuta nakon jela.
Sljedeća je bila tajna o kojoj se šaputalo u mračnim kutovima roditeljskih blogova diljem weba i prenosila se s roditelja na kolegu roditelja barem u mom uredu. Dobro, možda i nije tolika tajna, ali trebalo nam je vremena da to isprobamo. Navodno bi ova mješavina bilja i začina, suprotna KFC-ovoj mješavini, riješila želudac od refluksa i plinova, osobito preko noći, što bi rezultiralo duljim snom. Nakon tjedan dana testiranja, otkrili smo da stvarno pomaže kod refluksa, posebno kod pljuvanja, i iako nismo pratili pojedinačne podrigivanje ili prdenje, činilo se da ih je također smanjio. Ipak, na duljinu sna nije utjecalo mnogo. Vidjeli smo mali porast u prosjeku, između 20 i 30 minuta, ali opet je to možda bio prirodni porast zbog starosti.
Nakon vode koja je postala nova kontrola, testirali smo dodatno hranjenje prije spavanja. Dječaci su to ionako počeli raditi sami, a mi smo to pokušavali spriječiti. Međutim, činilo se kao da je sazrela prilika za testiranje, pa smo dali priliku. Mnoga djeca će se "skupiti" hraniti prije spavanja s hranjenjem samo kratko vrijeme nakon prethodnog, neposredno prije spavanja. Ovo hranjenje smo radili oko 1,5 do 2 sata nakon prethodnog, u usporedbi s 3 sata normalno. U ovom hranjenju isprobali smo 4 unce u usporedbi s 4-5 koje inače uzimaju tijekom dnevnog hranjenja.
Ponekad bi odbili uzeti više od 3. Od svih eksperimenata, činilo se da je ovaj bio najbolji. Kao rezultat toga, primijetili smo povećanje do jednog dodatnog sata sna, iako često tek nakon nekoliko dana eksperimenta, očito je potrebno vrijeme da utječe na obrasce spavanja. Dobra lekcija za A/B testove je da ponekad postoji nekoliko dana prilagodbe dok ljudi shvate novi tretman i prilagode se. Međutim, važno je zabilježiti i rezultate razdoblja prilagodbe i one nakon prilagodbe. Apple je slavno zanemario razdoblje prilagodbe na nekoliko lansiranja proizvoda, posebice karata.
Posljednje, testirali smo da ih duže držimo budnima tijekom dana. Naša hipoteza bila je da će stoga noću biti umorniji i da će zbog toga duže spavati. To je možda bilo malo točno, vidjeli smo neznatno povećanje duljine sna, ali nismo uzeli u obzir stres i iscrpljenost koje bi to izazvalo držanjem budnima i nesretnim. Također im je trebalo znatno više vremena da se smire i spavaju noću jer su bili preumorni i nervozni. Pouka za testiranje: nemojte žrtvovati druge metrike za mali dobitak u jednom.
Tyler Lund je urednik Tata u bijegu.
Želite savjete, trikove i savjete koje ćete stvarno koristiti? Kliknite ovdje da se prijavite na našu e-poštu.
