Наступне було синдиковано з Середній для Батьківський форум, спільнота батьків і впливових осіб, які розповідають про роботу, сім’ю та життя. Якщо ви бажаєте приєднатися до форуму, напишіть нам [email protected].
«Мені цікаво, як ми можемо змусити їх спати більше». Ця проста думка, висловлена моєю дружиною, навіть не питання, стала для мене викликом. Мій інженерний розум сприйняв це як проблему, яку потрібно вирішити, і коли розробник програмного забезпечення бачить проблему, він розробляє тести. На щастя, я знав ідеальну систему для тестування деяких ідей у контрольованому та вимірюваному середовищі. А з близнюками тестування було б ще простіше. Ласкаво просимо до батьківства, стилю A/B тестування.
Тестування A/B використовується в усьому Інтернеті. Ви, ймовірно, стикаєтеся з ним десятки, якщо не сотні разів на день, навіть не помічаючи цього. Усі великі технологічні компанії роблять це, використовуючи це як інструмент для перевірки ефективності ідей та їх вимірювання. Google відомий тим, що тестує 41 відтінок синього для результатів пошуку. Дизайнери нібито не могли вирішити, який із 2 відтінків використовувати, тому вони протестували загалом 41, щоб побачити, що призвело до того, що більше користувачів натискали на результати. Facebook постійно перевіряє різний досвід у каналі. Amazon навіть досить часто змінює кнопки покупки та макети кошика. Ви можете помітити це, якщо коли-небудь увійдете в систему з нового комп’ютера або побачите друга, який використовує сайт, який трохи відрізняється від вашого.
Тестування A/B використовується для перевірки одного або кількох «лікувань» або експериментів над «контролем» або наявним досвідом. Показник вимірюється, як правило, на основі дії користувача, як-от клік або «конверсія» з базовою лінією в порівнянні з елементом керування. Для прикладу Google вони можуть перевірити ймовірність того, що користувачі натиснуть принаймні один результат із іншим відтінком. Через статистично значущий проміжок часу, часто через тиждень або 2, залежно від того, який досвід має кращий показник, буде обрано переможцем і стане новим контролем.
Це стає дуже складним, коли одночасно проводиться кілька експериментів або коли відсоток користувачів нерівно розподіляється. Тут потрібні складні знання статистики. Або використання будь-якого з багатьох доступних потужних інструментів тестування. У Audible і Amazon ми постійно тестуємо подібний досвід. Це найкращий спосіб побачити, як користувачі насправді поводяться так часто, як вони кажуть, що вони зроблять, і те, що вони роблять, може дещо відрізнятися.
Я вирішив використати цей метод для тестування з хлопчиками, щоб побачити, чи зможемо ми збільшити найважливіший показник у домі для тих, хто має 10-тижневих дітей, особливо близнюків; час сну. Використовуючи одного з хлопців як контрольну, а іншого як лікування — не заважайте той факт, що ніхто не опише жодну частину нашого зараз живе словами «контроль» або «лікування» — я перевірив кілька теорій про тривалість сну на основі базової лінії контроль.
У будь-якому експерименті точні вимірювання та відстеження даних мають вирішальне значення. Часто показник успіху вибирають через доступність даних або здатність вимірювати. Ви не хочете намагатися виміряти щось, для вимірювання якого потрібно більше часу, ніж для зміни тесту чи тесту. На щастя, виміряти сон так само легко. Коли вони прокидаються вночі, ми це просто записуємо. Це саме те, що ми робимо з дня їхнього народження, відколи медсестри в лікарні прищепили це нам. Ми вже переглянули кілька блокнотів, але це так легко відстежити. Для цього ми навіть почали імпортувати дані в електронну таблицю, щоб краще побачити вплив.
Хорошим уроком для тестів A/B є те, що іноді буває кількаденний період адаптації, поки люди вибирають нове лікування та пристосовуються.
Спочатку ми перевірили збільшення кількості, яку дають під час годування безпосередньо перед сном. Замість звичайних 4 унцій ми спробували 5, потім 6. Щоб запобігти упередженості однієї дитини, ми чергували, хто був тестом, а хто контрольним, оскільки, здається, вони перебувають у циклі добра і зла. У той час як одна дитина мала більше ввечері годування, інша залишалася на 4 унції. Результат: незрозумілий. Здавалося, що обидва діти все одно почали збільшувати тривалість сну в цей період. Вони обидва спали майже однаково довго. Була одна ніч, коли збільшення кількості годування корелювало з рекордним 5,5-годинним періодом сну, але одна точка даних є незначною в цьому наборі даних. Також було важко продовжувати тестування, оскільки все, що перевищує 5 унцій, було з високою ймовірністю виплюнути через кілька хвилин після їжі.
Далі була таємниця, про яку шепотіли в темних закутках батьківських блогів по всьому Інтернету і передавалася від батьків до інших батьків принаймні в моєму офісі. Гаразд, можливо, це не такий вже й секрет, але нам знадобився час, щоб спробувати це. Імовірно, ця суміш трав і спецій, протилежна суміші KFC, заспокоїть шлунок від рефлюксу та газів, особливо протягом ночі, що призведе до більш тривалого сну. Після тижня тестування ми виявили, що це дійсно допомагає при рефлюксі, особливо при сригуваннях, і хоча ми не відстежували окремі відрижки або пукання, здавалося, що вони також зменшили їх. Однак тривалість сну не сильно вплинула. Ми дійсно помітили невелике збільшення в середньому, між 20 і 30 хвилинами, але знову ж таки, це могло бути природним збільшенням через вік.
Після питної води, яка стала новим контролем, ми протестували додаткове годування перед сном. У будь-якому випадку хлопці почали робити це самостійно, і ми намагалися цьому запобігти. Проте здавалося, що це назріла можливість для тестування, тому ми спробували. Багато дітей будуть «групувати» годування перед сном з годуванням лише через короткий час після попереднього, безпосередньо перед сном. Ми зробили це годування приблизно через 1,5-2 години після попереднього, порівняно з 3 годинами зазвичай. У цьому годуванні ми спробували 4 унції порівняно з 4–5, які вони зазвичай приймають під час денного годування.
Іноді вони відмовлялися брати більше 3-х. З усіх експериментів цей, здавалося, спрацював найкраще. В результаті ми помітили збільшення кількості сну на додаткову годину, хоча часто не раніше, ніж через кілька днів після початку експерименту, очевидно, це потребує часу, щоб вплинути на режим сну. Хорошим уроком для тестів A/B є те, що іноді буває кількаденний період адаптації, поки люди вибирають нове лікування та пристосовуються. Однак важливо фіксувати як результати періоду коригування, так і результати після коригування. Apple, як відомо, знехтувала періодом коригування під час запуску кількох продуктів, зокрема карт.
Нарешті, ми перевірили, щоб вони довше спали протягом дня. Наша гіпотеза полягала в тому, що вони будуть більше втомлюватися вночі і спати довше. Можливо, це було трохи правдою, ми помітили незначне збільшення тривалості сну, але ми не врахували стрес і виснаження, які вони викликали б, не даючи їм спати і робити їх нещасними. Крім того, їм знадобилося значно більше часу, щоб змусити їх влаштуватися і спати вночі, оскільки вони були перевтомлені і метушливі. Урок для тестування: не жертвуйте іншими показниками заради невеликого виграшу в одному.
Тайлер Лунд є редактором Тато в бігах.
Хочете отримати поради, підказки та поради, якими ви справді скористаєтеся? Натисніть тут, щоб зареєструватися на нашу електронну пошту.
