Следующее было синдицировано от Середина для Отцовский форум, сообщество родителей и влиятельных лиц, имеющих представление о работе, семье и жизни. Если вы хотите присоединиться к форуму, напишите нам по адресу [email protected].
«Интересно, как мы можем заставить их больше спать». Эта простая мысль, высказанная моей женой, даже не вопрос, стала для меня вызовом. Мой инженерный разум воспринимал это как проблему, которую необходимо решить, и когда разработчик программного обеспечения видит проблему, он разрабатывает тесты. К счастью, я знал идеальную систему для проверки некоторых идей в контролируемой и измеримой обстановке. А с близнецами тестирование было бы еще проще. Добро пожаловать в систему воспитания детей, стиль A / B-тестирования.
A / B-тестирование используется во всем Интернете. Вы, вероятно, столкнетесь с этим десятки, если не сотни раз в день, даже не заметив этого. Все крупные технологические компании делают это, используя это как инструмент для проверки эффективности идей и их измерения. Google известен тем, что тестировал 41 оттенок синего для результатов поиска. Дизайнеры якобы не могли решить, какой из 2 оттенков использовать, поэтому они протестировали всего 41, чтобы увидеть, какой из них привел к тому, что больше пользователей нажимали на результаты. Facebook постоянно тестирует различный опыт в ленте. Amazon даже довольно часто меняет кнопки покупки и макеты корзины. Вы можете заметить это, если когда-нибудь войдете в систему с нового компьютера или увидите, что друг использует сайт, который немного отличается от вашего.
A / B-тестирование используется для тестирования одного или нескольких «методов лечения» или экспериментов над «контролем» или существующим опытом. Показатель измеряется, обычно на основе действия пользователя, такого как переход по клику или «конверсия», с базовым показателем по отношению к элементу управления. В примере с Google они могут проверить вероятность того, что пользователи перейдут по крайней мере к одному результату с другим оттенком. По прошествии статистически значимого периода времени, часто недели или двух, какой опыт имеет лучший рейтинг, будет выбран в качестве победителя и станет новым контролем.
Это действительно усложняется, когда одновременно проводится несколько экспериментов или когда процент пользователей не распределяется поровну. Здесь необходимы сложные знания статистики. Или использование любого из множества доступных мощных инструментов тестирования. В Audible и Amazon мы постоянно тестируем подобный опыт. Это лучший способ увидеть, как на самом деле ведут себя пользователи, так как часто то, что пользователи говорят, что они будут делать, и то, что они делают, может немного отличаться.
Я решил использовать этот метод при тестировании с мальчиками, чтобы увидеть, можем ли мы увеличить самый важный показатель в доме любого, у кого есть 10-недельные дети, особенно близнецы; время сна. Использование одного из мальчиков в качестве контроля, а другого в качестве лечения - не говоря уже о том, что никто не будет описывать какую-либо часть нашего живет прямо сейчас с помощью слов «контроль» или «лечение» - я проверил несколько теорий о продолжительности сна, основанных на контроль.
В любом эксперименте критически важны точные измерения и отслеживание данных. Часто показатель успеха выбирается из-за наличия данных или возможности измерения. Вы не хотите пытаться измерить что-то, для чего требуется больше времени, чем для изменения теста или входных данных. К счастью, измерить сон настолько просто, насколько это возможно. Когда они просыпаются ночью, мы просто записываем. Это именно то, чем мы занимаемся с того дня, как они родились, с тех пор, как медсестры в больнице внушили нам это. Мы уже просмотрели несколько блокнотов, но их так легко отследить. Для этого мы даже начали импортировать данные в электронную таблицу, чтобы более наглядно увидеть влияние.
Хороший урок для A / B-тестов состоит в том, что иногда бывает несколько дней для корректировки, пока люди придумывают новое лечение и приспосабливаются к нему.
Сначала мы проверили увеличение количества, даваемого при кормлении непосредственно перед сном. Вместо обычных 4 унций мы попробовали 5, затем 6. Чтобы предотвратить предвзятость со стороны одного ребенка, мы чередовали, кто был тестом, а кто - контролем, поскольку они, похоже, находятся в циклах хорошего и плохого. В то время как у одного ребенка было больше вечернего кормления, у другого оставалось 4 унции. Результат: безрезультатно. Похоже, что оба ребенка в этот период все равно начали увеличивать продолжительность сна. Они оба спали почти одинаковое время. Была одна ночь, когда усиленное кормление коррелировало с рекордным периодом сна в 5,5 часов, но одна точка данных не имеет значения в этом наборе данных. Также было трудно продолжить тестирование, поскольку все, что превышает 5 унций, имеет высокую вероятность выплевывания через несколько минут после еды.
Затем был секрет, о котором шептались в темных уголках родительских блогов в сети и передаваемый от одного родителя к другому родителю, по крайней мере, в моем офисе. Ладно, может, это и не такой уж большой секрет, но нам потребовалось время, чтобы попробовать. Предположительно, эта смесь трав и специй, противоположная смеси KFC, успокаивает желудки от рефлюкса и газов, особенно в течение ночи, что приводит к более длительному сну. После недели тестирования мы обнаружили, что это действительно помогает при рефлюксе, особенно срыгиваниях, и, хотя мы не отслеживали отдельные отрыжки или пукания, казалось, они также уменьшаются. Однако на продолжительность сна это не повлияло. В среднем мы наблюдали небольшое увеличение, от 20 до 30 минут, но, опять же, это могло быть естественное увеличение из-за возраста.
После борьбы с водой, которая стала новым контролем, мы протестировали дополнительное кормление перед сном. Мальчики все равно начинали делать это естественным образом самостоятельно, и мы пытались предотвратить это. Тем не менее, это казалось подходящей возможностью для тестирования, поэтому мы попробовали. Многие дети будут «кластерно» кормить перед сном, причем кормление происходит через короткое время после предыдущего, прямо перед сном. Мы сделали это кормление примерно через 1,5–2 часа после предыдущего, по сравнению с 3 часами в обычном режиме. В этом кормлении мы попробовали 4 унции по сравнению с 4–5, которые они обычно принимают во время дневного кормления.
Иногда они отказывались брать больше трех. Из всех экспериментов это, похоже, сработало лучше всего. В результате мы наблюдали увеличение продолжительности сна на дополнительный час, хотя часто не раньше, чем через несколько дней после начала эксперимента, очевидно, это требует времени, чтобы повлиять на режим сна. Хороший урок для A / B-тестов состоит в том, что иногда бывает несколько дней для корректировки, пока люди придумывают новое лечение и приспосабливаются к нему. Однако важно фиксировать результаты как периода корректировки, так и корректировки по месту службы. Apple, как известно, пренебрегла периодом адаптации при запуске нескольких продуктов, особенно карт.
Наконец, мы проверили, как дольше они бодрствуют в течение дня. Наша гипотеза заключалась в том, что они будут больше уставать по ночам и в результате будут спать дольше. Возможно, это было немного правдой, мы наблюдали незначительное увеличение продолжительности сна, но мы не учли стресс и истощение, которые они вызывали, не давая им уснуть и делая их несчастными. Кроме того, им потребовалось значительно больше времени, чтобы успокоиться и уснуть по ночам, поскольку они были переутомлены и суетливы. Урок для тестирования: не жертвуйте другими показателями ради небольшого выигрыша в одном.
Тайлер Лунд - редактор Папа в бегах.
Хотите подсказок, уловок и советов, которые вы действительно будете использовать? Нажмите здесь, чтобы подписаться на нашу электронную почту.
