Lo siguiente fue sindicado de Medio por El foro paternal, una comunidad de padres e influencers con conocimientos sobre el trabajo, la familia y la vida. Si desea unirse al Foro, escríbanos a [email protected].
"Me pregunto cómo podemos conseguir que duerman más". Este simple pensamiento, expresado por mi esposa, ni siquiera una pregunta, se convirtió en un desafío para mí. Mi mente de ingeniero tomó esto como un problema a resolver, y cuando un desarrollador de software ve un problema, idean pruebas. Afortunadamente, conocía el sistema perfecto para probar algunas ideas en un entorno controlado y medible. Y con gemelos, la prueba sería aún más fácil. Bienvenido a la paternidad, estilo de prueba A / B.
Las pruebas A / B se utilizan en toda la web. Es probable que lo encuentre docenas, si no cientos, de veces al día sin siquiera darse cuenta. Todas las grandes empresas de tecnología lo hacen, utilizándolo como una herramienta para probar el rendimiento de las ideas y medirlas. Google es famoso por probar 41 tonos de azul para los resultados de búsqueda. Los diseñadores supuestamente no pudieron decidir cuál de los 2 tonos usar, por lo que probaron 41 en total para ver cuál llevó a más usuarios a hacer clic en los resultados. Facebook prueba constantemente diferentes experiencias dentro del feed. Amazon incluso cambia los botones de compra y los diseños de los carritos con bastante frecuencia. Puede notarlos si alguna vez inicia sesión desde una computadora nueva o si ve a un amigo usando un sitio que se ve sutilmente diferente al suyo.
Las pruebas A / B se utilizan para probar uno o más "tratamientos" o experimentos sobre un "control" o la experiencia existente. Una métrica se mide, generalmente en función de una acción del usuario, como un clic o una "conversión", con una línea de base contra el control. Para el ejemplo de Google, podrían probar la probabilidad de que los usuarios hagan clic en al menos un resultado con un tono diferente. Después de un período de tiempo estadísticamente significativo, a menudo una semana o dos, la experiencia que tenga una mejor tasa será elegida como ganadora y se convertirá en el nuevo control.
Donde esto se vuelve realmente complicado es cuando se ejecutan varios experimentos al mismo tiempo o cuando el porcentaje de usuarios no se divide por igual. Aquí se necesita un conocimiento complicado de estadística. O el uso de cualquiera de las muchas poderosas herramientas de prueba disponibles. En Audible y Amazon, probamos experiencias como esta todo el tiempo. Es la mejor manera de ver cómo se comportan realmente los usuarios, ya que a menudo lo que los usuarios dicen que harán y lo que hacen puede ser ligeramente diferente.
Decidí usar este método si probaba con los niños para ver si podíamos aumentar la métrica más importante en la casa de cualquier persona con niños de 10 semanas, especialmente gemelos; horas de sueño. Usando a uno de los niños como control y al otro como tratamiento, no importa el hecho de que nadie describiría ninguna parte de nuestra vive ahora mismo con las palabras control o tratamiento: probé varias teorías sobre la duración del sueño en comparación con el control.
En cualquier experimento, la medición precisa y el seguimiento de datos son fundamentales. A menudo, se elige una métrica de éxito debido a la disponibilidad de datos o la capacidad de medición. No desea intentar medir algo que requiere más tiempo para medir que para cambiar la prueba o la entrada de prueba. Afortunadamente, medir el sueño es tan fácil como parece. Cuando se despiertan por la noche, simplemente lo escribimos. Esto es exactamente lo que hemos estado haciendo desde el día en que nacieron desde que las enfermeras del hospital nos lo inculcaron. Ya hemos revisado varios cuadernos, pero es muy fácil de rastrear. Para ello, incluso comenzamos a importar los datos a una hoja de cálculo para ver el impacto de manera más visual.
Una buena lección para las pruebas A / B es que a veces hay un período de ajuste de varios días mientras las personas descubren un nuevo tratamiento y se adaptan.
Primero probamos aumentar la cantidad administrada en la alimentación inmediatamente antes de acostarse. En lugar de las 4 onzas normales, probamos 5, luego 6. Para evitar el sesgo de un niño, alternamos quién era la prueba y quién era el control, ya que parecen estar en ciclos de buenos y malos. Mientras que un niño tenía una alimentación más grande por la noche, el otro se quedaba en 4 onzas. El resultado: inconcluso. Ambos niños parecieron comenzar a aumentar la duración del sueño de todos modos durante este período. Ambos durmieron casi el mismo período de tiempo. Hubo una noche en la que un aumento de la alimentación se correlacionó con un período récord de sueño de 5,5 horas, pero un punto de datos es insignificante en este conjunto de datos. También fue difícil seguir probando esto, ya que cualquier cosa más allá de las 5 onzas tenía una alta probabilidad de ser escupida unos minutos después de comer.
El siguiente fue un secreto que se susurró en los rincones oscuros de los blogs de padres en la web y pasó de padres a compañeros al menos en mi oficina, gripe water. De acuerdo, tal vez no sea un gran secreto, pero nos tomó un tiempo intentarlo. Supuestamente, esta mezcla de hierbas y especias, opuesta a la mezcla de KFC, calmaría el estómago por el reflujo y los gases, especialmente durante la noche, lo que resultaría en un sueño más prolongado. Después de una semana de pruebas, descubrimos que en realidad ayudaba con el reflujo, especialmente las regurgitaciones, y aunque no hicimos un seguimiento de los eructos o pedos individuales, pareció reducirlos también. Sin embargo, la duración del sueño no se vio muy afectada. Vimos un pequeño aumento en promedio, entre 20 y 30 minutos, pero nuevamente, esto puede haber sido un aumento natural debido a la edad.
Después de gripe water, que se convirtió en el nuevo control, probamos una alimentación adicional antes de acostarse. Los chicos estaban empezando a hacer esto naturalmente por sí mismos de todos modos y habíamos estado tratando de prevenirlo. Sin embargo, parecía una oportunidad propicia para las pruebas, así que lo intentamos. Muchos niños “agrupan” la alimentación antes de acostarse con una alimentación poco tiempo después de la anterior, justo antes de acostarse. Hicimos esta alimentación alrededor de 1,5 a 2 horas después de la anterior, en comparación con las 3 horas habituales. En esta alimentación probamos 4 onzas en comparación con las 4-5 que normalmente toman durante las tomas diurnas.
A veces se negaban a tomar más de 3. De todos los experimentos, éste pareció funcionar mejor. Como resultado, vimos aumentos de hasta una hora extra de sueño, aunque a menudo no hasta unos días después del experimento, aparentemente esto lleva tiempo para afectar los patrones de sueño. Una buena lección para las pruebas A / B es que a veces hay un período de ajuste de varios días mientras las personas descubren un nuevo tratamiento y se adaptan. Sin embargo, es importante capturar tanto los resultados del período de ajuste como los posteriores al ajuste. Apple ha descuidado el período de ajuste en varios lanzamientos de productos, en particular mapas.
Por último, probamos mantenerlos despiertos más tiempo durante el día. Nuestra hipótesis era que, por lo tanto, estarían más cansados por la noche y, como resultado, dormirían más tiempo. Esto puede haber sido un poco cierto, vimos aumentos menores en la duración del sueño, pero no tomamos en cuenta el estrés y el agotamiento que causaría al mantenerlos despiertos y hacerlos infelices. También les llevó mucho más tiempo calmarse y dormir por la noche, ya que estaban demasiado cansados y quisquillosos. La lección para las pruebas: no sacrifique otras métricas por una pequeña ganancia en una.
Tyler Lund es el editor de Papá a la fuga.
¿Quiere consejos, trucos y consejos que realmente utilizará? Haga clic aquí para suscribirse a nuestro correo electrónico.
