Ce qui suit a été syndiqué à partir de Moyen pour Le forum paternel, une communauté de parents et d'influenceurs avec des idées sur le travail, la famille et la vie. Si vous souhaitez rejoindre le Forum, écrivez-nous à [email protected].
« Je me demande comment nous pouvons les faire dormir davantage. » Cette simple pensée, exprimée par ma femme, pas même une question, est devenue un défi pour moi. Mon esprit d'ingénieur a pris cela comme un problème à résoudre, et lorsqu'un développeur de logiciels voit un problème, il conçoit des tests. Heureusement, je connaissais le système parfait pour tester certaines idées dans un cadre contrôlé et mesurable. Et avec des jumeaux, les tests seraient encore plus faciles. Bienvenue à la parentalité, style de test A/B.
Les tests A/B sont utilisés partout sur le Web. Vous le rencontrez probablement des dizaines, voire des centaines de fois par jour sans même le remarquer. Toutes les grandes entreprises technologiques le font, l'utilisant comme un outil pour tester la performance des idées et les mesurer. Google est réputé pour avoir testé 41 nuances de bleu pour les résultats de recherche. Les concepteurs n'auraient pas pu décider laquelle des 2 teintes utiliser, ils en ont donc testé 41 au total pour voir ce qui a conduit le plus grand nombre d'utilisateurs à cliquer sur les résultats. Facebook teste en permanence différentes expériences au sein du flux. Amazon change même assez souvent les boutons d'achat et la disposition des paniers. Vous pouvez les remarquer si vous vous connectez depuis un nouvel ordinateur ou si vous voyez un ami utiliser un site qui semble subtilement différent du vôtre.
Les tests A/B sont utilisés pour tester un ou plusieurs « traitements » ou expériences sur un « contrôle » ou l'expérience existante. Une métrique est mesurée, généralement basée sur une action de l'utilisateur telle qu'un clic ou une « conversion » avec une référence par rapport au contrôle. Pour l'exemple de Google, ils pourraient tester la probabilité que les utilisateurs cliquent sur au moins un résultat avec la nuance différente. Après une période de temps statistiquement significative, souvent une semaine ou deux, l'expérience ayant le meilleur taux sera choisie comme gagnante et deviendra le nouveau contrôle.
Là où cela devient vraiment compliqué, c'est lorsque plusieurs expériences sont exécutées en même temps ou lorsque le pourcentage d'utilisateurs n'est pas réparti de manière égale. Ici, une connaissance compliquée des statistiques est nécessaire. Ou l'utilisation de l'un des nombreux outils de test puissants disponibles. Chez Audible et Amazon, nous testons des expériences comme celle-ci tout le temps. C'est le meilleur moyen de voir comment les utilisateurs se comportent réellement aussi souvent que ce que les utilisateurs disent qu'ils vont faire et ce qu'ils font peut être légèrement différent.
J'ai décidé d'utiliser cette méthode si je testais avec les garçons pour voir si nous pouvions augmenter la métrique la plus importante dans la maison de toute personne ayant des enfants de 10 semaines, en particulier des jumeaux; temps de sommeil. Utiliser l'un des garçons comme témoin et l'autre comme traitement - peu importe le fait que personne ne décrirait une partie de notre vit en ce moment avec les mots contrôle ou traitement - j'ai testé plusieurs théories sur la durée du sommeil par rapport à la contrôler.
Dans toute expérience, une mesure précise et un suivi des données sont essentiels. Souvent, une mesure de succès est choisie en raison de la disponibilité des données ou de la capacité de mesure. Vous ne voulez pas essayer de mesurer quelque chose qui prend plus de temps à mesurer que de modifier le test ou l'entrée de test. Heureusement, mesurer le sommeil est à peu près aussi simple que possible. Quand ils se réveillent la nuit, nous l'écrivons simplement. C'est exactement ce que nous faisons depuis le jour de leur naissance depuis que les infirmières de l'hôpital nous l'ont inculqué. Nous avons déjà parcouru plusieurs cahiers, mais c'est si facile à suivre. Pour cela, nous avons même commencé à importer les données dans une feuille de calcul pour voir l'impact de manière plus visuelle.
Une bonne leçon pour les tests A/B est qu'il y a parfois une période d'adaptation de plusieurs jours pendant que les gens découvrent un nouveau traitement et s'adaptent.
Nous avons d'abord testé l'augmentation de la quantité donnée à la tétée juste avant le coucher. Au lieu des 4 onces normales, nous en avons essayé 5, puis 6. Pour éviter les biais d'un enfant, nous avons alterné qui était le test et qui était le contrôle car ils semblent être sur des cycles de bon et de mauvais. Alors qu'un enfant avait une alimentation plus importante le soir, l'autre restait à 4 onces. Le résultat: pas concluant. Les deux enfants semblaient commencer à augmenter la durée de leur sommeil de toute façon pendant cette période. Ils ont tous les deux dormi presque exactement la même durée. Il y a eu une nuit où une alimentation accrue était en corrélation avec une période de sommeil record de 5,5 heures, mais un point de données est insignifiant dans cet ensemble de données. Il était également difficile de continuer à tester cela, car tout ce qui dépasse 5 onces avait une forte probabilité d'être craché quelques minutes après avoir mangé.
Ensuite, un secret a été chuchoté dans les coins sombres des blogs de parents sur le Web et a été transmis de parent à autre parent au moins dans mon bureau, râlez l'eau. D'accord, ce n'est peut-être pas vraiment un secret, mais il nous a fallu un certain temps pour l'essayer. Soi-disant, ce mélange d'herbes et d'épices, à l'opposé du mélange de KFC, calmerait les estomacs du reflux et des gaz, en particulier pendant la nuit, ce qui entraînerait un sommeil plus long. Après une semaine de tests, nous avons découvert que cela aidait réellement au reflux, en particulier aux régurgitations, et bien que nous n'ayons pas suivi les rots ou les pets individuels, cela semblait également les réduire. Cependant, la durée du sommeil n'a pas été beaucoup affectée. Nous avons constaté une légère augmentation en moyenne, entre 20 et 30 minutes, mais encore une fois, il s'agit peut-être d'augmentations naturelles dues à l'âge.
Après l'eau de rogne, qui est devenue le nouveau contrôle, nous avons testé une tétée supplémentaire avant de se coucher. Les garçons commençaient de toute façon à le faire naturellement et nous avions essayé de l'empêcher. Cependant, cela semblait être une opportunité mûre pour les tests, nous avons donc tenté le coup. De nombreux enfants vont « regrouper » l'alimentation avant de se coucher avec une tétée peu de temps après la précédente, juste avant de se coucher. Nous avons fait cette tétée environ 1,5 à 2 heures après la précédente, contre 3 heures normalement. Dans cette alimentation, nous avons essayé 4 onces par rapport aux 4 à 5 qu'ils prennent normalement pendant les tétées de jour.
Parfois, ils refusaient d'en prendre plus de 3. De toutes les expériences, celle-ci a semblé fonctionner le mieux. En conséquence, nous avons constaté une augmentation pouvant aller jusqu'à une heure de sommeil supplémentaire, bien que souvent pas avant quelques jours dans l'expérience, apparemment cela prend du temps pour affecter les habitudes de sommeil. Une bonne leçon pour les tests A/B est qu'il y a parfois une période d'adaptation de plusieurs jours pendant que les gens découvrent un nouveau traitement et s'adaptent. Il est cependant important de saisir à la fois les résultats de la période d'ajustement et ceux de post-ajustement. Apple a notoirement négligé la période d'ajustement sur plusieurs lancements de produits, notamment des cartes.
Enfin, nous avons testé les garder éveillés plus longtemps pendant la journée. Notre hypothèse était qu'ils seraient donc plus fatigués la nuit et dormiraient ainsi plus longtemps. C'était peut-être un peu vrai, nous avons vu des augmentations mineures de la durée du sommeil, mais nous n'avons pas tenu compte du stress et de l'épuisement que cela provoquerait en les gardant éveillés et en les rendant malheureux. Il a également fallu beaucoup plus de temps pour les amener à s'installer et à dormir la nuit car ils étaient trop fatigués et difficiles. La leçon pour les tests: ne sacrifiez pas d'autres métriques pour un petit gain en une.
Tyler Lund est le rédacteur en chef de Papa en fuite.
Vous voulez des astuces, des astuces et des conseils que vous utiliserez réellement? Cliquez ici pour vous inscrire à notre e-mail.
