O seguinte foi distribuído de Médio para The Fatherly Forum, uma comunidade de pais e influenciadores com ideias sobre trabalho, família e vida. Se você gostaria de participar do fórum, escreva para nós em [email protected].
“Eu me pergunto como podemos fazê-los dormir mais.” Esse pensamento simples, expresso por minha esposa, nem mesmo uma pergunta, tornou-se um desafio para mim. Minha mente de engenheiro entendeu isso como um problema a ser resolvido e, quando um desenvolvedor de software vê um problema, eles planejam testes. Felizmente, eu conhecia o sistema perfeito para testar algumas ideias em um ambiente controlado e mensurável. E com gêmeos, o teste seria ainda mais fácil. Bem-vindo à paternidade, estilo de teste A / B.
O teste A / B é usado em toda a web. Você provavelmente o encontrará dezenas, senão centenas de vezes por dia, mesmo sem perceber. Todas as grandes empresas de tecnologia o fazem, usando-o como ferramenta para testar o desempenho de ideias e medi-las. O Google é famoso por testar 41 tons de azul nos resultados de pesquisa. Os designers supostamente não conseguiram decidir qual dos 2 tons usar, então eles testaram 41 no total para ver o que levava a mais usuários clicando nos resultados. O Facebook testa experiências diferentes no feed constantemente. A Amazon até muda os botões de compra e layouts de carrinho com bastante frequência. Você pode notar isso se alguma vez fizer login de um novo computador ou ver um amigo usando um site que parece sutilmente diferente do seu.
O teste A / B é usado para testar um ou mais “tratamentos” ou experimentos sobre um “controle” ou a experiência existente. Uma métrica é medida, geralmente com base em uma ação do usuário, como um clique ou “conversão” com uma linha de base contra o controle. Para o exemplo do Google, eles podem testar a probabilidade de os usuários clicarem em pelo menos um resultado com tonalidade diferente. Após um período de tempo estatisticamente significativo, geralmente uma ou duas semanas, a experiência que tiver uma melhor taxa será escolhida como a vencedora e se tornará o novo controle.
Isso fica realmente complicado quando vários experimentos são executados ao mesmo tempo ou quando a porcentagem de usuários não é dividida igualmente. Aqui, é necessário um conhecimento complicado de estatística. Ou o uso de qualquer uma das muitas ferramentas de teste poderosas disponíveis. Na Audible e na Amazon, testamos experiências como essa o tempo todo. É a melhor maneira de ver como os usuários realmente se comportam com a frequência que os usuários dizem que farão e o que farão pode ser um pouco diferente.
Decidi usar este método se testando com os meninos para ver se poderíamos aumentar a métrica mais importante na casa de qualquer pessoa com filhos de 10 semanas, especialmente gêmeos; horas de sono. Usando um dos meninos como controle e o outro como tratamento - não importa o fato de que ninguém descreveria qualquer parte de nosso vive agora com as palavras controle ou tratamento - testei várias teorias sobre a duração do sono com base no ao controle.
Em qualquer experimento, a medição precisa e o rastreamento de dados são essenciais. Freqüentemente, uma métrica de sucesso é escolhida devido à disponibilidade de dados ou capacidade de medição. Você não quer tentar medir algo que leva mais tempo para medir do que para alterar o teste ou a entrada de teste. Felizmente, medir o sono é o mais fácil possível. Quando eles acordam à noite, nós apenas anotamos. Isso é exatamente o que temos feito desde o dia em que nasceram, desde que as enfermeiras do hospital instilaram em nós. Já examinamos vários blocos de notas, mas é tão fácil de rastrear. Para isso, até começamos a importar os dados para uma planilha para ver o impacto de forma mais visual.
Uma boa lição para os testes A / B é que às vezes há um período de ajuste de vários dias enquanto as pessoas descobrem um novo tratamento e o ajustam.
Primeiro testamos o aumento da quantidade dada na alimentação imediatamente antes de dormir. Em vez das 4 onças normais, tentamos 5 e depois 6. Para evitar o preconceito de uma criança, alternamos quem era o teste e quem era o controle, uma vez que eles parecem estar em ciclos de bom e mau. Enquanto uma criança se alimentava mais à noite, a outra ficava com 120 gramas. O resultado: inconclusivo. Ambas as crianças pareciam começar a aumentar a duração do sono de qualquer maneira durante este período. Ambos dormiram quase exatamente o mesmo período de tempo também. Houve uma noite em que um aumento na alimentação se correlacionou com um período recorde de 5,5 horas de sono, mas um ponto de dados é insignificante neste conjunto de dados. Também foi difícil continuar testando isso, pois qualquer coisa além de 5 onças tinha grande probabilidade de ser cuspida alguns minutos depois de comer.
Em seguida, foi um segredo sussurrado nos cantos escuros dos blogs de pais na web e passado de pai para pai, pelo menos no meu escritório, gripe water. Ok, talvez não seja um segredo, mas demoramos um pouco para tentar. Supostamente, essa mistura de ervas e especiarias, em oposição à mistura de KFC, acalmaria estômagos de refluxo e gás, especialmente durante a noite, resultando em um sono mais longo. Depois de uma semana de testes, descobrimos que realmente ajudava com o refluxo, especialmente cuspir e, embora não tenhamos rastreado arrotos ou peidos individuais, parecia reduzi-los também. A duração do sono não foi muito afetada. Vimos um pequeno aumento em média, entre 20 e 30 minutos, mas novamente este pode ter sido aumentos naturais devido à idade.
Depois de gripe water, que se tornou o novo controle, testamos uma alimentação extra antes de dormir. Os meninos estavam começando a fazer isso naturalmente por conta própria de qualquer maneira e estávamos tentando evitar isso. No entanto, parecia uma oportunidade perfeita para testes, então tentamos. Muitas crianças “agrupam” a alimentação antes de dormir com uma mamada pouco tempo depois da anterior, logo antes de dormir. Fizemos essa alimentação cerca de 1,5 a 2 horas após a anterior, em comparação com 3 horas normalmente. Nesta alimentação, tentamos 4 onças em comparação com os 4-5 que eles normalmente tomam durante as mamadas diurnas.
Às vezes, eles se recusavam a tomar mais de 3. De todos os experimentos, este pareceu funcionar melhor. Como resultado, vimos aumentos em até uma hora extra de sono, embora muitas vezes não antes de alguns dias após o início do experimento, aparentemente isso leva tempo para afetar os padrões de sono. Uma boa lição para os testes A / B é que às vezes há um período de ajuste de vários dias enquanto as pessoas descobrem um novo tratamento e o ajustam. É importante capturar os resultados do período de ajuste e os pós-ajuste. A Apple notoriamente negligenciou o período de ajuste em vários lançamentos de produtos, principalmente mapas.
Por último, testamos mantê-los acordados por mais tempo durante o dia. Nossa hipótese era que, portanto, ficariam mais cansados à noite e, como resultado, dormiriam mais. Isso pode ter sido um pouco verdade, vimos pequenos aumentos na duração do sono, mas não levamos em consideração o estresse e a exaustão que isso causaria ao mantê-los acordados e deixá-los infelizes. Também levou muito mais tempo para que eles se acomodassem e dormissem à noite, pois estavam muito cansados e agitados. A lição para o teste: não sacrifique outras métricas por um pequeno ganho em uma.
Tyler Lund é o editor da Pai em fuga.
Quer dicas, truques e conselhos que você realmente usará? Clique aqui para se inscrever para nosso e-mail.
