Divida um conjunto de dados em subgrupo após subgrupo até que o acaso lhe dê p < 0,05 – então observe uma nova amostra decidir se sua descoberta foi real ou um acaso.
O tratamento não tem efeito real, então qualquer significado que você encontrar será ruído. Filtre os dados em subgrupos e execute novamente o teste quantas vezes forem necessárias para encontrar um valor p abaixo de 0,05 e, em seguida, envie sua 'descoberta' ao árbitro. A diferença: uma verificação de replicação extrai uma nova amostra independente e testa novamente sua afirmação exata. Os efeitos reais sobrevivem; p-hacks desaparecem – e essa lacuna é toda a lição.
Cherry Picker trata de p-hacking, comparações múltiplas e por que a replicação é importante – a integridade das estatísticas.
Filtrar em subgrupos e refazer o teste até que algo dê significativo é a dragagem de dados — o p-hacking: realizar muitos testes e relatar apenas os que voltam significativos.
O design original é que o tratamento não tem efeito real, de modo que todo resultado que você encontra é ruído por construção.
Essa é a única forma honesta de ensinar isso. Explicado em abstrato, o p-hacking parece uma trapaça que uma pessoa cuidadosa jamais cometeria; praticá-lo com dados garantidamente vazios mostra com que facilidade a significância aparece, e isso é o problema das comparações múltiplas, e não um defeito de caráter.
Cherry Picker é um jogo de estatísticas sobre p-hacking, comparações múltiplas e por que a replicação é importante. É um jogo de navegador gratuito original desenvolvido para PlayPendium.