Quais são as desvantagens de uma análise estatística?

Um teste estatístico é apenas tão bom quanto os dados que ele analisa. Se os pesquisadores coletar dados usando procedimentos defeituosos ou tendenciosas, resultando análise estatística vai ser enganosa. O termo "erro de amostragem" denota a diferença entre a população de amostra e a população real. A amostra altamente representativa produz muito pouco erro, mas uma grande lacuna entre a amostra ea população cria dados enganosos. Se um pesquisador pesquisas estudantes universitários sobre o seu tipo favorito de filme por estar fora de um jogo de futebol com um questionário, por exemplo, ela pode incluir mais homens do que mulheres da amostra. Isso pode levá-la a concluir erradamente que os estudantes universitários preferem filmes de ação mais comédias românticas.

Outro problema com a análise estatística é a tendência para saltar para conclusões injustificadas sobre as relações causais. Pesquisadores muitas vezes encontram evidência de que duas variáveis ​​são altamente correlacionadas, mas isso não prova que uma variável faz com que outro. Por exemplo, os pesquisadores do New York Times descobriu cidades com as taxas de posse arma mais altas também tiveram taxas de homicídio mais altas. É tentador concluir que para permitir que mais armas em uma cidade fez com que a taxa de homicídios a subir, mas é igualmente possível que as pessoas compraram armas, porque eles se sentiram ameaçados por taxas de crimes violentos já elevados. A análise estatística por si só não é capaz de comprovar relações causais entre duas variáveis.

A análise estatística é um meio de usar medidas agregadas para tirar conclusões, mas se os pesquisadores não estão medindo a coisa certa, a análise falhará. A validade de construto é o grau em que as medições dos pesquisadores realmente refletir o que eles estão tentando medir. Por exemplo, pesquisadores de publicidade geralmente querem estudar como efetivamente um anúncio convence as pessoas a comprar um produto. Eles estimam que o efeito persuasivo por meio de pesquisas que tentam avaliar os consumidores ` "intenção de compra" para o produto. O problema, porém, é que, enquanto participantes do estudo pode-se dizer um anúncio fez com que eles querem comprar o produto, os seus comportamentos reais pode não reflectir essa atitude. A validade de construto "intenção de compra" pode ser questionável, porque a intenção de compra nem sempre leva a compras reais.

Um último problema com a análise estatística é a sua tendência para produzir respostas excessivamente simples para questões complexas. A empresa de refrigerantes pode testar a eficácia de sua campanha de publicidade, por exemplo, e através de uma análise estatística, determinar que os novos anúncios poderiam aumentar as vendas em 10 por cento. Não importa o quão detalhado suas pesquisas, no entanto, a análise estatística da empresa não pode revelar exatamente porque a anúncios de trabalho. Talvez os espectadores responder a um componente emocional no anúncio, ou talvez eles estavam apenas fez lembrar de um nome de marca que já gosta. Os dados estatísticos não pode captar a complexidade de algo como emoção muito facilmente, para análises estatísticas muitas vezes perder informações importantes, mas sutil.