A análise da significância estatística é considerada um procedimento para verificar a discrepância de uma hipótese estatística em relação aos dados observados, utilizando uma medida de evidência (p-valor). Este procedimento foi definido por Ronald Fisher no início do século XX como teste de significância. Entretanto, cabe notar que o termo significância não implica importância e o termo significância estatística não quer dizer significância prática. Por exemplo, o termo significância clínica se refere à importância prática do efeito de um tratamento.

O nível de significância é a probabilidade de rejeitar a hipótese nula quando ela é verdadeira (conhecido como erro do tipo I). Em testes de hipóteses estatísticas, diz-se que há significância estatística ou que o resultado é estatisticamente significante quando o p-valor observado é menor que o nível de significância definido para o estudo. O nível de significância é geralmente determinado pelo pesquisador antes da coleta dos dados e é tradicionalmente fixado em 0,05 ou menos, dependendo da área de estudo.Gauvreau K, Pagano M. Why 5%? Nutrition 1994;10(1):93-4. Em muitas áreas de estudo, resultados com nível de significância de 0,05 (probabilidade de erro de 5%) são considerados estatisticamente relevantes.

O p-valor (nível descritivo ou probabilidade de significância) é a probabilidade de se obter uma estatística de teste igual ou mais extrema que a estatística observada a partir de uma amostra aleatória de uma população quando a hipótese nula é verdadeira. Em outras palavras, o p-valor é o menor nível de significância para o qual se rejeita a hipótese nula. Por exemplo, a hipótese nula é rejeitada a 5% quando o p-valor é menor que 5%.

Quando se seleciona uma amostra de uma população em um experimento, sempre há possibilidade que um efeito observado ocorra devido a um erro amostral (diferença entre a estimativa da amostra e o parâmetro da população). No entanto, quando o p-valor do efeito for menor que o nível de significância, pode-se concluir que o efeito reflete as características de toda a população e, consequentemente, rejeitar a hipótese nula.

História

Em 1710, John Arbuthnot (1667 — 1735) fez a primeira tentativa de análise de teste de hipóteses com cálculos probabilísticos. Em An Argument for Divine Providence, Taken From the Constant Regularity Observed in the Births of Both Sexes, Arbuthnot usou séries de dados temporais da proporção de nascimentos de homens e da proporção de nascimentos de mulheres em Londres entre 1629 e 1710 para realizar o primeiro teste de significância por meio da comparação de dados observados e da hipótese nula.

Em 1925, Ronald Fisher (1890 — 1962) avançou o conceito de teste de hipóteses. Em Statistical Methods for Research Workers, Fisher chamou os testes de hipóteses de testes de significância, sugeriu a probabilidade de 0,05 como o nível de corte para rejeitar a hipótese nula e aplicou essa probabilidade a uma distribuição normal com um teste bicaudal."Critical tests of this kind may be called tests of significance, and when such tests are available we may discover whether a second sample is or is not significantly different from the first." — R. A. Fisher (1925). Statistical Methods for Research Workers, Edinburgh: Oliver and Boyd, 1925, p.43.

Em Statistical Methods for Research Workers, Fisher também introduziu o valor aproximado de 1,96 para o 97,5-percentil de uma distribuição normal usado em probabilidade e estatística e popularizou o conceito de p-valor. Apesar da indicação da probabilidade de 0,05, Fisher não pretendia que o nível de significância fosse fixo. O estatístico inglês sugeriu que os níveis de significância fossem estabelecidos de acordo com circunstâncias específicas.

Em 1933, Jerzy Neyman e Egon Pearson aprimoraram o teste de significância, denominaram o nível de corte de nível de significância e recomendaram que esse valor fosse determinado antes da coleta dos dados.

Conceitos relacionados

Teste de hipóteses

O teste de hipóteses é um procedimento estatístico baseado na análise de uma amostra por meio da teoria das probabilidades, utilizado para avaliar determinados parâmetros desconhecidos em uma população. O teste de hipóteses propõe uma hipótese para a relação estatística entre os dois conjuntos de dados comparados. Esta comparação é considerada estatisticamente significante se a relação entre os conjuntos de dados rejeitar a hipótese nula.

Em um teste de hipóteses, a hipótese nula é a hipótese assumida como verdadeira para a construção do teste, a hipótese alternativa é a hipótese considerada quando a hipótese nula não tem evidência estatística, o erro do tipo I é a probabilidade de se rejeitar a hipótese nula quando ela é verdadeira e o erro do tipo II é a probabilidade de não rejeitar a hipótese alternativa quando ela é falsa.

Nível de significância O nível de significância é o limite para o p-valor, abaixo do qual assume-se que a hipótese nula é falsa. O p-valor é a probabilidade de se obter uma estatística de teste igual ou mais extrema que a estatística observada a partir de uma amostra de uma população quando ela é verdadeira. Isto significa que o nível de significância é o limite superior para a probabilidade de se rejeitar incorretamente a hipótese nula quando ela é verdadeira. O nível de significância corresponde ao erro do tipo I, cujos valores mais comuns são 5% e 1%.

Nível de confiança O nível de confiança é a probabilidade de não rejeitar a hipótese nula quando ela é falsa. Em relação ao intervalo de confiança, o nível de confiança é a frequência com a qual o intervalo observado contém o valor correto para o parâmetro de interesse quando o experimento é repetido várias vezes. Por exemplo, o nível de confiança de 95% significa que 95% dos intervalos de confiança construídos a partir das amostras aleatórias contêm o valor verdadeiro do parâmetro. Em relação ao teste de hipóteses, o nível de confiança é o complemento do nível de significância. Isto é, um intervalo de confiança de 95% reflete um nível de significância de 5%."Conclusions about statistical significance are possible with the help of the confidence interval. If the confidence interval does not include the value of zero effect, it can be assumed that there is a statistically significant result." StatNews #73: Overlapping Confidence Intervals and Statistical Significance

Método de Neyman-Pearson

400px|thumb|Relação entre os erros do tipo I e do tipo II associados às distribuições das hipóteses nula e alternativa. Há alguns métodos para verificar a significância como o método de Fisher que reporta o p-valor e o método de Jeffreys que utiliza a probabilidade a posteriori com base na probabilidade a priori pela distribuição de Cauchy.

O método clássico e não unânime é o método de Neyman-Pearson, no qual em testes de hipóteses formula-se a hipótese nula a ser testada e realizam-se os testes para rejeitá-la ou não rejeitá-la. Neste sentido, há quatro situações possíveis:

Hipótese nula é verdadeiraHipótese nula é falsaHipótese nula é rejeitadaErro do tipo INão há erroHipótese nula não é rejeitadaNão há erroErro do tipo II

Especificamente, o erro do tipo I (também chamado de falso positivo) ocorre quando chega-se a um resultado que aconteceu por acaso, apesar de ter significância estatística. Quando realizar o teste de hipótese, o pesquisador deve tentar maximizar o poder de uma dada significância. Entretanto, o pesquisador precisa reconhecer que o melhor resultado possível é um equilíbrio entre significância e poder (entre o erro do tipo I e o erro do tipo II). O lema de Neyman-Pearson consiste justamente em demonstrar as condições necessárias e suficientes para o teste de hipóteses mais poderoso.

Seja uma amostra aleatória com função densidade ou distribuição de probabilidade , com . Sejam as hipóteses e seja a constante para o nível de significância . Então, o teste é definido como o teste mais poderoso para o nível de significância para testar a hipótese nula contra a hipótese alternativa .

Exemplos Fábrica de grãos Seja uma fábrica qualquer que produz um tipo de grão e cujas máquinas podem encher pacotes para serem vendidos com uma distribuição normal de média e variância sempre igual a . As regulagens das máquinas estão programadas para encher os pacotes na fabricação com uma média . Para verificar se há falta de regulagem nas máquinas (isto é, se ), periodicamente se obtém uma amostra de 16 pacotes. Se em uma dessas amostras for observada uma média , será necessário regular as máquinas?

Considerando o peso de cada pacote, tem-se que . Neste caso, as hipóteses são . Considerando a variância para a média de 16 pacotes, tem-se que para todo , em que o desvio padrão de é . Fixando-se o nível de significância , tem-se que deve ser rejeitada quando for pequena ou grande demais. thumb|350px|Região crítica e valor observado do teste de hipóteses para o exemplo Fábrica de grãos A partir da curva normal padronizada, obtém-se os scores e :

Portanto, a região crítica é definida como . Neste problema, . Portanto, como não pertence a região crítica, não deve ser rejeitada. Lembrando que a região de aceitação é o conjunto de valores do teste estatístico para o qual a hipótese nula não é rejeitada e a região de rejeição ou a região crítica é o conjunto de valores do teste estatístico para o qual a hipótese nula é rejeitada.

Lançamento de moedas Se uma moeda é honesta, qual a probabilidade de cair cara entre 40 e 60 vezes em 100 lançamentos?

Para a probabilidade de cair cara para os 100 lances, a média e o desvio padrão .

A partir dos scores de e , obtém-se:

thumb|350px|Região crítica e valor observado do teste de hipóteses para o exemplo Lançamento de moedas .

Logo, a probabilidade desejada é igual a área sob a curva normal padronizada entre e . Por meio da tabela padronizada normal, tem-se que a área entre e é igual a .

Portanto, sendo o número de caras esperado em 100 lançamentos e estabelecendo como hipóteses, onde é a hipótese nula representando uma moeda honesta e a hipótese alternativa representando uma moeda desonesta, temos que a probabilidade de se rejeitar a hipótese nula quando ela é verdadeira é a área total da curva normal menos a probabilidade do número de lançamentos estar entre 40 e 60. Isto é, . Logo, a probabilidade de se rejeitar a hipótese nula quando ela é verdadeira é . A partir da probabilidade de , define-se o nível de significância de .

Relação com nível de significância e intervalo de confiança miniaturadaimagem|250x250px|Em um teste bicaudal, o nível de rejeição é particionado entre os dois lados da distribuição amostral e responde por apenas 5% da área abaixo da curva.

A significância estatística está relacionada ao nível de significância, que é a probabilidade de rejeitar a hipótese nula quando ela é verdadeira (erro do tipo I). Em um teste hipotético com nível de significância igual a 5%, em que fosse possível repetir um número muito grande de amostras para calcular a média, a hipótese nula seria rejeitada quando ela fosse verdadeira em aproximadamente 5% das amostras. Em um experimento real, em que é possível coletar somente uma amostra, espera-se que a amostra seja uma das 95% para as quais a hipótese nula é falsa.

É assim que tem-se a confiança do resultado. Quando se calcula um intervalo de confiança de 95% (equivalente a um erro do tipo I de 5%), tem-se a confiança de que o intervalo contém o parâmetro estimado. Entretanto, quando reporta-se um intervalo, o parâmetro populacional desconhecido está dentro ou fora deste intervalo. Não existe probabilidade deste intervalo conter o parâmetro populacional.