Teste de hipóteses Aula 06 Prof. Christopher Freire Souza Centro de Tecnologia Universidade Federal...
Transcript of Teste de hipóteses Aula 06 Prof. Christopher Freire Souza Centro de Tecnologia Universidade Federal...
Teste de hipótesesAula 06
Prof. Christopher Freire SouzaCentro de TecnologiaUniversidade Federal de Alagoaswww.ctec.ufal.br/professor/cfs
Objetivos
•Desenvolver habilidades para inferir o comportamento da população a partir de dados de uma amostra
•Desenvolver habilidades para inferir se o comportamento de duas população diferem a partir de dados de duas amostras
•Desenvolver habilidades para estimar o poder de um teste em rejeitar uma hipótese
2
Christopher Souza: Teste de hipóteses
Relevância do conteúdo• Definição e avaliação de hipóteses é o cerne de
estudos científicos• Testes de hipóteses trazem o respaldo
matemático para apoiar afirmações sobre o comportamento da população em estudo
Christopher Souza: Teste de hipóteses
3
Conteúdo
•Fundamentos de testes de hipóteses•Testes sobre uma população•Testes sobre duas populações
Christopher Souza: Teste de hipóteses
4
Fundamentos de testes de hipóteses•Hipótese•Hipótese nula e alternativa•Estatística de teste•Valor crítico•Valor p•Decisões e conclusões•Erro do tipo I e do tipo II•Poder de um teste
Christopher Souza: Teste de hipóteses
5
Hipótese: nula e alternativa
•Em estatística, hipótese é uma afirmação sobre uma propriedade da população
•Teste de hipótese: teste da afirmação•Hipótese nula: afirmação em que o valor de
um parâmetro é comparado a um valor específico▫H0: =0
•Hipótese alternativa: afirmação que se deseja testar▫H1: ≠0, H1: >0, H1: <0
Christopher Souza: Teste de hipóteses
6
Estatística de teste
•Valor usado para tomar decisão sobre a hipótese nula (rejeitá-la ou não)
•Estimativa pela conversão da estatística amostral em um escore (z, t, ²), a partir da suposição de que a hipótese nula seja verdadeira
Christopher Souza: Teste de hipóteses
7
Intervalos de confiança (proporção)• Requisitos:
▫ Amostra aleatória simples.▫ Condições para a
distribuição binomial satisfeitas.
▫ Haver pelo menos 5 sucessos e 5 fracassos, o que permite aproximar pela distribuição normal
• Associa-se um grau de confiança, e.g. 95%, de que o valor do parâmetro de proporção esteja inserido no intervalo construído a partir da proporção amostral
Christopher Souza: Teste de hipóteses
8
População Infinita Finita
Margem de Erro
Tamanho da Amostra
Intervalos de confiança(, para conhecido)• Requisitos:
▫ Amostra aleatória simples.
▫ Teorema do limite central (Normal se não houver outlier e histograma ~ forma de sino)
• Associa-se um grau de confiança, e.g. 95%, de que o valor do parâmetro de média esteja inserido no intervalo construído a partir da média amostral
Christopher Souza: Teste de hipóteses
9
População Infinita Finita
Margem de Erro
Tamanho da Amostra
Intervalos de confiança(, para desconhecido)• Requisitos:
▫ Amostra aleatória simples.
▫ Teorema do limite central (Normal se não houver outlier e histograma ~ forma de sino)
• Associa-se um grau de confiança, e.g. 95%, de que o valor do parâmetro de média esteja inserido no intervalo construído a partir da média amostral
Christopher Souza: Teste de hipóteses
10
• Margem de Erro▫ População infinita
▫ População finita
Intervalos de confiança (²)• Requisitos:
▫ Amostra aleatória simples.▫ Distribuição normal mesmo
para grandes amostras• Associa-se um grau de
confiança, e.g. 95%, de que o valor do parâmetro de variância esteja inserido no intervalo construído a partir da variância amostral
• Estima-se desvio amostral a partir da raiz da estimativa do parâmetro de variância
Christopher Souza: Teste de hipóteses
11
Região crítica
•Conjunto de todos os valores da estatística que podem nos fazer rejeitar a hipótese nula
•Definição a partir da escolha do valor crítico, assim como estimado no estudo de intervalos de confiança
Christopher Souza: Teste de hipóteses
12
Intervalos de confiança
Christopher Souza: Teste de hipóteses
13
“Estamos 95% confiantes de que o intervalo ± E contém o valor de ”̂
Valor P
•Probabilidade de obter, no mínimo, um valor da estatística teste tão extremo quanto o valor representado pela amostra
•Obtenção de magnitude do valor P permite a decisão de rejeitar ou não a hipótese nula sem definir a priori o valor crítico
•Rejeitar ou não a hipótese depende da ponderação sobre o que se considera crítico e sua relação com o valor P
Christopher Souza: Teste de hipóteses
14
Decisão e conclusões• Teste da hipótese nula permite:
▫ Rejeitá-la▫ Deixar de a rejeitar
• Se afirmativa original contiver igualdade e for rejeitada, pode se concluir que:▫ Há evidência suficiente para garantir a rejeição de H0
• Senão▫ Não há evidência suficiente para garantir a rejeição de H0
• Se afirmativa original não contiver igualdade e for rejeitada, pode se concluir que:▫ Os dados amostrais apóiam a afirmativa de que H0
• Senão▫ Não há evidência amostral suficiente para apoiar H0
Christopher Souza: Teste de hipóteses
15
Erros• Tipo I ()
▫ Rejeitar H0 quando deveria ser aceita
• Tipo II ()▫ Não rejeitar H0 quando
deveria ser rejeitada
• Controle de erros: , e n estão relacionados
Christopher Souza: Teste de hipóteses
16
Investigações sobre Erro do tipo I• Supondo:
▫ = 0,05▫ = 0,0625▫ n = 64▫ Ho: p=0,5
• Tem-se:▫ z/2=1,96
▫ p/2=0,5 0,1225
• Se utilizarmos =0,01▫ z/2=2,575
▫ p/2=0,5 0,1609
• Se utilizarmos n=100▫ = 0,05▫ z/2=1,96
▫ p/2=0,5 0,098
Christopher Souza: Teste de hipóteses
17
Investigações sobre Erro do tipo II• Supondo:
▫ = 0,05▫ n = 64▫ = 0,0625▫ Ho: p=0,5
▫ p/2=0,5 0,1225
▫ H1: p=0,7
• Tem-se:▫ z1 = (0,5-0,1225-0,7) /
0,0625 = -5,16▫ z2= (0,5+0,1225-0,7)/
0,0625 = -1,24▫ P=0,107488
• Se utilizarmos H1: p=0,55
▫ z1=(0,5-0,1225-0,55) / 0,0625 = -2,76
▫ z2= (0,5+0,1225-0,55)/ 0,0625 = 1,16
▫ P=0,877-0,0029=0,8741
• Se utilizarmos n=100▫ z1 = (0,5-0,1225-0,7) /
0,05 = -6,45▫ z2= (0,5+0,1225-0,7)/
0,05 = -1,55▫ P=0,0606
Christopher Souza: Teste de hipóteses
18
Investigações sobre Erro do tipo II• Supondo:
▫ = 0,05▫ n = 64▫ = 0,0625▫ Ho: p=0,5
▫ p/2=0,5 0,1225
▫ H1: p=0,7
• Tem-se:▫ z1 = (0,5-0,1225-0,7) /
0,0625 = -5,16▫ z2= (0,5+0,1225-0,7)/
0,0625 = -1,24▫ P=0,107488
• Se utilizarmos =0,01▫ z1=(0,5-0,1609-0,7) /
0,0625 = -5,77▫ z2= (0,5+0,1609-0,7)/
0,0625 = -0,625▫ P=0,266
Christopher Souza: Teste de hipóteses
19
Resumo de investigações• Quando n aumenta, os
dois erros diminuem• Quando diminui,
aumenta• Erro tipo II mais provável
se H1 se aproxima de H0
• Maior interesse em detectar grandes diferenças entre valores supostos (H0) e verdadeiros (H1)
p/2 n ,p=0,7 ,p=0,55
0,5 0,1225
64 5 0,107488
0,8741
0,5 0,1609
64 1 0,266
0,5 0,098
100 5 0,0606
Christopher Souza: Teste de hipóteses
20
Poder de um teste• Poder de apoiar uma
hipótese alternativa verdadeira (1-).
Christopher Souza: Teste de hipóteses
21
Testes de hipóteses sobre uma populaçãoMétodo tradicional Valor P
• Comparação de estatística de teste, z, t ou ², com valor crítico para o nível de confiança
• estatística de teste é estimada como visto nas distribuições de estatísticas amostrais, normal para médias, t e ²,
• Comparação de áreas sob as curvas estimadas a partir da estatística de teste e a região crítica
22
Christopher Souza: Teste de hipóteses
Testes de hipóteses sobre uma população•Método do intervalo de confiança
▫Comparação de intervalos de confiança com valor crítico para o nível de significância
▫Se valor crítico for inferior ao intervalo, rejeita-se a hipótese nula
Christopher Souza: Teste de hipóteses
23
Amostra não-normal
•Uma hipótese (a ser testada):▫(Dúvida:) Estatística de teste = valor obtido
da amostra original▫Valor crítico estimado por percentil da
distribuição bootstrap▫Método do intervalo de confiança não se
aplica
Christopher Souza: Teste de hipóteses
24
Inferências sobre duas proporções• Requisitos:
▫ Amostras aleatórias simples.
▫ Condições para a distribuição binomial satisfeitas.
▫ Haver pelo menos 5 sucessos e 5 fracassos em cada amostra, o que permite aproximar pela distribuição normal
• Proporção amostral combinada:
Christopher Souza: Teste de hipóteses
25
• Estatística de teste:
• Estimativa de intervalo de confiança
Inferências sobre duas médiasAmostras independentes, desconhecido• Requisitos:
▫ Amostras aleatórias simples.
▫ Distribuições normais ou n>30
• Sugestão:▫ Analise preliminarmente
as amostras• Para identificar valores
críticos:
Christopher Souza: Teste de hipóteses
26
• Estatística de teste:
• Estimativa de intervalo de confiança
Inferências sobre duas médiasAmostras independentes, conhecido• Requisitos:
▫ Amostras aleatórias simples.
▫ Distribuições normais ou n>30
• Sugestão:▫ Analise preliminarmente
as amostras
Christopher Souza: Teste de hipóteses
27
• Estatística de teste:
• Estimativa de intervalo de confiança
Inferências sobre duas médiasAmostras emparelhadas, desconhecido• Requisitos:
▫ Amostras aleatórias simples.
▫ Distribuições normais ou n>30
• Sugestão:▫ Analise preliminarmente
as amostras• Dados trabalhados como
diferenças de valores emparelhados (d)
Christopher Souza: Teste de hipóteses
28
• Estatística de teste:
• Estimativa de intervalo de confiança
Inferências sobre duas variações• Requisitos:
▫ Amostras aleatórias simples.
▫ Populações independentes
▫ Distribuição normal• std1>std2
Christopher Souza: Teste de hipóteses
29
• Estatística de teste:
Inferências sobre duas variações• Método Conte Cinco
▫ Não requer distribuição normal
▫ Tamanhos amostrais iguais
▫ Se uma das amostras têm pelo menos cinco dos maiores desvios médios absolutos, sua população tem uma maior variância
Christopher Souza: Teste de hipóteses
30
• Teste de Levene-Brown-Forsythe▫ Transforma-se cada
conjunto de dados por meio da subtração de cada dado por sua mediana
▫ Em seguida, aplica-se o teste t para duas populações
Testes não-paramétricosVantagens Desvantagens
• Não exigem que a distribuição seja normal
• São aplicáveis a dados categóricos (qualitativos)
• Cálculos mais simples
• Desperdiçam informação por tratarem dados de forma qualitativa
• Menor eficiência dos testes
31
Christopher Souza: Teste de hipóteses
EficiênciaTeste não-paramétrico, população normalAplicação Paramétrico Não-
paramétricoEficiência
Pares combinados
t ou z Sinais 0,63
Postos com sinais de Wilcoxon
0,95
Duas amostras independentes
t ou z Soma de postos de Wilcoxon
0,95
Várias amostras independentes
F Kruskal-Wallis 0,95
Correlação Correlação linear
Correlação de postos
0,91
Aleatoriedade - Seqüências -
Christopher Souza: Teste de hipóteses
32
Postos• Número atribuído a um
item da amostra de acordo com sua posição na lista ordenada.
• Em caso de empates, aplica-se a média dos postos como valor de posto de cada item com igual valor
• Ex:• x: [12 10 5 5 4 5 11 12]• xo: [4 5 5 5 10 11 12 12]• io: [1 3 3 3 5 6 7,5 7,5]• i: [7,5 5 3 3 1 3 6 7,5]
Christopher Souza: Teste de hipóteses
33
Testes não-paramétricos• Sinais
▫ Proporção = 50%▫ Igualdade de medianas
(pareado)▫ Mediana de uma
população• Soma de Postos de
Wilcoxon (igualdade de medianas)▫ Pareado ▫ Homogeneidade – Mann-
Whitney• Kruskal-Wallis – igualdade
de medianas de três ou mais populações
• Sequências - Inflexões (Aleatoriedade)
• Wald-Wolfowitz (Independência)
• Correlação de Spearman▫ Significância da
correlação▫ Estacionariedade da série
• Pettitt (Quebra de tendência)
• Grubbs e Beck (Outlier)
Christopher Souza: Teste de hipóteses
34
Teste dos sinaisDados nominais (Proporção = 50%)• Requisitos
▫ Amostra aleatória• Fundamento: teste de
freqüência de sinais▫ x = número de vezes que
ocorreu sinal menos freqüente
▫ n = número de sinais positivos e negativos combinados
• Cuidado:▫ Se dados contradizem H1
nem aplica teste, pois deixa-se de fazer sentido o teste
Christopher Souza: Teste de hipóteses
35
• Estatística de teste:• p/ n≤25: x• p/ n>25:
• Valor crítico:• p/ n≤25, buscar x na
tabela A-7 do Triola• p/ n>25, buscar z na
tabela A-2 do Triola
Teste dos sinaisPares combinados (igualdade de medianas)• Procedimento:
▫ Subtrair cada valor da segunda variável pelo correspondente na primeira
▫ Posições de diferenças nulas são excluídas
▫ Série constituída apenas por sinais de diferenças
• Fundamento:▫ Se medianas são iguais,
número de sinais positivos e negativos são iguais
Christopher Souza: Teste de hipóteses
36
• Estatística de teste:• p/ n≤25: x• p/ n>25:
• Valor crítico:• p/ n≤25, buscar x na
tabela A-7 do Triola• p/ n>25, buscar z na
tabela A-2 do Triola
Teste dos sinaisMediana de uma população• Procedimento:
▫ Subtrair cada valor da amostra do valor da mediana sugerida em H0
▫ Posições de diferenças nulas são excluídas
▫ Série constituída apenas por sinais de diferenças
Christopher Souza: Teste de hipóteses
37
• Estatística de teste:• p/ n≤25: x• p/ n>25:
• Valor crítico:• p/ n≤25, buscar x na
tabela A-7 do Triola• p/ n>25, buscar z na
tabela A-2 do Triola
Soma de postos de WilcoxonDiferença de amostras emparelhadas• Requisito:
▫ Diferenças tem distribuição aproximadamente simétrica.
• a=soma de valores absolutos dos postos negativos das diferenças d não-nulas (51)
• b=soma dos postos positivos das diferenças d não-nulas (15)
• T=min(a,b)• Estatística de teste:• p/ n≤30: T (tab. A-8 para T)
• p/ n>30:
Reg. Sec. d Postos
Sinais
1903 2009 -106 10 -10
1935 1915 20 1 1
1910 2011 -101 9 -9
2496 2463 33 3 3
2108 2180 -72 8 -8
1961 1925 36 4 4
2060 2122 -62 6 -6
1444 1482 -38 5 -5
1612 1542 70 7 7
1316 1443 -127 11 -11
1511 1535 -24 2 -2
Christopher Souza: Teste de hipóteses
38
Soma de postos de WilcoxonDuas amostras independentes
• Requisito:▫ n>10 para cada amostra
• Trabalha também dados ordinais
• Equivale a Mann-Whitney• R=soma dos postos de uma das
amostras• Estatística de teste:
• Onde:
Christopher Souza: Teste de hipóteses
39
Homens Mulheres
Posto IMC IMC Posto
11,5 23,8 19,6 2,5
9 23,2 23,8 11,5
14 24,6 19,6 2,5
17 26,2 29,1 22
10 23,5 25,2 15,5
13 24,5 21,4 5
6 21,5 22,0 7
24 31,4 27,5 19
18 26,4 33,5 25
8 22,7 20,6 4
20 27,8 29,9 23
21 28,1 17,7 1
15,5 25,2
R1=187
n1=13
R1=138
n1=12
Kruskal-WallisIgualdade de medianas de três ou mais populações
• Requisito:▫ n>5 para cada amostra
• H ~ ²k-1
• Equivale a ANOVA• H grande para amostras
muito diferentes (teste unilateral à direita)
• R=soma dos postos de uma das amostras
• Estatística de teste:
• Onde:
Christopher Souza: Teste de hipóteses
40
• Para corrigir H em função do número de empates, divida H por
• Onde (m = número de empates para cada valor):
• Valor crítico estimado via ²k-1
SequênciasAleatoriedade
• Sequência: sucessão de dados com mesma característica
• Ex.: valores se acima ou abaixo da mediana
• Trabalha também dados ordinais
• G=número de sequências na amostra
• Aleatoriedade definida se 0<<G<<n
• Estatística de teste:▫ G, se n1<20, n2<20 e
=0,05▫ senão,
Christopher Souza: Teste de hipóteses
41
• onde
▫ n1 e n2 representam número de valores de mesma característica
• Para G como estatística de teste, compare com valores críticos apresentados na tabela A-10 do Triola
Wald-WolfowitzIndependência
• Séries aleatórias podem não ser independentes
• Influência de contribuições subterrâneas às vazões de rio resulta em maior dependência para intervalos menores de discretização
• Para tanto, calcula-se:
Christopher Souza: Teste de hipóteses
42
• Estatística de teste:
• onde
Significância de correlação de postos de Spearman• H0: s=0
• H1: s≠0
• Estatística de teste:▫ Se não houver empate
para um mesmo conjunto de dados:
▫ Se houver empate:
• Valores críticos:▫ Se n≤30, use tabela A-9
do Triola▫ Senão,
Christopher Souza: Teste de hipóteses
43
Estacionariedade• Teste de correlação de
Spearman entre postos de dados e suas respectivas posições na série
Christopher Souza: Teste de hipóteses
44
Teste de Grubbs e BeckIdentificação de outliers• Limites para consideração
de outliers são estimados por:▫ Limite superior
▫ Limite inferior
▫ onde
Christopher Souza: Teste de hipóteses
45