Post on 07-Feb-2018
7/21/2019 Importante Testes
1/22
1
Mtodos No-Paramtricos
Isabel Fraga AlvesDepartamento de Estatstica e Investigao
Operacional
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 2
ProgramaIntroduoAnlise de Dados Categorizados Teste do Qui-Quadrado
Teste de Ajustamento Tabelas de Contingncia Teste de Independncia
Teste de Homogeneidade
Estatstica No-Paramtrica Introduo: O problema geral da localizao relativo a 2 amostras Amostras emparelhadas
Teste dos Sinais (pequenas e grandes amostras) Teste de Wilcoxon (pequenas e grandes amostras)
Uso das Ordens para Comparar Populaes: Amostras Independentes 2 Populaes: O Teste de Mann-Whitney (pequenas e gr andes amostras) Mais de 2 Populaes:
O Teste de Kruskal-Wallis ( pequenas e grandes amostras ) Teste de Friedman (pequenas e grandes amostras)
Uso das Ordens para Testar Independncia e Aleatoriedade Teste de Spearman (pequenas e grandes amostras) Teste dos Runs para Aleatoriedade (pequenas e grandes amostras)
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 3
BibliografiaCONOVER, W. J. (1999) - Practical Nonparametric Statistics, 3rd ed. Wiley.
DANIEL, W. W. (1990) - Applied Nonparametric Statistics, 2nd ed. PWS-Kent.
Graa Martins, M. E. (2005) Introduo Probabilidade e Estatstica Comcomplementos de Excel, SPE.
DeGroot, Morris H. - Probability and statistics (1986 ) - 2nd ed Massachusetts Addison-Wesley.
Pestana e Velosa (2006) - Introduo Probabilidade e Estatstica, I, Fundao
Gulbenkian.2 ed.SIEGEL, S. and Castellan, N. Y. (1988) - Nonparametric Statistics for the BehavioralSciences. McGraw-Hill.
* Wackerly, D., Mendenhall, W. and Scheaffer, L. (2007) Mathematical Statistics with Applications. Duxbury Press; 7th ed.
* Manual Recomendado para consulta das Tabelas ao longo dos slides.
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 4
Introduo
O que a Estatstica ?
Estudo da Incerteza
Como a quantificar? Que podemos fazer com ela?
As experincias repetidassob o que pensamos serem as condies
no resultam sempre da mesma forma!
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 5
Tipos de Experincias
Causais ou DeterminsticasEx: Deixar cair uma pedra no rio
Aleatria ou EstocsticaEx: O Tempo que vou Esperar pelo Autocarro
Como posso prever o resultado?
Com Estatsticaquantificamos e medimos o imprevisvel!
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 6
Estatstica: produz afirmaes numricas relativamente asituaes sujeitas aINCERTEZA.Exemplos: Quem ir ganhar as prximas eleies? Estaro os clientes da PT satisfeitos com o servio
prestado? Qual das duas pastas dentfricas mais eficiente que a
outra para prevenir as cries? Qual a previso da quantidade de precipitao para o
prximo inverno? Aps a monitorizao de pacientes com doenas
cardacas, como decidir acerca dos factores que
afectam a sua sade ?
7/21/2019 Importante Testes
2/22
2
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 7
Como e Que Respostas ?Para responder a estas perguntas frequentemente usamos modelosprobabilsticos, que so modelos matemticos para lidar com incerteza.
So recolhidosDados para explorar umaPopulao, o objectivode nosso estudo.
Quando recolhida uma amostra grande necessrio produzir resumosdas informaes nela contidas. Existem ferramentas grficas e numricasque so normalmente utilizadas pelos estatsticos
AMOSTRA
Estatstica DescritivaInferncia Estatstica - faz generalizaes vlidas para aPopulao ,
a partir deAmostras.(enquanto na Previso - apresentada uma afirmao sobre o Futuro.)
Dados - observaesde determinadas quantidades de interesse.Variveis - incerteza acerca dos seus verdadeiros valores.
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 8
Tipos de Variveis
VARIVEL
QUALITATIVAQUANTITATIVA
DISCRETA NOMINALORDINALCONTNUA
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 9
Tipos de Variveis (cont.)QUANTITATIVA vs. QUALITATIVA :variveis com /sem representao numrica e ordenao naturalnica (por exemplo, apresso arterial versusreligio).
DISCRETA vs. CONTNUA:variveis quantitativascom / sem lacunas conceptuais entre os seus valores
(por exemplo,nmero de crianas numa famlia versuspresso arterial ).
ORDINAL vs. NOMINAL:variveis qualitativas com/ sem ordenao (eventualmente no nica) dos seusvalores (a satisfao do cliente versusreligio).
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 10
De modo geral,as variveisqualitativas esto mais ligadas aosmodelos no-paramtricos
enquanto que
as variveisquantitativas aos modelosparamtricos .
Tipos de Variveis (cont.)
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 11
As variveis qualitativas podem ainda ser classificadas de acordo com:VARIVEL CATEGORIZADA (Categrica, Nominal ou de Classe) nomes das pessoas ou coisas; asletras do alfabeto; osexo, masculino ou feminino,
macho ou fmea; oestado civil, solteiro, casado, divorciado, vivo; ocurso, primrio,secundrio, colegial, universitrio, ps-graduao, etc.
Representa o nvel mais simples e mais elementar de medio. Os indivduos de umapopulao ou amostra so medidos mediante uma certacaracterstica que pode sercategoria, nome ou classe.
Caractersticas binrias ou dicotomizadas : presente ou ausente, 1 ou 0, positivo ou negativo, v ivo ou morto, sim ou no, benigno
ou maligno, etc.Essas caractersticas somutuamente exclusivas , isto , cada indivduo s pode se enquadrar
em um nico nome, categoria ou classe, e tambm soexaustivas , pois devem atingir todos osindivduos da populao ou amostra em estudo, sem excepo.
A varivel categrica qualitativa e no se presta aos clculos aritmticoscomuns: soma, subtraco, multiplicao e diviso.Apresenta as seguintes propriedades deequivalncia (=):reflexiva (x=x);simtrica
(x=y ento y=x);transitiva (x=y e y=z ento x=z).
Tipos de Variveis (cont.)
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 12
VARIVEL ORDINAL no alfabeto , A,B,C,D ou D,C,B,A; emnmeros de ordem , 1,2,3 ou 3,2,1; no
sexo, F,M ou M,F; nocurso, primrio- secundrio-superior ou superior-secundrio-primrio; em umaquantificao, leve-moderado-intenso ou intenso-moderado-leve; emcruzes, +,++,+++,++++ ou ++++,+++,++,+; naordenaode dados numricos, 11,18,23,29,35 ou 35,29,23,18,11; etc.
Os indivduos de uma populao ou amostra so classificados de acordocom as diversas categorias de uma determinada caracterstica e emseguida so ordenados. Esta ordenao pode ser crescente oudecrescente, ou igualmente, ascendente ou descendente.
A varivel ordinal tambm qualitativa. Sabe-se que um indivduo ou coisa maior ou menor do que outro, porm no se
sabe o quanto maior nem o quanto menor. So comuns as expressescomparativas: maior, menor; superior, inferior; primeiro, ltimo; mais intenso,menos intenso; mais alto, mais baixo; prefervel; etc.
Na escala ordinal utilizam-se as comparaes maior do que (>) e menor doque () apre senta a propriedadetransitiva (se x>y ey>z ento x>z).
Tipos de Variveis (cont.)
7/21/2019 Importante Testes
3/22
3
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 13
VARIVEL INTERVALAR os valores de idade, altura, peso, presso arterial, frequncia cardaca, exames
laboratoriais, medidas diversas, etc.A escala intervalar verdadeiramentequantitativa . A medio feitadirectamente em nmeros reais, obtidos mediante a comparao com umdeterminado valor fixo, denominadounidade. O nome intervalar estligado aosintervalos entre as categorias da varivel e aqui se sabeexactamenteo quanto uma categoria menor ou maior que outra,ou ainda se higualdade entre elas.
As operaes aritmticas comuns (soma, subtraco, multiplicao ediviso) so aplicveis.
A varivel intervalar rene todas as propriedades dos dois tipos anterioresde mensurao: as deequivalncia (=), reflexiva (x=x), simtrica (x=yento y=x) e transitiva (x=y e y=z ento x=z) e a deordenao (>),transitiva (x>y e y>z ento x>z).
Tipos de Variveis (cont.)
ESTATSTICA NOPARAMTRICA
Extremamente interessante paraanlises de dados qualitativos.
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 15
MEDIDAS DE TENDNCIA CENTRAL - LocalizaoMdiaMedianaModa
Mdia Amostral - a soma detodos os valores de uma amostradividida pelo n de elementos daamostra (dimenso).
aplicada em variveis quantitativas.
Amdia amostral acontrapartida emprica doValorMdio da Populao ou daVarivel, m.
1
1 ni
i
X X n
1 2 ( . .) - , , , namostra aleatoria aa X X X
1 2 - , , , namostra observada x x x
1
1 ni
i
x xn
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 16
Mediana Amostral - o valor daamostra que ocupa a posio central,quando todos os valores estoordenados em ordem crescente oudecrescente.
Se n for mpar, a mediana (Med )ser o valor que ocupa a posiocentral na amostra ordenada. Estaposio pode ser calculada por(n+1)/2.
Se n for par, aMed ser calculadapela mdia aritmtica dos dois valorescentrais na amostra ordenada daamostra. A posio de cada um dessesdois valores centrais pode sercalculada por n/2 e n/2+1.
AMediana muito utilizada nosclculosno-paramtricos.
MEDIDAS DE TENDNCIA CENTRAL - Localizao
1:
2
: 1:2 2
12
nn
n nn n
x n impar
Med x x n par
1: 2: :
ordenada -
n n n n
amostra observada
x x x
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 17
MEDIDAS DE TENDNCIA CENTRAL - LocalizaoModa - o valor davarivel quecorresponde frequncia mxima.
A moda pode ter umou mais valores,unimodal, bimodal,...,multimodal, conformeexistam uma, duas, oumais frequncias iguais,dos valores da varivel.
Dados:
25, 22, 28, 32, 35, 55, 83, 83, 98, 99, 43, 46, 51(n=13)
mdia
mediana
moda
53.9 x
1 2
-
( , , , )
(25, 22, 28, 32, 35, 55, 83, 83, 98, 99, 43, 46, 51 )n
amostra observada
x x x
1: 2: :
ordenada -
(22, 25, 28, 32, 35, 43, 46, 51, 55, 83, 83, 98, 99)n n n n
amost ra observada
x x x
46 Med
83 MoIsabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 18
Localizao: Mediana vs. MdiaRazes para usar amediana : menos influenciada por valores extremos Se as distribuies so simtricas, a mdia e a
mediana populacional coincidem
Mdiavs. Mediana 5 6 6 7 7 8 10
Mdia = 7 Med = 7 5 6 6 7 7 8 50
Mdia = 8.43 Med = 7
7/21/2019 Importante Testes
4/22
4
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 19
Distinguir Metodologias Paramtricas& Metodologias No-Paramtricas
Explicar uma Variedade de Testes No-Paramtricos
Resolver Problemas de Testes de Hipteses usando Testes No-
Paramtricos
Objectivos do Curso
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 20
Quadro GeralAt este ponto, todos os testes que tm utilizado estosujeitos a suposies sobre a distribuio subjacente aos
dados. Especificamente, assumido que os dados sonormaispara usar oteste-t, por exemplo.
Poder-se-ia usar a teoria de grandes amostras e oTeoremado Limite Central , mas isso ainda apenas se verifica
Assintoticamente
O que que acontece se no estamos dispostos ou no sensatofazer as suposies de normalidade sobre a distribuio subjacentee temos uma amostra de dimenso pequena ?
n
TESTE DE HIPTESES
Trata-se de uma tcnica para sefazer a inferncia estatstica sobreuma populao a partir de uma
amostra
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 22
E muitos mais!
Testes de Hipteses - MetodologiasTeste de
Hipteses -metodologias
No-ParamtricasParamtricas
Teste - z
TesteKruskal-Wallis
TesteWilcoxon
Teste - t ANOVA
etc
etc
Amostra emparelhada
Teste-temparelhado
Testes de Hipteses - Metodologias
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 24
Estatstica No-Paramtrica
Muitos dos testes estatsticosno-paramtricosrespondem mesma srie de questes tal como ostestes paramtricos.
Comtestes no-paramtricos as hipteses podem serflexibilizadasconsideravelmente.
Por conseguinte, so utilizados mtodosno-paramtricos para situaes que violem os pressupostos de procedimentos paramtricos.
7/21/2019 Importante Testes
5/22
5
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 25
Testes Paramtricos
Testes Paramtricos Incidem explicitamente sobre um ou mais parmetros de uma
ou mais populaes; A distribuio de probabilidades da estatstica de teste pressupe
uma forma particular das distribuies populacionais; As varincias so homogneas; Os erros ou resduos so aleatrios e independentes e tm
distribuio normal com varincia finita e constante.
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 26
Testes No-ParamtricosTestes No Paramtricos Requerem menos pressupostos em relao
populao; No exigem normalidade; No se baseiam em parmetros da distribuio (logo, no
necessitamvarincias homogneas); Ligeiramente menos eficientes que os testes
paramtricos; Baseiam-se nas estatsticas ordinais (e no nos
valores das observaes); Mais fceis de aplicar.
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 27
Testes No-Paramtricos
Poucos Pressupostos Relativos PopulaoFacilidade de implementaoMaior PerceptibilidadeAplicvel em Situaes No Abrangidas Pela NormalMais Eficientes quandoas Populaes no tm Distribuio NormalOs resultados podem ser to exactos como nos procedimentos paramtricos
Vantagens
As hipteses testadas por testes no-paramtricos tendem a sermenos especficas;
No tm Parmetros, Dificultando Comparaes Quantitativasentre Populaes
Escasso Aproveitamento de Informao da AmostraPode ser de Difcil Clculo mo para Grandes AmostrasTabelas no amplamente disponveis
Desvantagens
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 28
No incorpora as suposies restritivas, caractersticas dostestes paramtricos.
Os dados no precisam estar normalmente distribudos(Distribution-Free). necessrio, apenas, que eles sejamordenveis.
Muitas vezes, so baseados nasordens das observaes enonos seus valores, como no caso paramtrico.
Podem ser aplicados para variveis quantitativas e qualitativas.
Menos sensveis aos erros de medida e rpidos para pequenasamostras.
Estatstica No-Paramtrica - Distribuio Livre
TESTE DE HIPTESES
Trata-se de uma tcnica para sefazer a inferncia estatstica sobre
uma populao a partir de umaamostra
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 30
PRINCIPAIS CONCEITOS
HIPTESE ESTATSTICA Trata-se de umasuposio quanto ao valor de um parmetro
populacional, ou quanto natureza da distribuio deprobabilidade de uma varivel populacional.
TESTE DE HIPTESES uma regra de deciso pararejeitar ou no rejeitar uma
hiptese estatstica com base noselementos amostrais
7/21/2019 Importante Testes
6/22
6
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 31
TEORIAPOPPERIANA - Falseabilidade (ou refutabilidade )Science can't proveanything. It can only disprovethings.
A cincia no pode provar nada. S pode refutar coisas.
Considere o exemplo do famoso Cisne Negro (black swan ): Um cientista gasta sua vida observando cisnes. Observa que todos
os cisnes que jamais viu so b rancos. Com base nesta evidnciaemprica, ele postula uma teoria de que todos os cisnes sobrancos.
Um dia viaja para a Austrlia e v - UPS! - um Cisne Negro. A sua teoria refutada. Mas isso no significa que no era
cincia quando a estabeleceu. Agora, pode estabelecer uma teorianova: Os cisnes podem ser brancos ou pretos.
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 32
Karl Popper(1902- 1994)- UM FILSOFO INOV DORSir Karl Raimund Popper foi filsofo da cincia austraco naturalizadobritnico e um professor da London School of Economics.Formou-se em matemtica, fsica e filosofia da cincia britnica.Uma das pessoas mais influentes da filosofia da Cincia durante o sculoXX.
POPPER E AREFUTAO Uma hiptese s cientfica se puder ser colocada em questo
(refutada). Isto significa que deve ser sempre possvel realizar uma observao
que prove que a hiptese falsa Uma teoria cientfica no poder em nenhuma circunstncia ser
declaradaverdadeira A teoria cientfica mais no do que uma hiptese; uma conjectura, que um dia serrefutada e substituda por uma outra.
What really makes science grow is new ideas, including false ideas. Karl Popper
S APRENDEMOS QUANDO ERRAMOS.
OS ESTATSTICOS NO PERGUNTAM QUAL A PROBABILIDADE DE ESTAREM CERTOS,MAS A PROBABILIDADE DE ESTAREMERRADOS.
Para fazerem isso estabelecem umahiptese nula.
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 33
Data Analysis and Research for Sport and Exercise Science: A Student GuideBy Craig Williams, Chris Wragg, Routledge ed., 2003. pag 6
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 34
PRINCIPAIS CONCEITOSTIPOS DE HIPTESES H0, hiptese nula, a hiptese estatstica a ser testada H1, hiptese alternativa
AHIPTESE NULA UMA AFIRMAO DE COMO O MUNDODEVERIA SER, SE NOSSA SUPOSIO ESTIVESSE ERRADA.
Ex: A hiptese nula expressa uma igualdade, enquanto ahiptese alternativa dada por uma desigualdade.
0 1: 1.5 . : 1.5 H m vs H mm m
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 35
Testes de Hipteses ErrosEXISTEM DOIS TIPOS DE ERRO:
Erro tipo 1 - rejeio de uma hiptese nula verdadeira Erro tipo II no rejeio de uma hiptese nula falsa
no rejeiao no rejeio
A probabilidade do erro tipo I denominadanvel de significncia do teste.
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 36
Realidade
DecisoH0 verdadeira H 0 falsa
No rejeitarH0
Deciso
correctaErro tipo II
RejeitarH0
Erro tipo I
Deciso
correcta
= P( erro tipo I ) = P(rejeitar H0| H0 verdadeira) = P(ET RR | H0 verd.)
nvel de significncia ou tamanho do teste
= P(erro tipo II)= P(no rejeitar H 0 | H 0 falsa) = P(ET RA | H 0 falsa)
1- = potncia do teste Probabilidade de no cometermos um erro do tipo II
Testes de Hipteses ErrosET:= Estatstica de TesteRR:= Regio de RejeioRA:= Regio deNo Rejeio
REGRA de TESTE:ET RR ento Rejeitar H0
7/21/2019 Importante Testes
7/22
7
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 37
p -ValueO resultado foi significativo?Quo pequeno tem de ser op-value, para se rejeitar ahiptese nula? Sep-value < 5 % estatisticamente significativo. Sep-value < 1 % altamente significativo.
Os investigadores devem resumir os dados, dizerqual o teste usado e reportar o p-value ( em vez de apenas o comparar com os valores de 1 % ou 5 % )
No caso de se estabelecer partida onvel de significncia e se oTESTE indicar aaceitao de H0, diz-se que
Ao nvel de significncia no se pode rejeitar H0 .
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 38
TIPOS DE TESTEQui-Quadrado
Teste dos SinaisTeste de WilcoxonTeste de Mann-WhitneyTeste de Kruskal-WallisTeste de Spearman
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 39
TESTE DO QUI-QUADRADO- Teste de IndependnciaTestes no paramtricos que medem o grau de dependncia entreduas variveis aleatrias.No assumem nenhum tipo de distribuio.Assume observaes de frequncia de variveis categricas. Asvariveis da amostra esto divididas em categorias.As observaes das duas variveis so agrupadas em classesindependentes (disjuntas).Tipicamente, os dados do teste esto representados em tabelas decontingncia2 x 2 . No entanto podemos ter mais do que 2dimenses.Testes a estudar Teste do 2 (qui-quadrado) Teste exacto de Fisher
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 40
TESTE DO QUI-QUADRADO- Teste de IndependnciaDados bivariados(X i , Y i ), i=1, ...,n, tendo (X, Y)f.d. conjuntaF(x,y) com marginaisF 1(x) = F(x,+)e F 2(y)=F(+,y).Pretendemos testar H0: F(x,y)=F 1(x) F 2(y) (x,y) R 2 vs.H1: F(x,y)F 1(x) F 2(y) para
algum(x,y) R 2
Isto , face a uma amostra aleatria(X i , Y i ), i=1,...,n,pretendemostestar a independncia do par(X,Y).
Para obter a estatstica de teste comeamos por dividir osuporte da varivel aleatria X em L classes A1, A2, ..., AL,disjuntas e o suporte da varivel aleatriaY em C classes B1, B2,..., BC, disjuntas.Representemos por
N ij= # { (X k , Y k ): X k Ai ; Y k B j },i=1,,L; j=1,,C.
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 41
TESTE DO QUI-QUADRADO- Teste de IndependnciaX\Y B1 B2 B j BC
A1 N11 N12 N1j N1C N1 .
A2 N21 N22 N22 N2C N2 .
Ai Ni1 Ni2 Nij NiC Ni .
AL NL1 NL2 NL2 NLC NL.
N .1 N . 2 N . j N .C N..=n
[ ; ]ij i j p P X A Y B
.
.
[ ]
[ ]i i
j j
p X A
p Y B
0 . . 1 . .: , ( , ) . : ( , ),ij i j ij i j H p p p i j vs H i j p p p
1
L
j iji
N N 1
C
i ij j
N N
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 42
TESTE DO QUI-QUADRADO- Teste de Independncia
Com as frequncias esperadaseij desconhecidas, utiliza-se
Estatstica de Teste (ET):
Regra de Deciso:
Aonvel , Rejeitar a hiptese nula de Independncia se o valor da
ET (quantil da qui-quadrado com (L-1) x (C-1) graus de liberdade)
22
0 ( 1)1 1
( ), tem uma distribuio assinttica de um .
L C ij ij
LC i j ij
N e sob H
e
[ ; ]ij i j p P X A Y B . .[ ] [ ]i i j j p X A p Y B
. .ij ij i je np np p
. . ... .
j i jiij ij i j
N N N N e np np p n
n n n
22 2
0 ( 1)( 1)1 1
( ), tem uma distribuio assinttica de um .
L C ij ij
L C i j ij
N e X sob H
e
1
2 ( 1)( 1) L C
7/21/2019 Importante Testes
8/22
8
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 43
TESTE DO QUI-QUADRADO- Teste de IndependnciaRegra prtica:
Como a distribuio da estatstica de teste assinttica,convm que as clulas no tenham valores esperadosmuito pequenos.Como regra prtica, utiliza-se a seguinte:
No mximo, 20% das clulas podem ter frequncia esperada 3.84 o que o caso.
Concluso: H evidncia de uma associao entre tipo de TB e sexo.Observao: p-value < 0.00001.
Exemplo com tabela de contingncia 2 x 2
Homens Mulheres TotalTB no SR 3534 1319 4853Outras TB 270 252 522
Total 3804 1571 5375
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 47
Correco de Yates para tabelas 2x2No caso especfico de tabelas2 x 2 devemos usar aCorreco de Yatespara continuidade.
Para o problema anterior,Yates 2 = 100.39.
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 48
No R, temos:x
7/21/2019 Importante Testes
9/22
9
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 49
Teste Exacto de Fisher O teste ideal para aplicar com tabelas de contingnciade dados pequenos esparsos e no balanceados.Embora seja aplicvel noutras situaes, vamos sempreusar em tabelas2 x 2 . um teste exacto, portanto um p-value exacto.A ideia geral considerando a tabela de observaes,gerar as tabelas com as mesmas margens, que somais extremas que a observada,na mesma direco danossa observao ie, que a proporo TB do tipo SRnas mulheres menor que proporo TB tipo SR noshomens.
Teste Exato de Fisher Caracterstica(sim)
Caracterstica(no)
Total
Population 1 a A-a A
Population 2 b B-b Ba+b A+B-a-b
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 50
H0: a proporo com a caracterstica de interesse a mesma nas duaspopulaes
BilateralH1: a proporo com a caracterstica de interesse no a mesma nas duaspopulaes (no R:fisher.test(x) )
UnilateralH1: a proporo com a caracterstica de interesse na populao 1 menor quena populao 2 (no R:fisher.test(x,alternative =less) )H1: a proporo com a caracterstica de interesse na populao 1 maior quena populao 2 (no R: fisher.test(x,alternative =greater) )
Teste Exacto de Fisher (cont.)
Para o exemplo anterior temos no R:
x
7/21/2019 Importante Testes
10/22
10
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 55
Exemplo - Cancro pancreticoQuando os pacientes tm Cancro pancretico, muitas vezes acirurgia necessria para remover a parte do pncreas que tem ocancro. Quando estas cirurgias so concludas, o cirurgio tem aopo de fazer uma cirurgia mais complexa para preservar o bao(preservao bao) ou para remover o bao como parte decirurgia (Esplenectomia).
Um estudo foi feito para comparar as duas opes cirrgicas emtermos de resultados de sade, nus de custo e tempo na equipacirrgica.
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 56
QuestoUma pergunta para cada tcnica determinar o efeito da cirurgiasobre a contagem de plaquetas em pacientes. As plaquetas estoenvolvidas na coagulao dos pacientes; por vezes, aos pacientesem cirurgia so dados medicamentos para limitar a quantidade decoagulao durante a cirurgia.Uma grande mudana no nmero de plaquetas pode ser um sinalde que a cirurgia foi particularmente difcil.
Para cada tcnica, os cirurgies pretendiam determinar se h umadiferena significativa na pre e post contagem deplaquetas decirurgia.
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 57
Exemplo - Cancro pancretico(cont.)Em primeiro lugar, vamos ver ogrupo de preservao bao
Observe que temosobservaes emparelhadasparacada um dos pacientes
Estamos interessados nadiferena entre duas medies
Ser que efectivamente h umadiferena?
Paciente Pre Post Dif
1 260 223 37
2 216 149 67
3 427 224 203
4 217 181 36
5 613 708 -95
6 245 197 48
7 371 303 68
8 236 168 689 421 312 109
10 677 521 156
11 363 202 161
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 58
HistogramaUma vez que temosdadosemparelhados , poderamosutilizar oteste-t emparelhado .
O que se pode dizer sobre adistribuio das diferenas?
A suposio de normalidadedo t-teste emparelhadoparece adequada?
A diferena na contagem deplaquetas pode ser varivel econter outliers
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 59
Ahiptese nula para a nossa investigao queno hnenhuma diferena na contagem de plaquetas, antes e aps acirurgia.
Para ot-teste de duas amostras, isto seria escrito comoH0: diferena mdia (pre-post) igual a zero(d = 0 )
Neste caso, temosoutliers, portanto,a mdia no uma boamedida de tendncia central .
Que medida se deve usar alternativamente?
Como podemos estabelecer e testar ahiptese nulaadequada?
Exemplo - Cancro pancretico(cont.)
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 60
Teste dos SinaisO teste no-paramtrico mais simples o
Teste dos Sinais
H0: mediana de diferenas (pre-post) = 0H1: mediana de diferenas (pre-post) 0
Sob ahiptese nula , seria de esperar omesmo nmero de sinaispositivos e negativos.
Se a maioria ou todas as diferenas so positivas, haveria algumas provascontra a hiptese nula . At que ponto podem ser significativas?
0: ; , 0 0 1/ 2;i i i i i D X Y sobH P D P D
0: =# : 0 ; , ( , 1/ 2),
com :i i M D D sob H M Binomial n p
p P X Y
7/21/2019 Importante Testes
11/22
11
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 61
Teste dos SinaisAgora inclumos a colunados SINAISSeno houve realmentenenhum efeito da terapia,seria de esperar que iriahaver umnmero igual desinais (+ , - )
O que se pode ver sobreos sinais das diferenas?
H uma diferenasignificativa entre os doisgrupos?Como se pode calcular o p-value?
Paciente Pre Post Dif SINAL1 260 223 37 +2 216 149 67 +3 427 224 203 +4 217 181 36 +5 613 708 -95 -6 245 197 48 +7 371 303 68 +8 236 168 68 +9 421 312 109 +10 677 521 156 +11 363 202 161 +
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 62
Teste dos SinaisO p-value a probabilidade de se obter o valor observado ou algo maisextremosob a hiptese nula (p = 1/2).
Para oTeste dos Sinais, esta a probabilidade do nmero observado desinais positivos ou mais. Para fazer oteste bilateral, devemos ter emconta tambm os valores extremos do outro lado.
Hiptese nula e alternativa:
p-value:
0 1: 1/ 2 . : 1/ 2 H p vs H p
2 ( ,1/2) , 11, 10 P Binomial n p valu ne m m
> 2*pbinom(q=10, size=11, prob=.5, lower.tail = F)[1] 0.0009765625
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 63
Exemplo - Cancro pancretico(concluso)Teste dos Sinais
Dados Emparelhados , = 5%Hipteses
H0: mediana das diferenas = 0 (p = 1/2) H1: mediana das diferenas 0 ( p 1/2)
M teve o valor observado dem = 10 (# sinais +) p-value = 0.001
Rejeitar a hiptese nula
Concluso:H umadiferena significativa entre os valores de plaquetas pr eps-cirurgiapara pacientes que tinham a cirurgia depreservao bao.
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 64
Teste dos Sinais Grandes amostras
n grande , ie, n +
Nas aplicaes, paran 25
/ 2(0,1)
(1 ) 1/ 2d M np M n
np p n
N
/ 2(0,1)
1/ 2 M n
Z n
N
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 65
Teste dos Sinais Grandes amostrasHiptese nula e alternativabilateral:
p-value:
Regio de Rejeio, ao nvelde significncia :
0 1: 1/ 2 . : 1/ 2 H p vs H p
/2 /2 /22 2 2{1 ( )},
1/2 1/2 1/2
/2 /22 2 2 ( ).
1/2 1/2
M n n n P P Z z z z
n n n
M n nou P
m m p value
m P Z z z
n n
1/2 /2 /2, : (1 / 2), quantil da Normal(0,1) Z z ou Z z z
/2 /2
/2 z /2 z
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 66
Teste dos Sinais Grandes amostrasHiptese nula e alternativaunilateral :
p-value:
Regio de Rejeio, ao nvel de significncia :
0 1: 1/ 2 . : 1/ 2 H p vs H p
/2 /2 /21 ( ), .1/2 1/2 1/2
m m p
M n n n P P Z z z z
n n nvalue
1 / 2, : (1 ), quantil da Normal(0,1), : 1/ 2
M n Z z z Z n
z
7/21/2019 Importante Testes
12/22
12
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 67
Teste dos Sinais Grandes amostrasHiptese nula e alternativaunilateral :
p-value:
Regio de Rejeio, ao nvel de significncia :
0 1: 1/ 2 . : 1/ 2 H p vs H p
/ 2 / 2 / 2( ), .1/ 2 1/ 2 1/ 2
m m p
M n n n P P Z z z z
nvalue
n n
1 / 2, : (1 ), quantil da Normal(0,1), :1/ 2
M n Z z z Z
n
z
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 68
Teste dos Sinais Grandes amostrasEXEMPLO -Sessenta alunos matricularam-se num curso de ingls. Na primeira aula aplica-se um
teste que mede o conhecimento da lngua. Aps seis meses, aplica-se um segundo teste. Osresultados mostram que 35 alunos apresentaram melhora (35 +), 20 se conduziram melhor noprimeiro teste (20 -) e 5 no apresentaram modificaes (50). Ser que o curso melhorou oconhecimento de ingls?
H0:O curso noalterou o conhecimentode inglsH1:O curso melhorouo conhecimento de ingls
= 5%
Clculo da varivelm - nmero de sinais positivos (35);n tamanhoda amostra descontado os empates(60-5=55)
Z1-0.05= Z0.95= 1.64,logo se rejeita Ho, ie, o curso no melhorou o conhecimento de ingls
No R: > qnorm(0.95)
/ 2
1/ 2
M n Z
n
/ 2 35 55 / 22.02
1/ 2 1/ 2 55
n z
m
n
Teste de Wilcoxon
Contrapartida no-paramtrica paraTeste-t para amostras
emparelhadas
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 70
Amostras Emparelhadas - O Teste de Wilcoxon(pequenas amostras)
Populao X PopulaoY
O Teste de Wilcoxon umaextenso do Teste de Sinais . mais interessantepois leva em consideraoa magnitude da diferena para cada par .O teste de sinal analisa apenas o sinal das diferenas, maso Teste de Wilcoxonusa o sinal e ordena as diferenas.
1 1 2 2( , ), ( , ), , ( , )n n X Y X Y X Y
0 1:distribuiao de distribuiao de . :localizaao de localizaao de (Teste Bilateral)
H X Y vs H X Y
( > ) ou ( < ) (Teste Uni late ral)
: ; : ;i i i Diferenas D X Y D X Y
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 71
Teste de Wilcoxon (Pequenas Amostras Emparelhadas)1. Obter as diferenas, Di = X i - Y i 2. Obter os Valores Absolutos das diferenas,|Di |3. Desprezaras diferenas deValor 0 (empates )
diminuindo do mesmo nmero de unidades, adimenso da amostra.
4. AtribuirOrdens, onde a Menor =15. AtribuirOrdens para diferenas - e +6. Somaras Ordens +(T+) & Ordens -(T-)
Estatstica de Teste T- ou T+ (Teste Unilateral)
Estatstica de Teste T:=min(T- , T+) (Teste Bilateral)Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 72
Teste de Wilcoxon (Pequenas Amostras Emparelhadas)Motivao para aRegio de Rejeio:
Sob avalidade de H0, de esperar que a soma das ordens positivas (T+) no
difira grandemente da soma das ordens negativas (T-).
Uma soma grande para as ordens positivas ( T+)relativamente a soma das ordens negativas (T-),implica que a Mediana das Diferenas, Med(D), tenhauma pequena probabilidade de ser igual a zero.
7/21/2019 Importante Testes
13/22
13
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 73
Teste de Wilcoxon (Pequenas Amostras Emparelhadas)
Rejeitar H o se T T 0 (Tabela 9) , comT:=min(T - , T + )
H o : Med(D) =0 (As dis tr ibu ies d e X e de Y so i dnti cas )
Teste Bilateral
H 1: Med(D) 0 (As distribuies de X e de Y diferem na localizao)
No R:wilcox.test(x,y,alternative = c("two.sided"),paired =T)
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 74
Teste de Wilcoxon (Pequenas Amostras Emparelhadas)
Rejeitar H 0 se T - T 0
H o : Med(D) = 0 (As dis tr ibu ies d e X e de Y s o i dnti cas )
Teste Unilateral H 1: Med(D) > 0
(A distribuio de X temlocalizao direita dalocalizaode Y)
H 1: Med(D) < 0(A distribuio de Y temlocalizao direita dalocalizaode X)
Rejeitar H 0 se T + T 0
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 75
Teste de Wilcoxon (Grandes Amostras Emparelhadas)n grande , ie, n +
Nas aplicaes, paran 25
( 1) / 4(0,1)
( 1)(2 1) / 24d T n n
n n n
N
( 1) / 4(0,1)
( 1)(2 1) / 24T n n
Z n n n
N
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 76
Teste de Wilcoxon (Grandes Amostras Emparelhadas)
1/ 2 / 2 / 2, : (1 / 2), z ou z z Z Z quantil da N(0,1)
ie, Rejeitar H o se | Z | > z /2
Teste Bilateral
H o : Med(D) = 0 (As dis tri bu ies d e X e de Y so i dnt icas )
H 1: Med(D) 0 (As distribuies de X e de Y diferem na localizao)
( 1) / 4: ( 1)(2 1) / 24
n nn n n
+ T Z
p-value:Regio de Rejeio, ao nvel de significncia :
2 2{1 ( )}. P Z z z /2 /2
/2 z /2 z
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 77
Teste de Wilcoxon (Grandes Amostras Emparelhadas)
1
, : (1 ) z z Z
Teste Unilateral
H o : Med(D) = 0 (As di str ib uies d e X e de Y so i dnt icas )
H 1: Med(D)> 0(localizao de X direitada localizao de Y)
p-value:Regio de Rejeio, ao nvel de significncia :
1 ( ). P z z Z
H 1: Med(D)< 0 (localizaode X esquerda dalocalizao de Y)
1
, : (1 ) z z
Z
( ). P z z Z p-value:
z
z
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 78
Exemplo - Cancro pancreticoAgora, podemos analisar ogrupoque teve intervenocirrgica comEsplenectomia
Novamente, temosobservaes emparelhadassobre cada um dospacientes, e estamosinteressados nadiferenaentre duas medies deplaquetas .
Ser que h uma diferenasignificativa?
Patient Pre Post1 492 3752 297 3823 272 3254 367 5855 206 1816 284 2377 338 2738 212 2439 161 14710 384 32611 224 21412 251 29213 224 263
7/21/2019 Importante Testes
14/22
14
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 79
Exemplo - Cancro pancretico -Teste de WilcoxonAhiptese nula para a nossainvestigao queno h nenhumadiferena na contagem de plaquetas, antes eaps a cirurgia com Esplenectomia . H0: Med(D) = 0 H1: Med(D) 0
Rejeitar Ho se T T 0 (Tabela 9),comT:=min(T- , T+)
Valor observado de T = 44T 0 (Tabela 9): n=13 Two-sided p=0.10
T 0=21 Ento: T >T 0,
no se rejeita H0.
Concluso:No h nenhuma evidncia deuma diferena entre o pr e ps contagemplaquetas para os pacientes que tinhamumaEsplenectomia durante sua cirurgia.
Paciente
Pre Post Di |Di| Ordem T+ T-
1 492 375 117 117 12 12
2 297 382 -85 85 11 113 272 325 -53 53 8 84 367 585 -218 218 13 135 206 181 25 25 3 36 284 237 47 47 7 77 338 273 65 65 10 108 212 243 -31 31 4 4
9 161 147 14 14 2 210 384 326 58 58 9 911 224 214 10 10 1 112 251 292 -41 41 6 613 224 263 -39 39 5 5
44 47
No R:x=c(492,297,272,367,206,284,338,212,161,384,224,251,224)y=c(375,382,325,585,181,237,273,243,147,326,214,292,263)wilcox.test(x, y ,alternative = c("two.sided"),paired =T)
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 80
ConclusesOs nossos testes de hipteses mostram que: os doentes a partir dogrupo de preservao baotinham uma
mudana significativa na sua contagem de plaquetas aps cirurgia (rej H0)
e os pacientes dogrupo Esplenectomiano tm uma mudanasignificativana sua contagem de plaquetas aps cirurgia (no rej H0).
Estes resultados podem mostrar que a cirurgia depreservao bao difcil para o paciente e outrasmedidas devem ser investigadas para garantir que estacirurgia no excessivamente agressiva para os depacientes.
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 81
ComentriosQuando ns temos dados emparelhados e os pressupostosde um teste-t emparelhado no forem pressupostos, temosduas maneiras para elaborar o teste de hipteses sobre alocalizao:
O Teste de Wilcoxon sempre preferido aoTeste dosSinais j que usa mais informao contida nos dados (j que usa asordens).
O Teste de Wilcoxontem muitomais potnciado que oTeste dos Sinaispara detectar uma diferena significativa. No h uma grande perda de potncia noTeste de Wilcoxon
comparado a umteste-t quando se mantm a suposio denormalidade.
Por outro lado, oTeste de Wilcoxon muito mais potentedo queo teste-t quando no vlida a suposio denormalidade.
Teste Mann-Whitney
Contrapartida no-paramtrica paraTeste-t para amostras
independentes
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 83
Teste Mann-Whitney pequenas amostras independentes
1. Testes para Duas Populaes, X e Y , Independentes2. Corresponde ao Teste-t para 2 valores mdios
3. PressupostosAmostras AleatriasIndependentes (dimensesn1 e n2 )PopulaesContnuas
4. Aproximao Normal se ni 10
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 84
Teste Mann-Whitney pequenas amostras independentes
H0: X e Y tm distribuio idnticaH1: As distribuies de X e Y diferem na Localizao
T 1 = Soma das Ordens das Observaes da amostra 1na amostra conjunta de dimenso n=n1 + n 2
T 2 = Soma das Ordens das Observaes da amostra 2na amostra conjunta de dimenso n=n1 + n 2
7/21/2019 Importante Testes
15/22
15
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 85
U 1 = n1n2 + - T 1n1(n1 + 1)
2
U 2 = n1n2 + - T 2n2(n2 + 1)
2
Teste Mann-Whitney pequenas amostras independentes
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 86
Teste Mann-Whitney procedimento1. Atribuir Ordens para asn=n1 + n 2 Observaes
Amostrais
Sen1 n2 , considera-seo ndice1 para a menordimenso (n1) Menor Ordem = 1, Maior Ordem =n Valores Iguais (ligaes) so subsitudos pela
respectivamdia das ordens .
2. Somar as Ordens,T i , i=1,2,para cada Amostra
A distribuio exacta da ET,U , pode ser calculada
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 87
Teste Bilateral H 1: As duas populaes, X e Y, diferem na localizao
Rejeitar H 0 ao nvel se o valor observado de U ,u, for tal quep-value = 2 P[ U < u ]
Teste Mann-Whitney pequenas amostras independentes
Procedimento: 1. Assumir que n1 n 2 (inverter as amostras se
necessrio)2. Determinar U 1 e U 23. U := min ( U 1 ,U 2)
4. Usar os valores da Tabela 8 para testar H 0 vs H 1
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 88
Procedimento:1. Assumir que n1 n 2 (inverter as amostras se
necessrio)2. Determinar U 1 e U 23. Usar os valores da Tabela 8 para testar H 0 vs H 1
Teste Unilateral H 1: A populao 1 (X) est
localizada direita da populao 2 (Y)
Rejeitar H 0 ao nvel se o valorobservado de U1 , u1 , for talque
p-value= P[U < u 1 ] , comU = U 1
Teste Unilateral
H 1: A populao 1 (X) estlocalizada esquerda da
populao 2 (Y)Rejeitar H 0 ao nvel se o valor
observado de U2 , u 2 , for talque
p-value= P[U < u 2 ] , comU = U 2
Teste Mann-Whitney pequenas amostras independentes
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 89
Z :=U 2 - U
U
2
2
Teste Mann-Whitney grandes amostras independentes
Aproximao Normal
n1n22U =2
n1n2(n1 + n2 + 1)12U
=2
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 90
Teste Mann-Whitney grandes amostras independentes
Rejeitar H o se | Z | > Z /2
H1: As distribuies de X e Y diferem na Localizao
Teste Bilateral
H0: X e Y tm distribuio idntica
Determine U 2 = n1n2 + - T 2n2(n2 + 1)
2
Z /2 :=-1(1- /2), (.) f.d. da N(0,1)
/2 /2
/2 z /2 z
7/21/2019 Importante Testes
16/22
16
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 91
Teste Mann-Whitney grandes amostras independentes
H0: X e Y tm distribuio idntica
Determinar U 2 = n1n2 + - T 2n2(n2 + 1)
2
Teste Unilateral H 1: A populao 1 (X) est
localizada direita da populao 2 (Y)
Rejeitar H 0 se Z > z
Teste Unilateral H 1: A populao 1 (X) est
localizada esquerdada populao 2 (Y)
Rejeitar H 0 se Z < -z
z
z
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 92
Teste Mann-Whitney ExemploSuponha que um gestor de produo e est interessado em investigarse as taxas de produo de 2 fbricas so iguais. Para a fbrica 1, astaxas (% de capacidade) so71, 82, 77, 92, 88. Para a fbrica 2, as
taxas so85, 82, 94, 97. Tero as taxas de produo das 2 fbricas amesmadistribuo de probabilidade ao nvel de.10 ?
H0:Distribuio IdnticaHa:Localizao Diferente
= .10n1 = 4 n2 = 5Pontos crticos:
Estatstica de Teste :
Deciso:
Concluso:
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 93
Teste Mann-Whitney Exemplo
Fbrica 1 Fbrica 2Taxa Ordem Taxa Ordem
71 8582 8277 9492 9788 ... ...
Somadas Ordens
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 94
Teste Mann-Whitney Exemplo
Fbrica 1 Fbrica 2Taxa Ordem Taxa Ordem
71 1 8582 8277 9492 9788 ... ...
Somadas Ordens
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 95
Teste Mann-Whitney Exemplo
Fbrica 1 Fbrica 2Taxa Ordem Taxa Ordem
71 1 8582 8277 2 9492 9788 ... ...
Somadas Ordens
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 96
Teste Mann-Whitney Exemplo
Fbrica 1 Fbrica 2Taxa Ordem Taxa Ordem
71 1 8582 3 82 477 2 9492 9788 ... ...
Somadas Ordens
7/21/2019 Importante Testes
17/22
17
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 97
Teste Mann-Whitney Exemplo
Fbrica 1 Fbrica 2Taxa Ordem Taxa Ordem
71 1 8582 3 3.5 82 4 3.577 2 9492 9788 ... ...
SomaDas Ordens
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 98
Teste Mann-Whitney Exemplo
Fbrica 1 Fbrica 2Taxa Ordem Taxa Ordem
71 1 85 582 3 3.5 82 4 3.577 2 9492 9788 ... ...
SomaDas Ordens
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 99
Teste Mann-Whitney Exemplo
Fbrica 1 Fbrica 2Taxa Ordem Taxa Ordem
71 1 85 582 3 3.5 82 4 3.577 2 9492 9788 6 ... ...
SomaDas Ordens
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 100
Teste Mann-Whitney Exemplo
Fbrica 1 Fbrica 2Taxa Ordem Taxa Ordem
71 1 85 582 3 3.5 82 4 3.577 2 9492 7 9788 6 ... ...
SomaDas Ordens
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 101
Teste Mann-Whitney Exemplo
Fbrica 1 Fbrica 2Taxa Ordem Taxa Ordem
71 1 85 582 3 3.5 82 4 3.577 2 94 892 7 9788 6 ... ...
Somadas Ordens
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 102
Teste Mann-Whitney Exemplo
Fbrica 1 Fbrica 2Taxa Ordem Taxa Ordem
71 1 85 582 3 3.5 82 4 3.577 2 94 892 7 97 988 6 ... ...
SomaDas Ordens
7/21/2019 Importante Testes
18/22
18
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 103
Teste Mann-Whitney Exemplo
Fbrica 1 Fbrica 2Taxa Ordem Taxa Ordem
71 1 85 582 3 3.5 82 4 3.577 2 94 892 7 97 988 6 ... ...
SomaDas Ordens
19.5 25.5
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 104
Teste Mann-Whitney ExemploSuponha que um gestor de produo e est interessado em investigarse as taxas de produo de 2 fbricas so iguais. Para a fbrica 1, as taxas(% de capacidade) so71, 82, 77, 92, 88. Para a fbrica 2, as taxas so
85, 82, 94, 97. Tero as taxas de produo das 2 fbricas a mesmadistribuo de probabilidade ao nvel de.10 ?
H0:Distribuio IdnticaHa:Localizao Diferente
= .10n1 = 4 n2 = 5
Estatstica de Teste :T1 = 5 + 3.5 + 8+ 9 = 25.5(Amostra de dimenso mais pequena )
p-value= 2P[ U 1< 4 5 ] >2P[ U 1< 4] =2x 0.0952Deciso:No Rejeitar ao nvel de = 10%
Concluso:No existe evidncia estatstica que nos permita duvidar que as 2Fbricas tm Taxas de Produo Idnticas, ao nvel de 10%.
1 11 1 2 1
( 1) 4 54 5 25.5 4.5
2 2n n
U n n T
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 105
Teste Mann-Whitney ExemploSuponha que um gestor de produo e est interessado em investigarse as taxas de produo de 2 fbricas so iguais. Para a fbrica 1, as taxas(% de capacidade) so71, 82, 77, 92, 88. Para a fbrica 2, as taxas so85, 82, 94, 97. Tero as taxas de produo das 2 fbricas a mesmadistribuo de probabilidade ao nvel de.10 ?
H0:Distribuio IdnticaHa:Localizao Diferente
= .10 n1 = 4 n2 = 5
No R:x
7/21/2019 Importante Testes
19/22
19
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 109
Teste Kruskal-WallisEstatstica de Teste:
Sem empates
Com empates ( Siegel & Castellan 88, pg.210)g := n de grupos de empates distintos
t j := n de valores empatados no grupo j de
empates , j=1,,g
2* 2
1 1
12 123( 1) ( ) ,
( 1) ( 1)
/ e ( 1) / 2
k k i
i ii ii
i i i
R H H n n R R
n n n n n
R R n R n
*
3
13
( )1
g
j j j
H H
t t
n n
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 110
Teste Kruskal-Wallis Grandes AmostrasSob a hiptese nula,Estatstica de Teste H segue aproximadamente umQui-Quadrado com g.l.= k-1
Deciso: Rejeitar Ho se o valor da ET de K-W grande
Rejeitarhiptese nula Ho se H > 2 k-1, 1-
2 k-1, 1- Deve-se usar apenas quando a mais pequena dasdimensesn i 5.
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 111
Teste Kruskal-Wallis Pequenas AmostrasQuandok = 3 e n i 5, sem empates:
os Quantisw , = 0.90, 0.95, 0.99 dadistribuio exacta da ET K-W estotabelados na
Tabela A8 (Conover 80)
Deciso: (ao nvel )
Rejeitar hiptese nula Hose H > w 1- Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 112
Teste de Kruskal-WallisPrimeiramente, os dados so convertidos em ordens.Considere os 4Tratamentos seguintes,A, B, C, D,cadaum com cinco rplicas.
Podemos dizer que esses valores so provenientes damesma distribuio?Ou seja, no existe uma diferena significativa entre osTratamentos?
Tratamentos A B C D27 48 11 4414 18 0 72
8 32 3 8118 51 15 557 22 8 39
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 113
Teste de Kruskal-WallisOrdenao
Nota: As diferenas nos pontos mdios (R i /n i ) indicam diferenas nos grupos.
i
i
i i
i i
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 114
Teste de Kruskal-WallisAhiptese nula que todos os grupos vem damesma populao.Sejan = 20, o tamanho daamostra total .AEstatstica de Teste
Para nosso exemplo
2*
1
123( 1)
( 1)
k i
i i
R H n
n n n
* 12 259.2 884.45 92.45 1479.2 3 (21) 14.620 21
H
7/21/2019 Importante Testes
20/22
20
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 115
Teste de Kruskal-WallisFactor de Correco :Com g = 2 (valores 8 e 18), t 1 = t 2 = 2 (dois valores 8 e dois valores 18),AEstatstica de Testecorrigida
Para nosso exemplo
14.614.622
0.9985 H
*
23
13
( )1
j j j
H H
t t
n n
23
31
3 3
( )2(2 2) 12
1 1 1 0.998520 20 7980
j j j
t t
n n
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 116
Teste de Kruskal-Wallis
DECISO:Logo, a hiptese nula deve ser rejeitada , ou seja,as amostras no pertencem a mesma populao .
Comparao deste valor com o quantil2 com (k -1=3)graus de liberdade.Da tabela do 2 com 3 graus de liberdade temos 23, 0.95 =7.81 para 95%. ComoH = 14.622
2 3
7.81 14.5 23, 0.95
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 117
Teste de Kruskal-Wallis
No R:aa
7/21/2019 Importante Testes
21/22
21
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 121
Teste do Coef de correlao ordinal de SpearmanO coeficiente de correlao ordinal deSpearman Rs a contrapartida no-paramtrica docoeficiente de correlao amostral de Pearson,em queos Xi s eos Yi ssao substitudos pelas suasordens.
Para obterr(Xi)=ordem de Xie r(Yi)= ordem de Yi,ordenam-se as amostrasdos Xis eosYisseparadamente.
Observao:Num modelo paramtrico e Normal , X e Y so independentes sse ocoeficiente de correlo =corr(X,Y)=0,ie, testar Ho equivalente a testar Ho: =0, pelo que e natural usar o coeficiente
de correlacao amostral.
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 122
Teste do Coef de correlao ordinal de SpearmanCoeficiente de correlao ordinal de Spearman Rs:
Observao: Se o n de empates for pequeno relativamente aon de pares (Xi,Yi) o erro resultante desta ltima expresso pequeno.
2
12
naSe houver ,
61 ,
( 1)com ( )
o
( ).
n
i i
i i i
S
d
n nd r x r
empat
y
es
R
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 123
Teste do Coef de correlao ordinal de SpearmanRegio de Rejeio( Pequenas Amostras ):
p-value=2 min[P(RSr S), P(RSr S)] (Teste Bilateral)
= P(RS r S)
= P(RS r S) (Testes Unilaterais)Observao: Se o n de empates for pequeno relativamente ao nde pares (Xi,Yi) o erro resultante desta ltima expresso pequeno.
Grandes Amostras:para umn de pares (Xi,Yi) elevado, pode ser aproximada pela (0,1).n-1 S R
0
0 0 0 0
0 0
Tabela 11,
Teste Bilateral
Com escolhido criteriosamente na
Rejeitar H , se { } | |
} { Testes Unilater { } a siS S S
S S
r
r ou r r
r ou r
R R R
R R
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 124
Teste de Spearman - ExemploCinco professores de Cincias doensino bsico foram classificadospor um jri de acordo com suacapacidade pedaggica.Esses mesmos professoresrealizaram um "exame nacionalpara professores".Existe acordo entre a classificaodo jri e a classificao no exame?
Se a Ordenao do Jri baixa(melhor professor), seria deesperar aClassificao elevadano exame para professores;pelo que colocamos na hiptesealternativa uma associao inversaentre as variveisOrdenao do Jrie Classificao no Exame.
Professor 1 2 3 4 5
Ordenaodo Jri
4 2 3 1 5
Classificaono Exame
72 69 82 93 80
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 125
Professor 1 2 3 4 5Ordenao do Jri 4 2 3 1 5Classificao no Exame72 69 82 93 80R(xi) 4 2 3 1 5R(yi) 2 1 4 5 3di 2 1 -1 -4 2
Teste de Spearman - Exemplo
Ordenar os Resultados dos Exames (a 1 variavel j est naforma ordenada ). No h empates .
0
1
) entre e
. entre e
No exis
te associaao
existe asso
ci
aao inversa
(Teste Unilateral)
:
:
H
H
X Y
vs
X Y
Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 126
Teste de Spearman - Exemplo
Com nvel de significncia=0.05, n=5Rejeita-se H0 se Rs
7/21/2019 Importante Testes
22/22
Teste de Spearman - Exemplo
No R:a