Teste de ajustamento do Qui-quadrado Testes de...

50
Ana M. Abreu - 2006/07 Slide 1 Capítulo 6 Estatística não-paramétrica Teste de ajustamento do Qui-quadrado Testes de independência e de homogeneidade do Qui-quadrado Testes dos sinais e de Wilcoxon Teste de Mann-Whitney Teste de correlação ordinal de Spearman

Transcript of Teste de ajustamento do Qui-quadrado Testes de...

Ana M. Abreu - 2006/07

Slide 1Capítulo 6

Estatística não-paramétrica

Teste de ajustamento do Qui-quadrado

Testes de independência e de homogeneidade do Qui-quadrado

Testes dos sinais e de Wilcoxon

Teste de Mann-Whitney

Teste de correlação ordinal de Spearman

Ana M. Abreu - 2006/07

Slide 2Algumas considerações

v As duas primeiras secções deste capítulo referem-se à análise de dados categorizados (qualitativos ou atributos) os quais podem ser classificados em diferentes categorias (frequentemente designadas por células).

v Vamos usar a distribuição χχχχ2 (Qui-quadrado).

v No teste de ajustamento temos uma tabela com apenas uma linha ou uma coluna.

v Nos testes de independência e de homogeneidade as tabelas têm, pelo menos, 2 linhas e 2 colunas.

Ana M. Abreu - 2006/07

Slide 3Algumas considerações

Definições

v Testes ParamétricosOs testes paramétricos obrigam a que as

populações envolvidas obedeçam a certas

premissas.

v Testes Não-ParamétricosNos testes não-paramétricos as populações não

têm que obedecer a quaisquer premissas. Assim

sendo, este testes são também designados por

testes “distribution-free“.

Ana M. Abreu - 2006/07

Slide 4

Vantagens dos Métodos Não-paramétricos

1. Os métodos não-paramétricos podem ser aplicados

numa grande variedade de situações pois não exigem

premissas rígidas, tal como acontece com os

métodos paramétricos. Em particular, os métodos

não-paramétricos não exigem que as populações

tenham distribuição Normal.

2. Ao contrário do que acontece com os métodos paramétricos, os métodos não-paramétricos podem ser aplicados a dados qualitativos.

3. Habitualmente, os métodos não-paramétricos

envolvem cálculos mais simples do que os

correspondentes métodos paramétricos, donde são

mais fáceis de perceber e aplicar.

Ana M. Abreu - 2006/07

Slide 5Desvantagens dos Métodos

Não-paramétricos

1. Os métodos não-paramétricos tendem a

desperdiçar informação uma vez que,

frequentemente, os dados quantitativos são

transformados em dados qualitativos.

2. Os testes não-paramétricos não são tão eficientes

como os métodos paramétricos logo, em geral,

com um teste não-paramétrico é necessário uma

maior evidência (como, por exemplo, uma amostra

maior ou maiores diferenças) para poder rejeitar a

hipótese nula.

Ana M. Abreu - 2006/07

Slide 6

Experiência MultinomialEsta é uma experiência que obedece às seguintes condições:

1. O número de provas é fixo.

2. As provas são independentes.

3. Todos os resultados de uma prova devem poder ser classificados numa só das diferentes categorias.

4. As probabilidades para cada uma das categorias permanecem constantes em cada prova.

Definição

Ana M. Abreu - 2006/07

Slide 7Definição

Teste de ajustamento

Um teste de ajustamento é usado para testar a hipótese de uma certa distribuição de frequências observadas seguir uma certa distribuição teórica.

Ana M. Abreu - 2006/07

Slide 8

0 representa a frequência (ou valor)

observada (o)

E representa a frequência esperada (de

acordo com a distribuição teórica)

k representa o número de categorias

n representa a dimensão da amostra (ou seja, neste contexto, o número de provas)

Teste de ajustamento

Notação

Ana M. Abreu - 2006/07

Slide 9Frequências Esperadas

Se todas as frequências esperadas foremiguais:

cada valor esperado é a soma de todas as frequências observadas dividida pelo número de categorias.

nE =

k

Ana M. Abreu - 2006/07

Slide 10

Se as frequências esperadas forem diferentes:

cada valor esperado determina-se multiplicando a soma de todas as frequências observadas pela probabilidade de cada categoria.

E = n p

Frequências Esperadas

Ana M. Abreu - 2006/07

Slide 11Teste de ajustamentoEstatística de teste

Valores críticos

1. Determinam-se usando a tabela da distribuição Qui-quadrado com k – 1 graus de

liberdade, onde k = número de categorias.

2. A hipótese alternativa é sempre unilateral direita.

X2= ΣΣΣΣ (O – E)2

E

Ana M. Abreu - 2006/07

Slide 12

v Um valor muito elevado da estatística de teste levará à rejeição da hipótese nula (a qual diz que não há diferença entre os valores observados e os valores esperados)

v Se os valores observados estiverem próximos dos valores esperados, então o valor da estatística de teste serápequeno (que é o mesmo do que dizer que o P-value será grande) e vice-versa.

Ana M. Abreu - 2006/07

Slide 13

Tabelas de contingência: Independência e Homogeneidade

Ana M. Abreu - 2006/07

Slide 14

v Uma tabela de contingência é uma

tabela de frequências que representa um

conjunto de dados que foram

classificados simultaneamente segundo

duas (bidimensional) ou mais variáveis

(multidimensional).

As tabelas de contingência têm, pelo menos, 2 linhas e 2 colunas.

Definição

Ana M. Abreu - 2006/07

Slide 15

Ana M. Abreu - 2006/07

Slide 16

v Teste de Independência

Este método testa a hipótese nula de a variável linha e a variável coluna numa tabela de contingência não estarem relacionadas. (A hipótese nula afirma que as duas variáveis são independentes.)

Definição

Ana M. Abreu - 2006/07

Slide 17Pressupostos1. As observações são seleccionadas

aleatoriamente.

2. A hipótese nula H0 afirma que as variáveis linha e coluna são independentes; a hipótese alternativa H1 afirma que as variáveis linha e coluna são dependentes.

3. O valor esperado, E, de cada célula da tabela de contingência tem que ser, pelo menos, 5. (Que não é o mesmo do que dizer que cada valor observado, O, de cada célula da tabela de contingência tenha que ser, pelo menos, 5.)

Ana M. Abreu - 2006/07

Slide 18Teste de Independência

Estatística de teste

Valores críticos:

1. Determinam-se através da tabela da distribuição Qui-quadrado com

(r – 1)(c – 1)=graus de liberdade

onde r é o número de linhas e c o número de colunas da tabela de contingência.

X2= ΣΣΣΣ (|O – E|-0.5)2

E

Correcção de Yates: aplica-se quando a tabela de contingência é 2x2. Neste caso, a estatística de teste é

X2= ΣΣΣΣ (O – E)2

E

Ana M. Abreu - 2006/07

Slide 19

(total de linha) (total de coluna)

(total)E =

E =n

ni. n.j

2. A hipótese alternativa é sempre unilateral direita.

Ana M. Abreu - 2006/07

Slide 20Teste de Independência

H0: A variável linha é independente da variável

coluna.

H1: A variável linha é dependente (está

relacionada com a) da variável coluna.

A dependência entre as duas variáveis

significa apenas que as duas variáveis estão

relacionadas, não especifica o tipo de relação

(por exº, do tipo causa/efeito).

Ana M. Abreu - 2006/07

Slide 21

Frequências Observadas e Esperadas

332

1360

1692

318

104

422

29

35

64

27

18

45

706

1517

2223

Men Women Boys Girls Total

Survived

Died

Total

Vamos usar a tabela de contingência referente aos passageiros do Titanic para calcular as frequências esperadas. Para a primeira célula, a que se encontra na posição 11, ou seja, 1ª linha e 1ª coluna, temos:

= 537.360E11 =(706)(1692)

2223

n1. n.1

n =

Ana M. Abreu - 2006/07

Slide 22

332

537.360

1360

1692

318

104

422

29

35

64

27

18

45

706

1517

2223

Men Women Boys Girls Total

Survived

Died

Total

Cálculo da frequência esperada da célula na posição 21, sob a hipótese de independência entre as variáveis.

= 1154.640E21 =(1517)(1692)

2223

Frequências Observadas e Esperadas

Ana M. Abreu - 2006/07

Slide 23

332

537.360

1360

1154.64

1692

318

134.022

104

287.978

422

29

20.326

35

43.674

64

27

14.291

18

30.709

45

706

1517

2223

Men Women Boys Girls Total

Survived

Died

Total

Para interpretar o resultado obtido para a célula, por

exemplo, na posição 21, dizemos que embora tivessem sido

observadas 1360 mortes nos homens, se houvesse

independência entre a sobrevivência e o facto de um

indivíduo ser homem, mulher, rapaz ou rapariga,

esperaríamos apenas 1154.64 mortes nos homens.

Frequências Observadas e Esperadas

Ana M. Abreu - 2006/07

Slide 24

Exemplo: Teste a hipótese de a sobrevivência dos passageiros do Titanic ser independente do facto do passageiro ser homem, mulher, rapaz ou rapariga, usando um nível de significância de 0.05.

H0: A sobrevivência dos passageiros é independente do

facto de ser homem, mulher, rapaz ou rapariga.

H1: A sobrevivência dos passageiros é dependente do

facto de ser homem, mulher, rapaz ou rapariga.

Ana M. Abreu - 2006/07

Slide 25

Cálculos:

X2= (332–537.36)2 + (318–132.022)2 + (29–20.326)2 + (27–14.291)2

537.36 134.022 20.326 14.291

+ (1360–1154.64)2 + (104–287.978)2 + (35–43.674)2 + (18–30.709)2

1154.64 287.978 43.674 30.709

X2=78.481 + 252.555 + 3.702+11.302+36.525+117.536+1.723+5.260

= 507.084

Ana M. Abreu - 2006/07

Slide 26

O número de graus de liberdade é

(r–1)(c–1) = (2–1)(4–1) = 3

pois a tabela tem 2 linhas e 4 colunas. Então, o valor

crítico é

χχχχ2(0.05;3) = 7.815

Ana M. Abreu - 2006/07

Slide 27X2= 507.084

com αααα = 0.05 e (r – 1) (c– 1) = (2 – 1) (4 – 1) = 3 graus de liberdade

Valor crítico: χχχχ2= 7.815

Estatística de teste:

Ana M. Abreu - 2006/07

Slide 28

Com pare os valores observados, Com pare os valores observados, Com pare os valores observados, Com pare os valores observados, OOOO , com , com , com , com

os respectivos valores esperados, os respectivos valores esperados, os respectivos valores esperados, os respectivos valores esperados, EEEE ....

XXXX 2222 grande, grande, grande, grande, P----value value value value pequeno.pequeno.pequeno.pequeno.XXXX 2222 pequeno, pequeno, pequeno, pequeno, P----value value value value grande.grande.grande.grande.

O `s e E `s próxim os. O `s e E `s afastados.

R ejeitar HR ejeitar HR ejeitar HR ejeitar H 0000 ....NNNN ão rão rão rão rejeitar Hejeitar Hejeitar Hejeitar H 0000 ....

XXXX 2222 aquiaquiaquiaqui XXXX 2222 aquiaquiaquiaqui

Relações entre as componentes num Teste de Independência

Ana M. Abreu - 2006/07

Slide 29Definição

v Teste de Homogeneidade

Num teste de homogeneidade,

verificamos se diferentes populações

têm as mesmas características.

Ana M. Abreu - 2006/07

Slide 30Como distinguir um teste de

homogeneidade dum teste de independência:

A dimensão das amostras provenientes das diferentes populações foi fixada à partida (teste de homogeneidade), ou foi recolhida apenas uma amostra que depois foi classificada aleatoriamente nas diferentes linhas e colunas (teste de independência)?

Ana M. Abreu - 2006/07

Slide 31

Exemplo: Através da tabela que se segue, teste o efeito do sexo do entrevistador nas respostas de uma amostra de indivíduos do sexo masculino a uma certa sondagem, com um nível de significância de 0.05.

Ana M. Abreu - 2006/07

Slide 32

H0: A proporção de respostas concordantes/discordantes é a mesma quer o entrevistador seja do sexo masculino ou feminino.

H1: A proporção é diferente.

Chi-Square Tests

Value df Asymp. Sig.

(2-sided) Exact Sig. (2-sided)

Exact Sig. (1-sided)

Pearson Chi-Square 6,529(b) 1 ,011

Continuity Correction(a)

6,184 1 ,013

Likelihood Ratio 6,662 1 ,010

Fisher's Exact Test ,011 ,006

Linear-by-Linear Association 6,524 1 ,011

N of Valid Cases 1200

a Computed only for a 2x2 table b 0 cells (,0%) have expected count less than 5. The minimum expected count is 110,67.

Ana M. Abreu - 2006/07

Slide 33

O SPSS fornece-nos o valor da estatística de teste X 2 =

6.184 e o P-value 0.013 (pois a tabela é 2x2). Usando a

abordagem através do P-value, rejeitamos a hipótese

nula de igualdade (homogeneidade) das proporções

(porque o P-value é menor do que 0.05).

Assim, concluímos que existe evidência suficiente para

rejeitar a hipótese de igualdade de proporções.

Ana M. Abreu - 2006/07

Slide 34Definição

Os dados estão ordenados quando estão dispostos

de acordo com algum critério como, por exemplo,

do menor para o maior ou do melhor para o pior.

Um rank é um número que é atribuído a cada

elemento da amostra tendo em conta a sua

ordem na lista ordenada. Ao primeiro elemento

da lista ordenada é atribuído o rank 1, ao

segundo o rank 2 e assim sucessivamente.

Ana M. Abreu - 2006/07

Slide 35Exemplo

5 3 40 10 12 Valores da amostra

3 5 10 12 40 Valores dispostos por ordem

1 2 3 4 5 Ranks

Ana M. Abreu - 2006/07

Slide 36

Como lidar com observações “empatadas”

• Use os ranks médios das observações

“empatadas”.

3 5 5 10 12 Valores da amostra

1 2.5 2.5 4 5 Ranks

As observações 2 e 3 estão “empatadas”.

Ana M. Abreu - 2006/07

Slide 37Teste de Correlação Ordinal

de Spearman

v A correlação ordinal (entre os ranks) édeterminada usando os ranks das observações das amostras emparelhadas.

v O teste de correlação ordinal de Spearman éusado para testar a existência de associação entre duas variáveis.

v Ho: ρρρρ s = 0 (Não existe correlação entre as duas variáveis.)

v H1: ρρρρ s ≠≠≠≠ 0 (Existe correlação entre as duas variáveis.)

Ana M. Abreu - 2006/07

Slide 38Vantagens

1. O método não-paramétrico de correlação ordinal (correlação entre os ranks) pode ser usado numa maior variedade de situações do que o seu correspondente paramétrico (Teste de correlação linear de Pearson).

2. A correlação ordinal pode ser usada para detectar algumas (não todas) relações que não são lineares.

3. Os cálculos necessários para determinar a correlação ordinal são mais simples do que os para determinar a correlação linear.

Ana M. Abreu - 2006/07

Slide 39Pressupostos

1. A amostra é uma amostra aleatória.

2. Não existe qualquer exigência quanto à distribuição de qualquer uma das duas populações, ao contrário do que sucede com os métodos paramétricos.

Ana M. Abreu - 2006/07

Slide 40Notação

rs= coeficiente de correlação ordinal para amostras emparelhadas (rs é uma estatística amostral)

ρρρρs = coeficiente de correlação ordinal da população (ρρρρs é um parâmetro populacional)

n = número de pares de observações

d = diferença dos ranks de cada par de observações

rs designa-se por coeficiente de correlação ordinal de Spearman.

Ana M. Abreu - 2006/07

Slide 41Estatística de Teste para o

Coeficiente de Correlação Ordinal

onde cada valor de d corresponde à diferença dos ranks de cada par de observações.

Valores críticos:

v Se n ≤≤≤≤ 30, consulte a tabela da estatística de Spearman

v Se n > 30, use a fórmula que se segue e, em seguida, consulte a tabela da distribuição Normal

rs = 1 – 6 ΣΣΣΣd2

n(n2 – 1)

Ana M. Abreu - 2006/07

Slide 42

onde o valor de z determina-se tendo em

conta o nível de significância.

rs =n – 1

±±±± z

(valores críticos quando n > 30)

Ana M. Abreu - 2006/07

Slide 43

Coeficiente de correlação ordinal para testar H0: ρρρρs = 0

Complete the computation of

to get the sample statistic.

Início

Calcule a diferença d para cada

par de ranks subtraindo o rank menor ao rank maior.

Let n equal the total number

of signs.

Os npares de valores estão

na forma de ranks?

Converta os valores de cada amostra em ranks

(de 1 até n)

Não

Eleve ao quadrado cada

diferença d e, em seguida,

Determine a soma dos quadrados

rs = 1 – 6ΣΣΣΣd2

n(n2–1)

ΣΣΣΣ(d2)

Sim

Ana M. Abreu - 2006/07

Slide 44

Coeficiente de correlação ordinal para testar H0: ρρρρs = 0

Complete the computation of

to get the sample statistic.

rs = 1 – 6ΣΣΣΣd2

n(n2

–1)

n ≤≤≤≤ 30?

Se a estatística amostral rs é positiva e excede o valor crítico, existe

correlação. Se a estatística amostral rs é negativa e é menor do que o

valor crítico, existe correlação. Se a estatística amostral rs estiver

entre os valores críticos, não existe correlação.

Determine os valores críticos de

rs na tabela da estatística de

Spearman

Calcule os valores críticos

onde z determina-se tendo em conta o nível de significância

rs = n –1±±±± z

Sim

Não

Ana M. Abreu - 2006/07

Slide 45Exemplo:

Percepção de Beleza

Use os dados da tabela que se segue para determinar se existe correlação entre os rankings dos homens e das mulheres em termos do que eles acham atraente. Use um nível de significância αααα = 0.10.

Ana M. Abreu - 2006/07

Slide 46Exemplo:

Percepção de Beleza

H0: ρρρρs = 0H1: ρρρρs ≠≠≠≠ 0n = 10

rs = 1 – 6 ΣΣΣΣd2

n(n2 – 1)

rs = 0.552

rs = 1 –6(74)

10(102 – 1)

Ana M. Abreu - 2006/07

Slide 47Exemplo:

Percepção de Beleza

Ao consultar a tabela da estatística de Spearman, verificamos que os valores críticos são ±±±±0.648. Como o valor da estatística de teste rs = 0.552 não excede o valor crítico 0.648 e é maior do que -0.648, não rejeitamos a hipótese nula. Assim, não existe evidência suficiente para afirmar que existe correlação entre os rankings dos homens e das mulheres.

Ana M. Abreu - 2006/07

Slide 48

Exemplo: Percepção de Beleza com

amostras grandes

Considere o exemplo anterior, mas onde se incluíu um total de 40 mulheres, resultando numa estatística de teste rs

com o valor 0.291. Se o nível de significância for αααα = 0.05, o que se pode concluir acerca da correlação?

Ana M. Abreu - 2006/07

Slide 49

Exemplo: Percepção de Beleza com

amostras grandes

rs =n – 1

±±±± z

rs =40 – 1

±±±± 1.96= ± ± ± ± 0.314

Valores críticos.

Ana M. Abreu - 2006/07

Slide 50

Exemplo: Percepção de Beleza com

amostras grandes

O valor da estatística de teste rs = 0.291 não excede o valor crítico 0.314 e é superior a -0.314, logo não rejeitamos a hipótese nula. Assim, não existe evidência suficiente para afirmar que existe correlação entre os rankings dos homens e das mulheres.