Teoria Clássica e Teoria Clássica e Teoria da Resposta Teoria da Resposta ao Item: introduçãoao Item: introdução

Slides adaptados de Prof. Phd. Dalton F. Slides adaptados de Prof. Phd. Dalton F. Andrade Andrade (dandrade@inf.ufsc.br)(dandrade@inf.ufsc.br)

Departamento de Informática e Estatística – UFSCDepartamento de Informática e Estatística – UFSC

Silvana Ligia Vincenzi Bortolotti

• Escores brutos ou padronizados (total de pontos do teste)

• Os Resultados do teste dependem do conjunto de itens que compõem o instrumento de medida

• Não permite a comparação entre indivíduos que não foram submetidos “aos mesmos instrumentos de medida”

Introdução Teoria Clássica de Medidas

•Modelo

j erespondent o para erro de componente :E

j erespondent do verdadeiro escore :T

teste noj erespondent do escore :X

onde

ETX

j

j

j

jjj

Utiliza:• estatísticas descritivas;• Coeficientes de correlação e proporções, para

medir a qualidade dos itens, e quase nenhuma estatística inferencial;

• Fórmula de Sperman-Brow e a fórmula–20 de Kuder-Richardson, ambas utilizadas para calcular a fidedignidade de um teste (fidedignidade refere-se à estabilidade dos seus resultados, se um teste é aplicado inúmeras vezes ao mesmo grupo de indivíduos espera-se que os resultados sejam os mesmos).

Limitações:

todas as suas medidas são dependentes das características dos examinados que se submetem ao teste ou ao questionário;

a dificuldade do item (proporção de indivíduos que acertam ao item) e a discriminação do item, que são usados para caracterizar a qualidade dos itens de um teste dependem do grupo de indivíduos do qual elas foram obtidas e, portanto, tem seu uso restringido se os examinados no pré-teste não são representativos da população.

Os escores, o observado e o verdadeiro aumentam e diminuem dependendo da dificuldade do teste;

Testes diferentes, com dificuldades e discriminação diferentes, produzem estimativas das habilidades diferentes.

estatísticas de itens não dependentes do grupo;

escores que não dependessem da dificuldade do teste para descrever as habilidades dos indivíduos;

modelos que não requeiram testes estritamente paralelos para avaliar a confiança ou fidedignidade dos indivíduos;

modelos que expressem antes o nível do item do que o nível do teste.

Buscaram outras teorias alternativas para obter um modelo que atendesse aos seguintes quesitos:

Esses e outros anseios foram resolvidos por uma outra estrutura de teoria de medida, conhecida como Teoria de Resposta ao Item,

TRI

Introdução TRIIntrodução TRIA Teoria da Resposta ao Item (TRI) é um

conjunto de modelos matemáticos que relacionam um ou mais traços latentes (não observados) de um indivíduo com a probabilidade deste dar uma certa resposta a um item

Traço latente: habilidade/proficiência em Matemática, grau de satisfação do consumidor, grau de maturidade de uma empresa em Gestão pela Qualidade, etc.

Item: questão (prova), pergunta (questionário sobre qualidade de vida),...

A partir de um conjunto de itens (questionário, prova, ...) deseja-se : estimar os parâmetros dos itens (calibração) “estimar” a habilidade, proficiência, grau de

satisfação, grau de maturidade, ...

Exemplos: prova de matemática para alunos de uma determinada série, questionário sobre os recursos físicos e pedagógicos da escola (Censo Escolar do INEP/MEC), questionário sobre qualidade de vida de pacientes que foram submetidos a determinado tratamento médico, ..)

ModelosModelos

• Depende do tipo de item

• Item de múltipla escolha (corrigido como certo/errado)

Logístico (unidimensional) com 1, 2 ou 3 parâmetros ( p/ itens corrigidos como certo/errado)

)b(aiijijijie1

1)c1(c)|1U(P

Modelo Logístico de 3 parâmetrosModelo Logístico de 3 parâmetros

Curva característica do item - CCI

0,0

0,2

0,4

0,6

0,8

1,0

-4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0

habilidade (traço latente)

prob

abilid

ade

de re

spos

ta

corr

eta

b

a

c

iiiiiiii

a: discriminação ou inclinação do itemb: dificuldade (medido na mesma métrica do traço latente)c: acerto casual (probabilidade)

• Modelo NominalModelo Nominal(considera todas as categorias de resposta)(considera todas as categorias de resposta)

im

hihjih

isjis

jijs

ba

baUP

1

)](exp[

)](exp[)|1(

Logístico modelo no como b e a com isis

Modelo Resposta Gradual a=1,2 e b=(-2,-1,1)

0,00,20,40,60,81,01,2

-4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0

Traço latente

Prob

abili

dade

P0 P1 P2 P3

Considere o seguinte item, extraído da Costa (2001)

“O cardápio é bem organizado e de fácil compreensão”, com resposta dicotômica (concordo e discordo).

1.Exemplo:

De acordo com este modelo observa-se de que consumidores com maior grau de satisfação pelo serviço prestado correlação ao cardápio têm maior probabilidade de concordar com o item que está sendo observado, nota-se que esta relação não é linear.

“A pena de morte é errada, porém é necessária em nossa civilização imperfeita” (com as seguintes categorias de repostas: fortemente discordo, discordo, concordo e fortemente concordo).

2. Exemplo:

Neste item as pessoas que tem sentimentos fortes contra pena de morte, escolheriam a categoria de resposta fortemente discordo. Pessoas que tem sentimentos de meio nível tenderiam a concordar com este item, entretanto pessoas que apóiam fortemente este item tenderiam a discordar fortemente porque eles não concordam com parte do item “pena de morte é errada”

Observe que neste item os níveis altos de concordância ou discordância não implicam em categorias de respostas mais altos, como ocorre com os modelos cumulativos. Neste caso o modelo cumulativo não seria adequado para a estimação do traço latente. O modelo de desdobramento seria o mais indicado

• Todavia no item: “A pena de morte é

necessária em nossa sociedade”...O modelo cumulativo seria mais

apropriado, pois a probabilidade de concordância aumentaria com o aumento do apoio do respondente quanto a pena de morte.

Referências iniciaisReferências iniciais• Gulliksen, H. (1950). Theory of

Mental Tests. New York: John Wiley and Sons.

• Lord, F.M., Norvick, M.R. (1968). Statistical Theories of Mental Test Score. Reading: Addison-Wesley.

• Vianna, H.M. (1987). Testes em Educação. São Paulo: Ibrasa.

ReferênciasReferências• Lord, F.M., Norvick, M.R. (1968). Statistical

Theories of Mental Test Score. Reading: Addison-Wesley

• Lord, F.M. (1980). Applications of Item Response Theory to Practical Testing Problems. Hillsdale: Lawrence Erlbaum Associates

• Hambleton, R.K., Swaminathan, H., Rogers, H.J. (1991). Fundamentals of Item Response Theory. Newburry Park: Sage Publications.

• Andrade, D.F., Tavares, H.R., Cunha, R.V. (2000). Teoria da Resposta ao Item: Conceitos e Aplicações. São Paulo: Associação Brasileira de Estatística.