Post on 04-Jul-2020
MEDIDAS EDUCACIONAISMEDIDAS EDUCACIONAISANÁLISES ESTATÍSTICAS
TRI
CME – COORDENAÇÃO DE MEDIDAS EDUCACIONAISC COO Ç O S UC C O SCAEd/UFJF (32)4009‐2071Wellington@caed.ufjf.br
Fundamentos da TRI• O que são itens?
– São os elementos que compõem os testes ou
ti á iquestionários
• O que é proficiência?• O que é proficiência?
– É a medida que representa um determinado traço
latente (aptidão)latente (aptidão)
• Teoria da Resposta ao Item (TRI)p ( )
– Grupo de modelos matemáticos e estatísticos que
descrevem a associação entre a aptidão de um indivíduo
e a probabilidade de uma resposta a um item
PRINCIPAIS PRODUTOS DA TRIPRINCIPAIS PRODUTOS DA TRI
‐ Interpretação pedagógica da escala
‐ Comparabilidade de resultados:
‐ Entre diferentes avaliações em um mesmoperíodo de tempo
‐ Entre diferentes avaliações em diferentesperíodos de tempop p
C l l fi iê i d l ?Como se calcula a proficiência de um aluno?
Õ I ‐ AVALIAÇÃO EM LARGA ESCALA
II TEORIA DA RESPOSTA AO ITEM TRI• II – TEORIA DA RESPOSTA AO ITEM ‐ TRI
• III INDICADORES DE DESEMPENHO• III – INDICADORES DE DESEMPENHO
AVALIAÇÃO EM LARGA ESCALAAVALIAÇÃO EM LARGA ESCALA
Como construir uma escalaComo construir uma escala
Escala: altura de uma pessoap• Item 1
Você consegue guardar as malas no bagageiro
interno de um ônibus?
• Item 2
Você consegue subir ou descer dois degraus de cada
vez em uma escada?
• Item 3
Para conversar com as pessoas você precisa olhar paraPara conversar com as pessoas, você precisa olhar para
baixo?
R t d Q ti á iRespostas do Questionário
Nome Item 1 Item 2 Item 3Carolina Sim Não NãoPriscila Sim Sim Não
Leonardo Sim Sim Sim
Escala: item x medida
Nome Item 1 Item 2 Item 3Carolina Sim Não NãoPriscila Sim Sim Não
Leonardo Sim Sim Sim
Carolina Priscila Leonardo
1,5 1,6 1,7 1,8 1,9
Item 1 Item 2 Item 3Item 1 Item 2 Item 3
Utilização do Bilog‐MGç g1 ‐ Construção da base de dadosSEQ GRUPO FORMA P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11 P12 P13 P14 P15 P16
1 1 1 A B B C C C A A D D A A B B C C1 1 1 A B B C C C A A D D A A B B C C2 1 1 A B A C C B B A D D B A C B C C. . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . .
5001 1 2 A B B B C B A A D C A B B A B D5002 1 2 B B A C C B A A B A A C B A D D
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .10001 2 3 B B C A A D A B D C A C D A D D10002 2 3 B B A A B D A C A C A C A B B C
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .15001 2 4 B B C A A C A B A A C C C D D A15002 2 4 B B A A C C A D A A B B C D D B
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
2 – Cálculo das alturas dos respondentes
3 – estimação dos parâmetros dos itens
Posição dos itens na escalaPosição dos itens na escala
17169 4 15 7 20 18 11 14 5 13 6 3 2 19 8
1,5 1,6 1,7 1,8 1,9
12 10 1
Guardar a bagagemPés fora da cama
Atrás na fila
Posição dos itens e pessoas na escalaPosição dos itens e pessoas na escala43,6%
32%
14,6%9,8%
1 5 1 6 1 7 1 8 1 917169 4 15 7 20 18
12
11
10
14 5 13 6 3 2 19 8
1
1,5 1,6 1,7 1,8 1,9
INTERPRETAÇÃO DA ESCALAÇ
II TEORIA DA RESPOSTA AO ITEM TRIII – TEORIA DA RESPOSTA AO ITEM ‐ TRI
• HISTÓRICO TRI
• FUNDAMENTOS – TRI
MEDIDAS E ESCALAS• MEDIDAS E ESCALAS
Avaliações em larga escala com a TRIç g• Análise segundo a TRI – Lord (1952)
– Probabilidade de acerto ao item em função daç
habilidade
– Posicionamento dos itens em função da dificuldade
na mesma escala da proficiência
• Década de 1970
– Desenvolvimento de testes adaptativos
• Década de 1980
– Desenvolvimento de softwares específicos para TRI
• Década de 1990
D l i d i f i d (CBT’ )– Desenvolvimento de testes informatizados (CBT’s)
e testes adaptativos informatizados (CAT’s)
Características das avaliações em larga escala no Brasil• Até 1993: TCT
• A partir de 1995: TRI
• INEP
1995 1997 1999 2001 2003 2005 2007 2009
SAEB
li õ d i i i i
1995 1997 1999 2001 2003 2005 2007 2009
SAEB e Prova Brasil
• Avaliações estaduais e municipais
MG (2000), CE (1992), RS, RJ, PE, SP, ES, BA.
Características das avaliações em larga escala no Brasil
1° Momento
2° Momento
3° Momento
BIB ‐ SAEB ATÉ 2005
CADERNO BLOCOS CADERNO BLOCOSPOS1 POS2 POS3 POS1 POS2 POS3
1 1 2 5 14 1 3 82 2 3 6 15 2 4 93 3 4 7 16 3 5 10
CADERNO CADERNO
4 4 5 8 17 4 6 115 5 6 9 18 5 7 126 6 7 10 19 6 8 137 7 8 11 20 7 9 17 7 8 11 20 7 9 18 8 9 12 21 8 10 29 9 10 13 22 9 11 310 10 11 1 23 10 12 411 11 12 2 24 11 13 511 11 12 2 24 11 13 512 12 13 3 25 12 1 613 13 1 4 26 13 2 7
BIB‐ A PARTIR DE 2005
FUNDAMENTOS DA TRI
MÉTODOS DE ESTIMAÇÃO
MÉTODOS DE LINKAGENS
PARÂMETROS DE ITENS
MMLMODELO LOGÍSTICO
LINEARES
REGRESSÃO LINEAR
MÉDIA/SIGMAMML
MMAP1LP
2LP
1LP
2LP
MÉDIA/SIGMA
MÉDIA/MÉDIA
CURVA CARACTERÍSTICA
SCORES
ML
3LP3LP
NÃO LINEARESMAP
EAP
NÃO LINEARES
CALIBRAÇÃO SIMULTÂNEA
PRÉ‐FIXAÇÃO DE PARÂMETROS ‐ FPIPÇ
Testes Unidimensionais compostos por itensdicotômicos
1 PL
Dicotômico 2 PL
3 PLUIRT
Politômico
3 PL
Modelo de crédito parcial
Modelo de crédito parcial generalizadoModelo
o tô co
Modelo de resposta ponderada
Modelo de resposta nominal
Modelo de crédito parcial generalizado
MIRT
Dicotômico
Politômico
MODELOS MATEMÁTICOS
MODELOS MATEMÁTICOS DA TRI
R l ã b bilid d d i• Relação entre a probabilidade de acerto ao item e a
habilidade do respondente
Relação não linear Relação não‐linear
Relação não‐linear
1)1()/1( iiiibiXiP )(1)1(),,,/1( biaiDe
ciciciaibiXiP
MODELOS DA TRIMODELOS DA TRI
MODELOS DA TRI – 3PLITEM PARÂMETROS
1certo
ITEM PARÂMETROSA B C
1 0,010 250 0,301
bilid
ade
de A
cP
roba
b
0,5
0,30,3
Proficiência250
MODELOS DA TRI – 3PLITEM PARÂMETROS
1certo
ITEM PARÂMETROSA B C
1 0,010 250 0,301
bilid
ade
de A
cP
roba
b
0,65
0,5
0,30,3
Proficiência250
MODELOS DA TRI – 3PLITEM PARÂMETROS
1certo
ITEM PARÂMETROSA B C
1 0,010 250 0,301
bilid
ade
de A
cP
roba
b
0,65
0,5
0,30,3
Proficiência250
MODELOS DA TRI – 3PLITEM PARÂMETROSITEM PARÂMETROS
A B C1 0,010 250 0,30
1certo
1
bilid
ade
de A
c
1
Pro
bab
0,65
1
0,5
0,30,3
Proficiência250
MODELOS DA TRI – 3PLITEM PARÂMETROSITEM PARÂMETROS
A B C1 0,010 250 0,302 0 020 250 0 301ce
rto
2 0,020 250 0,301
bilid
ade
de A
c
1
2
Pro
bab
0,65
1
0,5
0,30,3
Proficiência250
MODELOS DA TRI – 3PLITEM PARÂMETROSITEM PARÂMETROS
A B C1 0,010 250 0,302 0 020 250 0 301ce
rto
2 0,020 250 0,303 0,020 350 0,30
1
bilid
ade
de A
c
1
2
Pro
bab
0,65
1
0,5
0,3
3
0,3
Proficiência250 350
MODELOS DA TRI – 3PLITEM PARÂMETROSITEM PARÂMETROS
A B C1 0,010 250 0,302 0 020 250 0 301ce
rto
2 0,020 250 0,303 0,020 350 0,304 0,020 350 0,20
1
bilid
ade
de A
c
1
2
Pro
bab
0,65
1
0,5
0,3 4
3
0,3 4
Proficiência250 350
EXEMPLOS DE ITENS – discriminação boa
EXEMPLOS DE ITENS – discriminação ruim
LINKAGEMLINKAGEM
• Cultura de uma escala única nacional – SAEB
• Características da avaliação em larga escala de 1995Características da avaliação em larga escala de 1995
a 2007
Equalização Vertical
• Avaliações do SAEB• Avaliações do SAEB
• Testes com conteúdos diferentes
• Testes com descritores diferentes• Testes com descritores diferentes
• Populações não equivalentes
Designs ou Delineamentos para coleta de dados
Design para grupos não equivalentes através de itens comuns
Forma X Forma Y
Itens comunscomum
Itens comunscomum
Grupo 1 Grupo 2
omum omum
LINKAGEM• Processo para colocar diferentes testes em uma mesma
escala (equalização vertical)
DESIGN TESTE SAEPE 2008 LÍNGUA PORTUGUESA 4ª SÉRIE EF 8ª SÉRIE EF 3º ANO EM
ITENS COMUNS ENTRE GRUPOS
• Método adotado: Vertical equating
TRI padrão SAEBMÉTODOS DE LINKAGENS
MÉTODOS DE ESTIMAÇÃO
PARÂMETROS DE ITENS
LINEARES
MML
MMAP
MODELO LOGÍSTICO
1LP1LP
REGRESSÃO LINEAR
MÉDIA/SIGMA
MÉDIA/MÉDIA
SCORES
2LP
3LP
2LP
3LP
CURVA CARACTERÍSTICA
ML
MAP
EAP
NÃO LINEARES
CALIBRAÇÃO SIMULTÂNEAEAP CALIBRAÇÃO SIMULTÂNEA
PRÉ‐FIXAÇÃO DE PARÂMETROS ‐ FPIP
T U idi i i iTestes Unidimensionais compostos por itensdicotômicos
MEDIDAS E ESCALASMEDIDAS E ESCALAS
• COMO MEDIR A HABILIDADE DOS ALUNOS
• A ESCALA SAEB• A ESCALA SAEB
• CONTRUÇÃO DE TESTESÇ
COMO MEDIR A HABILIDADE DOS ALUNOSCOMO MEDIR A HABILIDADE DOS ALUNOS • Matriz de referência
D i d t t• Design do teste
ESCALAS DE PROFICIÊNCIACurva normal
ESCALA SAEB
9° ano EF9 ano EF
250
ESCALA SAEBESCALA SAEB
3° ano EM5° ano EF 3 ano EM5 ano EF
250 270
ESCALA SAEBESCALA SAEB
3° ano EMF9° ano EF5° ano EF 3 ano EMF9 ano EF5 ano EF
250 270190
ESCALA SAEBESCALA SAEB
ESCALAESCALA
CONTRUÇÃO DE TESTESCONTRUÇÃO DE TESTES
AJUSTE DA POPULAÇÃO AO TESTEAJUSTE DA POPULAÇÃO AO TESTE
TESTE TESTE COM DISTRIBUIÇÃO DE DIFICULDADE COMPATÍVEL COM COM DISTRIBUIÇÃO DE DIFICULDADE COMPATÍVEL COM POPULAÇÃO AVALIADAPOPULAÇÃO AVALIADA
2011 2011 –– 33°° ANO ANO –– LÍNGUA PORTUGUESALÍNGUA PORTUGUESA
TESTE TESTE COM DISTRIBUIÇÃO DE DIFICULDADE NÃO COMPATÍVEL COM COM DISTRIBUIÇÃO DE DIFICULDADE NÃO COMPATÍVEL COM POPULAÇÃO AVALIADAPOPULAÇÃO AVALIADAÇÇ
SPAECE 2011 SPAECE 2011 –– 33°° ANO ANO –– MATEMÁTICAMATEMÁTICA
III – INDICADORES DE DESEMPENHOIII IN ICA OR S S MP NHO
• BOLETIM DE RESULTADOS CAEd• BOLETIM DE RESULTADOS CAEd
• SÉRIE HISTÓRICA SAEB
• IDEBIDEB
PRINCIPAIS PRODUTOS DA TRIPRINCIPAIS PRODUTOS DA TRI
‐ Interpretação pedagógica da escalaInterpretação pedagógica da escala
‐ Comparabilidade de resultados:
‐ Entre diferentes avaliações em um mesmoperíodo de tempop p
‐ Entre diferentes avaliações em diferentesperíodos de tempoperíodos de tempo
RESULTADOSRESULTADOSRESULTADOSRESULTADOS
Participação
Medidas de DesempenhoMedidas de Desempenho
Proficiência Média
Percentual de alunos por Padrões de Desempenho
Desvio PadrãoDesvio Padrão
Interpretação de medidas de desempenho educacional
III – INDICADORES DE DESEMPENHOSé i hi tó i SAEB R d úbli LÍNGUA PORTUGUESA• Série histórica SAEB – Rede pública LÍNGUA PORTUGUESA
270.0
290.0
310.0
210 0
230.0
250.0 5ºEF9ºEF3ºEM
170.0
190.0
210.0 3 EM
150.01995 1997 1999 2001 2003 2005 2007 2009
Série histórica SAEB – Rede pública MATEMÁTICA
290
250
270
290
210
230 5ºEF9ºEF3ºEM
150
170
190
1501995 1997 1999 2001 2003 2005 2007 2009
IDEB
F l d Id b IDEB N PForma geral do Ideb: IDEB = N . P
• N = média da proficiência em Língua Portuguesa e
Matemática padronizada para um indicador entreMatemática, padronizada para um indicador entre
0 e 10, no exame realizado ao final da etapa de ensino
• P = indicador de rendimento baseado na taxa deP indicador de rendimento baseado na taxa de
aprovação da etapa de ensino
Evolução do Ideb ‐ Brasilç• Rede Pública – Anos Iniciais Ens. Fundamental
Evolução do Ideb ‐ Brasil• Rede Pública – Anos Finais Ens. Fundamental
Evolução do Ideb ‐ Brasilç• Rede Pública – Ensino Médio
Evolução do Ideb ‐ Estadosç• Rede Pública – Anos Iniciais Ens. Fundamental