SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre...
Transcript of SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre...
![Page 1: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/1.jpg)
MEDIDAS EDUCACIONAISMEDIDAS EDUCACIONAISANÁLISES ESTATÍSTICAS
TRI
CME – COORDENAÇÃO DE MEDIDAS EDUCACIONAISC COO Ç O S UC C O SCAEd/UFJF (32)4009‐[email protected]
![Page 2: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/2.jpg)
Fundamentos da TRI• O que são itens?
– São os elementos que compõem os testes ou
ti á iquestionários
• O que é proficiência?• O que é proficiência?
– É a medida que representa um determinado traço
latente (aptidão)latente (aptidão)
• Teoria da Resposta ao Item (TRI)p ( )
– Grupo de modelos matemáticos e estatísticos que
descrevem a associação entre a aptidão de um indivíduo
e a probabilidade de uma resposta a um item
![Page 3: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/3.jpg)
PRINCIPAIS PRODUTOS DA TRIPRINCIPAIS PRODUTOS DA TRI
‐ Interpretação pedagógica da escala
‐ Comparabilidade de resultados:
‐ Entre diferentes avaliações em um mesmoperíodo de tempo
‐ Entre diferentes avaliações em diferentesperíodos de tempop p
![Page 4: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/4.jpg)
C l l fi iê i d l ?Como se calcula a proficiência de um aluno?
Õ I ‐ AVALIAÇÃO EM LARGA ESCALA
II TEORIA DA RESPOSTA AO ITEM TRI• II – TEORIA DA RESPOSTA AO ITEM ‐ TRI
• III INDICADORES DE DESEMPENHO• III – INDICADORES DE DESEMPENHO
![Page 5: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/5.jpg)
AVALIAÇÃO EM LARGA ESCALAAVALIAÇÃO EM LARGA ESCALA
![Page 6: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/6.jpg)
Como construir uma escalaComo construir uma escala
![Page 7: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/7.jpg)
Escala: altura de uma pessoap• Item 1
Você consegue guardar as malas no bagageiro
interno de um ônibus?
• Item 2
Você consegue subir ou descer dois degraus de cada
vez em uma escada?
• Item 3
Para conversar com as pessoas você precisa olhar paraPara conversar com as pessoas, você precisa olhar para
baixo?
![Page 8: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/8.jpg)
R t d Q ti á iRespostas do Questionário
Nome Item 1 Item 2 Item 3Carolina Sim Não NãoPriscila Sim Sim Não
Leonardo Sim Sim Sim
![Page 9: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/9.jpg)
Escala: item x medida
Nome Item 1 Item 2 Item 3Carolina Sim Não NãoPriscila Sim Sim Não
Leonardo Sim Sim Sim
Carolina Priscila Leonardo
1,5 1,6 1,7 1,8 1,9
Item 1 Item 2 Item 3Item 1 Item 2 Item 3
![Page 10: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/10.jpg)
![Page 11: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/11.jpg)
Utilização do Bilog‐MGç g1 ‐ Construção da base de dadosSEQ GRUPO FORMA P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11 P12 P13 P14 P15 P16
1 1 1 A B B C C C A A D D A A B B C C1 1 1 A B B C C C A A D D A A B B C C2 1 1 A B A C C B B A D D B A C B C C. . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . .
5001 1 2 A B B B C B A A D C A B B A B D5002 1 2 B B A C C B A A B A A C B A D D
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .10001 2 3 B B C A A D A B D C A C D A D D10002 2 3 B B A A B D A C A C A C A B B C
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .15001 2 4 B B C A A C A B A A C C C D D A15002 2 4 B B A A C C A D A A B B C D D B
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
![Page 12: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/12.jpg)
![Page 13: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/13.jpg)
2 – Cálculo das alturas dos respondentes
![Page 14: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/14.jpg)
3 – estimação dos parâmetros dos itens
![Page 15: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/15.jpg)
Posição dos itens na escalaPosição dos itens na escala
17169 4 15 7 20 18 11 14 5 13 6 3 2 19 8
1,5 1,6 1,7 1,8 1,9
12 10 1
Guardar a bagagemPés fora da cama
Atrás na fila
![Page 16: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/16.jpg)
Posição dos itens e pessoas na escalaPosição dos itens e pessoas na escala43,6%
32%
14,6%9,8%
1 5 1 6 1 7 1 8 1 917169 4 15 7 20 18
12
11
10
14 5 13 6 3 2 19 8
1
1,5 1,6 1,7 1,8 1,9
![Page 17: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/17.jpg)
INTERPRETAÇÃO DA ESCALAÇ
![Page 18: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/18.jpg)
II TEORIA DA RESPOSTA AO ITEM TRIII – TEORIA DA RESPOSTA AO ITEM ‐ TRI
• HISTÓRICO TRI
• FUNDAMENTOS – TRI
MEDIDAS E ESCALAS• MEDIDAS E ESCALAS
![Page 19: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/19.jpg)
Avaliações em larga escala com a TRIç g• Análise segundo a TRI – Lord (1952)
– Probabilidade de acerto ao item em função daç
habilidade
– Posicionamento dos itens em função da dificuldade
na mesma escala da proficiência
• Década de 1970
– Desenvolvimento de testes adaptativos
• Década de 1980
– Desenvolvimento de softwares específicos para TRI
• Década de 1990
D l i d i f i d (CBT’ )– Desenvolvimento de testes informatizados (CBT’s)
e testes adaptativos informatizados (CAT’s)
![Page 20: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/20.jpg)
Características das avaliações em larga escala no Brasil• Até 1993: TCT
• A partir de 1995: TRI
• INEP
1995 1997 1999 2001 2003 2005 2007 2009
SAEB
li õ d i i i i
1995 1997 1999 2001 2003 2005 2007 2009
SAEB e Prova Brasil
• Avaliações estaduais e municipais
MG (2000), CE (1992), RS, RJ, PE, SP, ES, BA.
![Page 21: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/21.jpg)
Características das avaliações em larga escala no Brasil
1° Momento
2° Momento
3° Momento
![Page 22: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/22.jpg)
BIB ‐ SAEB ATÉ 2005
CADERNO BLOCOS CADERNO BLOCOSPOS1 POS2 POS3 POS1 POS2 POS3
1 1 2 5 14 1 3 82 2 3 6 15 2 4 93 3 4 7 16 3 5 10
CADERNO CADERNO
4 4 5 8 17 4 6 115 5 6 9 18 5 7 126 6 7 10 19 6 8 137 7 8 11 20 7 9 17 7 8 11 20 7 9 18 8 9 12 21 8 10 29 9 10 13 22 9 11 310 10 11 1 23 10 12 411 11 12 2 24 11 13 511 11 12 2 24 11 13 512 12 13 3 25 12 1 613 13 1 4 26 13 2 7
![Page 23: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/23.jpg)
BIB‐ A PARTIR DE 2005
![Page 24: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/24.jpg)
FUNDAMENTOS DA TRI
MÉTODOS DE ESTIMAÇÃO
MÉTODOS DE LINKAGENS
PARÂMETROS DE ITENS
MMLMODELO LOGÍSTICO
LINEARES
REGRESSÃO LINEAR
MÉDIA/SIGMAMML
MMAP1LP
2LP
1LP
2LP
MÉDIA/SIGMA
MÉDIA/MÉDIA
CURVA CARACTERÍSTICA
SCORES
ML
3LP3LP
NÃO LINEARESMAP
EAP
NÃO LINEARES
CALIBRAÇÃO SIMULTÂNEA
PRÉ‐FIXAÇÃO DE PARÂMETROS ‐ FPIPÇ
Testes Unidimensionais compostos por itensdicotômicos
![Page 25: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/25.jpg)
1 PL
Dicotômico 2 PL
3 PLUIRT
Politômico
3 PL
Modelo de crédito parcial
Modelo de crédito parcial generalizadoModelo
o tô co
Modelo de resposta ponderada
Modelo de resposta nominal
Modelo de crédito parcial generalizado
MIRT
Dicotômico
Politômico
MODELOS MATEMÁTICOS
![Page 26: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/26.jpg)
MODELOS MATEMÁTICOS DA TRI
R l ã b bilid d d i• Relação entre a probabilidade de acerto ao item e a
habilidade do respondente
Relação não linear Relação não‐linear
![Page 27: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/27.jpg)
Relação não‐linear
1)1()/1( iiiibiXiP )(1)1(),,,/1( biaiDe
ciciciaibiXiP
![Page 28: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/28.jpg)
MODELOS DA TRIMODELOS DA TRI
![Page 29: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/29.jpg)
MODELOS DA TRI – 3PLITEM PARÂMETROS
1certo
ITEM PARÂMETROSA B C
1 0,010 250 0,301
bilid
ade
de A
cP
roba
b
0,5
0,30,3
Proficiência250
![Page 30: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/30.jpg)
MODELOS DA TRI – 3PLITEM PARÂMETROS
1certo
ITEM PARÂMETROSA B C
1 0,010 250 0,301
bilid
ade
de A
cP
roba
b
0,65
0,5
0,30,3
Proficiência250
![Page 31: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/31.jpg)
MODELOS DA TRI – 3PLITEM PARÂMETROS
1certo
ITEM PARÂMETROSA B C
1 0,010 250 0,301
bilid
ade
de A
cP
roba
b
0,65
0,5
0,30,3
Proficiência250
![Page 32: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/32.jpg)
MODELOS DA TRI – 3PLITEM PARÂMETROSITEM PARÂMETROS
A B C1 0,010 250 0,30
1certo
1
bilid
ade
de A
c
1
Pro
bab
0,65
1
0,5
0,30,3
Proficiência250
![Page 33: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/33.jpg)
MODELOS DA TRI – 3PLITEM PARÂMETROSITEM PARÂMETROS
A B C1 0,010 250 0,302 0 020 250 0 301ce
rto
2 0,020 250 0,301
bilid
ade
de A
c
1
2
Pro
bab
0,65
1
0,5
0,30,3
Proficiência250
![Page 34: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/34.jpg)
MODELOS DA TRI – 3PLITEM PARÂMETROSITEM PARÂMETROS
A B C1 0,010 250 0,302 0 020 250 0 301ce
rto
2 0,020 250 0,303 0,020 350 0,30
1
bilid
ade
de A
c
1
2
Pro
bab
0,65
1
0,5
0,3
3
0,3
Proficiência250 350
![Page 35: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/35.jpg)
MODELOS DA TRI – 3PLITEM PARÂMETROSITEM PARÂMETROS
A B C1 0,010 250 0,302 0 020 250 0 301ce
rto
2 0,020 250 0,303 0,020 350 0,304 0,020 350 0,20
1
bilid
ade
de A
c
1
2
Pro
bab
0,65
1
0,5
0,3 4
3
0,3 4
Proficiência250 350
![Page 36: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/36.jpg)
EXEMPLOS DE ITENS – discriminação boa
![Page 37: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/37.jpg)
EXEMPLOS DE ITENS – discriminação ruim
![Page 38: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/38.jpg)
LINKAGEMLINKAGEM
• Cultura de uma escala única nacional – SAEB
• Características da avaliação em larga escala de 1995Características da avaliação em larga escala de 1995
a 2007
![Page 39: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/39.jpg)
Equalização Vertical
• Avaliações do SAEB• Avaliações do SAEB
• Testes com conteúdos diferentes
• Testes com descritores diferentes• Testes com descritores diferentes
• Populações não equivalentes
![Page 40: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/40.jpg)
Designs ou Delineamentos para coleta de dados
Design para grupos não equivalentes através de itens comuns
Forma X Forma Y
Itens comunscomum
Itens comunscomum
Grupo 1 Grupo 2
omum omum
![Page 41: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/41.jpg)
LINKAGEM• Processo para colocar diferentes testes em uma mesma
escala (equalização vertical)
DESIGN TESTE SAEPE 2008 LÍNGUA PORTUGUESA 4ª SÉRIE EF 8ª SÉRIE EF 3º ANO EM
ITENS COMUNS ENTRE GRUPOS
• Método adotado: Vertical equating
![Page 42: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/42.jpg)
TRI padrão SAEBMÉTODOS DE LINKAGENS
MÉTODOS DE ESTIMAÇÃO
PARÂMETROS DE ITENS
LINEARES
MML
MMAP
MODELO LOGÍSTICO
1LP1LP
REGRESSÃO LINEAR
MÉDIA/SIGMA
MÉDIA/MÉDIA
SCORES
2LP
3LP
2LP
3LP
CURVA CARACTERÍSTICA
ML
MAP
EAP
NÃO LINEARES
CALIBRAÇÃO SIMULTÂNEAEAP CALIBRAÇÃO SIMULTÂNEA
PRÉ‐FIXAÇÃO DE PARÂMETROS ‐ FPIP
T U idi i i iTestes Unidimensionais compostos por itensdicotômicos
![Page 43: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/43.jpg)
MEDIDAS E ESCALASMEDIDAS E ESCALAS
• COMO MEDIR A HABILIDADE DOS ALUNOS
• A ESCALA SAEB• A ESCALA SAEB
• CONTRUÇÃO DE TESTESÇ
![Page 44: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/44.jpg)
COMO MEDIR A HABILIDADE DOS ALUNOSCOMO MEDIR A HABILIDADE DOS ALUNOS • Matriz de referência
D i d t t• Design do teste
![Page 45: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/45.jpg)
ESCALAS DE PROFICIÊNCIACurva normal
![Page 46: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/46.jpg)
ESCALA SAEB
![Page 47: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/47.jpg)
9° ano EF9 ano EF
250
ESCALA SAEBESCALA SAEB
![Page 48: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/48.jpg)
3° ano EM5° ano EF 3 ano EM5 ano EF
250 270
ESCALA SAEBESCALA SAEB
![Page 49: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/49.jpg)
3° ano EMF9° ano EF5° ano EF 3 ano EMF9 ano EF5 ano EF
250 270190
ESCALA SAEBESCALA SAEB
![Page 50: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/50.jpg)
ESCALAESCALA
![Page 51: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/51.jpg)
CONTRUÇÃO DE TESTESCONTRUÇÃO DE TESTES
AJUSTE DA POPULAÇÃO AO TESTEAJUSTE DA POPULAÇÃO AO TESTE
![Page 52: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/52.jpg)
TESTE TESTE COM DISTRIBUIÇÃO DE DIFICULDADE COMPATÍVEL COM COM DISTRIBUIÇÃO DE DIFICULDADE COMPATÍVEL COM POPULAÇÃO AVALIADAPOPULAÇÃO AVALIADA
2011 2011 –– 33°° ANO ANO –– LÍNGUA PORTUGUESALÍNGUA PORTUGUESA
![Page 53: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/53.jpg)
TESTE TESTE COM DISTRIBUIÇÃO DE DIFICULDADE NÃO COMPATÍVEL COM COM DISTRIBUIÇÃO DE DIFICULDADE NÃO COMPATÍVEL COM POPULAÇÃO AVALIADAPOPULAÇÃO AVALIADAÇÇ
SPAECE 2011 SPAECE 2011 –– 33°° ANO ANO –– MATEMÁTICAMATEMÁTICA
![Page 54: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/54.jpg)
III – INDICADORES DE DESEMPENHOIII IN ICA OR S S MP NHO
• BOLETIM DE RESULTADOS CAEd• BOLETIM DE RESULTADOS CAEd
• SÉRIE HISTÓRICA SAEB
• IDEBIDEB
![Page 55: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/55.jpg)
PRINCIPAIS PRODUTOS DA TRIPRINCIPAIS PRODUTOS DA TRI
‐ Interpretação pedagógica da escalaInterpretação pedagógica da escala
‐ Comparabilidade de resultados:
‐ Entre diferentes avaliações em um mesmoperíodo de tempop p
‐ Entre diferentes avaliações em diferentesperíodos de tempoperíodos de tempo
![Page 56: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/56.jpg)
RESULTADOSRESULTADOSRESULTADOSRESULTADOS
Participação
Medidas de DesempenhoMedidas de Desempenho
Proficiência Média
Percentual de alunos por Padrões de Desempenho
Desvio PadrãoDesvio Padrão
![Page 57: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/57.jpg)
Interpretação de medidas de desempenho educacional
![Page 58: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/58.jpg)
III – INDICADORES DE DESEMPENHOSé i hi tó i SAEB R d úbli LÍNGUA PORTUGUESA• Série histórica SAEB – Rede pública LÍNGUA PORTUGUESA
270.0
290.0
310.0
210 0
230.0
250.0 5ºEF9ºEF3ºEM
170.0
190.0
210.0 3 EM
150.01995 1997 1999 2001 2003 2005 2007 2009
![Page 59: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/59.jpg)
Série histórica SAEB – Rede pública MATEMÁTICA
290
250
270
290
210
230 5ºEF9ºEF3ºEM
150
170
190
1501995 1997 1999 2001 2003 2005 2007 2009
![Page 60: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/60.jpg)
IDEB
F l d Id b IDEB N PForma geral do Ideb: IDEB = N . P
• N = média da proficiência em Língua Portuguesa e
Matemática padronizada para um indicador entreMatemática, padronizada para um indicador entre
0 e 10, no exame realizado ao final da etapa de ensino
• P = indicador de rendimento baseado na taxa deP indicador de rendimento baseado na taxa de
aprovação da etapa de ensino
![Page 61: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/61.jpg)
![Page 62: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/62.jpg)
Evolução do Ideb ‐ Brasilç• Rede Pública – Anos Iniciais Ens. Fundamental
![Page 63: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/63.jpg)
Evolução do Ideb ‐ Brasil• Rede Pública – Anos Finais Ens. Fundamental
![Page 64: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/64.jpg)
Evolução do Ideb ‐ Brasilç• Rede Pública – Ensino Médio
![Page 65: SPAECE - Medidas Estatísticas.ppt [Modo de Compatibilidade]€¦ · período de tempo ‐Entre diferentes avaliações em diferentes períodos de tempo. Como ... • COMO MEDIR A](https://reader030.fdocumentos.tips/reader030/viewer/2022040309/5f1bab9dc9021467bf3ca72e/html5/thumbnails/65.jpg)
Evolução do Ideb ‐ Estadosç• Rede Pública – Anos Iniciais Ens. Fundamental