Avaliações Internacionais de Alunos em Larga Escala O...
Transcript of Avaliações Internacionais de Alunos em Larga Escala O...
Avaliações Internacionaisde Alunos em Larga EscalaO Desafio do PISA 2015
João Marôco, Ph. D. (PISA 2015 NPM)
O que é o PISA?
Programme for International Student Assessment …… avalia se os alunos de 15 anos, em todas as modalidades de educação e formação, conseguem mobilizar os seus conhecimentos e competências de leitura, matemática ou ciências na resolução de situações relacionadas com o dia a dia das sociedades contemporâneas.
O que é o PISA?
Domínios de Avaliação (OCDE, 2016):
LITERACIA CIENTÍFICA
«Capacidade de um indivíduo para se envolver em questões sobre ciência e compreender ideias científicas, como um cidadão reflexivo, sendo capaz de participar num discurso racional sobre ciência e tecnologia».
LITERACIA LEITURA
«Capacidade de um indivíduo compreender, utilizar, refletir e se envolver na leitura de textos escritos, com a finalidade de atingir os seus objetivos, de desenvolver os seus conhecimentos e o seu potencial e de participar na sociedade».
LITERACIA MATEMÁTICA
«Capacidade de um indivíduo formular, aplicar e interpretar a matemática em contextos diversos e formular juízos e decisões fundamentadamente, como cidadão participativo, empenhado e reflexivo».
Formular Aplicar Interpretar Localizar Interpretar Avaliar Explicar Avaliar Interpretar3
RESOLUÇÃO COLABORATIVA DE PROBLEMAS
«Capacidade de um individuo para trabalhar com duas ou mais pessoas para tentar resolver um problema».
Interagir Colaborar Resolver
O teste PISA
33%
33% 22%
4%4%
4%
DESIGN do TESTE:Tempo de testagem para todos os domínios: 13h 30min.
Duração do Teste: 2 h - Itens omissos planeados/Design matricial múltiplo (planned missingness)
( + 30 min. Student Questionnaire)
Em cada edição PISA: Domínio Principal + Domínios secundários
2015: • Domínio principal – Ciências – 1 h teste – todos os alunos• Domínios secundários – Proporções diferentes de alunos – 1 h• 66 versões de testeQuestionários aos alunos, professores e enc. de educação
• Itens de seleção e construção• Fontes e suportes variados (textos, mapas, gráficos, tabelas, figuras e simulações em computador• 3 Domínios clássicos (Ciências, Leitura, Matemática) + 1 novo domínio (resolução colaborativa de problemas)
O teste PISA
A Literacia Matemática no PISA 2015
Processos matemáticos
Formular matematicamente as situações Aplicar conceitos, factos, procedimentos
e raciocínio matemáticos Interpretar, aplicar e avaliar resultados
matemáticos
Conteúdosmatemáticos
Variações e relações Espaço e forma Grandezas Incerteza e dados
Contextos
Individual Ocupacional Societal Científico
CAPACIDADES FUNDAMENTAIS
1. Comunicação;2. Matematização;3. Representação;4. Raciocínio e argumentação;5. Conceção de estratégias de
resolução de problemas;6. Utilização de linguagem
simbólica, formal e técnica e de operações;
7. Utilização de ferramentas matemáticas
IAVE (2016); OCDE (2016)
O teste PISA 2015
PORTUGAL
Formato tradicional do PISA:
Papel-e-Lápis
Exemplo de item de
Ciências
O teste PISA 2015
PORTUGAL
Formato tradicional do PISA:
Papel-e-Lápis
Exemplo de item de
Matemática
O teste PISA 2015NOVO FORMATO: Computer Based Assessment
(Avaliação em Computador)
O teste PISA 2015CBA
Exemplo de item de seleção complexaMatemática
10
O teste PISA 2015CBA
Exemplo de item de construçãoMatemática
11
O teste PISA 2015
CBA
Exemplo de item interativo deCiências
12
Novos Desafios para o PISA: CBA vs. PBA
A avaliação em computador tem várias vantagens:• Logística;• Codificação automática;• Fiabilidade de resultados;• Supervisão em tempo real;• Disponibilidade de Resultados;• Itens interativos e simulação de dados;…• Custos financeiros.
Evolução do PISA: Paper Based Assessment Computer Based Testing Computer Adaptive Testing
Novos Desafios para o PISA: CBA vs. PBA
Leitura Matemática Ciências Leitura Matemática Ciências
PBA CBA
Problemas com o CBA? INVARIÂNCIA DE MODO?Como “ligar” os resultados dos ciclos PBA vs. CBA?
• Testes CBA têm validade e fiabilidade?
INVARIÂNCIA DE MODO:
• Os itens/testes em PBA vs. CBA:
1. Têm o mesmo índice de dificuldade?2. Têm o mesmo índice de discriminação?
• Existe efeito de “modo” nos resultados e comparação de países PBA vs. CBA?
• É possível “ligar” os resultados (itens trend) dos ciclos PBA com os novos ciclos CBA?
Novos Desafios para o PISA: CBA vs. PBA
Estudo PilotoINVARIÂNCIA DE MODO (2014):
Trend
PBA (23%)
CBA(35%)
CBA(42 %)
New & CPS
AMOSTRA: 53 Paísesn 2000/país
25-30 escolas/paísni 70 alunos/escola
2 salas em simultâneo (PBA + CBA)
1 sala ou outro período do dia.
von Davier & Sakamoto (ETS), Com. Pess., Novembro 2014]
Nota: A dimensão das amostras nacionais (n=1000-2000) é demasiado pequena para inferências válidas por país.
Novos Desafios para o PISA: CBA vs. PBA
Invariância de modo PBA vs. CBA?RESULTADOS:
Domínio Médias Internacionais (P+)
CBA PBA CBA - PBA
Matemática 0,45 0,47 -0,02
Leitura 0,60 0,59 +0,01
Ciências-Trend 0,49 0,50 -0,01
Ciências-New (FT Test) 0,41 - -
Teoria Clássica de Testes:P+: proporção de respostas corretas; ou média relativa dos scores dos itens politómicos
… CBA ligeiramente mais difícil; diferenças de P+ irrelevantes entre os dois modos!
Novos Desafios para o PISA: CBA vs. PBA
Invariância de modo PBA vs. CBA?RESULTADOS:
Taxa de Não Respostas (318 itens, aplicados em 45 países com CBA & PBA):
2015 Média Internacional
Formato CBA PBA CBA - PBA
% não-respostas 4,7 5,2 -0,5
Efeito de Omissão 2,0 2,6 -0,6
Efeito de Omissão: P+ (calculados com ‘não respostas’ como erradas) - P+ (não considerando as ‘não respostas’)Efeito de Omissão forte: > 5%
(P+: proporção de respostas corretas; ou média relativa [M/maxscore] dos scores nos itens politómicos)
CBA: reduz ligeiramente a % não respostas e efeito de omissão.
2015Formato CBA PBA
Nº itens (média/país) comEfeito de Omissão forte
32,5 44,5
Novos Desafios para o PISA: CBA vs. PBA
Invariância de modo PBA vs. CBA?RESULTADOS:
Teoria Clássica de Testes:Efeito de Posição (a posição dos blocos de itens afeta a P+?)
CBA reduz efeito da localização dos itens no teste …
CBA (2015) Posição1 Posição2 Posição3 Posição4 Pos.4 – Pos.1
Matemática 0,439 0,454 0,432 0,427 -0,012
Leitura 0,575 0,580 0,566 0,544 -0,031
Ciências 0,409 0,418 0,401 0,385 -0,024
PBA (2009) Posição1 Posição2 Posição3 Posição4 Pos.4 – Pos.1
Matemática 0,411 0,401 0,384 0,371 -0,040
Leitura 0,581 0,557 0,532 0,499 -0,083
Ciências 0,490 0,478 0,457 0,435 -0,055
Novos Desafios para o PISA: CBA vs. PBA
Invariância de modo PBA vs. CBA?RESULTADOS:
Teoria de Resposta ao ItemComparação entre os itens PBA vs. CBA mixed IRT models (Rasch/PCM, 2PL/GPCM)
0
1
2
3
0 1 2 3
Dis
crim
inaç
ãoC
BA
(a)
Discriminação PBA (a)
CMC Computer Human SMC
r ()=0,89r ()=0,89r ()=0,90r ()=0,94
-3
-2
-1
0
1
2
3
-4 -2 0 2 4
Difi
culd
ade
CB
A (b
)Dificuldade PBA (b)
CMC Computer Human SMC
r ()=0,94r ()=0,96r ()=0,94r ()=0,93
Correlações fortes entre parâmetros de discriminação (a) e dificuldade (b) das CCI por tipologia de codificação do item…
Novos Desafios para o PISA: CBA vs. PBA
Invariância de modo PBA vs. CBA?RESULTADOS:
Teoria de Resposta ao ItemComparação entre os itens PBA vs. CBA mixed IRT models (Rasch/PCM, 2PL/GPCM)
Correlações fortes entre parâmetros de discriminação (a) e dificuldade (b) das CCI por domínio…
Domínio Parâmetro de Discriminaçãor (aPBA, aCBA)
Parâmetro de Dificuldader (bPBA, bCBA)
Matemática 0,91 0,95
Leitura 0,89 0,94
Ciências 0,94 0,93
Todos os domínios 0,91 0,94
Novos Desafios para o PISA: CBA vs. PBA
300
350
400
450
500
550
600
650
300 350 400 450 500 550 600 650
PBA
CBA
0
0
1000
1000////
1 : 1
Correlação entre as pontuações médias por domínio CBA vs. PBA
MATEMÁTICA (r = 0,97; b = 1,05)
CIÊNCIAS (r = 0,97; b = 1,06) LEITURA (r = 0,96; b = 0,98)
Invariância de modo PBA vs. CBA?RESULTADOS:
Novos Desafios para o PISA: CBA vs. PBA
Invariância de modo PBA vs. CBA?CONCLUSÕES:
Novos Desafios para o PISA: CBA vs. PBA
• CBA reduz a taxa de não respostas• Itens CBA ligeiramente mais difíceis que PBA (diferenças irrelevantes entre P )• CBA reduz Efeito de Omissão• CBA reduz Efeito de Posição dos itens/blocos no teste …• Comparabilidade dos itens trend entre 2000-2012 (PBA) e 2015 (CBA trend)• Correlações entre os parâmetros de dificuldade e discriminação das ICC para PBA e CBA elevadas
no geral, por tipologia de item e por domínio (r =0,89-0,95)• Correlações elevadas entre domínios estimados em PBA vs. CBA (r =0,96-0,97)
• Mixed multigroup IRT (RM/PCM; 2PL/GPCM) permitem manter a continuidade da série PISA (2000-2015-…)
• Não há efeito de modo de aplicação (PBA vs. CBA) relevante quer de acordo com a TCT quer com a TRI (invariância de modo)
• Entre PBA e CBA são esperados 75-85% parâmetros comuns por domínio; i. e. ~ 4-5 clusters em 6 clusters trend comuns: uma ligação mais forte do que a observada em ciclos anteriores!
PISA 2015
PISA 2015
72 Países e economias: 17 565 escolas
509 000 alunos
143 000 enc. de educação
95 000 professoresPAÍSES MEMBROS DA OCDE: PAÍSES E ECONOMIAS NÃO MEMBROS DA OCDE:
Austrália, Áustria, Bélgica, Canadá, Chile, República Checa,Dinamarca, Estónia, Finlândia, França, Alemanha, Grécia,Hungria, Islândia, Irlanda, Israel, Itália, Japão, Letónia,Luxemburgo, México, Holanda, Nova Zelândia, Noruega,Polónia, Portugal, República Eslovaca, Eslovénia, República daCoreia, Espanha, Suécia, Suíça, Turquia, Reino Unido, EstadosUnidos da América.
Albânia, Argélia, Argentina, Brasil, Bulgária, as provinciais de Beijing-Shangai-Jiangsu-Guandong da China [reportadas como B-S-J-G(China)], Hong Kong (China), Macau (China), Colômbia, Costa Rica,Croácia, Chipre, República Dominicana, Geórgia, Indonésia, Jordânia,Cazaquistão, Kosovo, Líbano, Lituânia, Antiga República Jugoslava daMacedónia, Malásia, Malta, Moldávia, Montenegro, Peru, Catar,Roménia, Federação Russa, Singapura, Taipé Chinês, Tailândia,Trindade e Tobago, Tunísia, Emirados Árabes Unidos, Uruguai.Vietname.(países em itálico – PBA)
Quem participou
Escolas/alunos selecionadas por amostragem aleatória multietapa: 1ª. Etapa: aleatória estratificada (NUTS III e Natureza Administrativa); 2ª. Etapa: aleatória simples (alunos com idades entre 15 anos e 3 meses e 16 anos e 2 meses a frequentar pelo menos o 7.º ano ou equivalente em todas as modalidades de educação e formação)
246 (222 públicas + 24 particulares e cooperativas)(Taxa Amostragem: 24%)
4228 (M = 46,7 anos; 72% ♀)
7325 (M = 15,8 anos; 50% ♂) (Taxa Amostragem: 7,5%)
R. A. Açores: 21% (sobreamostragem)A. M. Lisboa: 18%A. M. Porto: 13%Outras NUTS III: 1 - 4,5 %
6881 Encarregados de educação
PISA 2015Amostra Nacional
459
501
470
498
454
492
400
420
440
460
480
500
520
540
2000 2003 2006 2009 2012 2015
Pont
uaçã
o na
Esc
ala P
ISA
Ano
Ciências Leitura Matemática1000
0
OCDE
Portugal
n
PISA 2015Resultados Nacionais
400 450 500 550READ Score
PORTUGAL
400 450 500 550MATH Score
450 475 500 525 550SCIE Score
PISA 2015Resultados Regionais (NUTS III)
Obrigado pela atenção!