AVALIAÇÃO ESTADUAL Comparada às Nacionais: SAEB e ENEM
-
Upload
centro-de-midias-de-educacao-do-amazonas -
Category
Education
-
view
15.929 -
download
2
description
Transcript of AVALIAÇÃO ESTADUAL Comparada às Nacionais: SAEB e ENEM
AVALIAÇÃO ESTADUALComparada às Nacionais:
SAEB e ENEM
Março/2010
O QUE É SADEAM?É o Sistema de Avaliação do Desempenho Educacional
do Amazonas, que nos dois primeiros anos avaliou os
alunos do 5º e 9º anos do Ensino Fundamental e 3ª série
do Ensino Médio e EJA médio, mas, também pretende
avaliar:
• Coordenadores;
• Gestores;
• Professores;
• Seduc-sede.
OBJETIVOS Diagnosticar o nível de aprendizagem dos alunos dos anos
iniciais e finais do ensino fundamental em língua portuguesa e matemática, bem como suas competências e habilidades descritas na matriz do SAEB;
Diagnosticar o nível de aprendizagem dos alunos do ensino médio (regular e EJA) nas competências e habilidades descritas na matriz do ENEM;
Identificar os fatores intervenientes no processo ensino-aprendizagem, como ambiente físico, gestão administrativa e participativa, gestão pedagógica e gestão do pedagogo.
Compor o Índice de Desenvolvimento Educacional do Amazonas - IDEAM;
Orientar ações para melhoria do ensino.
CARACTERÍSTICAS DAS AVALIAÇÕES
SAEB ANTIGO ENEM NOVO ENEM
Pesquisa por amostra Avaliação por adesão Avaliação por adesão
Matriz de referência construída a partir das respostas nos item - TRI
Matriz baseada em 5 grandes competências- TCT
Matriz de referência em 4 áreas de conhecimento, construída a partir das respostas dos alunos - TRI
Resultados refletem o desempenho da rede de ensino
Resultado reflete apenas o resultado do aluno
Resultado pode refletir o desempenho da escola
Quando se desenvolve um teste objetiva-se, utilizando esse instrumento, obter uma amostra de comportamentos (que representem algo latente, não passível de observação direta).
TEORIA DA MEDIDA
Ao se fazer uso de um teste o comportamento é quantificado de alguma forma a fim de que se obtenha um escore numérico (Lord,1980).
Na teoria da medida o significado de uma mensuração, incluindo um escore em um teste, requer a especificação de uma comparação.
TEORIA DA MEDIDA
Por exemplo, a mensuração de altura envolve a comparação entre o comprimento de uma pessoa e o comprimento de uma medida, como uma escala métrica (Embretson & Reise, 2000)
Uma comparação tem duas características que devem ser especificadas: (a) o padrão com o qual um escore é comparado e (b) a base numérica da comparação (ordem, diferença, relação, etc.).
Para a medida de altura: o padrão com o qual uma pessoa é comparada é uma escala métrica e a base numérica é uma relação
TEORIA DA MEDIDA
Na TCT o padrão para comparações entre escores é outra pessoa (ou seja, a distribuição dos escores) e a base numérica da comparação é ordinal.
Na TRI os níveis do traço latente têm significado em comparação com itens. Pessoas e itens são colocados em uma escala comum nos modelos da TRI (Embretson & Reise, 2000).
TCT – TEORIA CLÁSSICA DOS TESTES
Preocupação: explicar o resultado final total, isto é, a soma das respostas dadas a uma série de itens, expressa no escore total (T).
Interesse: produzir testes de qualidade.
O foco é o comportamento (escore num teste – conjunto de comportamentos).
TCT – TEORIA CLÁSSICA DOS TESTESEXEMPLO
Sujeito Item 1 Item 2 Item 3 Item 4 Item 5 Escore total
1 1 1 0 0 0 2
2 0 1 1 0 0 2
3 1 1 0 1 0 3
4 1 1 1 0 0 3
5 1 0 1 0 1 3
6 1 1 1 1 0 4
7 1 1 1 0 1 4
8 1 1 0 1 1 4
LIMITAÇÕES DA TCT
Talvez a falha mais importante da TCT é que as características dos examinandos e as características do teste não podem ser separadas: cada um só pode ser interpretado no contexto do outro.
A habilidade de um examinando é definida somente em termos de um teste particular.
Quando o teste é “difícil” o examinando parecerá ter baixa habilidade; quando o teste é “fácil” o examinando parecerá ser mais habilidoso.
LIMITAÇÕES DA TCT
Se um item é difícil ou fácil, depende da habilidade dos examinandos que estão sendo testados, e a habilidade dos examinandos depende se os itens do teste são fáceis ou difíceis!
Assim, é muito difícil comparar examinandos que fizeram testes diferentes e muito difícil comparar itens cujas características foram obtidas usando diferentes grupos de examinandos.
LIMITAÇÕES DA TCT
Quais as conseqüências práticas de características do item dependerem do grupo de examinandos do qual elas foram obtidas, isto é, são grupo-dependentes?
Quais são as conseqüências dos escores dos examinandos serem dependentes de um conjunto particular de itens administrado, isto é, são teste-dependentes?
LIMITAÇÕES DA TCT
É difícil comparar examinandos que fazem testes diferentes: os escores nos dois testes estão em escalas diferentes e não existe relação funcional entre as escalas.
Quando os examinandos são de habilidades diferentes (i. é., o teste é mais difícil para um grupo do que para outro), seus escores no teste contêm diferentes quantidades de erro.
TRI – TEORIA DE RESPOSTA AO ITEM
As características desejáveis de uma teoria de teste
alternativa incluiriam:
(a) características dos itens não grupo-dependentes,
(b) escores dos examinandos não teste-dependentes,
(c) modelo expresso no nível do item ao invés do teste,
(d) modelo que não requer formas de teste estritamente
paralelas para avaliar a fidedignidade,
(e) modelo que provê uma medida da precisão para cada
escore.
CARACTERÍSTICA DA TRIEstimativas da habilidade dos examinandos não
são teste-dependentes.
Os índices dos itens não são grupo-dependentes.
As estimativas das habilidades obtidas de diferentes conjuntos de itens serão as mesmas (exceto por erros amostrais).
Na TRI os parâmetros dos itens e a habilidade são invariantes.
POSTULADOS DA TRI A TRI baseia-se em dois postulados:
I. O desempenho de um examinando em um item pode ser predito (ou explicado) por um conjunto de
fatores chamados traços latentes ou habilidade;
II. A relação entre o desempenho de um examinando em um item e o conjunto de traços presentes pode ser descrita por uma função monotônica crescente: Função Característica do Item ou Curva Característica do Item (CCI).
TCT versus TRI
TCT TRI
A fidedignidade tem prioridade na construção dos testes
A função de informação tem prioridade na construção dos testes
A dificuldade dos itens não tem papel decisivo na construção dos testes
A dificuldade dos itens tem papel decisivo na construção dos testes
O teste é avaliado como um todo
Os itens são as unidades de análise
PARÂMETROS
valor de a discriminação
0 nenhuma
0.01 a 0.34 muito baixa
0.35 a 0.64 Baixa
0.65 a 1.34 Moderada
1.35 a 1.69 alta
> 1.7 muito alta
+ perfeita
classificação do item quanto à dificuldade
muito fácil
fácil
médio
díficil
muito díficil
SADEAM 2008Como foi realizado?
Elaboração de Item
Matriz ENEM
Divulgação dos Resultados e Oficina com as Escolas
Pré – testagem dos itens Análise dos Itens
Construção das Provas
Encaminhamento do Material Aplicação
Retorno e conferência
Processamento e constituição
das bases de dados
Análise dos dados
Desempenho – Prova
+ Fluxo EscolaIDEAM
Fatores Contextuais – Questionários
Indicadores de Qualidade da Escola
Fatores Associados
SADEAM 2008Resultados
Desempenho 3º ano
SADEAM 2008Resultados
Competências ENEMI. Dominar a norma culta da Língua Portuguesa e fazer uso das linguagens matemática, artística e científica.
II. Construir e aplicar conceitos das várias áreas do conhecimento para a compreensão de fenômenos naturais, de processos histórico-geográficos, da produção tecnológica e das manifestações artísticas.
III. Selecionar, organizar, relacionar, interpretar dados e informações representados de diferentes formas, para tomar decisões e enfrentar situações-problema.
IV. Relacionar informações, representadas em diferentes formas, e conhecimentos disponíveis em situações concretas, para construir argumentação consistente.
V. Recorrer aos conhecimentos desenvolvidos na escola para elaboração de propostas de intervenção solidária na realidade, respeitando os valores humanos e considerando a diversidade sociocultural.
SADEAM 2008Resultados
SADEAM 2008Resultados
SADEAM 2008Indicadores de Qualidade
• Foram definidos seis indicadores de qualidade que abordam três dimensões: Gestão Escolar, Práticas Pedagógicas e Ambiente Físico.
• Os indicadores de qualidade são numéricos e individuais para cada instituição e município.
• Os indicadores ainda pretendem evidenciar características das escolas /municípios e indicar possíveis ações internas que buscam garantir bons resultados escolares.
SADEAM 2008Indicadores de Qualidade
Escola
Diretor
Práticas Pedagógicas
Ambiente
Coordenador
Professor
Aluno
Gestão
Perfil
Gestão do Pedagogo
Gestão Administrativa Participativa
Práticas de Ensino
Práticas de incentivo ao uso da Biblioteca
Gestão Política
SADEAM 2008Indicadores de Qualidade
ESPECIFICAÇÃO
1ª SÉRIE (AP%)
2ª SÉRIE (AP%)
3ª SÉRIE (AP%)
TOTAL
Número de
séries
T=Tempo Médio
para concluir 1 série
P = 1/TN= Nota padroniz
adaN*P
ESCOLA X 75,0 78,0 89,0 80,7
ESPERADO 100,0 100,0 100,0 100,0
TEMPO PARA CONCLUIR 1,3 1,3 1,1 3,7 3 1,2460,802 5,0 4,01
COMPOSIÇÃO DO IDEAM- Ens. Médio
IDEAM - Médio = N x P onde:N = Nota obtida na prova objetiva com equivalência de 0 a 10 pontos. P = inverso do tempo médio de conclusão na etapa de ensino (aferido através da taxa de aprovação de cada série da etapa de ensino).Sendo que: N ~ 0 a 10 e P ~ 0 a 1
O IDEAM - Médio, utiliza metodologia específica do estado, portanto, NÃO PODE SER COMPARADO AO IDEB_Médio.
Menos de 2 pontos
De 2,0 a 2,5 pontos
De 2,6 a 3,0 pontos
De3,1 a 4,0 pontos
Mais de 4,0 pontos
ENS. MÉDIO REGULAR- IDEAM REDE ESTADUAL - MÉDIA POR MUNICÍPIO
ÍNDICE DE DESENVOLVIMENTO DA EDUCAÇÃO DO AMAZONAS
ENSINO MÉDIO- 2008
LOCAL MÉDIO REGULAR EJA
CAPITAL 2,0 1,7
INTERIOR 2,4 2,0
ESTADO 2,2 1,9Fonte: CESPE- UnB/SEDUC/DEPLAN/GEPIE
“...escola eficaz é aquela que viabiliza que seus alunos apresentem
desempenho educacional além do esperado, face à origem social dos
alunos e à composição social do corpo discente da escola.”
Mortimore, P.
Obrigada!