Para que servem as avaliações externas de escolas de ... · Uma competência exige o domino e uso...
Transcript of Para que servem as avaliações externas de escolas de ... · Uma competência exige o domino e uso...
Para que servem as avaliações externas de escolas de ensino básico?
José Francisco Soares José Francisco Soares [email protected]
GAME – FAE – UFMG
Inhotim, 26 de outubro de 2011
S á iS á iSumárioSumário
Competências na Educação Básica
Competência Leitora
Comparação de Escolas
IDEB
R lt d d P iResultado da Pesquisa
Ed ã E lEd ã E lEducação EscolarEducação Escolar
Adquirir competências cognitivas
D l l iDesenvolver talentos pessoais
Desenvolver senso de responsabilidade social
Socialização das crianças e jovens
Instruir, mas também educar
C tê i C tê i Competência Competência
Todo aprendizado é o aprendizado de alguma competência.
As aprendizagens na educação básica são aquelas que
preparam os alunos para a execução das tarefas necessárias
para a participação ativa e produtiva na sociedadepara a participação ativa e produtiva na sociedade.
Competência é a capacidade de executar com sucesso tarefas
complexas.
“Complexas” porque as ações concretas do cotidianoComplexas porque as ações concretas do cotidiano
envolvem, várias dimensões e são, portanto, complexas.
H bilid dH bilid dHabilidadeHabilidade
Habilidade à capacidade de realização de ações simples de
contorno bem definido.contorno bem definido.
Uma competência exige o domino e uso harmônico e
concomitante de várias habilidades.
As ações que caracterizam cada habilidade podem serAs ações que caracterizam cada habilidade podem ser
classificadas em três dimensões: os processos cognitivos
exigidos para sua realização, pelos conhecimentos específicosg p ç , p p
que mobilizam e pelo contexto no qual são exigidas.
C tê i E i iC tê i E i iCompetências EssenciaisCompetências Essenciais
“Art 210 Serão fixados conteúdos mínimos para o ensinoArt. 210. Serão fixados conteúdos mínimos para o ensino
fundamental, de maneira a assegurar formação básica comum e
respeito aos valores culturais e artísticos, nacionais e regionais.”
(BRASIL, CF, 88)
U iã E iU iã E iUnião EuropeiaUnião Europeia
Comunicação na língua materna
Comunicação em línguas estrangeiras
Competência matemática e competências básicas em ciências e tecnologia.
Competência digital
Aprender a aprenderAprender a aprender
Competências sociais e cívicas
Sentido de iniciativa e empreendedorismo
Consciência Consciência culturalculturalConsciência Consciência culturalcultural
Competência que envolve a apreciação da importância da
expressão criativa de ideias, experiências e emoções num vasto
l d ídi ( ú i t ê i lit t t i i )leque de mídia (música, artes cênicas, literatura e artes visuais).
E ifi ã d tê iE ifi ã d tê iEspecificação das competênciasEspecificação das competências
Plano Nacional de Educação: Expectativas de aprendizagem, Padrões
de ensino, Currículo.
Definir até dezembro de 2012 expectativas de aprendizagem paraDefinir, até dezembro de 2012, expectativas de aprendizagem para
todos os anos do ensino fundamental de maneira a assegurar a
formação básica comum, reconhecendo a especificidade da infância e
da adolescência, os novos saberes e os tempos escolares.
C tê i l itC tê i l itCompetência leitoraCompetência leitora
Capacidade de extrair informações, construir significados e
de refletir sobre os textos escritos, necessários para que, p q
cada indivíduo atinja seus objetivos pessoais, adquira
novos conhecimentos, desenvolva seus potenciais e, p
participe criticamente de sua sociedade.
A análise da competência leitora exige a consideração deA análise da competência leitora exige a consideração de
três elementos: o texto, a finalidade da leitura e o leitor.
T t t iT t t iTexto e suas categoriasTexto e suas categorias
O texto oral ou escrito é a unidade básica para o ensino e a
ifi ã d di d d Líverificação do aprendizado da Língua.
Complexidade
GêGênero
Tipologia
Narração, descrição, orientação, exposição, argumentação.
Fi lid d d L itFi lid d d L itFinalidade da LeituraFinalidade da Leitura
Recuperação de Informações
Compreensão e Interpretação
Reflexão sobre a forma e o conteúdo
P fi iê i P fi iê i Proficiência Proficiência
Itens
Teste
Cálculo - Uso da Teoria de Resposta ao Item.
ItemItemO BICHO
Vi ontem um bichoNa imundice do pátioNa imundice do pátioCatando comida entre os detritos.
Quando achava alguma coisa,Não examinava nem cheirava:Não examinava nem cheirava:Engolia com voracidade.
O bicho não era um cão,Não era um gato.Não era um gato.Não era um rato.
O bicho, meu Deus, era um homem.
BANDEIRA, Manuel. Poesias reunidas. Rio de Janeiro: Ática, 1985.
O que motivou o bicho catar restos foi:
A) A própria fome.B) A imundice do pátio.C) O cheiro da comidaC) O cheiro da comida.D) A amizade pelo cão.
Organização do testeOrganização do testeOrganização do testeOrganização do teste
Cadernos Blocos
I 1 2 4I 1 2 4
II 2 3 5Blocos Balanceados
Incompletos – BIB
III 3 4 6
IV 4 5 7Incompletos – BIB IV 4 5 7
V 5 6 1
VI 6 7 2VI 6 7 2
VII 7 1 3
T i d R t ItT i d R t ItTeoria de Resposta ao ItemTeoria de Resposta ao Item
Forma de atribuição dos escores dos alunos
Permite manter comparabilidade entre os escores de anos e séries
distintos
Cada item é descrito por uma curva empírica
Ní i d D h Ní i d D h Níveis de Desempenho Níveis de Desempenho
Insuficiente Básico Proficiente Avançado
4ª Série- < 150 Entre 150 e Entre 200 e 250 Acima de 250Leitura < 150 200 Entre 200 e 250 Acima de 250
Prova Brasil 2007 Leitura Prova Brasil 2007 Leitura –– Quarta Quarta SérieSérie
UF IN BA PR AV
PR 19,40% 46,90% 28,30% 5,40%
SC 22,40% 46,50% 26,70% 4,50%
SP 26,10% 41,30% 26,40% 6,20%
MG 26,50% 41,90% 25,30% 6,30%
RS 23,10% 46,90% 25,80% 4,20%
ES 24,60% 47,10% 24,20% 4,00%
Importância dos NíveisImportância dos NíveisImportância dos NíveisImportância dos Níveis
ESCOLAPROFICIÊNCIA
MÉDIA
NÍVEL (%)
INSUFICIENTE BÁSICO PROFICIENTE AVANÇADO
1 199.90 9.1 45.5 45.5 0.0
2 199.28 18.8 30.4 39.1 11.6
3 199.26 16.7 32.3 35.4 15.6
4 200.04 4.3 48.6 37.1 10.0
5 200.39 2.9 44.1 47.1 5.9
6 200.64 13.3 30.0 38.9 17.8
7 199 62 9 4 34 4 40 6 15 67 199.62 9.4 34.4 40.6 15.6
Interpretação Pedagógica Leitura Interpretação Pedagógica Leitura p ç g gp ç g g4ª. Série4ª. Série
Níveis de Proficiência Habilidades
Identificar e/ou nomear características estruturais do gênero literário e não literário.
AVANÇADOAcima de 250
Identificar referências intertextuais (paráfrase, paródia, epígrafe, alusão, citação).
Inferir informações implícitas ( pressuposições/subentendidos) em diferentes linguagens.
Inferir o assunto do texto.
Distinguir a semelhança de assunto entre textos do mesmo gênero
PROFICIENTEEntre 200 e 250
Distinguir a semelhança de assunto entre textos do mesmo gênero.
Distinguir repetições/substituições de itens lexicais que dão continuidade ao texto.
Estabelecer relação de causa/consequência entre fatos do texto.
Identificar formas linguísticas que caracterizam locutor/interlocutor.
Identificar formas linguísticas que evidenciam opiniãoIdentificar formas linguísticas que evidenciam opinião.
BÁSICOEntre 150 e 200
Inferir o sentido de uma expressão.
Analisar o recurso linguístico que provoca humor.
Estabelecer a relação de sentido entre pronomes e seus antecedentes.
Identificar a finalidade/função social do texto.
Identificar formas linguísticas e visuais que caracterizam personagens em discurso direto/indireto.
INSUFICIENTE
Inferir o sentido de palavras.
Analisar o efeito de sentido do recurso gráfico/visual.
Analisar o efeito de sentido do recurso notacional.Até 150 Analisar sequência descritiva.
Identificar informação explícita em segmento do texto com auxílio de recursos visuais/verbais.
Modelo conceitual da Modelo conceitual da Interpretação PedagógicaInterpretação Pedagógica
BANCO DEBANCO DE
COMPETÊNCIACOMPETÊNCIAITENSITENS
CALIBRADOS =CALIBRADOS =ESCALAESCALA
TESTETESTE
ÊHABILIDADES HABILIDADES PROFICIÊNCIA
•• Processos cognitivosProcessos cognitivos•• Contexto de usoContexto de uso
HABILIDADES HABILIDADES
ENSINOENSINO •• Contexto de usoContexto de uso•• Conteúdo disciplinarConteúdo disciplinar
ENSINOENSINO
C ã d E lC ã d E lComparação de EscolasComparação de Escolas
O resultado dos alunos de uma escola depende de suas
t í ti ó i d áfi t bé d t í ti dcaracterísticas sócio demográficas e também de características dos
alunos da escola, fora de seu controle.
Diante disso a comparação entre os resultados da escola só é
informativa se cada escola é comparada com escolas semelhantes.
Uma forma muito efetiva de criar grupos de escolas semelhantes é
usar o NSE – nível socioeconômico da escola. Nesta abordagem cada
escola seria comparada apenas com escola de NSE similar.
Nível SocioeconômicoNível SocioeconômicoNível SocioeconômicoNível Socioeconômico
Construído a partir de respostas ao questionário contextual.Construído a partir de respostas ao questionário contextual.
Escolaridade dos pais
Ocupação dos Pais
Itens de Conforto Doméstico.
Resultados Resultados 8ª 8ª série em Leiturasérie em Leitura
NSE BAIXO NSE ALTO
ESTADUAIS MUNICIPAIS ESTADUAIS MUNICIPAIS
S F C
PROVA BRASIL 2005 32% 39%
SIMAVE 2006 24% 33%
PROVA BRASIL 2007 29% 39%INSUFICIENTE
SIMAVE 2007 24% 36%
SIMAVE 2008 15% 29%
SIMAVE 2009 13% 23%
PROFICIENTE e
PROVA BRASIL 2005 30% 21%
SIMAVE 2006 39% 29%
PROVA BRASIL 2007 37% 23%
AVANÇADO SIMAVE 2007 37% 26%
SIMAVE 2008 43% 27%
SIMAVE 2009 37% 21%
Resultados 8ª série em MatemáticaResultados 8ª série em MatemáticaResultados 8 série em MatemáticaResultados 8 série em Matemática
NSE BAIXO NSE ALTO
ESTADUAIS MUNICIPAIS ESTADUAIS MUNICIPAIS
SIMAVE 2003 47%
INSUFICIENTE
SIMAVE 2003 47% -
PROVA BRASIL 2005 41% 48%
SIMAVE 2006 45% 52%
PROVA BRASIL 2007 41% 48%
SIMAVE 2007 51% -
SIMAVE 2008 40% 54%
SIMAVE 2009 28% 35%
PROFICIENTE e
SIMAVE 2003 23% -
PROVA BRASIL 2005 23% 15%
SIMAVE 2006 21% 13%
PROVA BRASIL 2007 27% 15%AVANÇADO
PROVA BRASIL 2007 27% 15%
SIMAVE 2007 28% -
SIMAVE 2008 27% 14%
SIMAVE 2009 23% 11%
M d l C i lM d l C i lModelo ConceitualModelo Conceitual
Nível Esforço
Desempenhoda Escola Resultado da
EscolaIndicador de
Reconhecimento
Melhoria
Desempenho de Escolas Desempenho de Escolas Desempenho de Escolas Desempenho de Escolas
Níveis Excluídos Insuficiente Básico Adequado Avançado Indicador Gerencial
Escores 0 3 6 8 10
1 0% 23% 42% 24% 11% 6,2
2 5% 5% 20% 45% 25% 7,5
3 100% 0% 0% 0% 0% 0,0
4 0% 0% 0% 0% 100% 10,0
Í di d D l i t d Í di d D l i t d Índice do Desenvolvimento da Índice do Desenvolvimento da Educação Básica Educação Básica -- IDEBIDEBçç
Componentes do IDEBComponentes do IDEBpp
IDEB = desempenho*rendimento
h d l í l éd d f ê d l dDesempenho dos alunos: o nível médio da proficiência dos alunos da
escola, obtido na Prova Brasil.
Rendimento: valor médio das taxas de aprovação da escola, obtido do
Censo EscolarCenso Escolar.
Padronização das proficiências Padronização das proficiências Padronização das proficiências Padronização das proficiências
ias)Proficiênc dasInferior Limite– iasProficiênc dasSuperior (Limiteias)Proficiênc dasInferior Limite– Brasil Prova na Escola da cia(Proficiên
Limites usados para a padronização das Limites usados para a padronização das p p çp p çproficiênciasproficiências
Matemática Leitura
Inferior Superior Inferior Superior
4ª série 60 322 49 324
8ª série 100 400 100 400
Exemplo de cálculoExemplo de cálculopp
0,542 49)-(324
49)-(198 Leitura em escola da aPadronizad iaProficiênc ==
0 572 60)-(202MatemáticaemescoladaaPadronizadiaProficiênc ==
0,57260)-(322
MatemáticaemescoladaaPadronizad iaProficiênc ==
5,34 2
0,572)(0,542 x 10 Escola da aPadronizad iaProficiênc =+
=
Consequência das definiçõesConsequência das definiçõesConsequência das definiçõesConsequência das definições
Proficiência padronizada = Média das proficiências padronizadas dos
alunos
Médias variam menos do que as observações individuais
Gráfico das médias padronizadasGráfico das médias padronizadasGráfico das médias padronizadasGráfico das médias padronizadas
A questão da dominância da A questão da dominância da proficiência de Matemáticaproficiência de Matemática
O indicador de rendimentoO indicador de rendimento
Sé i A
Algoritmo de cálculo do indicador de rendimento de uma escola
Série – Ano
0 1 2 3 4
Taxa Aprovação 82,4 79,1 78,4 97,1 88,4
Taxa aprovação em decimais 0,824 0,791 0,784 0,971 0,884
Anos de estudo necessários 1,21 1,26 1,28 1,03 1,13
5,91 1,13)1,031,281,26(1,21 etapa acompletar para estudo de letivos Anos =++++=
0,8453 5,915 Rendimento deIndicador ==
InterpretaçãoInterpretaçãop çp ç
Níveis de desempenho para Leitura e MatemáticaNíveis de desempenho para Leitura e Matemática
Leitura Matemática
NÍVEL 4ª Série EF 8ª Série EF 4ª Série EF 8ª Série EF
Abaixo do Básico < 150 < 200 < 175 < 225
Básico Entre 150 e 200 Entre 200 e 275 Entre 175 e 225 Entre 225 e 300
Proficiente Entre 200 e 250 Entre 275 e 325 Entre 225 e 275 Entre 300 e 350
Avançado Acima de 250 Acima de 325 Acima de 275 Acima de 350
Proposta de faixas para o IDEBProposta de faixas para o IDEBProposta de faixas para o IDEBProposta de faixas para o IDEB
IDEB Leitura Matemática IDEB Categoria Final IDEB Leitura Matemática IDEB Categoria Final
Baixo < 3,5
Médio Baixo 150 175 3,86 [3,5 4,5)
Médi 175 200 4 76 [4 5 5 5)Médio 175 200 4,76 [4,5 5,5)
Médio Alto 200 225 5,65 [5,5 6,5)
Alto 225 250 6,55 > 6,5
Evolução do IDEB para escolas que Evolução do IDEB para escolas que oferecem Quarta Sérieoferecem Quarta Série
IDEB 2005 2007 2009
Baixo 44,4 30,8 25,7
Médio Baixo 36,8 38,1 30,5Médio Baixo 36,8 38,1 30,5
Médio 16,6 25,7 29,0
Médi Al 2 1 5 0 12 8Médio Alto 2,1 5,0 12,8
Alto 0,1 0,4 2,0
Evolução do IDEBEvolução do IDEBEvolução do IDEBEvolução do IDEB
Limitações do IDEBLimitações do IDEBLimitações do IDEBLimitações do IDEB
Só alunos presentes ao teste são considerados.
Não se pode usar a metáfora da nota escolar para analisar o IDEB.
dEscore em Matemática tem mais peso do que escore em Leitura.
Reproduz o nível socioeconômico da escola.
Legitima baixos desempenhos para muitos alunos.
Assume substituições questionáveis entre indicadores.
IDEB Ní l S i ô iIDEB Ní l S i ô iIDEB e Nível SocioeconômicoIDEB e Nível Socioeconômico
IDEB e Níveis dos IDEB e Níveis dos alunosalunos
IDEB I fi i Bá i Ad d A d
IDEB e Níveis dos IDEB e Níveis dos alunosalunos
IDEB Insuficiente Básico Adequado Avançado
Baixo 47,9% 41,7% 9,3% 1,1%
Médio Baixo 30,5% 47,6% 18,6% 3,3%
Médio 17,8% 44,4% 29,6% 8,2%
Médi Al 9 0% 35 3% 38 5% 17 2%Médio Alto 9,0% 35,3% 38,5% 17,2%
Alto 3,5% 21,5% 42,0% 33,0%
TotalTotal 27,8% 43,3% 22,4% 6,5%
E l P l E l C lE l P l E l C lEscolas Polo e Escolas ControleEscolas Polo e Escolas Controle
143 são escolas Polo 07 não possuíam NSE e não puderam
ser incluídas na análise
174 foram utilizadas como escolas controle.
E lh d l lE lh d l lEscolha das escolas controleEscolha das escolas controle
Mesmo sistema de ensino (Municipal, Estadual ou Federal).
Ser escola urbana, como são as escolas Polo.
Ter NSE semelhante ao da escola Polo.
Pertencer à mesma cidade que á escola PoloPertencer à mesma cidade que á escola Polo.
Encontradas 1 ou 2 controles para cada escola estudada em
32 dos 50 municípios onde há escolas Polo.
C l f d M i í iC l f d M i í iControle fora do MunicípioControle fora do Município
Escolas controles buscadas em municípios próximos,
escolhidos segundo os critérios:
P à i ( í l é àPertencer à mesma mesorregião (se possível, até à mesmamicrorregião).
Possuir população semelhante (foram utilizados dados de 2009).
P fi iê i L iP fi iê i L iProficiência em LeituraProficiência em Leitura
ESCOLASESCOLAS
POLO CONTROLE
Mínimo 104,54 100,62
Má i 376 24 376 57Máximo 376,24 376,57
Média 248,74 246,884 ,74 4 ,
Ní l S i ô i édiNí l S i ô i édiNível Socioeconômico médioNível Socioeconômico médio
ESCOLASESCOLAS
POLO CONTROLE
Mínimo 1,04 0,35
Má i 9 76 9 84Máximo 9,76 9,84
Média 6 55 6 36Média 6,55 6,36
Ef i E lEf i E lEfeito EscolaEfeito Escola
ESCOLASESCOLAS
POLO CONTROLE
Mínimo -30,47 -30,38
Máximo 26 59 37 65Máximo 26,59 37,65
Média 0,99 0,18
Ef i E lEf i E lEfeito EscolaEfeito Escola
ESCOLASESCOLAS
POLO CONTROLE
Mínimo -30,47 -30,38
Máximo 26 59 37 65Máximo 26,59 37,65
Média 0,99 0,18
M d l Hi á iM d l Hi á iModelo HierárquicoModelo Hierárquico
Parâmetros Estimação Erro Padrão Estatística T Significância
Intercepto 218,98 2,46 88,84 0,00
Sexo 11,52 0,58 19,83 0,00
Pardo -3,99 0,62 -6,49 0,00
Preto -8,81 1,19 -7,41 0,00
Atraso -20,60 0,79 -26,24 0,00
NSE 1,51 0,21 7,21 0,00
Média do NSE 3,24 0,35 9,18 0,00