relatorio-avaliacoes-externas

© 2011. Fundação Victor Civita. Todos os direitos reservados.

A AVALIAÇÃO EXTERNA COMO INSTRUMENTO DA GESTÃO

EDUCACIONAL NOS ESTADOS

Com apoio da Fundação Vitor Civita

Realização:

© 2011. Fundação Victor Civita. Todos os direitos reservados.

VALIAÇÃO EXTERNA COMO INSTRUMENTO DA GESTÃO

EDUCACIONAL NOS ESTADOS

RELATÓRIO FINAL

GAME/FAE/UFMG

Com apoio da Fundação Vitor Civita

Agosto/2011

Parceria:

1

VALIAÇÃO EXTERNA COMO INSTRUMENTO DA GESTÃO

2 © 2011. Fundação Victor Civita. Todos os direitos reservados.

A Fundação Victor Civita, que tem por missão contribuir para a melhoria da qualidade

da Educação Básica no Brasil, produzindo publicações, sites, material pedagógico,

pesquisas e projetos que auxiliem na capacitação dos professores, gestores e demais

responsáveis pelo processo educacional, implantou uma área de estudos com o

objetivo de levantar dados e informações que auxiliem as discussões sobre práticas,

metodologias e políticas públicas de Educação.

Para acompanhar outros trabalhos, visite o nosso site www.fvc.org.br/estudos.

EQUIPE DA FUNDAÇÃO VICTOR CIVITA DIRETORIA EXECUTIVA Angela Cristina Dannemann COORDENAÇÃO PEDAGÓGICA Regina Scarpa REVISTA NOVA ESCOLA E GESTÃO ESCOLAR Gabriel Grossi Paola Gentile ESTUDOS, PESQUISAS E PROJETOS Mauro Morellato

Adriana Deróbio

ESPECIALISTAS CONVIDADOS PARA APRECIAÇÃO DO RELATÓRIO PRELIMINAR Antônio Bara Bresolin (Coordenador Fundação Itaú Social)

Bernardete Gatti (Fundação Carlos Chagas)

Clara Etiene Lima de Souza (Coordenadora da Avaliação da Educação Básica / Inep)

Mozart Neves Ramos (Todos pela Educação)

Ruben Klein (Consultor Fundação Cesgranrio)

Sandra Maria Zakia Lian Sousa (USP e Unicid)

Tufi Machado Soares (Universidade Federal de Juiz de Fora)

Wanda Engel (Superintendente Instituto Unibanco)


UNIVERSIDADE FEDERAL DE MINAS GERAIS

Clélio Campolina Diniz

Reitor

FACULDADE DE EDUCAÇÃO

Samira Zaidan

Diretora

GRUPO DE AVALIAÇÃO E MEDIDAS EDUCACIONAIS

Ângela Imaculada Loureiro de Freitas Dalben

Coordenadora

EQUIPE DE PESQUISA

Nigel Brooke

Maria Amália de A. Cunha

Matheus Faleiros


SUMÁRIO

Apresentação 06

1. Objetivos 11

2. Métodos 12

3. A Expansão da Avaliação Educacional 14

3.1. A Expansão dos Sistemas Estaduais de Avaliação 25

4. Accountability e as Avaliações High-Stakes 39

4.1 Sistemas de Incentivos 45

4.2. Sistemas de Responsabilização na América Latina 50

5. Sistema Classificatório para os Diferentes Usos da Avaliação Educacional 55

6. O Uso da Avaliação na Gestão da Educação nos Estados 70

6.1 Avaliação de Programas, Monitoramento, Planejamento e Pesquisa 70

6.1.1 Avaliação de Programas 70

6.1.2 Monitoramento 77

6.1.3 Planejamento 82

6.1.4 Pesquisa 85

6.2 Para Informar as Escolas sobre a Aprendizagem dos Alunos e Definir as Estratégias de

Formação Continuada 87

6.2.1 Políticas de Formação Continuada Baseadas nos Resultados 101

6.2.2 O Currículo Básico 105

6.3 Para Informar ao Público 112

6.4 Para a Alocação de Recursos 123

6.5 Para Políticas de Incentivos Salariais 133

6.5.1 Investigações em Loco 142

6.5.2 Discussão 164


6.6 Como Componente da Política de Avaliação Docente 168

6.7 Para a Certificação de Alunos e Escolas 177

7. Considerações Finais 182

8. Referencias Bibliográficas 189

ANEXO 1 Organização dos arquivos da pesquisa em Google Docs 199

ANEXO 2 Entrevistados 200

ANEXO 3 Ambiente NVIVO. Queries/Políticas de Incentivos por Estado 201


Apresentação

Cada vez mais presente nos jornais e em outros meios de comunicação, a

discussão da avaliação educacional permite que o público brasileiro se conscientize

não só da complexa realidade da aplicação das avaliações padronizadas em larga

escala mas também dos resultados do ensino em diferentes níveis e localidades e em

comparação com outros países. O tema dos testes enfrentados por alunos de diversas

idades – e até por jovens e adultos que há tempo deixaram de frequentar a escola – já

ultrapassa os eventos de especialistas e se torna um assunto capaz de cativar as

manchetes. Talvez o caso mais emblemático seja o do Enem e as suas dificuldades de

sigilo e logística. Porém, ao longo dos últimos anos também houve múltiplos debates

públicos em torno do indicador nacional de desenvolvimento da Educação, o Ideb, o

Exame Nacional de Desempenho de Estudantes, Enade, o novo Exame Nacional para

Certificação de Competências de Jovens e Adultos, Encceja, e iniciativas do Congresso,

como o projeto de lei (PLS 319/08) do senador Cristovam Buarque para conceder o 14º

salário aos profissionais de escolas que conseguirem elevar seu Ideb em 50% e o

projeto do deputado Ronaldo Caiado para obrigar as escolas públicas a expor na

entrada do estabelecimento uma placa com seu Ideb. As comparações internacionais,

principalmente as do Programa Internacional de Avaliação de Alunos, Pisa, também

suscitaram questionamentos que permitem perceber que os resultados fornecidos

pelas avaliações educacionais estão se firmando cada vez mais como a definição oficial

da qualidade da Educação oferecida pelas escolas.

Refletindo o crescente interesse na avaliação, nos indicadores derivados dela e na

sua relação com a política educacional, o projeto do Plano Nacional de Educação em

discussão no Congresso contém várias indicações para o uso da avaliação externa ao

longo da próxima década. Fala da importância de “usar o Ideb para avaliar a qualidade

do ensino, com base em uma avaliação nacional do rendimento escolar”, de “aplicar

exame periódico específico para aferir a alfabetização de crianças”, de “aprimorar os

instrumentos de avaliação da qualidade do ensino fundamental e médio”, de “usar o

Pisa como parâmetro externo”, de “aferir o grau de analfabetismo de jovens e adultos”

e de “avaliar a qualidade da Educação profissional técnica de nível médio”.


Como os jornais, o projeto do PNE também se concentra nas políticas de avaliação

da esfera federal. Apesar de conferir vários deveres específicos aos estados e

municípios, como aprovar leis para disciplinar a gestão democrática da Educação,

instalar conselhos escolares, prever licenças para a pós-graduação de professores e

nomear diretores com base em critérios técnicos, todas as atribuições no campo da

avaliação educacional feitas pelo PNE são do governo federal. Em nenhum momento, o

PNE atribui funções específicas em relação à avaliação da aprendizagem do ensino

fundamental e médio aos governos subnacionais, mesmo sendo essas as instâncias

com responsabilidade preferencial por esses níveis escolares, segundo a LDB.

A falta de clareza em relação às obrigações dos estados e municípios e se essas

instâncias deveriam ser responsabilizadas ou não pela avaliação externa dos seus

alunos refletem certa ambiguidade do próprio Ministério de Educação perante o

crescimento dos sistemas subnacionais de avaliação. Desde a criação do Saeb, em

princípio da década de 1990, as iniciativas dos estados em construir suas próprias

ferramentas de avaliação têm sido vistas ora como uma expressão compreensível da

sua autonomia administrativa constitucional, ora como um desperdício de recursos,

dada a existência de sistemas nacionais com coberturas e características técnicas

capazes de fornecer as informações de que os gestores estaduais precisam. A ausência

de incentivos federais e de cooperação contínua entre as instâncias governamentais na

área de avaliação, a não ser no empréstimo de itens do Saeb1, talvez reflita a falta de

uma aceitação integral pelo Ministério da importância dos sistemas de avaliação

subnacionais e até de um sentimento de rivalidade provocada pela intrusão dos

1 Na página de perguntas frequentes sobre o Saeb e Prova Brasil do site do Inep

(http://www.INEP.gov.br/web/saeb-e-prova-brasil/perguntas-frequentes) a resposta dada à pergunta Com o Saeb e Prova Brasil o Governo Federal pretende acabar com os sistemas Estaduais e Municipais de Avaliação?, leia-se a seguinte resposta: As avaliações federais, as estaduais e as municipais são independentes. A Prova Brasil e o Saeb são conduzidos nacionalmente pelo Governo Federal, enquanto as avaliações estaduais e municipais podem ter metodologia própria e são concebidas e realizadas pelos governos estaduais e municipais. Em muitos casos, há a cooperação técnica entre os governos federal, estadual e municipal, ou seja, há congruência entre algumas avaliações estaduais com a Prova Brasil e o Saeb. Um dos objetivos da Prova Brasil e do Saeb é estimular a cultura da avaliação, fomentando, assim, a implementação de avaliações estaduais e municipais. Nesse sentido, o Inep pode auxiliar, sob certas condições, os estados e municípios a estruturarem e levarem adiante suas avaliações por meio do seu Banco Nacional de Itens.


estados em terreno antes exclusivamente federal. Em função desses sentimentos,

consolidou-se a opinião que os estados deveriam apenas complementar o que a União

já faz, e não repetir a avaliação das mesmas disciplinas nos mesmos anos escolares

para não desperdiçar recursos. Esse posicionamento não leva em consideração o

interesse dos estados em controlar todas as fases de produção e divulgação de

informação sobre as escolas, evitando os atrasos que acometem o Inep, e pode

encobrir as dúvidas remanescentes a respeito da conveniência dos estados

desenvolverem seus próprios sistemas. A expansão das avaliações subnacionais parece

refletir justamente a necessidade de controlar mais detidamente as etapas que

envolvem o processo de avaliação e, assim o fazendo, traçar um diagnóstico mais

contextual da aprendizagem dos alunos para, com base nisso, elaborar instrumentos e

estratégias talvez mais eficazes.

A falta de atenção do PNE para a função avaliadora dos governos estaduais e

municipais pode refletir essas mesmas dúvidas. Por outro lado, o silêncio do PNE em

relação a um instrumento tão fundamental para o planejamento e a gestão dos

sistemas de Educação pode também refletir simplesmente a ausência de informação

sobre a real extensão e diversidade das atividades atuais dos estados e municípios no

campo da avaliação. As críticas à suposta subutilização dos resultados da avaliação

externa e a sugestão de que as Secretarias de Educação têm pouca capacidade para

aproveitar as informações levantadas, a não ser para oferecer sugestões pedagógicas

aos professores, parecem ultrapassadas perante a crescente sofisticação dos sistemas

estaduais e indicam mais uma vez a necessidade de atualizar os nossos

conhecimentos.

O presente estudo pretende remediar essa lacuna ao mostrar o papel cada vez

mais importante das avaliações subnacionais na composição da política educacional.

Mesmo não chegando sempre aos jornais, há indícios suficientes de que está em curso

uma mudança importante na penetração e diversificação da avaliação educacional em

nível dos estados e municípios de porte maior ao ponto de muitas das inovações nesse

campo estarem acontecendo não mais na esfera federal, mas em nível subnacional. As

avaliações da aprendizagem na fase de alfabetização, a criação de instrumentos


padronizados para finalidades de diagnóstico individual e o uso da avaliação para

políticas de incentivos salariais seriam apenas três exemplos. Cada vez mais os estados

estão assumindo políticas educacionais que têm como pressuposto a existência de

informações detalhadas sobre a aprendizagem dos alunos e cuja execução requer o

uso cada vez mais variado e sofisticado dessas informações. Ou seja, os estados

também estão galvanizados para uma nova geração de instrumentos de avaliação e de

uma variedade cada vez maior de políticas de intervenção calcadas em informação

sobre o desempenho dos alunos. Portanto, na descrição dos esforços de todos os

sistemas para melhorar a qualidade do ensino, torna-se indispensável captar os

avanços no uso dos resultados das avaliações educacionais também em nível

subnacional.

Entretanto, o objetivo do estudo não é exclusivamente descritivo. É preciso

também entender as consequências da expansão da avaliação subnacional para o

desenvolvimento da Educação. O fato de os estados estarem assumindo novas

políticas de avaliação de escolas e professores com base nos resultados dos alunos não

encontra aprovação total e há a necessidade de pesar as evidências. Outras políticas,

como a alocação de recursos com base nos resultados das escolas, podem parecer

menos problemáticas, mas os critérios empregados podem variar e as consequências

também. Há a necessidade, portanto, de submeter as novas políticas de gestão a um

processo de análise para determinar seus prováveis efeitos. Com esse olhar, derivado

em parte de pesquisas e em parte das opiniões dos próprios envolvidos, torna-se

possível responder a perguntas como: as políticas de gestão baseadas nos resultados

dos alunos são sempre bem-sucedidas? Quais os impactos de políticas baseadas na

avaliação de alunos para a melhoria da Educação? Dado o que sabemos dos efeitos

colaterais, os estados estão empregando as avaliações educacionais da forma mais

adequada?

Para poder contribuir para essa discussão, é necessário, primeiro, entender os

antecedentes dessa expansão. O processo pelo qual os estados começaram a montar

sistemas de avaliação educacional e, em seguida, políticas de gestão derivados dos

produtos desses sistemas não foi aleatório. Em diferentes graus, foram influenciados


pelo movimento de reforma externo e interno chamado de neoliberal, que a partir da

década de 1990 estabeleceu a qualidade do ensino como o objetivo primordial da

política educacional e definiu os resultados escolares como seu indicador principal.

Precisamos também estudar em alguma profundidade o elemento mais crítico do

modelo de avaliação que foi se alastrando pela região nessa época. Estamos nos

referindo ao componente de accountability, que se estabeleceu como uma alavanca

nas mãos dos gestores interessados em criar novos incentivos para motivar a mudança

na Educação. Para entender como os gestores brasileiros estão aproveitando esse

conceito, precisamos explicitar o significado do conceito nas suas origens, avaliar as

políticas que empregam diferentes versões de accountability e mostrar a

probabilidade de sucesso dessas políticas ao serem incorporadas ao leque de opções

do gestor educacional brasileiro.

O fato de haver origens comuns não significa que as políticas seguidas por cada

estado que optou por implantar um sistema próprio de avaliação são todas iguais.

Mesmo havendo semelhanças, dentro das opções para a utilização dos resultados das

avaliações, os critérios e propósitos podem variar. Para distinguir entre as diferentes

políticas de avaliação, precisa-se criar um sistema classificatório capaz de dar conta da

diversidade ao mesmo tempo em que categorize as políticas de acordo com os

propósitos dos gestores. Sem esse esforço classificatório, as políticas acabam sendo

discutidas estado por estado como se a sua distribuição geográfica fosse a razão pela

investigação. Com uma classificação por tipo de política, por outro lado, pode-se

contrastar as políticas dos estados e deixar mais nítidas as diferenças existentes entre

as diversas versões de uma mesma política.

Após a explicação do sistema classificatório, será possível entrar no assunto

principal do estudo, que é expor e analisar as diversas políticas seguidas pelos

governos estaduais e alguns municípios de porte maior, principalmente das capitais,

que empregam a avaliação educacional na busca da melhoria da Educação. Essas

políticas de uso dos resultados dos sistemas de avaliação representam uma

ferramenta poderosa quando bem entendidas suas potencialidades e limitações.


1. Objetivos

De forma sintética, os objetivos deste estudo são:

i. Descrever, por meio do emprego de sistema classificatório próprio, as

diferentes maneiras em que os governos estaduais e municipais usam os resultados

das avaliações externas na condução da política educacional.

ii. Mediante a coleta de informações secundárias, fornecer uma sinopse mais

atualizada da variedade das políticas de gestão que fazem uso dos resultados da

avaliação externa.

iii. Com base em pesquisas nacionais e internacionais, e os subsídios oferecidos

por especialistas e gestores, fazer uma análise de cada política de gestão para

determinar se representam um aproveitamento apropriado das informações

disponíveis e se contribuem para a política de melhoria da qualidade da Educação.

iv. Como objetivo último, oferecer subsídios para a formulação e reformulação de

políticas públicas que fazem uso dos resultados dos sistemas de avaliação educacional.


2. Métodos

O estudo foi planejado em duas partes. A primeira se concentrou na coleta, de

todas as fontes secundárias possíveis, de todas as informações disponíveis sobre a

avaliação educacional em nível subnacional. Havia limites de tempo e de pessoal e

dentro desses parâmetros descobriu-se que a fonte mais importante foi, de longe, a

internet e os sites patrocinados pelos próprios governos estaduais e municipais.

Organizou-se um banco de dados para o registro de informações e armazenamento de

documentos por estado e pela natureza oficial ou não oficial da informação. O

ambiente usado para esse banco de dados foi o Google Docs (veja Anexo 1). Criou-se

também um sistema classificatório para todos os diferentes usos da avaliação

padronizada (veja seção 5) e com base nesse sistema desenvolveu-se um instrumento

que sintetizava a informação por tipo de política de gestão por cada estado ou

prefeitura. Essa ficha funcionou como catálogo para todas as informações secundárias

coletadas.

A segunda fase se concentrou no aprofundamento das ideias que surgiram na

primeira fase e na elucidação de exemplos de políticas de gestão cujas informações

tinham chegado de forma incompleta ou que ainda suscitavam interesse especial.

Nessa fase, foram realizadas 20 entrevistas semiestruturadas com gestores, técnicos e

especialistas em avaliação em sete estados diferentes (veja Anexo 2). Mediante essas

entrevistas, esperava-se caracterizar melhor as políticas de gestão mais comuns e

descobrir indicações da sua eficácia. As entrevistas foram gravadas, transcritas e

posteriormente analisadas dentro do ambiente fornecido pelo NVivo 8 (veja Anexo 3).

Esse aplicativo também permitiu a organização das opiniões dos entrevistados de

acordo com as categorias do sistema classificatório.

Pela natureza do estudo, que é mais um levantamento para fins classificatórios do

que um retrato de todos os exemplos nos diversos cantos do país, não será possível

oferecer uma medida da frequência de uso das diferentes políticas de gestão

encontradas. Por ter um propósito mais analítico, serão enfatizadas as características e

qualidades das políticas encontradas, e não sua distribuição ou importância em termos


geográficos. Serão empregados exemplos de diferentes estados e municípios, mas sem

insinuar que esses são os exemplos únicos ou necessariamente os mais bem acabados.


3. A Expansão da Avaliação Educacional

Entre os elementos que contribuíram para a expansão da avaliação externa como

um instrumento da gestão educacional nos diversos níveis dos sistemas educacionais

ao longo das últimas décadas, encontram-se dois fatores considerados primordiais

pela literatura especializada: a) a disseminação de um modelo de reforma educacional

na década de 1990 calcado na avaliação educacional e voltado para a melhoria da

qualidade; e b) a incorporação pelos governos de metodologias de gestão baseadas em

critérios de eficiência e de planejamento estratégico e voltadas para a melhoria nos

resultados dos serviços públicos. No caso dos governos subnacionais brasileiros, deve-

se acrescentar um terceiro fator: c) o incentivo criado pela inauguração de um

indicador nacional de desenvolvimento educacional e pela liderança do MEC ao fixar o

foco nos resultados e no uso da avaliação educacional entre as diretrizes principais do

Plano de Metas Compromisso Todos pela Educação.

a) Reforma educacional. A torrente de mudanças educacionais múltiplas e

simultâneas nas diversas regiões do mundo na década de 1990 não foi aleatória. As

semelhanças entre as reformas dos diferentes países, como se estivessem seguindo

um receituário, denunciavam uma história de origens comuns. As origens imediatas

podem ser encontradas, em parte, nos eventos internacionais que galvanizaram os

formuladores das políticas educacionais e também no papel dos bancos de

desenvolvimento, as agências de assistência bilateral e até as ONGs internacionais na

disseminação mundial das propostas de reforma. Em nível mais conceitual, precisa-se

de uma análise da lógica da globalização e da sua relevância para a compreensão dos

fenômenos educacionais.

Usando a região da América Latina como um exemplo, Gajardo (2000) mostra a

semelhança notável nos objetivos das reformas simultâneas de 19 países. Na maioria

desses países, são especificados os objetivos gerais de descentralizar a gestão,

melhorar a qualidade, a equidade e a eficiência dos sistemas, oferecer maior

autonomia e também cobrar maior responsabilidade da escola, investir mais e melhor


na formação do professor e conectar a escola às demandas da sociedade. Quando as

reformas educacionais dos diferentes países são categorizadas de acordo com seus

objetivos mais específicos, pode-se ver claramente o quanto as reformas seguiram os

mesmos rumos ao longo do continente. No entanto, é no caso da implantação de

novos sistemas de avaliação padronizada que a verdadeira uniformidade das propostas

educacionais é revelada. Nesse caso, observa-se que nada menos que 13 países da

região, incluindo o Brasil, adotaram sistemas de avaliação entre 1990 e 1998. No

quadro da autora que identifica o ano de implantação desses sistemas, as únicas

exceções são o Chile, que criou o Simce no final da década anterior, e Cuba, um caso à

parte, que já tinha um sistema próprio desde a década de 1970 (GAJARDO, 2000).

Devemos procurar a explicação das semelhanças e simultaneidade das reformas

em dois níveis. Num primeiro momento, há que reconhecer o efeito das múltiplas

reuniões multilaterais e ministeriais e o esforço das agências de desenvolvimento em

forjar o novo consenso para levar a Educação ao topo da agenda. Antes das outras

reuniões e conferências, cabe mencionar a Conferência Mundial sobre Educação da

Unesco de Jomtien, na Tailândia, que no princípio da década reuniu delegados de 155

países para fixar diretrizes para a transformação dos sistemas de Educação. Os

delegados criaram história ao adotar a Declaração Mundial de Educação para Todos,

que estabelece a Educação como um direito humano fundamental e define como

obrigação de todo sistema satisfazer às necessidades básicas de aprendizagem de toda

a sua população. Além da chamada principal de universalizar o ensino fundamental até

o final da década, foram tomadas decisões de privilegiar as questões da equidade, de

dar ênfase aos resultados da aprendizagem, de criar ambientes voltados para a

aprendizagem e de tornar a Educação um instrumento de desenvolvimento econômico

e social.

Incentivados pelo novo consenso e ativados pelas inúmeras demandas dos países

em desenvolvimento, os bancos internacionais se tornaram os financiadores da

reforma educacional na maioria dos países da região. O Banco Mundial adotou as

declarações de Jomtien e moldou uma série de estratégias consideradas eficazes na

realização desses objetivos, incluindo o fortalecimento da autonomia das escolas e a


criação de sistemas de avaliação de aprendizagem. Diversos estados brasileiros foram

beneficiários desse receituário, incluindo Minas Gerais, São Paulo, Paraná e Ceará.

Num segundo nível, a explicação do consenso a favor da reforma educacional

envolve a referência à nova ordem econômica mundial. Na opinião de diversos

autores, o que alimentava o entusiasmo crescente com os temas educacionais e

movimentava os ministros e os bancos de desenvolvimento eram as mudanças na

organização da economia global (GAJARDO, 2000; KRAWCZYK, 2000; LIMA ;AFONSO,

2002). Essa nova ordem significava a abertura das economias nacionais à concorrência

em escala global e ao livre movimento de investimentos e tecnologia. Nesse novo

cenário de integração e de concorrência no plano econômico e de redemocratização

no plano político, cabia aos países a reforma de seus sistemas educacionais para

garantir a competitividade. Nesse debate, é inconfundível a ideia de que a reforma

educacional fazia parte de uma estratégia econômica para alavancar a

competitividade. Fala-se da centralidade adquirida pela Educação na preparação das

novas gerações para o trabalho, para a criação das competências demandadas pela

nova estrutura de empregos e pelas novas atividades produtivas. Entende-se que essas

demandas provocadas pela globalização da competição seriam mais bem atendidas

após serem implantadas as reformas dos sistemas educacionais.

Nas entrelinhas dessa reforma educacional, aparece a conexão entre a

competitividade internacional, a produtividade individual e a melhoria na qualidade da

Educação. Se antes ela foi considerada apenas como um direito social, as reformas da

década de 1990 deixaram claro que os governos enxergavam a qualidade como um

ingrediente necessário à modernização e ao desenvolvimento e os sistemas de

avaliação como os guardiões dos esforços de melhoria. Os modelos disponíveis, e tão

habilmente propagados pelos organismos internacionais, foram as reformas instituídas

na Grã-Bretanha e nos Estados Unidos a partir da década de 1980. Ambas serviram

para elevar o status da avaliação educacional. No primeiro caso, foram implantados o

currículo nacional e um sistema próprio para sua avaliação. No segundo, deu-se

cobertura para o uso cada vez mais frequente de sistemas de avaliação para exigir


competências mínimas como requisitos para receber o diploma de Ensino Médio e

para impulsionar reformas no currículo e na qualidade do ensino.

A quantificação dos resultados da escola ocupa a posição central no novo modelo

de gestão educacional e eleva a avaliação ao status não só de fornecedor de

informações quantitativas mas também de pedra fundamental para diversas políticas

orientadas para a melhoria nos resultados. Nos Estados Unidos, o grande estímulo a

favor dessa nova orientação veio com o relatório lançado em 1983 pela comissão

criada pelo governo de Ronald Reagan para estudar a situação da Educação naquele

país. Chamado Uma Nação em Risco, o relatório causou um furor ao fazer uma série de

previsões sombrias sobre o próprio futuro do país devido à baixa qualidade do ensino

das suas escolas. Na parte reservada às recomendações, o relatório trata primeiro dos

conteúdos curriculares e argumenta a favor do “fortalecimento” dos requisitos para a

concessão do diploma de Ensino Médio em termos de anos de estudo. Na seguinte

leva de recomendações, apresenta-se a ideia que o nível de exigência para cada

conteúdo precisa subir ao mesmo tempo em que se criem em todos os estados os

sistemas de testes de desempenho para “certificar” o nível de aprendizagem dos

alunos. Com essas orientações, foi definida a peça fundamental da reforma

educacional das próximas décadas tanto nos Estados Unidos como em outros países.

Trata-se do uso da avaliação externa como um instrumento da reforma

educacional para a divulgação das mudanças desejadas e para o monitoramento dos

avanços conseguidos. Uma Nação em Risco deu credito à ideia da reforma baseada em

padrões. Na sua essência, essa mudança colocou o desempenho dos alunos no centro

das atenções como o objetivo primordial do trabalho da escola e legitimou o uso das

avaliações externas para medir a eficácia da escola e dos professores no cumprimento

dessa tarefa. As consequências que foram sendo associadas aos resultados dos alunos

de determinada escola ou professor, incluindo o pagamento ou não de incentivos,

sinalizam a transferência do ônus pelos esforços de melhoria em direção à escola e

deram sentido à palavra que virou sinônimo das reformas – accountability.

A reforma da Inglaterra se inspirou e reforçou essa mesma tendência. Ao criar um

currículo nacional com estrutura fortemente disciplinar, o governo de Margaret


Thatcher estabeleceu as condições para estruturar um sistema de avaliação externa

que pela primeira vez permitiria a comparação de desempenho tanto de alunos como

de escolas. Com base nesse sistema para medir e publicar o desempenho dos alunos

nos anos finais de cada etapa chave do currículo, foram criados, primeiro, o sistema de

ranqueamento de escolas por meio das chamadas league tables2 e, posteriormente, as

metodologias mais sofisticadas de valor agregado que, ao controlar pela aprendizagem

anterior e condição socioeconômica dos alunos, permitem comparações mais

autenticas entre as escolas (GRAY ;WILCOX, 1995).

b) Reforma da gestão pública. A reforma educacional da Grã-Bretanha, que tanto

contribuiu para a criação da agenda dos organismos internacionais, não foi um

fenômeno só setorial, isolado do pensamento político do governo como um todo. O

partido conservador de Margaret Thatcher, que tomou o poder em 1979, estabeleceu

uma série de prioridades inspiradas em ideias liberais norte-americanas e adotadas

para combater a influência do pensamento socialista, que permeava as políticas

públicas. Entre as prioridades, adotou-se um programa econômico liberal e

incorporou-se um novo modelo de serviço público baseado em ideais de livre

mercado. Chamado posteriormente de New Public Management, a reforma do estado

na Grã-Bretanha ao longo da década de 1980 se desenvolveu em três dimensões. A

dimensão mais gerencialista se caracterizou por uma ênfase na produtividade e

eficiência do aparato governamental. Uma segunda dimensão, atenta às necessidades

da população consumidora, procurou a melhoria na qualidade e efetividade dos

serviços públicos, enquanto a preocupação com a accountability e a transparência

refletia a procura por um modelo de governança mais democrático (ABRUCIO, 2006).

Influenciado por atitudes favoráveis ao livre mercado, o destaque desse modelo foi a

criação de uma administração pública voltada mais para o controle dos resultados dos

programas e serviços do que o controle das normas e dos procedimentos mais

2 Literalmente, tabelas de ligas de futebol. Ranqueavam-se as escolas em Tabelas de Desempenho de

Escolas como se fossem times de futebol.


associados aos modelos de planejamento central. Nesse contexto, fazia todo sentido

não só enfraquecer as amarras administrativas e financeiras entre as autoridades

educacionais locais e as escolas como também criar um currículo nacional oficial e um

sistema de avaliação educacional correspondente, a ser usado no monitoramento e no

controle da qualidade das escolas.

Segundo Segatto (2011), os instrumentos desse modelo de estado são a

horizontalização de estruturas, a flexibilização da gestão de pessoal, a criação de

relações contratuais entre o órgão central e as instâncias descentralizadas e, acima de

tudo, o fortalecimento dos mecanismos de avaliação de desempenho (SEGATTO,

2011). O controle a posteriori dos resultados supõe a autonomia para as organizações

que executam a política (PETERS, 2008), que por sua vez pressupõe a flexibilização da

administração pública, a adoção de metas claras e a construção de métodos eficazes

para a avaliação de desempenho das unidades inferiores e a aplicação de sanções para

os que não alcançam os resultados contratados (CLAD, 2000).

A reforma do estado mediante a assimilação das novas práticas de gestão pôde

ser observada também nos Estados Unidos e em vários países da América Latina. Nos

Estados Unidos, foi aprovado em 1993 o Government Performance and Results Act,

que estabeleceu o planejamento estratégico e a mensuração do desempenho das

agências do governo federal. A partir de 1997, cada agência governamental precisa

declarar sua missão estratégica, seus objetivos de longo prazo e suas metas anuais de

desempenho. Essas últimas são expressas em termos de indicadores de desempenho

para ajudar as agências governamentais a melhorar seu trabalho e facilitar a

comunicação com o público (MUNIZ ;SILVEIRA; BECHELAINE, 2010). Na Argentina, o

Sistema de Informação, Avaliação e Monitoramento de Programas Sociais foi criado

pelo governo federal em 1995 para cumprir funções similares e no Chile o governo tem

usado um sistema de acompanhamento de indicadores de desempenho desde 1994.

A gradual adoção desse modelo de gestão em nível subnacional no Brasil começou

com o fim da inflação e a crise financeira dos estados, em 1995. Segundo Abrucio e

Gaetani (2006), a privatização dos bancos estaduais, a renegociação das dívidas em

termos menos favoráveis, a Lei Kandir e uma série de outros regulamentos para


enquadrar as finanças subnacionais obrigaram os governos estaduais a reduzir gastos e

procurar maior eficiência (ABRUCIO; GAETANI, 2006). Ou seja, a busca pela eficiência

nas políticas governamentais começou com o Plano Real e o cerceamento das práticas

financeiras predatórias dos estados, que antes usavam a inflação como uma forma de

resolver seu déficit fiscal.

Ao mesmo tempo, o planejamento estratégico ganhou impulso com base em duas

iniciativas do Governo Federal: o Estudo dos Eixos Nacionais de Integração e

Desenvolvimento, em 1997, e o Plano Plurianual 2000-2003, denominado Avança

Brasil, que desdobrou o anterior e o organizou em programas referenciados a

resultados. Esses programas continham objetivos, públicos-alvo, metas, indicadores e

procedimentos e normas para a avaliação dos programas:

A avaliação de programas orientada para resultados insere-se nesse

contexto, com a aferição da efetividade das ações do Governo. Nesse

sentido, os planos anuais estabeleceram níveis de desempenho projetados

através de indicadores, que deveriam ser quantificáveis e mensuráveis, que

deveriam ser avaliados em razão do atingimento dos níveis de

desempenho projetados ou dos objetivos programáticos. (MUNIZ;

SILVEIRA; BECHELAINE, 2010)(p. 35)

Nos anos seguintes, essas práticas de planejamento e gestão com base em

resultados se disseminaram por vários estados, incluindo Minas Gerais, Espírito Santo,

Rio de Janeiro, Mato Grosso e Santa Catarina (PORTO; SILVEIRA, 2010). De modo geral,

esses estados adotaram uma lógica de gestão que se assemelhava ao planejamento

estratégico do setor privado. O modelo seguido se baseava em uma análise dos

ambientes externo e interno para depois construir uma visão do futuro de longo e

médio prazo, desdobrado a seguir em objetivos, estratégias e indicadores de

desempenho. A convergência com o planejamento de empresas e organizações do

setor sem fins lucrativos reflete as origens do modelo e a sua afinidade com os ideais

de livre mercado.


Inspirado nas iniciativas do Governo Federal e nas experiências internacionais,

Minas Gerais foi um dos primeiros estados a incorporar o modelo de gestão por

resultados e oferece um exemplo da afinidade entre os propósitos da avaliação

educacional e as exigências das novas políticas. Na primeira fase, iniciada em 2003, os

planejadores produziram o Plano Mineiro de Desenvolvimento Integrado, que serviu

como a visão do futuro para o período até 2020. Os cenários futuros evidenciaram a

necessidade da reorganização e modernização do setor público estadual por meio do

chamado Choque de Gestão. Para criar a ponte entre os cenários futuros e as ações do

secretariado, foram criados 30 projetos estruturadores e depois os programas setoriais

para compor o plano plurianual do governo para o período até 2006. Para definir os

objetivos de seus programas para o ensino fundamental e médio, a Secretaria da

Educação optou por uma bateria de indicadores, entre os quais as proficiências médias

dos alunos de 3º, 5º e 9º anos e 3º ano do Ensino Médio. Derivados do sistema

estadual de avaliação, Simave, essas proficiências oferecerem uma forma concreta de

fixar metas com base em resultados finalísticos, quando a maioria das Secretarias só

oferecia indicadores de processo.

Na segunda fase de implantação do novo modelo de gestão, chamada Estado para

Resultados, ficou ainda mais evidente o uso do Simave para atender aos requisitos dos

planejadores. Como grandes estratégias para a criação de critérios comuns para a

reorganização e modernização do serviço público, foram aprimorados o sistema de

avaliação de desempenho de todos os servidores e também o Acordo de Resultados.

Esse último, uma metodologia para fixar metas de desempenho para todas as

instâncias das Secretarias e pagar uma bonificação em caso de cumprimento dessas

metas, encontrou na Secretaria de Educação o melhor exemplo de como calcular com

exatidão os resultados esperados. A orientação política a favor da melhoria dos

resultados dos serviços públicos achou no sistema de avaliação educacional as

respostas desejadas. Ao mesmo tempo, o sistema de avaliação se desdobrou e

penetrou em todos os programas da Secretaria em resposta a um ambiente de

planejamento francamente propício ao uso de objetivos e metas quantificáveis. Essa

afinidade entre um modelo de gestão para resultados e os sistemas de avaliação


educacional será retomada em seção posterior. Por enquanto, basta enfatizar a sua

importância para o uso crescente da avaliação educacional pelas Secretarias de

Educação e o uso dos produtos dessa avaliação para o planejamento.

c) Liderança do MEC. O Sistema Nacional de Avaliação do Ensino Básico criado

pelo Inep no princípio da década de 1990 está na raiz de todos os sistemas estaduais

de avaliação. Pela criação do precedente e pela aprendizagem técnica oferecida pelo

Saeb, o Governo Federal exerceu uma influência forte na criação dos sistemas

estaduais. Quando o Banco Mundial ofereceu financiamento para as reformas

educacionais de estados como Paraná, Minas Gerais e Ceará, na década de 1990, já

havia o exemplo de um sistema de avaliação em funcionamento, mesmo só amostral,

e alguma confiança por parte dos estados que seria possível reproduzir a experiência

do Inep em nível estadual.

Apesar do inegável efeito indutor do Saeb, a influência do Ministério na definição

e diversificação dos sistemas estaduais só foi sentida de novo a partir da definição da

política educacional do segundo governo Lula, com a criação do Ideb e o foco nos

resultados do Decreto Nº 6.094, de 24 de abril de 2007. A Prova Brasil, criada em 2005,

não teve a mesma influência indutora que o Saeb, justamente por ser uma avaliação

censitária de todos os alunos de 5º e 9º anos e ser entendida pelos seus idealizadores

como uma fonte suficiente de informação, capaz de suprir as necessidades dos estados

e municípios. Mesmo restrita às zonas urbanas, às escolas de ensino fundamental com

mais de 20 alunos e ser bianual, a Prova Brasil de fato fornece um retrato valioso do

funcionamento do sistema de ensino fundamental no país.

Foi a partir da criação do Ideb, em 2007, que a Prova Brasil encontrou sua

verdadeira vocação. Pela inclusão da média de desempenho dos alunos, juntamente

com uma medida de fluxo em uma fórmula que permite expressar a qualidade da

escola em um único número numa escala de 1 a 10, foi possível potencializar os

resultados da Prova Brasil e criar pela primeira vez uma discussão nacional sobre a

direção e velocidade da melhoria da Educação. Por meio do Ideb, portanto, a Prova


Brasil começou a exercer um poder de persuasão sobre os rumos da Educação nos

estados e municípios, permitindo que o Ministério recuperasse sua ascendência sobre

a política educacional. Como diz Vidal e Vieira:

Há uma aceitação incondicional do Ideb. O índice passou a ser o elemento

norteador, por excelência, da política municipal de Educação. A gestão da

Educação municipal gira em torno da melhoria do Ideb nas escolas, e para

isso, as SMEs procuram estabelecer mecanismos de monitoramento das

escolas. (VIDAL; VIEIRA, 2011)(p. 12)

Ao mesmo tempo, o Ideb forneceu um modelo para os estados com sistemas

próprios de avaliação e capacidade de enxergar o valor em captar em um único índice

a situação de cada turma e de cada escola para o planejamento e a gestão do sistema.

Resta saber se o Ideb levará outros estados a criar sistemas próprios de avaliação para

poder ter indicadores próprios com base em informações mais detalhadas e mais

frequentes. A evidência que os 15 estados que implementaram sistemas de avaliação

conseguiram promover uma elevação da proficiência média em matemática dos

alunos da 4ª série entre 1997 e 2005 maior do que os outros estados também deverá

servir de incentivo (OLIVEIRA, 2007).

O pensamento por trás dos passos do MEC e do Inep na criação primeiramente de

uma avaliação censitária nacional e, em seguida, de um indicador que sintetizava a

qualidade do ensino, ficou expressa no Decreto Nº 6.094, que implementou o Plano de

Metas Compromisso Todos pela Educação. Essa legislação, uma peça central na

estratégia do Ministério de estabelecer uma espécie de cruzada nacional a favor da

qualidade da Educação e galvanizar os estados e municípios em torno de um conjunto

de metas, explicitou as principais estratégias do Ministério para a melhoria dos

resultados das escolas. As três primeiras metas davam a avaliação educacional como o

instrumento preferido e especificavam os resultados dos alunos como o parâmetro e o

objetivo dos esforços de melhoria:

Art. 2º A participação da União no Compromisso será pautada pela

realização direta, quando couber, ou, nos demais casos, pelo incentivo e


apoio à implementação, por Municípios, Distrito Federal, Estados e

respectivos sistemas de ensino, das seguintes diretrizes:

I - estabelecer como foco a aprendizagem, apontando resultados concretos

a atingir;

II - alfabetizar as crianças até, no máximo, os oito anos de idade, aferindo

os resultados por exame periódico específico;

III - acompanhar cada aluno da rede individualmente, mediante registro da

sua frequência e do seu desempenho em avaliações, que devem ser

realizadas periodicamente;

No segundo capítulo do mesmo decreto, o Ministério estabeleceu o Ideb como a

forma de aferir a qualidade da Educação básica e como o indicador a ser usado na

verificação do cumprimento das metas fixadas no termo de adesão ao Compromisso

Todos pela Educação. Com um único artigo, o MEC parecia querer encerrar uma

discussão de décadas sobre a melhor maneira de definir e medir a qualidade da

Educação e optou por uma solução de fácil compreensão. A partir de 2007, os

resultados dos alunos, medidos por sistemas de avaliação externa, se tornaram o

objetivo da política educacional e o parâmetro a ser usado para medir o sucesso do

governo na condução dessa política. Em recente relatório do Centro de Gestão e

Estudos Estratégicos sobre o legado dos anos Lula, escrito em parceria com a

Secretaria de Assuntos Estratégicos da Presidência da República, os autores escrevem:

Modelado pelos patamares dos países da OCDE, o Ideb estabeleceu

objetivos para o país, para cada sistema de ensino e cada escola, de modo

a que, em 2021, venhamos a atingir o nível educacional dos países

desenvolvidos em termos de proficiência em Linguagem e Matemática.

Teve o mérito de combinar resultados importantes, pois é desejável que os

níveis de proficiência melhorem e aumentem os percentuais de aprovação.

(OLIVEIRA; GADELHA, 2010) (p. 79)

O instrumento escolhido para ajudar os municípios a adotarem as metas e

trabalharem seriamente a favor da melhoria do Ideb foi o Plano de Ações Articuladas –


PAR. Esse plano, baseado em diagnóstico feito com a ajuda do MEC, seria a base de um

convênio pelo qual o Ministério exerceria o “monitoramento da execução do convênio

ou termo de cooperação e do cumprimento das obrigações educacionais fixadas no

PAR [...] com base em relatórios ou, quando necessário, visitas da equipe técnica” (Art.

11). Nas entrelinhas, leia-se o Ideb e a ideia de que os municípios aceitavam os

recursos do Ministério com a condição de implantar mudanças e promover a melhoria

da qualidade medida pelo novo indicador. Esse sistema de accountability, uma

novidade nas relações entre níveis de governo na área da Educação, só servia para

enfatizar uma vez mais a importância a ser atribuída aos resultados de desempenho

dos alunos e à necessidade de estar sempre monitorando a aprendizagem. Não é de

surpreender que em pouco tempo o Ideb tenha se tornado uma questão política para

os gestores da Educação em nível estadual e municipal e a avaliação educacional um

elemento da maior relevância na definição de prioridades governamentais. O Ideb

marca um divisor de águas na forma de fazer política educacional e uma mudança

radical nos critérios a serem empregados na avaliação do trabalho da escola e dos

responsáveis pelos sistemas de Educação.

3.1. A Expansão dos Sistemas Estaduais de Avaliação

O Quadro 1, apresentado na página 37, mostra a evolução dos sistemas estaduais

de avaliação educacional no Brasil. Os primeiros estados a criarem sistemas próprios

são Ceará e Minas Gerais, em 1992. O governo do Ceará cria o Sistema Permanente de

Avaliação da Educação Básica em Ceará (Spaece), que se mantém até hoje, contando

com algumas mudanças durante os anos. Em Minas Gerais, foi criado o Programa de

Avaliação do Sistema Estadual de Ensino de Minas Gerais, que posteriormente se

tornou o sistema atual: o Sistema Mineiro de Avaliação da Educação Pública (Simave).

Essas primeiras iniciativas abrangeram testes de português e matemática no ciclo

Básico (3ª série) e na 8ª série, no caso do primeiro, e, no segundo, foram aplicados,

anualmente, testes de português e matemática para os alunos de 4ª e 8ª séries do


Ensino Fundamental, entre os anos de 1992 e 1996, sendo posteriormente realizado a

cada dois anos para que não coincidisse com as provas do Saeb.

O ano de 1992 também foi marcado pela implantação da Avaliação da Jornada

Única, pela Secretaria de Educação do estado de São Paulo. O projeto era verificar os

efeitos da jornada única nos anos do ciclo básico, de 1ª a 8ª série. Houve o

acompanhamento longitudinal de 3.600 alunos do Ciclo Básico de 60 escolas da região

metropolitana de São Paulo entre 1993 e 1995. Esse estudo teve grande importância,

na medida em que permitiu identificar “alunos-fantasmas”, matriculados sem estarem

cursando, e por verificar que o desempenho dos alunos das chamadas Escolas-Padrão

era semelhante ao observado nas demais modalidades de escola da rede estadual de

ensino, o que ocasionou a extinção das Escolas-Padrão (OLIVEIRA, 2007).

Esse processo culminou com a implantação do Sistema de Avaliação do

Rendimento Escolar (Saresp) em 1996. Os objetivos eram fornecer um perfil de

realização dos alunos que pudesse ser utilizado pelos professores para que tomassem

conhecimento do padrão de desempenho dos alunos, além do objetivo de identificar

os pontos críticos no processo de ensino e aprendizagem na Educação pública do

estado de São Paulo. O Saresp permanece com uma avaliação anual desde então, sem

interrupções.

A avaliação do Programa de Avaliação do Sistema Estadual de Ensino de Minas

Gerais foi realizada anualmente de 1992 a 1998, avaliando diferentes séries escolares

de um ano para o outro. Os objetivos do programa contemplavam principalmente a

avaliação do desempenho dos alunos das escolas estaduais referentes a aspectos dos

conteúdos curriculares, o levantamento de dados e informações que possibilitassem

políticas de intervenção para o desenvolvimento do processo de ensino-aprendizagem,

oferecer subsídios para os professores conduzirem com maior efetividade o processo

de ensino e permitir que a Secretaria de Educação como um todo direcionasse suas

ações (OLIVEIRA, 2007).

O estado do Paraná também criou um sistema próprio de ensino na metade dos

anos 1990. O Programa de Avaliação do Sistema Educacional do Paraná foi aplicado


pela primeira vez em 1995, na 4ª série do Ensino Fundamental, com testes de

português e matemática. Em 1996, foram aplicados testes na 8ª série do ensino

fundamental em ciências, história e geografia, além dos conhecimentos em português

e matemática, e português e matemática para o 2º ano do Ensino Médio. Já em 1997 e

1998, avaliaram-se, nos dois anos, a 4ª e 8ª séries do Ensino Fundamental e as

habilidades em língua portuguesa, matemática e ciências. O objetivo geral do

programa era obter informações gerais sobre o nível de conhecimento e habilidades

dos alunos da Educação básica do estado.

Também, na década de 1990, houve experiências de avaliação nos estados de

Mato Grosso do Sul e Rio Grande do Sul. De 1993 a 1997, foram realizadas avaliações

pontuais pelo Núcleo de Avaliação Educacional do estado do Mato Grosso do Sul de

algumas séries a cada ano nas escolas estaduais, mostrando um interesse maior em

fazer o diagnóstico do sistema do que o monitoramento do progresso. Em 1993,

15.000 alunos da 8ª série do Ensino Fundamental foram testados. Em 1994, 31.700

alunos da 5ª série do Ensino Fundamental e 1.364 alunos dos cursos de magistério. Em

1995, 26.000 alunos da 5ª série do Ensino Fundamental e 13.500 da 8ª. Em 1996,

alunos da 4ª série do curso do Cefam e da 3ª série do Curso do Ensino Médio da Escola

Hérculos Maymone, no total de 1.250 alunos. Em 1997, 12.000 alunos do 3º ano do

Ensino Médio foram testados. Já no estado do Rio Grande do Sul, houve avaliações nas

mesmas séries nos anos de 1996, 1997 e 1998. Contudo não se obtiveram maiores

informações dessas avaliações (LOPES, 2007).

No final dos anos 1990 e no princípio da nova década, observa-se que vários

estados começam a criar o seu próprio sistema de avaliação educacional, enquanto

outros aprimoram a parte técnica da avaliação, utilizando novos instrumentos e

procedimentos estatísticos. Pode-se dizer que um grande marco nas avaliações

educacionais no Brasil se dá com a utilização da metodologia de análise e

interpretação dos dados, chamada Teoria de Resposta ao Item (TRI). A utilização dessa


técnica é realizada pela primeira vez em 1995, no terceiro ciclo de avaliação do Saeb3.

Com base nessa técnica e nas novas Matrizes Curriculares de Referência, foi construído

um banco de itens para o quarto ciclo do Saeb, em 1997, utilizado até hoje.

Em 1999, com uma parceria entre MEC, Inep e Secretaria de Educação do Acre, é

realizada, de modo censitário, a avaliação dos alunos da 4ª série do Ensino

Fundamental nesse estado. A parceria realizou nova avaliação em 2003, também de

forma censitária, com os alunos de 8ª série do Ensino Fundamental e 3º ano do Ensino

Médio, além dos alunos de 4ª série do Ensino Fundamental novamente. Houve uma

orientação às escolas baseada nos resultados da avaliação. O retorno para as escolas

se deu por meio de relatórios individualizados e produzidos no estado, que foram

apresentados em seminários com diretores e coordenadores pedagógicos.

O ano de 1999 também é o início do Programa de Avaliação Externa da Secretaria

de Educação da Bahia, que aplica os primeiros testes em 2001. Esse programa se

dividiu em três eixos principais: 1. Avaliação de desempenho, com a aplicação de

testes de língua portuguesa e matemática a alunos de 4ª e 8ª séries, além de

questionários contextuais, aos alunos das escolas públicas dos municípios conveniados

ao Programa Educar para Vencer; 2. Avaliação da Aprendizagem, que teve início em

2001, com a aplicação de testes de matemática a alunos de 1ª e 2ª séries do Ensino

Fundamental das escolas públicas urbanas de 130 municípios baianos, e prosseguiu em

2002, com a aplicação a alunos de 1ª a 4ª série em 273 municípios; 3. O terceiro eixo

seria a criação de uma agência permanente de avaliação independente para dar

continuidade às avaliações de desempenho criadas pela Secretaria de Educação da

Bahia. Contudo, observou-se o fim do sistema de avaliação da Bahia já no ano de 2004.

Os resultados das avaliações foram divulgados por meio de relatórios e reuniões entre

os responsáveis pela avaliação e secretários municipais de Educação, diretores e

professores das escolas públicas.

3 As avaliações anteriores do Saeb se realizaram em 1990 e 1993.


Em 2000, houve a Avaliação das Escolas Públicas do Maranhão, numa parceria

com a Fundação Cesgranrio. Foram avaliados, de forma censitária, os alunos da 4ª

série do Ensino Fundamental da rede estadual. Em 2001, houve nova avaliação no

estado, de forma censitária para as escolas estaduais, e amostral para as escolas

municipais, destinada a alunos de 4ª e 8ª séries do Ensino Fundamental e 3º ano do

Ensino Médio. Em 2001, houve uma avaliação no Tocantins nos mesmos moldes da

realizada em 2001 no Maranhão, numa parceria do Inep com a Fundação Cesgranrio.

Em todos os casos, foram realizados testes de português e matemática. Os resultados

foram tratados pela metodologia adotada pelo Inep/MEC, com a análise estatística

baseada na TRI.

As avaliações estaduais em Minas Gerais e Paraná não se realizam em 1999. No

ano 2000, o Programa de Avaliação do Sistema Educacional do Paraná passa a utilizar a

TRI para o tratamento de seus resultados de modo a compatibilizar o produto das

avaliações com a escala e resultados do Saeb, também produzidos com esse método.

Em 2001, também não há avaliação. O ano de 2002 é o último a ter uma avaliação

estadual no Paraná. Além dos testes de língua portuguesa, foram incluídos ciências e

matemática para 4ª e 8ª séries, efetuados desde 1997, e testes de língua portuguesa,

matemática, física, química e biologia para o 3º ano do Ensino Médio.

Já em Minas Gerais, após a interrupção da avaliação em 1999, é criado em 2000 o

Sistema Mineiro de Avaliação da Educação Pública (Simave). Os objetivos principais de

sua criação foram avaliar todos os alunos estaduais da 4ª série, no primeiro ano do

ciclo intermediário, da 8ª série, no segundo ano do ciclo avançado, além do 3º ano do

Ensino Médio por meio do Programa de Avaliação da Rede Pública da Educação Básica

(Proeb). Posteriormente, a partir de 2005, é criado o Pro-Alfa para avaliar as séries

iniciais de alfabetização, os primeiros anos de aprendizagem escolar. O Simave em sua

origem já estabelece como unidade de análise o item do teste cognitivo, incorporando

também a metodologia de análise estatística da TRI com o objetivo de explorar os

resultados obtidos e possibilitar a comparação dos mesmos ao longo dos anos. O

Simave, tanto por meio do Proeb quanto do Pro-Alfa, é aplicado anualmente até os

dias de hoje.


Outro estado que passou por modificações em seu sistema de avaliação foi o

Ceará. A partir de 2001, o Spaece passou a aplicar os testes via internet. Os alunos

incluídos nas amostras por série respondiam aos testes em telessalas equipadas com

computadores. Nos três anos de 2001 a 2003, o programa passou a denominar-se

Spaece-Rede. A partir de 2001, o Spaece é aplicado anualmente até os dias de hoje,

possibilitando uma avaliação padronizada do progresso da Educação básica sem

interrupções. Em 2007, foi criado o Spaece-Alfa para avaliar a aprendizagem dos

alunos nas séries iniciais de alfabetização. O CAEd ficou responsável pela avaliação,

que ocorre anualmente desde então, usando uma metodologia baseada em itens

calibrados.

Em 2000, foi criado o Sistema de Avaliação Educacional de Pernambuco (Saepe),

em parceria entre a Secretaria de Educação de Pernambuco, a Unesco e o Inep, por

meio de um acordo de cooperação técnica. Inicialmente, foram aplicados testes de

leitura para os alunos de 2ª série e língua portuguesa, matemática e ciências para

alunos de 4ª e 8ª séries do Ensino Fundamental. No 3º ano do Ensino Médio, não foi

aplicada a prova de ciências. Também foram aplicados questionários contextuais para

escolas, diretores, professores, alunos e pais. O Saepe foi aplicado novamente em

2002, depois em 2005 e, desde 2008, é aplicado anualmente, pelo modelo CAEd, com

testes padronizados e a utilização da TRI.

Também no ano de 2000, foi criado o Programa de Avaliação da Educação Básica

(Paebes) pela Secretaria de Educação do Espírito Santo com o intuito de avaliar a

qualidade da Educação pública nos níveis fundamental e médio e, com base nos

resultados, implementar políticas e ações educacionais que visem a melhoria dos

processos de ensino-aprendizagem. Em 2004, o Paebes foi aplicado novamente com

nova metodologia pautada em Matrizes de Referência para a construção de itens, a

utilização da Teoria Clássica dos testes e da Teoria de Resposta ao Item (TRI), sendo

disponibilizados relatórios para as escolas e para os pais e um relatório geral. A

terceira avaliação aconteceu em 2008 e desde então o Paebes segue sendo aplicado

anualmente pelo CAEd.


O sistema de avaliação própria do estado do Rio de Janeiro foi criado pela

Secretaria de Educação também em 2000, baseado na implantação do programa Nova

Escola e aplicado em 2000, 2001, 2003, 2004 e 2005. Esse programa avaliava as escolas

se baseando em testes de português e matemática para alunos de 4ª e 8ª séries do

Ensino Fundamental e 3º ano do Ensino Médio. Também eram avaliados o fluxo

escolar dos alunos, em termos de aprovação, reprovação e abandono, e a gestão

escolar, na forma da assiduidade dos profissionais que trabalham na escola, relação

com a comunidade, correção da prestação de contas e a gestão com a matrícula. O

Programa Nova Escola também continha uma política de incentivo salarial para os

professores e demais profissionais da escola por meio de uma gratificação

proporcional aos objetivos alcançados pelas escolas, dentro de uma gradação de cinco

níveis de desempenho, variando de 5 a 25 pontos. A partir de 2008, a Secretaria de

Educação do Rio de Janeiro criou um novo sistema de avaliação, o Sistema de

Avaliação da Educação do Estado do Rio de Janeiro (Saerj), com o intuito de realizar

uma análise do desempenho dos alunos do ensino fundamental e médio, buscando

aprimorar os instrumentos para melhorar a Educação básica no estado. Desde então, o

Saerj é realizado anualmente por meio do modelo CAEd, com a utilização de Matrizes

de Referências, TRI e produção de boletins.

Em 2011, o estado do Rio implantou o Saerjinho, um teste diagnóstico para os

alunos de 5º e 9º anos do Ensino Fundamental e das três séries do Ensino Médio das

escolas estaduais de ensino regular. Os testes de língua portuguesa e de matemática

são aplicados ao final de cada bimestre. O objetivo é acompanhar mais de perto o

rendimento dos estudantes, detectando de maneira mais ágil as dificuldades de

aprendizagem das competências e habilidades propostas no Currículo Mínimo.

Em 2001, Goiás e Alagoas também iniciaram seus próprios sistemas de avaliação.

Em Alagoas, foi criado o Sistema de Avaliação Educacional de Alagoas (Saveal), visando

dar um panorama da realidade educacional do estado, e com base nele construir

indicadores básicos de qualidade que direcionasse as políticas para o fortalecimento

das escolas. A aplicação abrangeu todos os alunos das escolas públicas da 4ª série do

Ensino Fundamental. A segunda aplicação do Saveal ocorre em 2005, com o apoio da


Unesco. Os testes foram aplicados para alunos de 4º e 8º anos do Ensino Fundamental,

com a aplicação de provas de português e matemática. Há a previsão de que o Saveal

se realize este ano. Já a Secretaria de Educação de Goiás implantou o Sistema

Integrado de Avaliação do Estado de Goiás (Saego) para comparar a Educação no

estado com os níveis nacionais, buscando aperfeiçoar a Educação no estado. Foram

aplicados testes de língua portuguesa e matemática aos alunos de 4ª e 8ª séries do

Ensino Fundamental e 3º ano do Ensino Médio de forma censitária. O Saego foi

aplicado novamente em 2002 e 2004.

Em 2003, após a experiência de avaliação em meados da década de 1990, a

Secretaria de Educação do Mato Grosso do Sul, por meio de seu Núcleo de Avaliação

Educacional, implantou o Sistema de Avaliação da Educação do Mato Grosso do Sul

(Saems), tendo o CAEd como agência avaliadora. Os princípios que nortearam o

programa foram: a centralidade da escola, pela produção de indicadores de

desempenho por meio da aplicação de testes a alunos de 4ª, 8ª séries do Ensino

Fundamental e 3º ano do Ensino Médio, produzidos por unidade escolar, oferecendo

diagnóstico do trabalho por elas produzidos; participação, por meio de oficinas de

discussão da elaboração dos instrumentos de avaliação e a posterior produção de

itens; gestão consorciada, por meio da participação compartilhada entre Inep,

Secretaria Estadual de Educação, Universidade Estadual do Mato Grosso do Sul e CAEd

do sistema de avaliação em diferentes níveis; equidade, como ideal de promoção

política; publicidade, por meio da divulgação dos resultados às escolas e comunidades

em geral; e independência, no sentido de especialidade mais técnica sem caráter

político partidário. O Saems foi aplicado também nos anos de 2005, 2007, 2008, 2009 e

há a previsão de que seja aplicado este ano.

O estado do Amazonas também implementou uma avaliação das escolas públicas

em 2003, uma parceria entre a Secretaria Estadual de Educação e o Inep/MEC. A

avaliação foi feita nos moldes do Saeb. Houve treinamento dos professores,

elaboração do banco de itens e produção das provas. Foram avaliados alunos de 2ª, 4ª

e 8ª séries do Ensino Fundamental e 3º ano do Ensino Médio. Contudo a equipe

estadual responsável pela avaliação teve dificuldades de trabalhar com a TRI e optou


pela utilização da teoria clássica dos testes. Em 2008, a Secretaria Estadual de

Educação criou o Sistema de Avaliação do Desempenho da Educação do Amazonas

(Sadeam), com o objetivo de ter um monitoramento contínuo da Educação no estado e

planejar ações para melhorá-la. O Cespe foi responsável pela avaliação no estado.

Foram avaliados alunos de 5º ao 9º anos do Ensino Fundamental, 3º ano do Ensino

Médio e EJA. O Sadeam continua em funcionamento, sendo aplicado anualmente

desde então, utilizando em sua metodologia a Teoria Clássica e a TRI.4

Em 2004, foi implantado o Exame de Avaliação da Educação Básica do Estado do

Sergipe (Exaeb-SE) dentro do Sistema de Avaliação Periódica de Desempenho (Saped).

Houve avaliações em 2004, 2005 e 2006 com um exame aplicado anualmente a alunos

da 5ª à 8ª série do Ensino Fundamental e alunos do Ensino Médio do Ensino Médio das

escolas públicas estaduais. A avaliação foi amostral, mas contemplou todas as

unidades escolares, turmas e disciplinas no estado. Contudo não há muita informação

sobre esse sistema de avaliação, sobre os instrumentos e a metodologia utilizados,

sobre o tratamento de resultados e a divulgação. O que se sabe é que os relatórios

foram devolvidos para as escolas e os diretores (LOPES, 2007).

Após as avaliações externas realizadas em 1996, 1997 e 1998, o Rio Grande do Sul

implantou seu próprio sistema de avaliação em 2005: o Sistema do Rendimento

Escolar do Rio Grande do Sul (Saers), com objetivo de obter dados e informações sobre

o desempenho educacional dos alunos no que concerne ao seu desenvolvimento

cognitivo e, com isso, possibilitar a correção de políticas públicas na área. Foram

avaliados alunos de 2ª e 5ª séries do Ensino Fundamental, em relação à leitura, escrita

e matemática, de forma censitária, em escolas urbanas e rurais de duas

coordenadorias da rede estadual e em escolas municipais de 75 municípios. Também

4 Pela utilização de ambas as teorias na produção de materiais, o estado de Amazonas poderia se tornar

um estudo de caso para testar a hipótese que quando os Estados e municípios convertem suas

metodologias para a TRI, eles perdem uma parte da capacidade de avaliar os processos de

aprendizagem. Pela falta de familiaridade com a noção de proficiência e as conhecidas dificuldades de

fazer uma interpretação das escalas, sugere-se que o avanço técnico da avaliação que traz vantagens em

outras áreas possa também estar associado à perda de compreensão dos resultados.


foram aplicados questionários contextuais a alunos, professores e diretores. Em 2007,

segundo ano de aplicação do Saers, além das séries citadas também foram avaliados

alunos do 1º ano do Ensino Médio. Trabalhou-se, metodologicamente, com a Teoria

Clássica e com a Teoria de Resposta ao Item. O Saers foi aplicado em 2009 e 2010,

sendo interrompido após esse último ano de avaliação depois da mudança de governo.

Em 2008, além da criação do Sadeam, também foram implementados os sistemas

de avaliação do Piauí e do Distrito Federal. A Prova Piauí foi aplicada somente em 2008

até o momento. Desenvolvida pela Secretaria de Educação do Estado, a Prova Piauí

teve como objetivos, além de avaliar o desempenho do aluno no estado e realizar

políticas de intervenção com base no diagnóstico, também minimizar os índices de

evasão e repetência na Educação pública do estado. Os alunos de 3ª, 4ª, 7ª e 8ª séries

do Ensino Fundamental e 2º e 3º anos do Ensino Médio de todas as escolas públicas do

estado foram avaliados em testes de língua portuguesa e matemática.

Já a Secretaria de Educação do Distrito Federal implantou em 2008 a primeira

avaliação do Sistema de Avaliação do Desempenho das Instituições Educacionais do

Sistema de Ensino do Distrito Federal (Siade), ficando ela a cargo da Fundação

Cesgranrio. A proposta é avaliar 2ª, 4ª, 6ª e 8ª séries do Ensino Fundamental em

relação a redação, matemática e ciências e a 3ª série do Ensino Médio, em que a

avaliação de ciências seria substituída por testes de química, física e biologia. Novos

conteúdos, como história, geografia, filosofia e sociologia, também têm previsão de

serem avaliados. Desde 2008, o Siade é realizado anualmente na rede pública e na

rede privada, quando solicitado ou em função do recredenciamento. São

disponibilizados matrizes de referência e guia de itens. A metodologia contempla a

utilização da TRI e o desenvolvimento de índice próprio para monitorar as escolas.

Após as avaliações esparsas de 1999 e 2003, realizadas em parceria com o

Inep/MEC, a Secretaria de Educação do Acre criou em 2009 o Sistema Estadual de

Avaliação da Aprendizagem Escolar (Seape) com o intuito de fazer um diagnóstico do

sistema de ensino estadual e atuar como instrumento de monitoramento das políticas

públicas implementadas pelo estado. O CAEd é o responsável pelo Seape. São

avaliados, anualmente, alunos de 4ª e 8ª séries do Ensino Fundamental e 3º ano do


Ensino Médio das escolas estaduais e municipais do estado. São elaborados e

discutidos os itens da prova e posteriormente analisados com base na TRI. São

disponibilizadas também as matrizes de referência.

Pelo progressivo aumento da cor verde do Quadro 1, mostrando o crescimento

dos sistemas estaduais de avaliação, percebe-se que esses sistemas já se tornaram

aspectos fixos do panorama educacional do país. Os estados que ainda não têm são

minoritários e alguns dos que já tiveram, mas por diferentes motivos suspenderam seu

funcionamento, mostram a intenção de recuperá-los. A reformulação da metodologia

dos sistemas estaduais no princípio da década passada e a incorporação da TRI é o

divisor de águas na evolução recente da avaliação. A partir desse momento, um

número maior de estados se dispõe a experimentar com a criação de sistemas

próprios. No entanto, é só a partir da metade da década passada que os sistemas se

tornam mais permanentes, menos suscetíveis aos reveses políticos dos primeiros anos

da década de 1990 e mais sólidos em termos técnicos e metodológicos. Quase não se

escutam mais as dúvidas expressadas pelos professores e outros profissionais a

respeito da utilidade da avaliação externa. Como relatado por um dos técnicos

responsáveis pela implantação de um dos sistemas mais recentes, o do Distrito

Federal, a aceitação é geral:

...Desde que ele foi constituído, desde que se ouvir falar do Siade, a

expectativa foi muito grande, e desde sua primeira publicação até hoje

todo mundo se interessa, e se interessa de maneira positiva, pais, alunos, a

própria casa, profissionais. Tanto é que a gente trabalha do lado da

ouvidoria e a gente não teve uma reclamação sequer da avaliação em

nenhum aspecto, seja logístico, seja de material, seja da sua aplicação, dos

próprios conteúdos, né? (Técnico: SEE/DF)

Antes que se crie a noção que o avanço da avaliação foi um processo tranquilo,

sem solavancos nem retrocessos, é importante destacar a falta de continuidade das

políticas de avaliação mesmo nos estados com os sistemas mais consolidados. Nisso a

avaliação refletiu as dificuldades evidentes em outras dimensões da política

educacional, incluindo a fragmentação, falta de documentação e descontinuidade por


conta de rivalidades políticas. Devido à tendência de ver a política educacional como

questão partidária e as conhecidas resistências aos processos de avaliação externa por

parte de alguns segmentos dos professores, não foi incomum nas décadas passadas a

paralização dos sistemas de avaliação por certo tempo e até por períodos longos.

Pode-se dizer que a falta de continuidade pela ausência de consensos suprapartidários

sobre os rumos da política educacional prejudicou a evolução da avaliação educacional

e deixou marcas.

Talvez o exemplo mais marcante de um sistema de avaliação que ficou suspenso

em consequência de resistências políticas é o de Paraná. Esse sistema foi paralisado

em 2002 e continua sem previsão de retomada. A recente paralização do Saers, no Rio

Grande do Sul, pode também sinalizar um novo retrocesso caso o novo governo não

recupere a confiança no valor de avaliações estaduais regulares. Por outro lado, o caso

de Minas Gerais parece oferecer exemplo dos benefícios de um sistema que manteve

sua continuidade e que se consolidou justamente pela capacidade de fornecer

informações consistentes e comparáveis, independentemente da coloração partidária

do secretário. Com essa continuidade, uma política educacional que se fundamenta

nos resultados das avaliações e outros produtos do sistema de informações da

Secretaria pôde ser implantada gradativamente, permitindo uma consolidação mais

consensual e segura.


Quadro 1. Sistemas Estaduais de Avaliação Educacional 1992-2011

Região Estado 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011*

NO AC AC AC SEAPE

AM AM SADEAM

PA

RR

RO *

AP

TO AEP SAD?

NE MA PAM AEP SIMADE?

PI PROVA PIAUÍ

*

CE

SPAECE

SPAECE

ALFA

RN

PB

PE SAEPE

AL SAVEAL

SE EXAEB

BA PAE

CO MT

MS NAE SAEMS

GO SAEGO *

DF SIADE

SE MG AVA-MG SIMAVE

PROALFA

ES PAEBES


RJ PNE SAERJ

SAERJINHO

SP SARESP

SU PR AVA

SC

RS SAERS

AC - Avaliação Escolas Públicas do Acre (1999 e 2003) Parceria Inep-Mec AEP - Avaliação Escolas Públicas Cesgranrio AC - Avaliação Escolas Públicas do Amazonas (2003) Parceria Inep-Mec AVA - Programa de Avaliação do Sistema Educacional do Paraná EXAEB-SE – Exame de Avaliação da Educação Básica do Estado de Sergipe NAE – Núcleo de Avaliação Educacional do Mato Grosso do Sul PAEBES - Programa de Avaliação da Educação Básica do Espírito Santo PAE - Projeto de Avaliação Externa PAM – Projeto de Avaliação do Maranhão PNE – Programa Nova Escola PROVA PIAUÍ SAD – Sistema de Avaliação de Desempenho (dúvida se é nos mesmos moldes dos outros) SADEAM – Sistema de Avaliação de Desempenho Educacional do Amazonas

SAEGO – Sistema de Avaliação da Educação de Goiás SAEMS – Sistema de Avaliação da Educação Básica do Mato Grosso do Sul SAEPE – Sistema de Avaliação Educacional de Pernambuco SAERJ – Sistema de Avaliação da Educação do Estado do Rio de Janeiro SAERS – Sistema de Avaliação do Rendimento Escolar do Rio Grande do Sul SARESP – Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo SAVEAL – Sistema de Avaliação de Alagoas SEAPE – Sistema Estadual de Avaliação da Aprendizagem Escolar SIADE – Sistema de Avaliação de Desempenho das Instituições Educacionais do Distrito Federal SIMADE – Sistema Maranhense de Avaliação de Desempenho SIMAVE – Sistema Mineiro de Avaliação (SIMAVE – PROEB DESDE 2000 / PROALFA DESDE 2005) SPAECE – Sistema Permanente de Avaliação da Educação Básica do Ceará

* A referência de 2011 é para estados que vão iniciar ou retomar a avaliação educacional neste ano com base em informações não oficiais. Para os estados com sistemas

de avaliação consolidados, supõe-se que haja a continuidade no ano corrente. O estado do Paraná sinaliza com a volta de seu sistema de avaliação no segundo semestre

de 2012.


4. Accountability e as Avaliações High-Stakes

A ideia de usar a avaliação educacional com o propósito de focar as atenções nos

resultados e, mediante diferentes estímulos ou medidas coercitivas, promover ou

induzir mudanças nos professores e nas escolas não é uma política nova. Em 1863, o

parlamento britânico estabeleceu um sistema de financiamento educacional que

durante quase 30 anos fixava os salários dos professores de acordo com os resultados

dos alunos em provas orais aplicadas pelos inspetores escolares (RAPPLE, 1994).

Portanto, políticas de accountability efetivadas por meio do uso de provas high-stakes

para determinar o pagamento de professores com base nos resultados dos alunos têm

no mínimo 150 anos.

Em tempos modernos, a associação entre resultados e consequências,

principalmente no uso de provas finais para determinar a graduação do Ensino Médio

nos Estados Unidos, data da década de 1970. Porém o uso mais recente de políticas

que responsabilizam as escolas pelos seus resultados, coroado por uma legislação

federal naquele país que no princípio da década passada estipulava metas de

proficiência para todos os grupos e ameaçava fechar escolas que não as alcançavam,

tem levado a prática da accountability a um patamar de exigência nunca antes

experimentado.

O descontentamento público com a qualidade da Educação na década de 1970

nos Estados Unidos se derivava do aparente fracasso dos programas de Educação

compensatórios, das diferenças marcantes nos resultados dos grupos raciais, da falta

de empregabilidade dos jovens e da sensação geral de que o diploma de Ensino Médio,

tradicional símbolo de uma Educação completada, já não estava significando grande

coisa. O que nasceu desse caldo foi o movimento a favor das “competências mínimas”

e a ideia de que todo aluno deveria passar por testes para certificar se efetivamente

satisfazia às exigências mínimas para aquele curso ou ano de estudo. A mudança de

ênfase de insumos escolares para resultados escolares foi acompanhada por uma

política de estabelecer a satisfação das competências mínimas como requisito para

receber o diploma de Ensino Médio e, até 1985, 33 dos 50 estados já estipulavam esse


requisito em lei (HAERTEL; HERMAN, 2005). Para evitar problemas políticos causados

pelo aumento no número de egressos do Ensino Médio sem diploma, o nível de

exigência foi mantido relativamente baixo, e a ênfase em competências mínimas ou

básicas, preservada. Se havia accountability, nesse momento era mais pelas cobranças

feitas aos distritos escolares para que cumprissem as resoluções dos governos

estaduais e aos professores para cumprissem as normas da profissão (ANDERSON,

2005).

Foi a criação de metas de proficiência com consequências para as escolas,

incorporadas em lei no Texas e em outros estados ao longo da década de 1990, que

levou a política de accountability a um patamar ainda desconhecido. O novo sistema

continuou de olho nos resultados das avaliações, mas seguia um raciocínio diferente,

derivado de um clima político que traçava paralelos entre a Educação e o mundo dos

negócios e refletia uma teoria explícita de ação a respeito da melhoria do desempenho

dos alunos que enfatizava a motivação dos professores, alunos e gestores. Apesar de

pesquisadores demonstrarem que o sistema de accountability implantado no Texas

não trazia nenhum benefício para os latinos (VALENZUELA, 2005), era quase inevitável

que se tornasse o modelo para a legislação federal quando o governador George Bush

Jr. se elegeu presidente.

A legislação federal, aprovada pelo congresso em 2001, recebeu o nome de

Nenhuma Criança Deixada para Trás, ou NCLB (sigla em inglês). O NCLB aumentou

significativamente as obrigações dos estados na aplicação de avaliações, estipulou

metas de accountability para escolas, distritos e estados e legislou sobre o “progresso

anual aceitável” para todos os alunos e subgrupos de alunos por nível socioeconômico,

raça, língua materna e necessidade especial (LINN; BAKER; BETEBENNER, 2002). A

avaliação anual foi estendida para entre a 3ª e a 8ª série, juntamente com

recomendações para a formulação de padrões curriculares, e as metas para todos os

alunos alcançarem proficiência até o ano de 2014 foram acompanhadas de uma série

de provisões caso a escola não cumpra a sua tarefa. Essas variavam desde o direito dos

pais de levarem seus filhos para outras escolas até o fechamento e “reconstituição” da


escola que não alcançasse o progresso anual adequado por anos consecutivos

(HAERTEL; HERMAN, 2005).

O objetivo da legislação era de pressionar as escolas públicas, principalmente as

consideradas de desempenho fraco, a melhorar seu rendimento de acordo com

parâmetros padronizados nas diferentes áreas do currículo e para os diferentes

subgrupos de alunos (MALEN; RICE, 2004). Segundo Fuhrman (2005), esse propósito

tinha vários pressupostos: que o desempenho dos alunos nas provas fosse o objetivo-

chave da escola e o sistema de accountability devesse ser construído em torno dele;

que o desempenho pudesse ser medido de forma precisa; que as consequências

motivassem professores e alunos; que o efeito geral pudesse ser um ensino de

qualidade e um nível superior de desempenho; e que os efeitos colaterais e

indesejados fossem mínimos (FUHRMAN, 2003).

Esses pressupostos demonstram o quanto os novos sistemas de accountability

são polêmicos e indicam, portanto, a necessidade de fazer múltiplas perguntas para

poder avaliá-los em todas as suas dimensões. Não é suficiente perguntar se os alunos

estão aprendendo mais. Há a necessidade de determinar se essa aprendizagem

significa progresso educacional para todos (SUNDERMAN, 2008), se os sistemas de

avaliação são válidos e justos e se há formas de melhorá-los para que a aprendizagem

avance mais (FUHRMAN, 2003). E, mesmo quando se toma a aprendizagem como

critério, há de perguntar também se os alunos que estão sendo mudados para outras

escolas por força da legislação estão sendo beneficiados. A esse respeito, uma

pesquisa indica que a proximidade e disponibilidade de escolas de notas altas são

fatores preponderantes na capacidade de os sistemas de accountability e a política de

dar a liberdade de escolha de escola aos pais impactarem os resultados dos alunos,

mas que ainda essas condições não são frequentes (HASTINGS, 2007).

As pesquisas que demonstram que há ganhos na aprendizagem são várias. Jacob

(2002) encontrou ganhos imediatos no desempenho em matemática e leitura logo

após a introdução da política de accountability nas escolas públicas de Chicago, em

comparação com as tendências anteriores e também em comparação com outros

distritos urbanos do Meio-Oeste. Porém os ganhos identificados foram provocados por


melhorias nas habilidades específicas medidas pelos testes e na motivação dos alunos

e não houve ganhos equivalentes em testes estaduais low-stakes, sem consequências

para os alunos (JACOB, 2002). O autor também notou que os professores responderam

estrategicamente aos incentivos, classificando alunos como portadores de

necessidades especiais, retendo alunos na série anterior aos testes e procurando

lecionar em áreas curriculares não sujeitas aos testes.

Esses comportamentos são observados em outras pesquisas que mostram que,

quando há resultados positivos, indicando ganhos aparentes na aprendizagem dos

alunos após a implantação de sistemas de accountability, esses resultados podem

também ser explicados por outros fenômenos. O mais comum dessas explicações

alternativas é fornecido pela exclusão de alunos de desempenho mais baixo que, por

retenção ou por abandono, são removidos da coorte. Se esses alunos tivessem

continuado entre os alunos testados, teriam anulado o ganho médio do grupo

(NICHOLS; GLASS; BERLINER, 2005). Outra explicação é fornecida pelo comportamento

“gaming” dos próprios estados perante as exigências de melhorias anuais. Diversos

autores (LINN; BAKER; BETEBENNER, 2002; CAREY, 2007) encontram evidência de

afrouxamento dos padrões de conteúdos, do rigor dos testes e do nível de exigência

dos estados. Em consequência, o percentual de alunos que alcançam o nível

considerado satisfatório ou proficiente nas avaliações estaduais ao final do Ensino

Médio pode variar de um estado a outro e de um ano a outro sem que isso signifique

uma diferença substantiva na qualidade do ensino.

A diversidade dos parâmetros das avaliações estaduais tem levado muitos

pesquisadores a abandonarem a taxa de graduação do Ensino Médio como uma

medida de progresso na aprendizagem e abraçar como indicador independente os

resultados da Avaliação Nacional de Progresso Educacional – Naep, a maior e mais

conhecida avaliação padronizada de 4ª e 8ª séries. Apesar de alguns não encontrarem

uma relação significativa entre os resultados do Naep e os resultados medidos pelos

testes estaduais high-stakes (AMREIN; BERLINER, 2002), a maior parte da pesquisa

subsequente mostra essa conexão. As pesquisas de Carnoy e Loeb (CARNOY; LOEB,

2002) e de Braun (BRAUN, 2004) são exemplos de como dados transversais parecem


apoiar a conclusão que os testes high-stakes de fato promovem desempenhos

melhores. Essas e outras evidências têm influenciado os formuladores das políticas

educacionais dos estados, como de Nova York:

Exames com consequências atreladas, como a proibição de se graduar da

escola de Ensino Médio, fornecerão os incentivos para os estudantes

estudarem e trabalharem mais para passar. Mesmo não sendo conclusiva,

a grande maioria dos estudos mostra a existência de uma relação e

estamos confiantes em concluir que a existência de exames high-stakes

geralmente leva a um desempenho acadêmico mais alto (NYSED, 2004) (p.

3).

No entanto, outras pesquisas mostram que os avanços medidos pelo Naep

podem também ser ilusórios. Em pesquisa na Flórida para compreender os avanços

dos alunos da 4ª série no teste de matemática do Naep de 2005 em comparação aos

alunos de outros estados, Haney (2006) comprova que o festejado resultado foi reflexo

indireto do aumento na taxa de reprovação em 2003-2004. Além do mais, os alunos

obrigados a repetirem a 3ª série foram desproporcionalmente alunos de grupos

minoritários, o que levou a uma redução igualmente falsa na diferença entre as médias

dos diferentes grupos raciais.

O que causou a queda dramática na diferença entre os grupos raciais nos

resultados Naep na Flórida? A análise da transição entre as séries com base

em informações de matrícula torna bastante clara a resposta [...] as

análises da matrícula por grupo racial (negro, hispânico e branco) deixa

claro que quando a Flórida começou, em 2003-2004, a aumentar a

repetição na 3ª série, eram desproporcionalmente crianças negras e

hispânicas (de 15 a 20% tiveram que repetir), em comparação com crianças

brancas (cerca de 4 a 6% tiveram que repetir a 3ª série. (HANEY, 2006) (p.

6).

Devido à importância atribuída à redução das diferenças entre os grupos raciais

na legislação NCLB e no processo de monitoramento anual do progresso de todos os


grupos em direção à meta comum, chama a atenção a conclusão do pesquisador de

que os resultados baseados em amostras de alunos por série, como da Naep e a

maioria dos testes estaduais, sempre mascararão as desigualdades do sistema.

Enquanto a atenção se concentra nas diferenças de desempenho dos grupos raciais em

determinada série, a verdadeira diferença se revela no progresso dos diferentes

grupos no sistema educacional (HANEY, 2006).

Outra parte significativa da bibliografia mostra que não só não há resultados

positivos mas que também as provas high-stakes chegam a fazer mal ao processo

educativo. Nichols (2005) não encontra a evidência de um efeito positivo de provas

high-stakes, enquanto Malen (2004) demonstra como versões de sistemas de

accountability high-stakes podem diminuir a capacidade das escolas com mais

dificuldades de melhorarem seus resultados, mesmo na presença de recursos

adicionais (MALEN; RICE, 2004; NICHOLS; GLASS; BERLINER, 2005). Outros efeitos

colaterais incluem a redução na criatividade e no entusiasmo dos professores devido

às demandas pouco razoáveis a que estão sujeitos e que os levam a abandonar a

profissão (JOHNSON; JOHNSON, 2002), e a tendência dos professores de ensinar para

o teste, e dessa forma inflar artificialmente os resultados dos alunos, ao mesmo tempo

em que se descuidam das atividades e áreas curriculares não sujeitas ao

monitoramento (VOLANTE, 2004).

Muitos dos estudos acessados concluem que o accountability como política

pública que promete mudanças substanciais fica aquém do prometido (MANNA, 2010)

ou produz resultados superficiais e contraditórios. O termo superficial se refere à

descoberta que, enquanto os testes high-stakes parecem motivar os professores e

gestores a mudarem sua prática, as mudanças tendem a ser antes meros ajustes

superficiais no conteúdo ensinado e no preparo dos alunos para as provas do que

melhorias permanentes na prática de ensino. Ainda mais problemático, a informação

fornecida pelas avaliações em larga escala serve mais para medir o progresso da escola

ou do sistema do que para guiar o ensino, de modo que a política é bem menos

substantiva do que se costuma pensar. Enquanto serve para indicar as fragilidades das


escolas, oferece pouco em termos de informação e orientação para a formulação de

respostas pedagógicas (SUPOVITZ, 2009).

Os resultados também são conflitantes. Em meta-análise de 49 estudos das

relações entre testes high-stakes e práticas docentes, Au (2007) encontra tendências

contraditórias. Os efeitos mais visíveis são a redução do conteúdo para os tópicos dos

testes, a fragmentação dos conhecimentos em pedaços relacionados aos testes e o

aumento nas práticas de ensino centradas no professor. Por outro lado, em

determinados momentos, os testes high-stakes têm levado a uma expansão no

currículo, à integração de diferentes áreas curriculares e ao uso de estilos de ensino

mais cooperativos, centrados nos alunos. Os achados contraditórios da pesquisa

sugerem que o impacto da política de testes high-stakes sobre a prática do professor

esteja condicionado pela própria natureza dos testes e pela relação deles com o

currículo (AU, 2007).

Talvez por esse motivo existam autores que pensam que os sistemas de

accountability como o NCLB possam ainda promover mudanças positivas. Anderson

(2005) argumenta que, para um sistema de accountability produzir resultados de

aprendizagem ao mesmo tempo em que atende às necessidades legais e profissionais

do corpo docente, ele precisa satisfazer alguns requisitos, entre os quais a necessidade

de expressar uma completa harmonia de propósitos e instrumentos (ANDERSON,

2005). Para esse e outros autores, a conceito usado é o do alinhamento dos objetivos,

do currículo, do ensino, dos recursos e das avaliações. Sem esse alinhamento, que

começa com um consenso em torno de um currículo-padrão e se estende para dentro

da sala de aula por meio do currículo ensinado, não há sistema de avaliação que possa

oferecer alguma orientação para a prática do professor ou fornecer as bases para uma

distribuição justa de prêmios.

4.1 Sistemas de Incentivos

Outro assunto levantado pelos novos sistemas de accountability diz respeito à

própria teoria dos incentivos e seu impacto no comportamento dos professores. Por


causa da polêmica sobre os novos sistemas de “pagamento por resultados” e de

incentivos salariais nos Estados Unidos, existe uma literatura já considerável sobre

esse tópico, que nos ajudará a especular sobre os possíveis efeitos dos sistemas de

incentivos salariais para professores sendo implantados no Brasil e seus impactos no

resultado dos alunos.

Quando a pesquisa se concentra na comparação dos resultados dos alunos de

acordo com a presença ou não de sistemas de pagamento de incentivos, a tendência

nos Estados Unidos e em outros países como Índia e Israel é mostrar que os alunos

têm desempenho superior quando seus professores estão aptos a receberem algum

bônus. Usando dados de um experimento natural em um distrito escolar onde uma

escola de Ensino Médio adotou um sistema de incentivos e outro não, Eberts e colegas

não conseguiram mostrar que houve impacto na média dos alunos, mas constataram

que a proporção de alunos evadidos diminuiu significativamente (EBERTS;

HOLLENBECK; STONE, 2000). Figlio e Kenny (2006), por outro lado, com base na

Pesquisa Longitudinal Nacional sobre Educação (NELS), encontraram resultados

melhores em escolas com sistemas de incentivos, mas pela natureza dos dados não

puderam descartar a possibilidade de esse resultado ter sido causado pela adoção dos

sistemas de incentivos pelas melhores escolas (FIGLIO; KENNY, 2006). Resultados mais

convincentes foram encontrados por Winters em estudo do sistema de incentivos de

Little Rock, Arkansas, onde os alunos dos professores incluídos no programa obtiveram

ganhos substanciais (WINTERS, 2008) e Atkinson, na Inglaterra, onde o ganho equivalia

a aproximadamente 40% de um ano escolar por aluno (ATKINSON, 2009). O estudo de

Lavy de professores de inglês e matemática incluídos em programa de premiação por

aumentos no resultados dos alunos no exame de ingresso ao Ensino Médio mostrou

ganhos na proporção de alunos prestando o exame, nas médias e na taxa de

aprovação, causados por mudanças no ensino, nos cuidados dos professores com os

alunos e o tempo gasto fora do horário escolar (LAVY, 2009). Mesmo representando

somente 3% do salário anual, os incentivos oferecidos no estado indiano de Andra

Pradesh foram suficientes para melhorar os resultados dos alunos em 0,28 e 0,16


desvios-padrão em matemática e língua após dois anos do programa

(MURALIDHARAN; SUNDARARAMAN, 2009).

Outros autores são menos otimistas e enfatizam possíveis efeitos negativos dos

sistemas de incentivos, incluindo a erosão da motivação intrínseca inerente à docência

pela motivação extrínseca mais instrumental. Springer (2009) menciona a perda do

ambiente colaborativo e a instalação de interesses mais competitivos ao mesmo

tempo em que critica a incapacidade dos testes de retratar a complexidade multitarefa

do trabalho do professor (SPRINGER, 2009). Relatório da Corporação Rand também

fala da possibilidade de efeitos negativos na moral dos professores, no espírito de

colaboração entre membros da equipe e no desempenho dos alunos (RAND, 2009). Os

trabalhos que não detectam ganhos entre os alunos de professores incluídos em

programas de incentivos observam o efeito de pequenas variações no próprio desenho

dos programas e a necessidade de envolver os interessados no processo de

formulação (PRINCE, 2008 ).

Quando a pesquisa faz a distinção entre sistemas de incentivos individuais e

sistemas de incentivos coletivos, pagos a todos os integrantes da equipe escolar

independentemente se foram ou não os professores dos alunos testados, os

resultados se tornam mais relevantes para a situação brasileira. Com a exceção do

prêmio para os professores alfabetizadores de Sobral, os incentivos brasileiros são

coletivos, pagos, mediante fórmulas diversas, à coletividade escolar com justificativas

que geralmente explicitam o propósito de motivar a equipe inteira e evitar possíveis

divisões causadas pelos incentivos individuais. Os motivos também são práticos. Como

detalhado por Ahn e Vigdor, pela concentração da avaliação em poucas áreas

curriculares e em só algumas séries escolares geralmente são poucos os professores

cujos alunos são efetivamente testados, mesmo nos Estados Unidos, (AHN; VIGDOR,

2010). Outro problema é a distribuição não aleatória de alunos entre as turmas e a

consequente distribuição enviesada de resultados e incentivos entre os professores. O

terceiro problema, a ser discutido em relação ao uso de novas metodologias de valor

agregado para a avaliação docente, é que os instrumentos de avaliação e os métodos

estatísticos para determinar a relação entre os resultados dos alunos e o trabalho do


professor ainda sofrem de flutuações aleatórias e outras imprecisões que dificultam

seu uso para incentivos individuais.

Apesar das aparentes vantagens do incentivo coletivo, a pesquisa não

demonstra o mesmo impacto. Muralidharan mostra que, enquanto as duas

modalidades de incentivo produziram impactos similares no primeiro ano, a partir do

segundo ano os incentivos individuais superaram os outros (MURALIDHARAN;

SUNDARARAMAN, 2009). Goodman e Turner, por outro lado, mostram pouco impacto

para incentivos de grupo pagos de acordo com o cumprimento de metas pela escola.

Em pesquisa conduzida no sistema público de Nova York, foram criadas diversas

medidas de resultados, incluindo esforço docente, desempenho dos alunos em

matemática e leitura e práticas de sala de aula. Foi detectada a prática de free-riding,

em que os professores cujos alunos não foram testados beneficiaram-se do trabalho

dos outros, mas sem esforço próprio, o que reduziu significativamente o efeito dos

incentivos do programa. Em escolas com um número menor de professores, os

incentivos levaram a uma melhora significativa na frequência dos professores, mas

essa mudança não se traduziu em ganhos nos resultados dos alunos (GOODMAN;

TURNER, 2010).

Talvez não seja tão difícil entender esses resultados. No caso dos incentivos

individuais, o professor que não ganha o bônus terá condição de modificar seu

comportamento com base no modelo oferecido por outros professores da mesma

escola que receberam o incentivo. Nesse caso, há uma conexão possível entre o

sistema de incentivos e a mudança pretendida na prática dos professores menos

produtivos. No caso do incentivo de grupo, essa conexão não existe. O professor que

pertence a uma escola que não recebe o bônus não tem em quem se modelar para

produzir um comportamento ou prática docente diferente. Da mesma forma, a escola

que ganha o bônus coletivo não recebe indicação das práticas consideradas bem-

sucedidas e deve encarar o pagamento mais como um adicional ou um 13º salário do

que propriamente um incentivo para o aprimoramento do ensino da escola.

O resultado de que o incentivo de grupo talvez tenha impactado a motivação do

professor, medida por sua frequência ou assiduidade, sugere que os sistemas


brasileiros que condicionam o pagamento do bônus ao cumprimento de um número

mínimo de dias de serviço estejam no caminho certo. Nesses casos, os efeitos das duas

condições, a do cumprimento das metas e a dos dias de serviço, se somam em favor de

um impacto dobrado. Resta saber se no caso brasileiro o efeito da melhoria na

frequência do professor se traduz em avanços na aprendizagem dos alunos. Os

resultados de Nova York não encorajam otimismo a esse respeito.

Publicação recente do Comitê sobre Incentivos e Accountability Baseado em

Testes na Educação Publica, do National Research Council dos Estados Unidos, pode

nos ajudar a concluir essa discussão a propósito dos resultados de pesquisas sobre os

efeitos dos incentivos salariais em outros países (HOUT; ELLIOTT, 2011). Nessa

metapesquisa, que classifica e avalia um número seleto de trabalhos da última década,

os autores estabelecem uma série de critérios para a exclusão de estudos que por

motivos metodológicos não atingem um grau satisfatório de confiabilidade. O primeiro

critério é que os estudos precisam de grupo de controle, para poder provar que os

incentivos são efetivamente a causa das mudanças na aprendizagem. O segundo

critério obriga o uso de um teste independente low-stakes para medir o efeito dos

incentivos sobre a aprendizagem. Pelo conhecido efeito de “inflação” de resultados

nos testes usados para determinar o pagamento de bonificações, os autores insistem

que este mesmo teste não pode ser usado como a medida usada pela pesquisa para

aferir o impacto da política. O terceiro critério exclui os estudos transversais que

comparam os resultados de escolas incluídas e não incluídas em programas de

incentivos que não controlaram pelos critérios de inclusão.

São 11 os estudos que satisfazem os critérios e oferecem uma base para

conclusões confiáveis, cinco dos Estados Unidos e seis de outros países. Nos Estados

Unidos as pesquisas mostram que os programas de incentivos não tem influenciado os

níveis de desempenho dos alunos de forma significativa. O efeito médio varia de -0,02

a 0,06 desvio padrão quando os programas são avaliados pelo uso de testes low-stakes

de controle. Os estudos em outros países, incluindo os estudos já mencionados de

Muralidharan e Sundararaman na Índia e Lavy em Israel, os efeitos são maiores, com


um efeito médio de 0,08 d.p., mas com extremos na Índia, de 0,22 d.p., no caso de

escolas com incentivos individuais, e 0,15 d.p., nas escolas de incentivos coletivos.

Os autores relutam em chegar a conclusões gerais pelo fato de ainda existirem

muitos desenhos de políticas de incentivos ainda sem experimentação e muita

variação entre os desenhos já testados. Mesmo assim, eles acreditam que os

benefícios são bem menores do que o esperado e pouco convincentes perante o

tamanho do desafio para melhorar os resultados das escolas. Observam que os custos

são altos, o que não deveria ser uma razão para deixar de investir em outras políticas

de melhoria, potencialmente mais eficazes.

4.2. Sistemas de Responsabilização na América Latina

Depois das reformas educacionais da década de 1990 e a incorporação dos

sistemas de avaliação padronizada como instrumentos de gestão, a questão do acesso

cedeu lugar à aprendizagem e à melhoria dos resultados escolares como objetivos

principais dos sistemas educacionais da América Latina. Na esteira desse movimento,

grandemente facilitado pelas agências das Nações Unidas e outros órgãos

multilaterais, também foi incorporada a discussão sobre o uso dos resultados dos

sistemas de avaliação para induzir mudanças no mesmo sentido que os sistemas de

accountability nos Estados Unidos.

A primeira barreira a superar era a tradução correta da palavra accountability. Em

inglês, a palavra expressa dois conceitos, um relacionado com a prestação de contas e

a outra com a ideia da responsabilização. Quando aplicada especificamente à escola, a

noção de prestação de contas significa a cobrança legítima de um serviço público de

qualidade em troca da manutenção da escola com recursos públicos oriundos dos

impostos pagos pela população. Em jogo está o direito do cidadão de esperar bons

serviços, medidos em termos da aprendizagem dos alunos, se esses são sustentados

pelos dólares ou reais dos contribuintes. O segundo significado da palavra é

inseparável e consequência do outro, mas expressa a ideia que o público tem o direito

de demandar que a escola assuma sua responsabilidade direta pelos resultados de


seus alunos. Accountability, portanto, significa uma cobrança por bons resultados e a

demanda de que cada um dos atores envolvidos assuma a sua responsabilidade na

produção desses resultados (BROOKE, 2006; CORVALÁN; MCMEEKIN, 2006; FERRER,

2006; MCMEEKIN, 2006).

No contexto latino-americano, em que a consciência do contribuinte é menos

cultivada e não há o mesmo rigor ou sentimento de posse em relação a tudo o que é

público, foi o elemento da responsabilização que tomou precedência na hora de

esboçar uma tradução (BROOKE, 2006; BROOKE, 2008). A própria discussão da política

pública pode ter sido prejudicada pela precipitação dos autores em optar por uma

tradução incompleta, mas não há alternativa prática à vista. Entre os dois significados,

parece que a responsabilização é o termo que mais exprime o sentimento de que a

escola precisa ser lembrada das suas responsabilidades.

O pioneiro da responsabilização na América Latina é o Chile. O Sistema Nacional

de Avaliação dos Estabelecimentos Subvencionadas (Sned) desse país é acionado a

cada dois anos, desde 1996, para distribuir prêmios às escolas com os melhores

resultados no Simce e dessa forma estabelecer consequências para o trabalho dos

professores. Segundo Mizala e Romaguera (2003, 2005), essa política, dirigida a todas

as escolas que recebem financiamento público com o objetivo explícito de aumentar a

motivação dos professores, oferece prêmios às escolas com as médias mais altas na

avaliação bianual do Simce, em comparação a escolas de características e nível

socioeconômico similares. Adicionalmente, o sistema de premiação se transforma em

orientação para os pais ao entregar informação à comunidade escolar sobre a

qualidade das escolas mediante comparações em diversas dimensões do ensino

(MIZALA; ROMAGUERA, 2003). Em cada região, as melhores escolas são premiadas até

alcançar 25% dos alunos matriculados, o que na prática significa aproximadamente

20% das escolas e 27% dos professores. A lei estipula que 90% do montante recebido

seja distribuído entre os professores e o restante distribuído de acordo com as

prioridades de cada escola. Em 2005, o valor distribuído para cada professor equivalia

entre 5 e 7% do salário anual, mas a legislação mais recente efetivamente duplica esse

valor, além de aumentar a proporção da matrícula regional que será coberta pelos


“prêmios de excelência” de 25 para 35% (MIZALA; ROMAGUERA, 2005; VEGAS;

UMANSKY, 2005). Apesar de existirem sistemas de incentivos em outros países da

América Latina, como Bolívia e El Salvador, o Sned do Chile era o único que enfatizava

principalmente os resultados dos alunos no cálculo do indicador final de desempenho,

juntamente com alguns indicadores de processo e de igualdade de oportunidades.

Novos sistemas de responsabilização no Brasil, a serem discutidos logo a seguir,

alteram esse panorama regional.

A pesquisa sobre o impacto do Sned é dificultada pela ausência de um grupo de

comparação, já que todas as escolas com financiamento público competem pelos

prêmios, e pelo problema de endogenia sofrido pelas avaliações de impacto do Sned

que precisam usar como indicador o mesmo resultado usado pelo Sned no cálculo do

índice de desempenho da escola. A solução encontrada por Mizala e Romaguera

(2005) foi empregar um modelo de efeitos fixos, o que permitiu modelar a

heterogeneidade de cada escola e criar uma função de produção para ver o efeito do

Sned no desempenho dos alunos. Com esse método, os autores fornecem evidências

preliminares de que, quando os dados das diferentes aplicações do Sned são

comparados, há a evidência de que o incentivo tem um efeito cumulativo e positivo no

desempenho dos alunos para aquelas escolas que possuem boas chances de ganhar o

prêmio (MIZALA; ROMAGUERA, 2005). Não há efeito para a quase metade das escolas

que nunca foram premiadas.

Vegas e Umansky (2005) interpretam esses resultados como a indicação de um

problema no desenho da política. As falhas consideradas mais prováveis são: 1) que

somente uma pequena proporção dos professores sente o efeito do incentivo para

melhorar a aprendizagem dos alunos, já que a maioria ou recebe o prêmio

automaticamente ou não tem nem chance de recebê-lo; 2) que o tamanho do prêmio

é tão pequeno que os professores sentem que o esforço para melhorar o desempenho

de seus alunos não vale a pena; e 3) que o prêmio pode não estar suficientemente

ligado ao trabalho do professor (VEGAS; UMANSKY, 2005). Carnoy et al. (2004)

também levantam dúvidas a respeito da eficácia do sistema de incentivo pelo fato de

estar baseado, em parte, na diferença entre os resultados dos alunos de 4ª e 8ª séries,


ou seja, mediante comparações entre alunos de grupos ou coortes diferentes, em vez

de medir os ganhos intracoorte na aprendizagem dos mesmo alunos ao longo do

tempo passado na mesma escola entre a 4ª e a 8ª série (CARNOY et al., 2004). Os

autores argumentam que existe pouca evidência empírica de que os professores

respondam sistematicamente a incentivos intercoorte de 4ª e 8ª séries e que a

diferença nos resultados desses testes dependem mais de variações naturais entre as

coortes e outras flutuações aleatórias do que do nível de esforço dos professores. Os

resultados desses pesquisadores mostram que há uma relação entre as duas medidas,

mas que muitas das escolas que receberam prêmios não mostraram o mesmo

desempenho nas medidas intracoorte. Em conclusão, os autores sugerem que a

melhor estratégia da escola é concentrar-se na produção de bons resultados na 4ª e 8ª

séries nos anos dos testes do Simce, antes de se preocupar com a aprendizagem dos

alunos ao longo de seus anos na escola.

O quadro a seguir resume aspectos importantes do Sned desde a sua criação.

Observa-se que o número de escolas e professores beneficiados aumentou a partir de

2006 com a legislação que ampliou o cálculo de estabelecimentos premiados em cada

região até abranger 35% da matricula. No mesmo período, o valor por professor

premiado quase triplicou, elevando o gasto anual com a política de premiação. Em

relação à proporção do total dos gastos do Ministério da Educação com as escolas que

recebem recursos públicos, o programa de premiação aumentou 80% no período, após

a incorporação dos professores assistentes alocados nas escolas premiadas a partir de

2008. Tanto a continuidade como o aumento significativo nos gastos com o programa

indica o sucesso da política aos olhos do Ministério e do público. A definição de todas

as variáveis consideradas, a metodologia do cálculo e a lista das escolas beneficiadas

por região são divulgadas abertamente no site do Sned juntamente com a explicação

dos benefícios esperados da Subvención por Desempeño de Excelencia em termos da

motivação dos professores e a superação das escolas (CHILE, 2010).


Quadro 2 . Beneficiários e Recursos: SNED, 1996-2010

SNED 1996-1997

SNED 1998-1999

SNED 2000-2001

SNED 2002-2003

SNED 2004-2005

SNED 2006-2007

SNED 2008-2009

SNED 2010-2011

Estabelecimentos

selecionados 2.274 1.815 1.699 1.863 1.829 2.236 2.597 2.656

Docentes

beneficiados 30.600 31.400 32.600 34.400 34.380 51.600 57.700 58.597

Premiação por aluno/

docentes ($) 1.015 1.050 1.217 1.246 1.779 2.917 3.205 3.640

Monto anual por

docente ($) 272.622 287.777 334.919 339.493 490.630 559.734 634.161 744.833

Gasto anual

premiação para

docentes (Milhões de

Pesos)

8.342 9.036 10.918 11.678 16.867 28.883 37.807 43.645

Professores

assistentes

beneficiados

27.000 28.455

% Gasto SNED/Gasto

total premiações 1,02 0,87 0,9 0,84 1,03 1,62 1,8 1,85

Fonte: Sistema Nacional de Evaluación del Desempeño de los Establecimientos Educacionales

Subvencionados y de los Regidos por el Decreto Ley Nº 3166. 2010-2011. Hacia la Excelência Académica.

Ministério de Educación. http://www.sned.cl/mineduc/sned/documentos/tecnicos/FolletoDifusionSNED.pdf


5. Sistema Classificatório para os Diferentes Usos da Avaliação Educacional

Em pesquisa comparativa realizada em 2006 sobre os sistemas de avaliação de

cinco estados brasileiros, os pesquisadores Sousa e Oliveira (2007) concluíram que

houve melhoras significativas no desenho técnico dos instrumentos e na confiabilidade

dos resultados. Entretanto, os pesquisadores observaram que o uso que as Secretarias

de Educação faziam dos resultados para a formulação de políticas de gestão ainda era

incipiente:

Apesar de constar dos objetivos dos sistemas de avaliação, o uso de seus

resultados por parte dos gestores é tênue ou inexistente. Nesse nível,

observa-se a tendência de que tais resultados sejam compreendidos como

apenas um indicador (a ser justaposto a outros, tais como evasão,

repetência etc.), não informando políticas específicas. O gerenciamento do

sistema apoia-se nas estruturas burocráticas não se orientando pelos

resultados de desempenho escolares. O investimento maior – humano e

recursos financeiros - é na direção da produção de informações e não em

sistemáticas que estimulem e apoiem o uso dos resultados. A noção de

accountability – tanto em seu sentido de prestação de contas à sociedade

quanto no de responsabilização – ainda é pouco explorada. (SOUSA;

OLIVEIRA, 2007)(p. 197).

Em documento de 2005, o próprio Consed parecia confirmar esta conclusão ao

afirmar que o principal uso dos resultados das avaliações externas era para a

orientação da formação continuada de professores e destacou como desafio para os

próximos anos o “melhor aproveitamento da avaliação em larga escala” (CONSED,

2005).

As explicações mais correntes pela aparente incipiência de políticas de gestão

calcadas em informações sobre o desempenho dos alunos eram três: as Secretarias

ainda não percebiam o potencial dessas informações para a formulação de políticas de

gestão de recursos e pessoal; as Secretarias estavam constrangidas de formular novas

políticas de gestão pelas resistências encontradas entre os professores; e os


instrumentos de avaliação usados pelas Secretarias nem sempre correspondiam aos

usos almejados pelos gestores.

Os levantamentos feitos pelos pesquisadores no ano de 2010 sobre os diferentes

usos dos sistemas estaduais de avaliação mostram que essas conclusões estão

desatualizadas. Pela expansão no número e sofisticação dos sistemas de avaliação

durante os últimos anos e pela exploração de novas formas de aproveitar as

informações geradas, constata-se a diversificação nas práticas de gestão educacional

com base nos resultados dos alunos. De forma isolada ou em conjunto com outras

informações, os resultados gerados pelos sistemas estaduais de avaliação educacional

estão sendo usados para finalidades que variam entre a criação de indicadores

estaduais de desenvolvimento educacional até a avaliação de desempenho de

diretores escolares. As Secretarias não estão sentindo os mesmos constrangimentos

do passado e estão aproveitando de diversas formas as informações geradas pelos

instrumentos e análises cada vez mais sofisticadas de uma nova geração de políticas de

avaliação. Se ainda há alguma dificuldade no uso dos instrumentos para orientar as

práticas dos professores, chamadas genericamente aqui de políticas de gestão

pedagógica, ela não tem impedido avanços na aplicação dos resultados em outras

áreas. Na maioria das vezes, essas outras áreas envolvem a classificação das escolas do

sistema com base nos resultados de português e matemática dos alunos do 5º e 9º

anos e do 3º ano do Ensino Médio. Mesmo não sendo propriamente uma avaliação da

escola, por não testar todos os alunos em todas as disciplinas e anos, as Secretarias

presumem que os resultados das disciplinas básicas nos anos finais de cada ciclo de

estudos possam oferecer uma amostra das atividades da escola que sirva de indicador

do desempenho geral da instituição. Há alguma evidência na literatura que esse

pressuposto seja valido pela alta correlação entre diferentes medidas de desempenho

acadêmico dos alunos (RUTTER et al., 1979; MORTIMORE et al., 1988).

Tanto a diversificação das políticas de gestão como a necessidade de fazer

distinções entre as novas áreas de uso das avaliações nos obrigam a procurar um

sistema classificatório que dê conta da variedade. Essa tarefa representa um desafio

pelo fato de as classificações tradicionais se ocuparem principalmente não dos


diferentes usos da informação, mas dos propósitos genéricos dos sistemas de

avaliação. Por exemplo, é comum a distinção entre a avaliação formativa e somativa,

sobretudo na descrição das avaliações de sala de aula, e entre a avaliação diagnóstica

e certificatória. Na avaliação formativa, procuram-se elementos para adequar o

processo de ensino ao grupo ou aos alunos que apresentam dificuldades, tendo em

vista o alcance dos objetivos propostos, enquanto a somativa é a avaliação final para

determinar em que medida as metas foram alcançadas e para classificar, selecionar,

aprovar ou reprovar. No caso da avaliação diagnóstica, conforme Ravela (2008), o

propósito explícito é o de enriquecer a qualidade das percepções e decisões sobre os

diversos atores dos sistemas (RAVELA, 2008). Nesse cenário, o nível de aprendizagem é

empregado como indicador da saúde do sistema e não traz consequências imediatas

para os alunos. A avaliação certificatória, por outro lado, tem o objetivo de estabelecer

quais dos alunos alcançaram os conhecimentos e competências considerados

necessários para serem aprovados em determinado curso ou período de estudo e

receberem o diploma ou certificado correspondente.

Em ambos os casos, é a natureza da tarefa que vai determinar a forma da

avaliação. Ou seja, o desenho do instrumento é definido pelo tipo de informação que

se precisa produzir de forma que, grosso modo, o uso da informação já é dado pela

natureza e propósito do instrumento. No caso do instrumento diagnóstico, por

exemplo, talvez nem seja necessário aplicar os testes à totalidade dos alunos nem

colocar todos os itens num único teste vultoso. Basta uma amostra de alunos e versões

paralelas do teste para ter uma radiografia da aprendizagem das diferentes matérias.

Esse é o modelo de avaliação seguido pelo Saeb. O instrumento certificatório, por

outro lado, precisa ser aplicado a todos os alunos que querem a certificação e cada

teste precisa dar conta da matéria inteira para oferecer uma medida fidedigna da

aprendizagem de cada aluno. Ravela admite que uma avaliação pode ter mais de uma

finalidade e que as diferentes finalidades não são necessariamente exclusivas, mas

lembra que “cada opção requer um determinado desenho e tem diferentes exigências

técnicas e custos” (RAVELA, 2008) (p. 12).


Outro tipo de classificação que reconhece a multidimensionalidade da avaliação

procura encontrar as categorias que descrevem os diferentes tipos de informação

gerada. Shulha e Cousin, por exemplo, em estudo que resumia os usos da avaliação

nos Estados Unidos no período entre 1986 e 1996, empregaram três categorias de

informação: instrumental, conceitual e simbólica (SHULHA; COUSIN, 1997). Em

esquema parecido, descrito por Soares (2002), encontramos uma tipologia que fala

das três funções genéricas dos sistemas de avaliação. A primeira é a função métrica,

de medir onde se situam os sistemas de Educação em comparação com algum

parâmetro para responder perguntas sobre possíveis avanços. A segunda função é a

analítica, ou seja, oferecer subsídios aos pesquisadores e gestores no seu trabalho de

investigar o funcionamento do sistema. A terceira, considerada a mais difícil, é a

função pedagógica, que trata do uso da avaliação como instrumento para a melhoria

do ensino (SOARES, 2002).

No caso brasileiro, fica evidente que os mesmos instrumentos estão sendo usados

com objetivos diversos de modo que a finalidade precípua ou original do instrumento

pouco esclarece sobre seus desdobramentos posteriores. Também fica evidente pelas

declarações das autoridades que as finalidades dadas como razão pela criação dos

sistemas de avaliação são muito abrangentes e, às vezes, até ultrapassam a própria

capacidade da avaliação educacional. Essas declarações incluem, por exemplo, a

finalidade de “melhorar a qualidade da Educação” ou, no caso do Saeb, “reverter o

quadro de baixa qualidade e produtividade do ensino caracterizado, essencialmente,

pelos índices de repetência e evasão escolar” (SOUSA, 2003). A classificação com base

nas finalidades oferecidas pelas autoridades como justificativas deixaria de captar as

especificidades dos diferentes usos ao mesmo tempo em que obrigaria a inclusão de

categorias fora do escopo real da avaliação.

Nesse cenário, a nossa classificação dos usos dos sistemas precisa partir de outra

lógica, a das diferentes políticas efetivamente implementadas pelas autoridades uma

vez construídas e aplicadas as diversas formas de avaliação em larga escala. Ao fazer

essa distinção, estaríamos concordando com a diferença entre finalidade e utilidade

explicitada no trabalho de Dantas sobre o uso para efeitos pedagógicos dos resultados


do sistema de avaliação do estado da Bahia (DANTAS, 2009). Para essa autora, a

finalidade é o objetivo expresso, enquanto a utilidade relaciona-se com a demanda de

informações por parte dos stakeholders do sistema.

Encontramos uma classificação de “utilidades” em termos de políticas de gestão

no trabalho de Shepard em que são listados sete propósitos ou políticas

governamentais (SHEPARD, 1977). O autor não objetiva definir quais os propósitos que

podem ser alcançados com os mesmos instrumentos. Pelo contrário, parece

subentendido que cada propósito significaria um instrumento diferente ou no mínimo

um desenho para a avaliação que incorporasse as utilidades previstas. Eles são:

1. Diagnóstico da aprendizagem do aluno

2. Certificação do aluno

3. Avaliação de pessoal docente, diretores e outros

4. Avaliação de programas

5. Alocação de recursos

6. Accountability5

7. Pesquisa

Para as nossas necessidades, essa lista tem dois defeitos. O primeiro reside no

desdobramento desnecessário de pesquisa e avaliação de programas. Em ambos os

casos, os resultados podem ser usados como evidência da existência de efeitos

causados por políticas, programas e até situações quase experimentais, em que há

interesse em medir os impactos de mudanças no funcionamento das escolas e na

aprendizagem dos alunos. As avaliações podem acontecer em nível estadual, municipal

ou escolar e podem ser para efeitos tanto somativos, para determinar as

consequências de determinadas políticas, como formativos, para corrigir os rumos de

programas em andamento.

O segundo defeito reside no uso da categoria accountability para classificar

determinadas avaliações de forma exclusiva. Os autores Klinger, DeLuca e Miller, na

5 A tradução deste conceito é problemática e será objeto de discussão especifica mais adiante.


descrição da evolução da avaliação educacional no Canadá, e Bauer, no caso dos

sistemas nacionais de avaliação na América Latina, incorrem no mesmo erro ao criar

uma distinção entre os objetivos das avaliações relacionados à accountability e os

objetivos relacionados com a seleção, classificação, premiação ou certificação

(KLINGER, 2008; BAUER, 2010). O que tem sido mostrado é que accountability no

contexto educacional significa acima de tudo a associação entre resultados de

aprendizagem e consequências, sejam para o distrito educacional, a escola, os

professores ou os alunos. O nível de influência que a autoridade educacional deseja

aplicar ao processo de indução pode ser calibrado de acordo com o tipo ou a seriedade

das consequências. Nesse contexto, é comum rotular os níveis de indução mais altos

de high stakes e os mais baixos de low stakes, usando a palavra inglesa stakes, que

significa “o valor colocado em jogo pelo apostador”. Por isso, pode haver uma política

de gestão com utilidade única, mas cujas consequências são variáveis de acordo com o

contexto e as intenções das autoridades. Dependendo desses condicionantes, as

consequências de resultados de aprendizagem baixos podem ser insignificantes ou

nulas ou podem ser extremamente prejudiciais à vida futura do aluno ou da escola.

Para dar conta dessas diferentes realidades, em que o objetivo da avaliação pode estar

associado ou não a diferentes medidas de accountability, observa-se a necessidade de

conceituar a accountability como se fosse a segunda dimensão de um sistema

classificatório bidimensional. Com isso, para todas as utilidades da avaliação,

potencialmente existe a possibilidade de agregar consequências de impacto maior ou

menor.

Uma terceira característica do esquema de Shepard, que não chega a ser um

defeito, é a inclusão do propósito “certificação de alunos”. Diferentemente de outros

sistemas, como dos Estados Unidos, os sistemas brasileiros de avaliação nunca foram

usados para determinar a aprovação dos alunos do ensino básico, salvo uma breve e

polêmica experiência no estado de São Paulo em 2001, quando o Saresp foi usado para

definir a aprovação ou reprovação de alunos ao final dos ciclos do ensino fundamental

(4ª e 8ª séries). A criação do Enem, que aos poucos assume as características de um

exame certificatório de saída do Ensino Médio na medida em que se torna requisito e


critério para o ingresso à universidade, alterou o panorama da avaliação federal, mas

ainda não há sinal de interesse nem a cobertura legal para a criação de avaliações

certificatórias equivalentes por parte dos estados.

No entanto, a função certificatória não pode ser eliminada do esquema

classificatório devido à possiblidade do uso dos resultados da avaliação na função

supervisora que pode exercer a Secretaria de Educação em relação às escolas de

outras redes. Nesses casos, a Secretaria pode usar os resultados da escola como

critério para autorizar ou reautorizar seu funcionamento. Para todos os efeitos, esse

uso da avaliação, mesmo pouco usual, seria de certificação.

Com as modificações sugeridas, e a inclusão de três categorias novas que logo

serão explicadas, chega-se a uma nova matriz classificatória para a tarefa de

categorizar todas as políticas dos estados que fazem uso das informações geradas

pelos seus sistemas próprios de avaliação padronizada. Chamada A Avaliação Externa

como Instrumento da Gestão Educacional: Classificação, esse sistema classificatório é

apresentado a seguir, juntamente com a definição de cada categoria:

Quadro 3. A Avaliação Externa como Instrumento da Gestão Educacional:

Classificação

Uso dos resultados da avaliação

(Política de gestão)

Sem consequências ou

consequências menores (low

stakes)

Com consequências

importantes (high stakes)

1 Avaliação de programas,

monitoramento, planejamento e

pesquisa

• Edurural (MEC)

• Avaliação PDE (Ceará)

• Avaliação Escolas de Referência

(PE)

• Idedsp; Idepe; Ideam; IDE-Rio

etc.

• Gestão para resultados (MG)

• Continuidade de Head Start,

Title 1, etc. (EEUU)

• PAR (MEC)

• Prog. Escolas - Padrão (SP)

2 Para informar as escolas sobre a

aprendizagem dos alunos e definir

as estratégias de formação

continuada.

• Boletim de Resultados (PE)

• Relatório Pedagógico (DF)

• PIP (MG)

• Relatórios comparativos

(Reino Unido)

3 Para informar ao público • Boletim da escola (Paraná)

• Propaganda política (MG)

• School-choice (Chile)

4 Para a alocação de recursos • P-900 (Chile) • Escola Nota 10 (CE)


• Aprender Mais (PE)

• Escola Referência (MG)

• Índice Municipal de

Qualidade Educacional (CE)

5 Para políticas de incentivos salariais • Acordo de Resultados (MG)

• Escola Nota 10 (CE)

• Bonificação por

Desempenho (SP)

6 Como componente da política de

avaliação docente

• ADI (MG)

• Recondução de diretores

(DF)

7 Para a certificação de alunos e

escolas

• Promoção de alunos de 4ª e

8ª series. 2001. (SP)

• Aprovação de

funcionamento de escolas

(DF)

1. Avaliação de programas, monitoramento, planejamento e pesquisa. A primeira

categoria do sistema classificatório reflete os objetivos explicitados pelos documentos

oficiais de todos os sistemas estaduais de avaliação em existência no Brasil. Esse uso

precípuo dos sistemas de avaliação para a avaliação de políticas e o monitoramento de

resultados é dado pelo nível de organização e abrangência dos sistemas de avaliação,

que pressupõe uma função de controle e acompanhamento. Ele também é dado pela

natureza dos instrumentos dos sistemas estaduais, derivados do padrão estabelecido

pelo Saeb. Esse sistema nacional, criado de experiências iniciais no final da década de

1980 e consolidado por meio de mudanças metodológicas em 1995, é regionalmente

reconhecido como um dos sistemas mais completos e tecnicamente sofisticados do

seu tipo. Semelhante ao sistema norte-americano Naep6, no qual foi modelado, o

Saeb coleta informação sobre o desempenho e características dos alunos nos três

pontos principais de transição do sistema de ensino básico, além de informações

contextuais de alunos, professores e diretores, de uma amostra nacional estratificada

6 O governo federal dos Estados Unidos criou a National Assessment of Educational Progress – Naep

(Avaliação Nacional do Progresso Educacional), no final dos anos 1960. A avaliação testa uma amostra dos estudantes aos 9, 13 e 17 anos de idade em inglês e matemática. Conhecido como o Boletim Escolar da Nação, a Naep é usado da mesma forma que o Saeb , ou seja, como parâmetro para comparar o avanço ou retrocesso no nível de aprendizagem dos estados e dos diferentes grupos de alunos ao longo dos anos.


de escolas públicas e privadas. Pela estrutura da amostra e a natureza dos dados

coletados, o Saeb e os sistemas estaduais que o imitam têm a nítida função de

radiografar o sistema e acompanhar a sua evolução ao longo do tempo. Essa segunda

atribuição foi melhorada significativamente em 1995, com a incorporação da Teoria de

Resposta ao Item na organização das provas e análise dos dados e na criação de uma

escala única de desempenho. Pela localização das proficiências dos alunos de

diferentes séries e diferentes anos de aplicação nessa mesma escala, é possível

acompanhar a evolução da aprendizagem nos diferentes níveis do sistema e ao longo

dos anos.

O uso dessa escala de resultados para efeitos de planejamento já foi realçado na

discussão sobre a implantação da gestão por resultados em muitos governos

estaduais. Uma vez estabelecida a escala para a interpretação do desempenho dos

alunos, fica evidente que as Secretarias podem estipular os avanços esperados ao

longo dos anos, por série e disciplina. A partir da criação do Ideb e a fixação de metas

para escolas, municípios e estados, a utilidade da Prova Brasil e do Saeb para efeitos

de planejamento e monitoramento foi elevada a outro patamar de qualidade. As

iniciativas dos estados de formularem indicadores próprios similares deverão ser

registradas nessa categoria.

A pesquisa do sistema pode significar o uso dos resultados das avaliações para a

análise das relações entre as características das escolas e seu desempenho em estudos

chamados de “fatores associados” ou “efeito escola”. Essa modalidade de pesquisa,

relativamente recente, foi muito influenciada pela tradição de pesquisa em eficácia

escolar e faz uso tanto dos resultados dos alunos como das informações coletados por

meio dos questionários contextuais aplicados aos professores, diretores e alunos. O

uso dos resultados para outros tipos de pesquisa, incluindo a avaliação de políticas e

programas, também pode ser incentivado pelos estados da mesma forma que o Inep

procura incentivar o uso por pesquisadores das bases de dados dos sistemas nacionais

de avaliação.


2. Para informar as escolas sobre a aprendizagem dos alunos e as estratégias de

formação continuada. A preocupação dos gestores com a qualidade da Educação, e o

interesse em colocar os sistemas de avaliação a serviço dos esforços de melhoria do

ensino, aflui para uma variedade de diferentes políticas pedagógicas. Essas têm em

comum a necessidade de devolver os resultados da avaliação para as escolas, em

processo comumente chamado de “devolutivo”, de modo que a instituição e seus

professores possam compreender as variações no desempenho dos alunos e perceber

formas de influenciar futuros resultados mediante mudanças nas suas práticas

pedagógicas.

Na maioria das vezes, essa política de gestão pedagógica se expressa na forma de

boletins escolares ou outros informativos contendo os resultados dos alunos para cada

ano e área curricular em estudo. A produção e a devolução dos boletins podem estar

acompanhadas de atividades estruturadas para facilitar a compreensão dos resultados

e a incorporação deles em processos autônomos de autoavaliação e planejamento

pedagógico.

A incorporação de informações aos boletins sobre outras escolas da região ou do

sistema é um aspecto relevante, na medida em que possa agregar ao processo

devolutivo um elemento de accountability. A comparação com outras escolas toca no

espírito competitivo das pessoas e sinaliza, mesmo em grau menor, que as escolas têm

alguma responsabilidade pelos resultados dos alunos. Essa conclusão deriva da

seguinte lógica: a comparação pressupõe a comparabilidade, que por sua vez

pressupõe que as escolas estejam sujeitas às mesmas condições. Sendo assim, as

diferenças entre elas não podem ser explicadas com base no que elas têm em comum,

senão nas suas características individuais, que estão sujeitas à ação dos membros das

equipes escolares. Por causa dessa lógica, torna-se importante distinguir entre os

boletins em relação às metodologias empregadas na comparação de escolas.

Outra vertente das políticas de gestão pedagógica baseadas nas avaliações

envolve a interpretação dos resultados por especialistas e membros dos serviços de

supervisão com o propósito de oferecer oportunidades de formação continuada aos

professores para tratar as dificuldades evidenciadas. Nesse caso, há o pressuposto de


que as dificuldades ou lacunas identificadas sejam comuns a grupos ou à totalidade

dos professores, de modo que a sua solução não resida em nível da escola.

A variedade de alternativas em termos dos objetivos, conteúdos, métodos,

logística e abrangência dessas políticas é tão grande quanto todo o panorama da

formação continuada de cada órgão. Vale a pena destacar, no entanto, que a maioria

desses esforços se concentra em questões curriculares, seja na discussão de conteúdos

já definidos, seja no debate que acompanha a reforma e a redefinição desses

conteúdos. Essa discussão se torna cada vez mais exigente na medida em que as

autoridades se convençam da necessidade de estreitar o vínculo entre o currículo

oficial, o currículo ensinado e as matrizes de referência dos instrumentos de avaliação.

3. Para informar ao público. A preparação dos boletins escolares representa uma

dimensão importante da política de divulgação dos resultados da avaliação. No

entanto, há outras dimensões que indicam a presença de outras preocupações além

da pedagógica. A divulgação junto à sociedade pode ser para efeitos de publicização

do sistema de avaliação, com o intuito de disseminar a preocupação com a qualidade e

os resultados alcançados e de angariar apoios genéricos a favor da condução da

política educacional. Mais perto das eleições, essa divulgação se torna claramente

eleitoral, indicando a relevância dos resultados do sistema educacional para a

população e a probabilidade de serem relevantes para o julgamento da eficácia do

governo. Pode-se encontrar também exemplos de disseminação menos interessada

que enxergam na divulgação uma oportunidade de democratização da informação no

cumprimento do preceito da transparência.

A política de divulgação que mais nos interessa nesse contexto é aquela

direcionada especificamente aos pais dos alunos e a outros membros da comunidade

próximos à escola. No entanto, os propósitos por trás da intenção de informar os pais

sobre os resultados das escolas de seus filhos precisam ser diferenciados. O gestor

pode querer simplesmente motivar a participação da comunidade dos pais nas

atividades da escola. Mais provável, porém, é o desejo do gestor que os pais exerçam


alguma influência sobre a escola com base no conhecimento detalhado dos seus

resultados.

Esse objetivo se torna ainda mais claro na presença de dados comparativos, que

estabelecem a posição exata da escola mediante algum tipo de ranqueamento ou que

fornecem informações suficientes para o usuário chegar a suas próprias conclusões

sobre o nível de desempenho dela. Esse tipo de divulgação orientada se tornou

bastante comum no Chile, nos Estados Unidos e na Inglaterra por causa da criação de

políticas de gestão que fomentam o uso de critérios de livre mercado na escolha da

escola dos filhos. De novo, há a necessidade de distinguir entre as informações

divulgadas de acordo com as metodologias empregadas na comparação das escolas.

4. Para a alocação de recursos. O emprego dos resultados dos alunos como um

dos critérios para a inclusão das escolas em programas governamentais voltados para

a melhoria ou como indicador para a simples distribuição de recursos talvez seja a

política que mais bem expressa a relação entre a avaliação e a gestão educacional.

Nesses casos, não há necessariamente propósitos de responsabilização, mas a sua

execução, na prática, pode criar dificuldades. Nos Estados Unidos, houve resistência à

prática dos estados de beneficiarem com recursos adicionais distritos mais atrasados

em termos dos resultados dos alunos por ser uma política de “premiação do fracasso”.

O contrário dessa medida, ou seja, beneficiar escolas que mais progridem, pode ser

uma alternativa, mas também sofre criticas por questões de equidade.

No caso brasileiro, pela existência de um sistema de distribuição de receitas

fiscais entre os entes federados, pode-se prever a existência de políticas de alocação

de recursos entre as instâncias governamentais de acordo com critérios que procuram

avançar a política educacional.

5. Para políticas de incentivos salariais. Essa é a categoria que contém as políticas

mais polêmicas, por reunir as iniciativas recentes de usar a avaliação padronizada

como um instrumento da reforma educacional. A lógica das políticas de gestão nessa


área é que o próprio sistema de avaliação pode ser colocado a serviço da mudança por

causa de uma conhecida propriedade das provas chamada em inglês de backwash.

Essa palavra descreve a capacidade da prova de sinalizar para os professores todo um

conjunto de preferências em termos de conteúdos e, pela natureza das questões, de

métodos de ensino também. Dessa forma, a prova é o mensageiro do currículo

desejado e do tipo de ensino a ser favorecido. Além disso, a prova também sinaliza o

nível de domínio esperado do aluno em termos do patamar de competência a ser

atingido. Quando a prova escolhe aleatoriamente seus elementos curriculares e testa

somente a capacidade de memorização do aluno, o backwash, com toda a

probabilidade, será negativo. Quando a matriz de referência da prova representa um

currículo oficial e os itens procuram testar competências cognitivas mais avançadas, o

efeito da prova será bem mais benéfico ao levar os professores a abraçarem o

currículo oficial e buscarem desenvolver essas mesmas competências entre os seus

alunos.

Para o gestor, o importante é a capacidade da avaliação de instigar o professor

a se preocupar com os resultados. Por mais bem pensada que seja a prova em termos

das suas características técnicas, ela provocará pouco interesse nos resultados e pouca

mudança no comportamento do professor se não tiver alguma consequência. As

provas certificatórias e outras que influenciam o futuro do aluno, seja a aprovação no

final do ano ou no final do curso, já por definição trazem consequências para os alunos

e também para os professores que se preocupam com o destino deles. Essas provas

são high-stakes, o que, na expressão inglesa, significa que há bastante a ganhar ou

perder dependendo do resultado da prova.

As autoridades podem aumentar as consequências dessas provas por meio da

fixação de metas, definição de percentuais de alunos que precisam passar ou qualquer

outra medida que tornem mais significativos os resultados da avaliação. Seriam

incluídos aqui sistemas de bonificação, premiação e também medidas administrativas

para ajudar ou fechar escolas com níveis de desempenho considerados insuficientes.

Por aumentarem o nível de responsabilidade dos professores, essas políticas

costumam ser chamadas de accountability, ou responsabilização. Seu objetivo é elevar


o grau de relevância dos resultados para que o ensino se beneficie do aumento no

interesse dos professores e dos efeitos backwash positivos.

As políticas de responsabilização podem ser direcionadas para os alunos, para

os professores e para as escolas. As políticas introduzidas nos Estados Unidos a partir

da década de 1980, já discutidas, mostram a tendência de se preocupar com a

disseminação de padrões curriculares mais exigentes para a graduação do Ensino

Médio. Por esse motivo, entende-se que a avaliação esteve a serviço da reforma

curricular do Ensino Médio naquele país. No caso brasileiro, as políticas de

responsabilização por meio de incentivos salariais têm outros objetivos, mas

perseguem a mesma lógica em termos da conexão entre as provas, o comportamento

dos professores e a melhoria do ensino e são desenhados para atingir o sistema como

um todo. Por isso, as políticas desse tipo não são categorizadas junto com as práticas

de gestão pedagógica. Seu raio de ação é maior e tem como alvo o padrão de

qualidade de todas as escolas do sistema.

6. Como componente da avaliação docente. Ainda mais polêmica, existe a

possibilidade de o gestor empregar os resultados dos alunos como componente da

avaliação do professor como profissional. Essa política, incomum fora dos Estados

Unidos, não faz parte da categoria anterior pelas diferenças entre a avaliação de

escolas, para efeitos do cálculo de bonificações ou qualquer outra medida temporária

para beneficiar as escolas e suas equipes, e a avaliação docente que é um processo

individual destinado a determinar mudanças permanentes na situação funcional do

professor, tipicamente promoções ou avanços salariais.

Tipicamente os sistemas de avaliação docente têm três finalidades, de reconhecer

os docentes mais qualificados e identificar os que mais precisam de ajuda, de premiar

docentes com atuação mais destacada para estabelecer novos padrões de excelência

e, finalmente, para efeitos de certificação profissional, para sinalizar os requisitos

mínimos necessários e assegurar a qualidade profissional básica antes que o professor

se torne estável. Em nenhum desses casos, o nível de desempenho dos alunos do


professor é um elemento indispensável no conjunto de informações utilizadas. Mesmo

assim, a discussão bastante disseminada sobre a possibilidade de inclusão dessas

informações sugere que tal tipo de política possa surgir no nosso meio a qualquer

momento (DANTAS, 2009).

7. Para a certificação de alunos e escolas. Mesmo incomum no contexto

brasileiro, o uso dos resultados da avaliação externa para determinar se os alunos

estão aptos para receber seus diplomas/passar de ano ou se escolas são credenciadas

para o funcionamento deve constar de um sistema classificatório que pretende

esgotar todas as possíveis utilidades dessa informação para a gestão educacional.


6. O Uso da Avaliação na Gestão da Educação nos Estados

Esta seção está dividida em sete partes, correspondentes às sete categorias

definidas pelo sistema classificatório. Cada parte se inicia com o levantamento

bibliográfico realizado pelos pesquisadores para descrever os diferentes tipos de

política e para extrair das pesquisas nacionais e internacionais possíveis indicações das

consequências de cada política. A seguir, abre-se a discussão para as informações

coletadas que fornecem exemplos concretos de como os estados e alguns municípios

de porte maior efetivamente utilizam os produtos de seus sistemas de avaliação.

No caso de existirem exemplos de políticas high-stakes, com base na associação

entre a política de uso dos resultados da avaliação e consequências para os envolvidos,

sejam alunos, professores ou a própria instituição escolar, o texto dará destaque ao

fato.

6.1 Avaliação de Programas, Monitoramento, Planejamento e Pesquisa

6.1.1 Avaliação de Programas. A história da consolidação da avaliação

educacional nos Estados Unidos nas décadas de 1950 e 60 está calcada na sua função

de instrumento de avaliação de programas. A demanda por instrumentos

padronizados nasceu da necessidade de avaliar os novos currículos escolares que

surgiram sob a coordenação da Fundação Nacional de Ciência após o lançamento do

Sputnik e a decisão daquele país de recuperar a qualquer custo a liderança mundial em

ciência e tecnologia. Poucos anos depois, com a Guerra contra a Pobreza, do

presidente Lyndon Johnson, foi aprovada a Lei de Educação Elementar e Secundária,

que no seu primeiro capítulo (Title 1) estabeleceu uma linha volumosa de

financiamento para os estados para o desenvolvimento de programas

“compensatórios” de apoio às crianças de famílias de baixa renda. Entre os diversos

mecanismos para garantir o uso adequado dos recursos, figurava a avaliação dos

resultados alcançados. A avaliação não era um assunto novo, mas o uso de testes

padronizados para medir o impacto das políticas públicas de combate à pobreza


combinava bem com a racionalidade dos novos métodos da administração pública em

processo de assimilação pelo governo Johnson (HERMAN; HAERTEL, 2005).

Só resta registrar que, na maioria dos casos, as avaliações dos programas

compensatórios, como Head Start e o chamado Title 1, não encontraram evidências de

que os investimentos em professores adicionais, equipamentos, ambientes escolares e

enriquecimento curricular produzissem ganhos significativos na aprendizagem dos

alunos. Para alguns autores, esse conjunto de dados apresentava “uma visão bastante

pessimista” e uma base “para a rejeição das crenças tradicionais sobre a eficácia da

escola” (MADAUS; AIRASIAN; KELLAGHAN, 1980) (p. 27). Uma possível explicação do

aparente fracasso fornece uma importante lição em relação aos riscos de usarem os

resultados das avaliações para finalidades inapropriadas. Os testes padronizados

disponíveis à época foram criados e normatizados para produzir medidas e

ranqueamentos para crianças de habilidade média. Às vezes, eram difíceis demais para

alunos de famílias mais pobres, tendo sido baseados em objetivos de aprendizagem

bem diferentes daqueles dos programas compensatórios. E, como medidas de

habilidade, não eram sensíveis aos efeitos de curto prazo de mudanças nos métodos

de ensino (MADAUS; STUFFLEBEAM; SCRIVEN, 1983).

Da mesma forma que nos Estados Unidos, a história do desenvolvimento das

avaliações padronizadas em larga escala no Brasil está associada à avaliação de

programas educacionais com financiamento federal. No caso brasileiro, foi o Projeto

Edurural, que se desenvolvia em todos os estados do Nordeste, que foi objeto da

primeira avaliação com base em testes padronizados. Usando instrumentos criados

sob medida baseados em exemplos de exercícios e trabalhos de sala de aula colhidos

nas escolas dos três estados onde a avaliação se desenvolvia – Piauí, Ceará e

Pernambuco –, a avaliação acompanhou a implementação e o desenvolvimento do

projeto de 1982 a 1986, medindo o rendimento dos alunos e analisando as formas de

gerenciamento do projeto, professores, organizações municipais de ensino, alunos e

famílias. A avaliação do Edurural se tornou um marco justamente por ela fornecer as

bases técnicas e mostrar a relevância da avaliação educacional em larga escala para a


identificação mais nítida dos problemas das escolas. Até o final da mesma década, os

alicerces de um sistema nacional de avaliação já haviam sido criados (GATTI, 2002 ).

Apesar da conexão histórica entre a avaliação de políticas e programas

governamentais e a avaliação educacional, os exemplos de uso dos resultados dos

sistemas estaduais brasileiros para essa finalidade são limitados. Introduzir a

aprendizagem dos alunos como uma variável dependente em um modelo controlado

de pesquisa para medir os resultados ou impacto de determinada política ou programa

de intervenção estadual ainda é incomum em comparação com os estudos, muito mais

frequentes, dos métodos e processos de implantação desses mesmos programas. A

explicação está dada em estudo sobre a avaliação de programas em que Kirkpatrick

descreve as perguntas apropriadas para a avaliação das quatro fases de programas de

treinamento, como seria o caso dos cursos de formação continuada para professores

(KIRKPATRICK, 1994). As questões correspondentes às primeiras três fases, sobre a

reação dos participantes, sobre a aprendizagem alcançada pelos participantes e sobre

o quanto os participantes estão aplicando seus novos conhecimentos ao trabalho,

podem ser todas respondidas mediante o levantamento de opiniões e expectativas e

analisadas de forma qualitativa, o que explicaria a relativa frequência dessa

modalidade de avaliação.

Conforme os cânones da pesquisa científica, a quarta e última fase na avaliação de

um programa educacional, envolvendo primordialmente os resultados de

aprendizagem dos alunos, requer a utilização de informações quantitativas

“contrafactuais” para poder mostrar o que teria acontecido se os alunos e as escolas

não tivessem participado do programa. Para cumprir essa condição e garantir a

fidedignidade da pesquisa, a avaliação de programas precisa formar um grupo de

controle composto de alunos e escolas não participantes com as mesmas

características e condições que os alunos e as escolas que participaram do programa

em estudo. Essa condição se torna quase impossível quando os programas em estudo

são políticas educacionais que se estendem para todos os alunos e escolas da rede.

Quando o programa se estende a um grupo menor de escolas, selecionadas com base

em determinadas características, o problema do avaliador consiste em encontrar


escolas de controle que tenham as mesmas características que as escolas do

programa, mas que mesmo assim não tenham sido contempladas.

A dificuldade em formar grupos de controle para efetuar a comparação entre

alunos e escolas que foram expostos aos efeitos da política e outras que não foram

pode explicar a reticência das Secretarias em embarcar em estudos avaliativos de suas

políticas. Outros motivos podem incluir a complexidade da pesquisa quantitativa

envolvendo grandes bases de dados, a falta de interesse político em submeter as ações

da Secretaria ao escrutínio dos pesquisadores e dos meios de divulgação e a falta de

continuidade de muitas das políticas por um período de tempo suficiente que

justifique o emprego dos recursos e esforços da avaliação ou que permita que os

resultados da avaliação tenham algum proveito prático. Em pesquisa recente, Bauer

sugere outra hipótese relacionada à falta de accountability governamental e o pouco

costume da sociedade brasileira em exigir uma prestação de contas aos governantes

em termos da eficácia e custo/beneficio das políticas financiadas com recursos do

contribuinte (BAUER, 2011). Independentemente dos motivos, a consequência é que a

avaliação do impacto de programas e políticas educacionais constitui um campo de

trabalho ainda muito incipiente com poucos exemplos de avaliações de envergadura

que contaram com o apoio das Secretarias da Educação. Apesar da importância

atribuída à função de “avaliação de políticas públicas” na explicitação oficial dos

objetivos dos sistemas estaduais de avaliação, pouco se realiza no cumprimento desse

papel.

Uma exceção recente é o trabalho da Secretaria de Educação do Ceará, em que

foram usados indicadores baseados nos resultados do Spaece para avaliar três

programas, o Prêmio Escola Nota 10, o Plano de Desenvolvimento da Educação (PDE) e

o Prêmio Aprender pra Valer. As avaliações do primeiro e do terceiro programa serão

discutidas mais adiante, juntamente com outras iniciativas do mesmo tipo, por se

tratarem de políticas estruturadas com base no próprio Spaece e que usam os

resultados desse sistema para a distribuição de prêmios e incentivos. No caso da

avaliação do PDE, a análise teve como propósito verificar se as escolas estaduais do

ensino fundamental que aderiram ao PDE apresentariam níveis diferenciados de


proficiência no 5º ano do Ensino Fundamental entre 2008 e 2009, quando comparadas

com as demais escolas da rede estaduais e da rede municipal (CEARÁ, s.d.). Em

contrapartida, outros dois estudos pela mesma Secretaria, um sobre a Gestão

Integrada da Escola – Gide, e outro fazendo uma avaliação de impacto do Projeto

Escola do Novo Milênio – Penm, não usaram dados produzido pelo Spaece, apesar de

estabelecer como critério para o sucesso desses programas a sua contribuição “para a

melhoria efetiva dos indicadores de rendimento escolar e desempenho acadêmico”

(ECOSTRAT, 2008).

De modo geral, as avaliações de impacto de programas mediante a comparação da

aprendizagem de alunos de um grupo de controle com o grupo de alunos atingidos

pelo programa, o “grupo de tratamento”, são trabalhos de pesquisa de alunos de pós-

graduação que contaram com algum grau de colaboração dos órgãos oficiais para

poder acessar os dados das avaliações educacionais. Um exemplo é a pesquisa de

dissertação de Corrêa (2007) em Minas Gerais, que empregou um desenho quase

experimental para realizar uma análise comparativa dos resultados de escolas antes e

depois da implantação do projeto Escola Viva Comunidade Ativa, criado pela Secretaria

de Educação para combater a violência escolar. A avaliação usou dados de

desempenho do Simave para os anos de 2005 e 2006 a fim de comparar as escolas de

dois grupos de pesquisa: um grupo formado pelas 79 escolas estaduais de Belo

Horizonte participantes da 1ª fase de implantação do projeto e um grupo de controle,

contendo 21 escolas estaduais não submetidas ao projeto, mas similares às escolas do

projeto em termos de nível de ensino, tamanho e nível socioeconômico dos alunos

(CORRÊA, 2007). A avaliação recente da política de formação continuada de

professores alfabetizadores Letra e Vida, da Secretaria de Educação de São Paulo, é

outro exemplo. Em tese de doutorado, Bauer (2011) emprega análises de regressão

para determinar a importância da Letra e Vida na explicação das variações no

rendimento dos alunos da 1ª série, tanto em termos da média no Saresp de 2007

como em termos do percentual de alunos da 1ª série no nível 6 de proficiência. Os

resultados das análises são tênues e mostram que o impacto do curso Letra e Vida

depende da presença de outras variáveis do contexto escolar. No entanto, quando a


pesquisadora compara o desempenho no Saresp de alunos de escolas em que todos os

professores passaram pelo curso de um ano de duração com alunos de escolas cujos

professores não fizeram o curso, os resultados são mais claros. Quando há um número

de casos suficientes para fazer a comparação entre os grupos de tratamento e

controle, a vantagem dos alunos cujos professores fizeram o curso é mais clara,

sobretudo em escolas do interior do estado (BAUER, 2011).

Em estudo similar, Fontanive mediu o impacto de um processo de formação em

serviço organizado pelo Cesgranrio chamado Projeto de Capacitação dos Professores

do Tocantins para os professores da rede estadual de ensino desse estado. O estudo

procurou identificar se nas escolas com professores que apresentavam um alto grau de

participação nas atividades de capacitação houve o aumento das médias de

proficiências dos alunos em matemática e língua portuguesa, medidas no ano de 2001

pelo sistema estadual de avaliação organizado pela Fundação Cesgranrio e em 2007

pela Prova Brasil. Apesar da rotatividade de professores, a falta de contato direto entre

formadores e professores e a falta de acompanhamento e de continuidade nos

treinamentos, as análises realizadas indicam uma relação entre a participação no

Programa de Capacitação e no uso do material didático fornecido e a melhoria de

desempenho dos alunos da 8ª série (9º ano) na disciplina de matemática, pelo menos

no caso dos professores que responderam aos questionários. O estudo se destaca pela

engenhosidade da metodologia e sofisticação da análise, impelidas pelas mudanças

sofridas pelo próprio projeto de capacitação e a perda de professores ao longo dos

anos, e demonstra as dificuldades reais para realizar pesquisas de avaliação de

impacto com grupos de controle (FONTANIVE; KLEIN, 2010). Medir e atribuir mudanças

nos resultados do sistema educacional a determinado programa, com base em

raciocínio de causalidade, é um grande desafio metodológico mesmo quando

disponibilizadas todas as informações sobre o desempenho dos alunos.

Em nenhum dos casos de avaliação de programas baseada nos dados dos sistemas

estaduais de avaliação, encontramos o uso das informações para determinar a

mudança ou a continuidade do programa em questão. Caso houvesse esse tipo de

consequência, poderíamos fazer um paralelo com as avaliações dos programas


compensatórios dos Estados Unidos, onde a continuidade do financiamento dependia

de resultados satisfatórios. Nesses casos, pode-se dizer que a avaliação de programas

é high stakes e desenhada para responsabilizar as autoridades educacionais e as

equipes escolares pelos resultados dos alunos participantes.

O que achamos foram exemplos de um tipo de avaliação de políticas e programas

mais caseira, tipicamente com base em apreciações informais, mesmo usando dados

objetivos. Esses julgamentos, feitos pelos próprios gestores, parecem fazer parte do

dia a dia do trabalho da gestão educacional:

Então esse uso [da avaliação] de orientar políticas, ele é mais antigo, né? E

em alguma medida ele é um uso genérico. Mesmo quando eu faço

derivações para usar como sistema de incentivo de professores, [...] ou para

estratégias de ensino, na verdade eu estou sempre reorientando políticas e

programas. Vamos dizer assim, esse é o uso primeiro e mais preciso da

avaliação, né? (Gestor: SEE/CE)

Em outros casos, como na avaliação das novas Escolas de Referência de Ensino

Médio sendo implantadas no estado de Pernambuco, o uso do indicador de qualidade

daquele estado como parâmetro mostra o uso de dados objetivos:

Em 2014 nós vamos ter Escolas de Referência nesse modelo em quantidade

suficiente pra atender todos os egressos de 8ª série das escolas municipal e

estadual. [...] No primeiro ano em que implanta, o Idepe delas já vai pra 4 a

4,5. Nós tivemos 20 avaliadas já em 2009, e 10 atingiram mais de 5 [...]

Quando comparada a média nossa de Ensino Médio, que chega a 3, é

excepcional nesse caso. (Gestora: SEE/PE)

No caso de Minas Gerais, o gestor entrevistado tinha usado a avaliação do Ensino

Médio para distinguir os efeitos de diferentes políticas para essa faixa etária:

Como você implementa várias coisas ao mesmo tempo, você tem que ter o

efeito de uma ação sobre a outra também. [...] Por exemplo, como a

política de EJA interfere no desenvolvimento do Ensino Médio, [...] como é

que a Educação profissional altera os indicadores e o desempenho dos


alunos no Ensino Médio e assim por diante. Tem os cruzamentos das

políticas e às vezes o efeito de um é contrário sobre o outro. Por exemplo,

[...] como a política foi muito forte no aumento de vagas e de oportunidade

de EJA, a taxa de conclusão do Ensino Médio diminuía. [...] os meninos

estão indo para a EJA? Então, analisar esses efeitos e ver também o efeito

sobre quem foi para a EJA. O desempenho melhorou ou piorou? Tá certo.

Tudo bem, aumentou a taxa de conclusão. Então não seria possível você

estar permanentemente fazendo essa adequação, ajustando as ações que

você estava implementando a cada ano, se você não tivesse uma

informação muito precisa sobre o que andava acontecendo. (Gestor:

SEE/MG)

6.1.2 Monitoramento. Além da avaliação de políticas e programas, os

sistemas estaduais costumam explicitar o objetivo de monitoramento ou

acompanhamento da evolução do sistema ao longo do tempo. Essa foi a razão

fornecida pela criação do Saeb em princípios da década de 1990 e reafirmada na

portaria 931/2005, que reformulou o sistema de avaliação com base na criação da

Prova Brasil. Nessa legislação, o Saeb tem o objetivo de avaliar a qualidade, equidade e

eficiência da Educação brasileira, ao mesmo tempo em que fornece “subsídios para a

formulação de políticas públicas” ao buscar “comparabilidade entre anos e entre séries

escolares, permitindo assim a construção de séries históricas”. Nessas frases, fica

explicitada a ideia central do monitoramento, ou seja, produzir informações

comparáveis ao longo do tempo para servir de parâmetro para medir a evolução e

distribuição da aprendizagem, entendidas como indicadores da qualidade e equidade

da Educação e, ao mesmo tempo, ajudar na identificação de dificuldades.

Segundo Fontanive e Klein (2000), o Saeb e outros sistemas de avaliação nacionais

têm caráter diagnóstico:

Eles são mais bem definidos como sistemas de informação do que como

programa de testagem e visam, sobretudo, a construir sistemas de


informações consistentes, confiáveis, válidos e comparáveis para

responder basicamente a duas questões: Qual é a qualidade da Educação

oferecida no país? Em que condições ela se realiza? Além de um programa

de testes, as avaliações em larga escala coletam informações para analisar

o contexto no qual se dá a aprendizagem dos alunos - essencial para

qualquer proposta de melhoria de qualidade. (FONTANIVE; KLEIN, 2000) (p.

411)

No desempenho desse papel, o Saeb aplica um grande número de itens – cerca de

130 a 170 itens por série e disciplina –, em vez de usar provas únicas compostas,

tipicamente, de 20 a 30 questões. A cobertura de todos os aspectos do currículo para

determinada área e fase visa alcançar uma validade curricular maior. Isso significa

poder identificar com maior propriedade o nível de aprendizagem efetivamente

alcançado pelos alunos em todos os componentes e identificar com maior facilidade os

aspectos curriculares deficitários. Haverá a necessidade de voltar a essa questão

quando da discussão da adoção do modelo Saeb pelos estados e o uso dos resultados

para fins pedagógicos.

O uso das avaliações estaduais para fins de monitoramento é evidenciado pela

criação recente de indicadores que tentam captar em um único número uma medida

da qualidade de cada fase de Educação em cada escola. Influenciados e incentivados

pela criação do Ideb em nível nacional, alguns estados, incluindo Pernambuco (Idepe),

Amazonas (Ideam), São Paulo (Idesp), Ceará (IDE-Alfa), Rio de Janeiro (Iderj), e o

município do Rio de Janeiro (IDE-Rio) e o Distrito Federal (IDDF) já criaram indicadores

desse tipo. Porém o tema ainda não se tornou assunto de discussão acadêmica. Com

poucas exceções, as discussões sobre os propósitos e as metodologias para a

confecção dos indicadores têm sido mantidos no âmbito das Secretarias. Uma exceção

é a discussão do indicador de São Paulo – Saresp. Seguindo uma metodologia mais

completa que o Ideb, o indicador de São Paulo capta também a equidade das

estratégias educacionais usadas naquele sistema pela inclusão de uma medida da

distribuição dos alunos por faixa ou categoria de desempenho (SOARES, 2009). Ao

incentivar a progressão de todos os alunos, e não somente a melhoria da média, o


Saresp consegue corrigir uma falha do Ideb e promover uma equidade maior nas

estratégias de melhoria das escolas.

O indicador de Pernambuco, chamado Idepe, também utiliza uma fórmula análoga

à do Ideb, multiplicando as proficiências médias de português e matemática por uma

medida de fluxo escolar para produzir um índice de desempenho para cada

disciplina/série entre 0 e 10. Diferentemente do Idesp, no entanto, o índice não cria

categorias de desempenho e, ao empregar a nota média das provas, não gera

incentivos para a escola procurar melhorar o desempenho somente daqueles alunos

com notas próximas à linha de corte das categorias, como no caso do Idesp (FERRAZ,

2009).

Uma das responsáveis pela implantação do Idepe reconhece a importância da

liderança do MEC, mas mostra a necessidade de o estado ter um indicador próprio:

Nossa primeira preocupação foi ter um índice estadual. Embora nós

reconheçamos que o MEC tem realmente um trabalho muito consistente,

nós pensamos o seguinte: nós não pudemos pensar em implementar uma

política educacional com o nível de mudança que nós estamos

pretendendo, sem ter segurança de um índice estadual que não estivesse a

mercê de alterações. Então com isso nós decidimos. Foi uma decisão do

governador, do secretário na época e nossa, da equipe, de que era

importante ter um índice de desenvolvimento de Educação em Pernambuco

com periodicidade anual e que tivesse a mesma metodologia para ser

comparado ao índice do MEC. E aí em 2009 coincidiu que nós tivemos o

nosso índice e o MEC teve o dele, o IDEB. E o nosso IDEPE foi

metodologicamente validado. Nós tivemos lá praticamente o mesmo

resultado. (Gestora: SEE/PE)

No caso do Ideam, do estado de Amazonas, observa-se em documento da

Secretaria de Planejamento uma explicitação da esperança que a própria criação do

indicador possa contribuir para a melhoria dos resultados do sistema:


Na busca pela melhoria dos indicadores da Educação, o Governo do Estado

do Amazonas implantou em 2008 o Sistema de Avaliação do Desempenho

da Educação do Amazonas - SADEAM, que objetiva ter um contínuo

monitoramento do sistema educacional, bem como subsidiar a gestão

institucional no que se refere às definições de políticas educacionais para

possíveis correções de distorções desse processo. No SADEAM foi

construído o Índice de Desenvolvimento da Educação do Amazonas –

IDEAM com o objetivo de possibilitar uma visão mais integrada do

desenvolvimento educacional do Estado, o qual está em consonância com

o Índice de Desenvolvimento da Educação Básica – IDEB, cujo primeiro

resultado foi apresentado em 2009. (AMAZONAS, 2009)(p. 13)

O IDE-Alfa – Indicador de Desempenho Escolar em Alfabetização criado pela

Secretaria de Educação do Ceará é um pouco diferente dos exemplos anteriores.

Criado para facilitar a divulgação dos resultados do Spaece-Alfa, o indicador leva em

conta a proficiência média dos alunos que possuem desempenho intermediário e

desejável e o percentual de alunos que participaram da avaliação. Esse último critério

é utilizado para evitar que as redes impeçam a participação dos estudantes que têm

dificuldade de aprendizagem. O IDE-Alfa é construído em uma escala de 0 a 10. Os

municípios que possuem IDE-Alfa igual ou maior do que 5 estão no nível intermediário

e aqueles com índice de 7,5 ou mais no padrão desejável. Voltaremos a falar do IDE

quando apresentada a política do governo de Ceará de premiar os municípios com

base nesse indicador.

Independentemente das fórmulas usadas, os indicadores estaduais têm em

comum a dependência de informações produzidas por sistemas estaduais de avaliação

que empregam a Teoria de Resposta ao Item – TRI. Esse detalhe permite que o índice

produzido ao longo do tempo não sofra flutuações aleatórias devido a mudanças na

medida, como no nível de dificuldade dos testes. Essa consistência da medida de

desempenho é tão vital para o processo de monitoramento que sem a TRI dificilmente

um sistema estadual poderia reivindicar esse papel.


Como palavras finais desta seção, oferecemos as falas de representantes de duas

Secretarias. Na primeira um técnico da Secretaria de Educação de Minas Gerais dá a

opinião que o uso da avaliação de desempenho naquele estado para o monitoramento

das escolas está inextricavelmente ligado ao modelo de gestão para resultados e que

não há como separar os efeitos motivadores do monitoramento dos efeitos da

intervenção que decorre dele:

De 2008 pra 2009 sentimos um crescimento importante na alfabetização,

inclusive comparado com as redes municipais que não tiveram esse mesmo

tipo de intervenção que nós. A existência de uma medida, ela desencadeia

um processo. A existência dela associada a uma gestão com foco em

resultado, medição e acompanhamento, ela desencadeou um processo de

monitoramento de intervenção. Sem essa medida poderia até haver

intervenção, mas ela estaria mais desfocada. A gente não conseguiria saber

se houve ou não um crescimento, né. Eu acho que a medida tem que estar

associada a uma gestão, a um tipo de gestão e à intervenção. Por si só eu

acho que [a medida] não produz, mas ter a medida força a gestão a ir lá de

novo para acompanhar, a medir outra vez, a saber, por que. Eu acho que [a

avaliação] é um instrumento de motivação associada ao monitoramento.

Eu entendo a avaliação desse jeito. [...] Então a existência da medida ela

desencadeia um processo, uma mudança de atitude, de comportamento,

de procedimento nos diversos níveis da gestão da Educação. (Técnico:

SEE/MG)

Na segunda fala, que serve de ligação com a próxima seção, a gestora da

Secretaria de Educação de Pernambuco mostra que o monitoramento anda de mãos

dadas também com o planejamento, no modelo de gestão para resultados. A fala

também destaca a resistência à avaliação que ainda existe dentro da universidade:

O governador introduziu aqui o modelo de gestão por resultados em 3

áreas prioritárias em 2007. Ele começou com Educação, saúde, segurança e

receita. [...] quando nós entramos em 2007 o resultado do Ideb de 2005 [...]

deu conta que a rede estadual de ensino de 5ª a 8ª série foi o pior resultado


do Brasil dentre todos os estados. Então houve uma pressão muito grande

para melhoria. [...] Então o que houve na verdade foi uma conjunção de

fatores em que a administração do governador Eduardo Campos

possibilitou a introdução de mudanças muito grandes em pouco tempo.

Porque nós tivemos uma resistência razoável do sindicato com relação ao

bônus, com relação à gestão de resultado, com relação ao monitoramento.

Em algum tempo nós fomos proibidos até de usar a palavra monitoramento

porque as pessoas não aceitavam, pessoas da própria universidade. A

gente tem essa dificuldade ainda de trabalhar, eu acho que no currículo

principalmente da graduação a questão de aferição de resultados na

Educação. Mas acho que houve uma vontade política muito grande que fez

com que isso pegasse, digamos assim. Então hoje é comum. Se você

conversa com as escolas, por exemplo, nós fazemos sempre pesquisa no

final do ano, fazemos levantamento. A gente pergunta para as escolas: o

que foi mais importante durante esses 4 anos? Elas respondem: foi o

monitoramento. (Gestora: SEE/PE)

6.1.3 Planejamento. A utilização dos resultados das avaliações educacionais

como peça central do planejamento estratégico dos estados já foi discutida na

introdução. Além do caso emblemático de Minas Gerais, podem também ser

destacados os casos de Espírito Santo e Pernambuco. No caso de Espírito Santo, o

Plano Estratégico Espírito Santo 2025 reafirmou a prioridade absoluta a ser dada à

Educação pelo governo que tomou posse em 2003. Posteriormente, a parte do plano

que cabia à Secretaria da Educação recebeu um detalhamento para o período 2008-

2011 e assumiu o nome Plano Estratégico Nova Escola. O objetivo maior era “o alcance

de escolas vivas”, com capacidade criativa e inovadora, modernas e atrativas, que na

essência “tenham como resultados de suas ações a aprendizagem dos alunos”,

segundo o Secretário da época, Haroldo Corrêa Rocha (ESPÍRITO SANTO, 2008) (p. 5).

Alinhado com a ênfase nos resultados de aprendizagem, o plano assumiu como sua

Visão de Futuro 2011 um cenário em que o Espírito Santo figuraria entre os estados


mais bem colocados “nas avaliações de resultados” e formulou diversas metas

pensadas para levar o estado a essa posição. Entre as metas assumidas, constam a

elevação das médias do 3º ano do Ensino Médio do Saeb para 350 pontos em

português e 400 em matemática, a elevação do Ideb das séries iniciais e finais do

ensino fundamental de, respectivamente 3,7 e 3,5 em 2005 para 5,9 em 2021, e o Ideb

no Ensino Médio de 3,1 para 4,5. Se o Plano Estratégico Nova Escola ainda não

expressava suas metas em termos dos resultados do seu próprio sistema de avaliação,

Paebes, a inclusão do projeto de “avaliar sistematicamente as condições de

funcionamento das escolas e de desempenho dos alunos visando a obtenção de

melhores resultados da aprendizagem” deixa claro o quanto que o plano oferecia

respaldo às atividades de avaliação educacional e o quanto o espírito da avaliação

estava presente no pensamento dos planejadores.

O planejamento estratégico da Secretaria de Educação de Espírito Santo também

serviu para colocar ordem em um verdadeiro cipoal de projetos e programas que se

multiplicavam sem critério:

Quando eu cheguei aqui a gente foi fazer um inventário de projetos para

identificar todos os projetos que havia na Secretaria e a gente identificou

92 projetos. Impossível de monitorar 92 projetos e totalmente sem foco,

sabe, quase que um delírio das pessoas. O projeto é uma ferramenta para

chegar a algum resultado. Qual é o seu resultado? E aí a gente chegou

numa visão para 2011 e com as metas que a gente tinha fomos fazendo um

teste de aderência [para ver] que projetos que já estavam na rede tinham

mais aderência a onde a gente queria chegar. Aí ficamos com esses 48.

(Técnica: SEE/ES)

No caso do Programa de Modernização da Gestão da Secretaria de Educação do

Estado de Pernambuco, o sistema estadual de avaliação está no centro dos planos. Na

definição da identidade estratégica da Secretaria de Educação, encontra-se como visão

“tornar-se referência nacional em Educação de qualidade até 2011” e como missão

“assegurar, por meio de uma política de Estado, a Educação pública de qualidade,

focada em resultados...”. Entre as diferentes prioridades para o alcance desses


objetivos consta a “Implantação do Modelo de Avaliação”, envolvendo a conjugação

do Sistema de Avaliação da Educação de Pernambuco – Saepe, com periodicidade

anual a partir de 2008, o Termo de Compromisso, o Idepe e o Bônus de

Desenvolvimento Educacional. No material de divulgação sobre os avanços do Idepe

entre 2008 e 2009 encontram-se dados que mostram que 890 ou 94,3% das escolas do

estado com 4ª e/ou 8ª e/ou Ensino Médio consegui elevar seus índices educacionais.

Dessas escolas, 550 atingiram 100% da meta para aquele ano com base no Idepe e

mais 211 alcançaram entre 50 e 99% da meta. Como esses percentuais também foram

usados para o cálculo do Bônus de Desenvolvimento Educacional a ser pago aos

professores, voltaremos a esse tópico mais adiante.

Não obstante a importância do planejamento estratégico, talvez o aspecto mais

inovador da conexão entre a avaliação e o planejamento seja a relação, ainda em

construção, entre os indicadores estaduais de desenvolvimento e a fixação de metas

em nível escolar. Com uma medida confiável do desempenho dos alunos e um índice

que capta a qualidade em um único número compreensível, a tarefa de fixar e cobrar

metas se tornou mais fácil. Isso tem significado o avanço na utilização de metas no

planejamento das atividades das Secretarias e também na formulação de políticas de

incentivos que dependam do cumprimento das metas fixadas, como será discutido em

outra seção.

O Índice de Desenvolvimento da Educação do Distrito Federal se apresenta como

exemplo tanto da necessidade de criar um indicador compreensível como do valor do

indicador como um elemento estruturador dos planos da Secretaria. Na opinião de

técnico da SEE/DF:

O IDDF surgiu por uma necessidade de trazer um número ao DF, um

número à escola. Assim, as pessoas já estavam acostumadas com um

índice, a questão do Ideb, mas no DF não se tinha isso, nada parecido. Às

vezes [a Secretaria] queria utilizar o resultado da avaliação de rendimento

que não tem nada a ver para tentar botar nos jornais. A própria imprensa,

aliás, faz questão de exibir alguma coisa nesse sentindo e nós não tínhamos

e então por decisão do gabinete, para não só satisfazer a opinião publica,


mas também para dar um horizonte e uma visão mais clara, o IDDF foi

criado, se utilizando da avaliação de rendimento, dos resultados, assim

como das taxas de aprovação. (Técnico: SEE/DF)

Segundo o material usado para explicar o IDDF às escolas, o desafio primordial da

SEE/DF é garantir que os alunos aprendam sem desperdiçar tempo com reprovações e

sem abandonar a escola. Para cumprir essa tarefa, a SEE/DF precisa de “indicadores

objetivos” para acompanhar a evolução das escolas e definir “metas individuais para

cada instituição educacional, a serem alcançadas em curto prazo”. O objetivo, em nível

da escola, é que as metas “sirvam como guia para seus gestores e se traduzam em

esforços pedagógicos capazes de elevar o desempenho dos estudantes, garantindo

que uma proporção cada vez maior de alunos domine um sólido conhecimento dos

conteúdos e habilidades esperados para o seu estágio escolar”. Visando esse objetivo,

com base em um indicador que junta os dois critérios para uma avaliação da qualidade

da escola, o IDDF é composto de uma medida da aprendizagem dos alunos, advinda

dos exames do Siade, e de uma medida da movimentação escolar derivada das taxas

de aprovação, em formula análoga ao do Ideb.

Com a formulação do indicador e a fixação de metas para cada escola, a Secretaria

parece ter cumprido a promessa de estabelecer um novo modelo de política

educacional. Em comum com outras Secretarias, esse modelo traz a vantagem de

converter esperanças em objetivos concretos e oferecer um foco legítimo para os

esforços de melhoria.

6.1.4 Pesquisa. A qualidade da pesquisa em Educação no Brasil tem se

beneficiado enormemente pela aplicação e divulgação dos resultados dos sistemas

nacionais de avaliação. Aqui cabe registrar que o uso tem sido tipicamente de dois

tipos. Um tipo de pesquisa se concentra no acompanhamento do desempenho dos

alunos ao longo do tempo. A título de exemplos, temos o trabalho de Alves, que

mostra que cerca da metade da queda observada no desempenho médio no Saeb dos

alunos da 4ª série entre 1995 e 2003 deveu-se à mudança no perfil dos alunos em


decorrência da melhoria do fluxo escolar (ALVES, 2007), e Klein, que mostra que a

proporção de alunos acima dos níveis satisfatórios em matemática decresce com a

série (KLEIN, 2006). O outro tipo de pesquisa que na ausência de dados objetivos sobre

a aprendizagem dos alunos era vedado aos pesquisadores é aquele que propõe

identificar as características da escola e dos professores que mais incidem na produção

de bons e maus resultados. Por exemplo, Franco et alii indicam que no Brasil 39% da

variância na proficiência em matemática encontra-se entre escolas, enquanto, em

países europeus e nos EUA, a variância entre escolas usualmente está em torno de

20%. A alta porcentagem encontrada no Brasil é um indicativo de que nosso sistema

educacional é altamente estratificado, apresentando muita desigualdade entre as

escolas. Os pesquisadores também constatam a importância de algumas

características escolares no desempenho médio dos alunos. Os elementos que indicam

que a escola atribui ênfase especial às questões acadêmicas, como o uso de dever de

casa, bibliotecas na sala de aula e um bom clima disciplinar, apresentam efeitos

positivos no aumento do desempenho médio das escolas (FRANCO et al., 2007).

O uso das bases de dados estaduais para esse tipo de pesquisa é menos comum,

não havendo o mesmo empenho por parte das Secretarias de tornarem públicos os

resultados das avaliações. Uma exceção é a linha de pesquisa desenvolvida pelo CAEd

desde 2002 com base nos dados do sistema mineiro de avaliação – Simave. Em várias

publicações, Soares e colaboradores têm avançado na compreensão de fatores

associados à aprendizagem e ao uso de diferentes modelos estatísticos para o estudo

hierárquico dos fenômenos escolares, mostrando a progressiva sofisticação conceitual

e metodológica da pesquisa em efeito escola (SOARES, 2003; 2005; SOARES; TEIXEIRA,

2006). Estudos equivalentes realizados com base nos resultados do Saresp também

têm contribuído para a criação de um corpo de evidências a respeito das

características da escola eficaz naquele estado.


6.2 Para Informar as Escolas sobre a Aprendizagem dos Alunos e Definir as

Estratégias de Formação Continuada

A preocupação com a qualidade da Educação básica está no cerne dos programas

subnacionais de avaliação. Apesar de usarem instrumentos descendentes do Saeb, que

são fundamentalmente de monitoramento e não de diagnóstico, todos têm como

objetivo explícito fornecer feedback aos professores de sala de aula e ajudar na busca

de soluções para superar as dificuldades de aprendizagem dos alunos. Do ponto de

vista do grande contingente de educadores envolvidos em todas as fases da avaliação

externa seria de fato impensável não extrair ao máximo as lições sobre as dificuldades

de aprendizagem refletidas nas proficiências para as diferentes séries e matérias. E,

para muitos professores, a avaliação externa só se justifica com base nas informações

fornecidas para melhorar a compreensão da situação dos alunos.

Mas como essa dimensão pedagógica vem sendo trabalhada dentro desses

programas? Quais as estratégias típicas das Secretarias para municiar as escolas e os

professores com as informações que precisam para tornar a avaliação externa um

subsídio para a melhoria da sua prática?

Sem exceção, as Secretarias fundamentam seu apoio pedagógico na produção de

materiais informativos que tentam traçar um diagnóstico do nível de aprendizagem

dos alunos. Esses materiais são apresentados basicamente em duas versões: a)

Boletins Pedagógicos, que seguem um formato próprio para o consumo do professor e

disponibiliza, em meio a informações padronizadas, resultados específicos de cada

escola; e b) Relatórios, os quais resumem de forma mais técnica os resultados da rede

de forma global, destinados, sobretudo aos gestores. Juntamente com essa prática,

observam-se diversas estratégias para a formação continuada de professores com base

nos resultados da avaliação para facilitar a compreensão dos Boletins ou remediar

problemas comuns. Ambas as políticas têm evoluído de forma marcante ao longo dos

anos, de modo que uma das conclusões a que chegamos, após a análise do apoio

pedagógico no âmbito dos programas de avaliação, é que esse apoio tem

acompanhado a sofisticação dos próprios programas.


De início uma produção bastante rudimentar, pouco a pouco o Boletim

Pedagógico passou a ser percebido como um instrumento rico de apoio pedagógico

quando bem construído. Com a aprendizagem acumulada com base no ensaio e erro,

sobretudo no âmbito dos programas pioneiros no Brasil (como os de Minas Gerais, São

Paulo e Ceará), os gestores passaram a dar mais destaque à produção desse material,

tal como percebemos na fala de alguns entrevistados:

A questão da avaliação do rendimento escolar do aluno e sua apropriação

pela escola era uma coisa bem longe do cotidiano das escolas. Tanto que a

gente percebe que a forma de divulgação dos resultados era mais os mapas

dos resultados que eram mandados para as regionais. As regionais

discutiam, as delegacias na época de ensino discutiam com o diretor da

escola, mas numa instância muito técnica e muito distante realmente do

chão da sala de aula. [...] Os boletins eram boletins gerais, além de não se

produzir boletim para cada escola. (Técnico/SEE-CE).

Hoje o objetivo do Boletim Pedagógico parece estar além da simples divulgação,

pois, ao devolver os resultados, ele também espera familiarizar melhor o professor

diante da linguagem mais técnica e objetiva utilizada nesse tipo de material. Nesse

sentido, pode-se dizer que o material contribuiu para aproximar o professor diante dos

dados apresentados:

A partir de 2007, é o CAEd que passa a produzir o nosso material, só que

cada boletim agora vem com a cara da escola, ele vem com o nome dos

alunos da escola. Não vem só com a média da escola, vem com a média de

cada turma, o resultado por turma e o resultado por cada aluno da escola,

além de ser uma tentativa de ler esses resultados à luz de uma escala que

fosse mais associada a cada intervalo. A gente criou a uma descrição

pedagógica desses intervalos que foi [.. ] bem mais objetiva e

compreensível para o professor. (Técnico/SEE-CE).

Uma coisa também que a gente passou a trabalhar muito assim de 2007

pra cá foi essa questão da forma de divulgação dos resultados, quer dizer a


gente não só melhorou o boletim, mas quando o boletim chega, primeiro é

feito uma oficina geral com a empresa que ganhou com todos os

especialistas dos órgãos das regionais. Então todas as regionais mandam

os seus técnicos para cá, e cada município manda 2 técnicos também que

coordenam o programa [...] e a gente apresenta o boletim, faz a primeira

leitura com ele, a primeira compreensão do material que foi produzido,

discute a lógica que está embutida naquele material. (Técnico/SEE-CE).

Não somente o conteúdo do Boletim passou a merecer destaque como também

sua apresentação gráfica:

(...) todos eles sabem pegar o boletim e ler aquele resultado. As cores

ajudaram muito. De longe, quando você coloca o resultado de um

município, eles já percebem logo quantos alunos estão em cada nível,

quantos estão numa situação não alfabetizada, quantos estão numa

alfabetização incompleta. A gente tentou dar ao boletim uma cara mais

objetiva e fácil de ser compreendida pelo professor e pelos técnicos do

município, que têm uma grande deficiência de trabalhar com os indicadores

educacionais. (Técnico/SEE-CE).

Esse material “devolutivo” procura dar uma resposta ao compromisso de fazer dos

sistemas de avaliação um serviço de melhoria do ensino, por meio da devolução dos

resultados da avaliação para as escolas, de modo que esse material possa servir como

um instrumento para melhorar a prática pedagógica nas escolas:

O boletim foi evoluindo (...) a partir de alguns estudos que foram

mostrando que isso era difícil, eles tentam fazer boletins com uma

linguagem mais simplificada para as escolas. Você fazer um boletim

simplificando uma linguagem, explicando melhor, tipo: “Olha, os seus

alunos estão neste nível”, isso não significa que os professores conseguem

se apropriar desses resultados e a partir dele, propor ações. Numa outra

fase eles começam então a dar dicas de ações. (Especialista-Fundação

Carlos Chagas/SP).


Uma parte do crédito pela melhoria progressiva dos materiais “devolutivos”

deve ser atribuída às próprias agencias de avaliação, como o CAEd, Cespe e Cesgranrio.

Incentivadas pelas Secretarias de Educação que são seus clientes, essas organizações

experimentaram diferentes conteúdos e formatos ao longo dos anos e puderam

verificar o grau de acerto das diferentes maneiras de apresentar as informações por

meio dos contatos diretos com professores e técnicos. Quando chamadas para atender

a novos clientes ou a retomar avaliações suspensas temporariamente, tais agências

puderam oferecer um produto que incorporava a aprendizagem de muitos anos,

permitindo que as novas avaliações principiassem em patamares mais sofisticados.

Mesmo com a evolução dos Boletins Pedagógicos, a divulgação dos resultados não

redunda automaticamente na sua apropriação por parte dos professores. A crítica

proveniente principalmente por parte dos professores sugere que os resultados não

são imediatamente consumíveis pela comunidade escolar (Diretores, Supervisores,

Professores etc.), não obstante todo o empenho das Secretarias na apresentação de

um material com cunho mais didático e instrutivo para o professor, distanciando-se do

formato do relatório técnico, geralmente endereçado aos gestores. Além disso, os

Boletins Pedagógicos costumam chegar às escolas com certo atraso em relação às

turmas que acabaram de ser avaliadas, dificultando a conexão entre os resultados

apresentados e o tipo de intervenção necessária:

(...) na avaliação persiste o grande desafio que é a questão da apropriação

do resultado mesmo para o usuário final, que é o professor. Apesar de todo

esse movimento que a gente fez de oficinas de item de um lado, encontros

do outro, seminários para leitura de material, de fazer com que a coleção

chegasse a cada escola, quer dizer, apesar de tudo isso você tem um

depoimento de uma professora [...] a professora não tinha o conhecimento

de que no boletim tinha o nome de todos os alunos. Então isso mostra que

de fato, nós ainda não atingimos o objetivo de fazer com que cada

professor saiba que exista um boletim na escola dele que tem o nome de

cada aluno lá com seu o desempenho. (Técnico/SEE-CE).


A despeito dos problemas levantados, o Boletim está sendo utilizado pela

equipe pedagógica das Secretarias para otimizar pedagogicamente os resultados da

avaliação. Na tentativa de transformar o produto (resultado) em processo (melhores

práticas), os Boletins Pedagógicos parecem colocar em questão o seguinte desafio: o

que fazer e como fazer se baseando na evidência dos resultados?

[...] a primeira decisão que a gente tomou aqui foi a de quem leva e quem

explica o resultado é o pedagógico. Nós não vamos mais, enquanto

gerência de avaliação, ficar levando os resultados para a escola, porque se

o pedagógico não encampa, se o pedagógico não entende, isso aqui não vai

servir para nada. (Gestora/SEE-ES)

Uma faceta da “sofisticação” por que passaram os Boletins Pedagógicos deve-

se à descentralização dessa discussão, que agora sai do âmbito da Gerência de

Avaliação de algumas Secretarias e passa a ser gerida por equipes pedagógicas

incumbidas de avaliar o material produzido e elaborar estratégias para a sua

divulgação, além de monitorar o uso dessa produção no cotidiano da escola por parte

dos professores:

[...] traduzir essa linguagem para que isso possa ser revertido

especificamente nas competências e habilidades que essas crianças estão

demonstrando ou estão deixando de demonstrar, para que [o professor]

possa entender como é que se faz a intervenção pedagógica. Então, a

gerência de avaliação nos mobiliza com relação a esses dados e nos

permite [...] uma compreensão disso em nível central e em nível regional

por parte dos técnicos. Entretanto, mais importante do que isso são as

reuniões que a gente faz com os diretores, professores e pedagogos das

escolas para que eles entendam o que é isso que está chegando lá e de fato

faça sentido e eles possam utilizar pelo caráter diagnóstico que é isso que

nos interessa, para que haja promoção da aprendizagem. (Técnica/SEE-ES).

[...] a chave do sucesso de uma boa apropriação dos Boletins é que ele seja

levado com alguém do pedagógico para dentro da escola, para poder


acompanhar esse uso. Porque se a gente simplesmente colocar isso no site

e entregar o documento na escola, como muita gente faz, não poderíamos

cobrar algum resultado com base nesta avaliação, entendeu? (Técnica/SEE-

ES).

A divulgação de informações sobre as medidas de todas as escolas de uma única

rede poderia ser vista como um elemento de responsabilização, uma vez que tal

informação poderia incitar a comparação entre as escolas, sinalizando a

responsabilidade das mesmas pelos resultados dos alunos. O que ouvimos nos

estados, por outro lado, é que a política das Secretarias de Educação não deve ser

comparar as escolas e que as escolas só podem ser comparadas com elas mesmas.

Essa afirmativa reflete um pouco o espírito dos Boletins, os quais cumprem mais o

papel de divulgar e disponibilizar um material didático que possa ser facilmente

manuseado e compreendido por toda a comunidade educativa. Quando existem

comparações nos Boletins, elas seguem o padrão estabelecido pela Prova Brasil,

mostrando a média da escola ao lado da média do seu município e da sua rede. Essa

informação é o suficiente para a escola se situar, mas sem permitir comparações com

outras instituições específicas.

Em nossa pesquisa, como dissemos, encontramos uma gama de material bem

trabalhado, alguns com mais recursos, inclusive com recursos gráficos mais

sofisticados e agradáveis para o leitor. É o caso, por exemplo, do Espírito Santo, que,

juntamente com Ceará, Pernambuco, Minas Gerais e outros estados, tem seu material

produzido pelo CAEd e disponibilizado em pdf tanto na página do CAEd como em um

link disponível nas páginas de sua Secretaria da Educação.

O estado de São Paulo também chama a atenção pela amplitude e qualidade do

repertório pedagógico disponível: caderno do gestor, caderno do professor, caderno

do aluno. No link da Arquivoteca, estão disponíveis todas as erratas e os materiais

relacionados aos Cadernos. Vale lembrar que os Boletins Pedagógicos do estado de

São Paulo encontram-se disponíveis tanto nos sites da Secretaria como impressos,

bimestralmente.


Grande parte dos Boletins, especialmente aqueles confeccionados pelo CAEd,

produz um material que vai além da divulgação dos resultados: eles analisam formas

de intervenção pedagógica com base na análise da produção do material e apresentam

dados gerais da avaliação, bem como os resultados de proficiência para todas as

séries/anos e disciplinas avaliadas. Apresentam os resultados da escola: resultados de

acordo com a proficiência e a interpretação qualitativa desses por meio da escala de

proficiência. Os Boletins Pedagógicos costumam apresentar também os padrões de

desempenho e a análise pedagógica dos itens dos testes. Para discutir outro aspecto

essencial da dimensão pedagógica, o nível socioeconômico dos alunos, o CAEd criou

outro documento, chamado Boletim Contextual. Ele informa os fatores intra e

extraescolares que interferem nos resultados dos estudantes e o índice da eficácia da

escola, fator que permite entender o resultado do desempenho escolar, controlando o

nível socioeconômico dos estudantes.

Juntamente com a produção desse material de divulgação, percebe-se também

um movimento por parte das Secretarias de Educação e das agências contratadas para

fazer a avaliação, em levar os Boletins Pedagógicos e os resultados até os pais. É o caso

do estado do Amazonas, que tem promovido reuniões sistemáticas entre pais,

professores e alunos em um programa chamado Sábado nas Escolas: aulas de reforço,

oficinas culturais e de redação, cantinho da leitura e experimentos científicos

costumam ser as atrações do programa.

A finalidade do encontro é apresentar aos pais as medidas que vêm sendo

planejadas e desenvolvidas e a classificação da escola de seus filhos. Para atrair esses

pais em um espaço destinado à divulgação dos resultados da avaliação, foram

ofertadas, durante alguns sábados do ano, atividades extraclasse, como aula de

reforço, acompanhamento etc. Essa é uma estratégia não negligenciável que busca

também chamar a atenção dos pais sobre os resultados das escolas de seus filhos, ao

mesmo tempo em que chama a responsabilidade dos pais e da escola para a produção

desses resultados. A estratégia também pode ser eficaz, na medida em que vai além da

produção escrita do material a ser divulgado, cumprindo talvez uma função mais

diretiva.


Outro exemplo interessante de uso do Boletim Pedagógico como uma tentativa

de chamar a atenção dos pais sobre a importância dos resultados de avaliação da

escola e assim criar um canal de comunicação entre escola e família é encontrado no

estado do Espírito Santo. No interior do Boletim Pedagógico, encontra-se um termo de

compromisso que deve ser assinado pelo Conselho da Escola, Diretor, Professor e Pais,

cuja assinatura representa a confirmação do compromisso de cada um desses

responsáveis pelo processo de aprendizagem do aluno:

O professor também assina, o conselho de escola assina, o diretor assina, o

pedagogo assina, todo mundo assina e aí assim, para os professores, como

para mim também, é muito favorável porque ele divide com o grupo de

gestores da escola a responsabilidade pela aprendizagem do aluno.

(Técnica/SEE-ES)

Além desses exemplos de iniciativas chamando a responsabilidade da família

pela aprendizagem do aluno, os Boletins Pedagógicos vêm se sofisticando cada vez

mais, como sugere o exemplo do Distrito Federal, confeccionado pelo Cesgranrio. O

aspecto gráfico não é tão atraente quanto o material produzido pelo CAEd, mas

chamaram a atenção a quantidade e a qualidade de um material pedagógico bem

circunstanciado, com descrições mais detalhadas e também genéricas, por habilidades

e faixa de desempenho dos alunos. Mas mais interessante pareceu-nos a preocupação

em esclarecer e se fazer didático a um leitor pouco familiarizado com os jargões da

avaliação, discutindo heuristicamente o que são os resultados, como utilizá-los, qual a

importância de apropriar-se deles, como explicitado nesta fala:

[...] o que a gente precisa detalhar um pouco mais é que o boletim não vai

sozinho. O boletim ele é uma ferramenta de mostrar o número frio, o

número, o resultado pronto e frio, e é uma distribuição percentual desses

alunos numa escala de proficiência. Agora, o que é que deve vir

acompanhando esses boletins? Os relatórios pedagógicos que, apesar de

não ser algo tão inovador, creio que é o grande diferencial para as escolas

do DF. São cadernos, livros de cada componente curricular avaliado, e para

cada série. (Técnico/SEE-DF)


Em geral, pode-se dizer que as propostas dos Boletins e materiais auxiliares são

muito parecidas, ainda que e o emprego da palavra Boletim seja polissêmico, como

denotam as seguintes expressões utilizadas para o mesmo fim: guia de intervenção,

relatório, boletim, caderno etc.

Mesmo reconhecendo os avanços contidos nessa forma de apoio pedagógico, as

Secretarias de Educação perceberam que a divulgação dos resultados não estava

sendo capaz de promover uma mudança sistêmica por parte dos professores. A

estratégia passa a voltar-se para as Oficinas Pedagógicas, espaços destinados não

somente à apresentação dos resultados, mas como melhor apropriar-se deles.

Assim, quase como uma extensão da divulgação, as Oficinas Pedagógicas

aparecem como espaços de formação, as quais contam com a participação de

especialistas e mesmo a Instituição/Agência contratada pelas Secretarias para a

produção da avaliação. Essa “rotina” acaba servindo para dois propósitos: a) divulgar

os resultados; e b) colaborar para o processo formativo do professor:

[...] a nossa equipe de avaliação também teve que ir a vários municípios

também ministrar oficinas por demandas municipais e de professores da

rede municipal para essa questão de entender melhor os descritores, as

competências que serão avaliadas e a própria leitura do boletim.

(Técnico/SEE-Ceará)

Em nosso mapeamento sobre os usos da avaliação com finalidade

expressamente pedagógica, percebemos o quanto a formação continuada passa cada

vez mais a depender da interpretação dos resultados dos testes de avaliação por

equipes de especialistas que possam refletir sobre as lacunas no processo de ensino-

aprendizagem e, com base nas primeiras inferências, oferecer subsídio para tratar das

dificuldades observadas:

Na verdade, isso para nós é o sentido da avaliação. A avaliação só tem

sentido se ela for capaz de mexer na intervenção pedagógica. Aqui, no final

do livro, tem as sequências didáticas, que é uma inspiração [...]. O professor

olha a avaliação e aqui tem uma série de ideias de como ele organiza a


aula dele. Então é um documento pedagógico. (Gestor/SEE-ES)

As Secretarias passam a perceber que informar e familiarizar os professores com

os preceitos da avaliação não é suficiente para melhorar a qualidade das escolas. As

equipes encarregadas pela produção da avaliação nos estados passam a perceber as

inúmeras dificuldades dos professores para entender as matrizes, associá-las aos

conteúdos ministrados e trabalhá-las em sala de aula:

[...] dando muita formação, insistindo sobre o que é a habilidade e onde é

que ele acha isso na matriz e como que ele desenvolve. Eu acho que são

duas coisas. Uma delas é entender o resultado da avaliação, a outra para

mim é didática. (...). É o professor saber ensinar dentro dessa linha porque

ele não foi formado para ensinar a desenvolver habilidade, ele foi formado

para dar conteúdo. (Técnica/SEE-ES)

De maneira mais pontual, alguns estados promovem um dia específico para

divulgar os resultados da avaliação para a comunidade escolar e, ao mesmo tempo,

inseri-los em um processo de formação que leve em consideração os dados fornecidos

pelo sistema de avaliação:

Tem um “Dia D”, para fazer essa discussão [do planejamento]. Manda o

boletim para as escolas e as aulas são suspensas por 2 dias por ano para

isso. No dia D se discute os resultados e se reflete sobre o que é que a

escola vai fazer [..] Não é só uma questão de mandar o boletim. O boletim

virou uma ferramenta importante para esse planejamento que eles sabem,

cada professor sabe na sua turma como é que está a situação de cada

aluno. (Especialista-MG)

As oficinas acabaram cumprindo o papel de formação em vários aspectos:

passaram a trabalhar, com os professores, sobre a importância de ler e saber

interpretar os resultados da avaliação. Com base nessa postura reflexiva, evidenciaram

a importância do planejamento didático, da organização dos conteúdos e da mediação

entre a matriz de referência e a matriz curricular, além do próprio trabalho de

formação presente na elaboração dos itens de avaliação, momento este em que se


oferece aos professores do Ceará a oportunidade de serem sujeitos e partícipes do

processo contido na avaliação.

Com a ampliação dessas oficinas no interior, o ano passado, por exemplo, a

gente capacitou aproximadamente 1.500 professores em todo o Estado

com a elaboração de itens [...] No começo, até o ano 2006, a gente tinha

meio que um pacto com o professor. Ele vinha para essa oficina, ele

produzia itens. A gente não remunerava esse item. A gente investia na

formação desse professor que elaborava itens para o Spaece. Cada

professor elaborava em média 3 itens. Ele recebia o descritor e elaborava 3

itens, eram esses itens que a gente selecionava para fazer a prova.

(Técnico-SEE/CE)

Nesse processo, não só os professores são formados e “informados” de uma nova

cultura escolar. Concomitante à introjeção da chamada “cultura de avaliação”,

percebemos um novo desafio posto a estes profissionais:

Qual é a dificuldade que a gente encontra? A dificuldade é exatamente a

cultura da avaliação, a cultura do contato com a avaliação externa em

especial, de se apropriar de uma linguagem que é feita por gráficos, por

escalas e uma série de coisas que o professor não tem referência e não está

acostumado a lidar com isso. (Técnica/SEE-ES)

Uma constatação parece evidente: a de que o Boletim Pedagógico e as Oficinas

Pedagógicas não conseguem produzir, sozinhos, uma mudança de atitude ou de

prática por parte do profissional docente. O trabalho dos Analistas Educacionais (ANEs)

em Minas Gerais de fazer a mediação entre o trabalho de divulgação do Programa de

Avaliação do Ciclo Inicial da Alfabetização (Proalfa) e a formação dos professores

mostra como as Secretarias começam a oferecer apoio pedagógico individualizado

para ir além dos Boletins e as Oficinas Pedagógicas. O estudo de Carvalho e Macedo

(CARVALHO; MACEDO, 2010) foca o trabalho dos ANEs da Superintendência Regional

de São João Del Rey e mostra como esses especialistas ocupam o papel de mediadores

com base em discussões e reuniões pedagógicas com os professores. O estudo


também oferece uma indicação dos prováveis impactos de um programa de avaliação

sobre a prática dos professores quando acompanhado de apoio pedagógico direto.

O Proalfa é realizado em todas as escolas estaduais de ensino fundamental no

estado de Minas Gerais. Seus resultados são divulgados por meio de Boletins

Pedagógicos, que supõem a interpretação e elaboração de intervenções por parte do

professor com base nos níveis alcançados pelos alunos na escala de proficiência. O

objetivo das ANEs em relação ao trabalho do professor é ajudar a identificar os

aspectos negativos e positivos e, no caso dos aspectos negativos, diagnosticar os

principais problemas.

Para medir o impacto desse trabalho, foi aplicado, entre os responsáveis pelo

acompanhamento pedagógico nas escolas estaduais de São João Del Rey, um

questionário no qual a pergunta central era: “O Proalfa causa alguma espécie de

impacto na prática dos professores das séries iniciais da rede estadual de ensino de

Minas Gerais?” As analistas foram unânimes em reconhecer que a prática da avaliação

oficial, como o Proalfa, impacta o trabalho docente. Em outra pergunta – “Como você

percebe (ou avalia) o tipo de impacto que o Proalfa causa na prática dos professores

das séries iniciais na rede estadual de ensino?” –, das nove analistas educacionais, sete

só apontaram aspectos positivos e duas indicaram também aspectos negativos. Em

relação aos aspectos positivos, destacamos alguns excertos das analistas educacionais:

As avaliações do Proalfa servem como referência para os professores

avaliarem suas práticas de sala de aula, bem como o aprendizado dos

alunos. Muitos, diante do resultado insatisfatório nessa avaliação, vêm

repensando sua prática e modificando-a para melhor. (ANE C)

(...) O impacto é positivo, pois faz com que os professores procurem

mudanças em seu cotidiano. (ANE L)

(...) Acredito que todo professor tem um certo receio do Proalfa, uma vez

que ele reflete também o trabalho desenvolvido pelo professor do ano

letivo em curso. Por isso, nas escolas estaduais às quais atendo, a

proximidade das avaliações do Proalfa 2008 levaram a uma mudança da


prática dos professores no que diz respeito ao planejamento. Os

professores do 3º ano do ensino fundamental realizaram semanas de

“intensivões” dos alunos com questões do Proalfa de anos anteriores. (ANE

A)

É possível perceber a escola elaborando seus planejamentos e preparando

atividades com base na matriz curricular e matriz de referência das

avaliações externas. (ANE R) (CARVALHO; MACEDO, 2010)(p. 266 e 267).

Em relação aos aspectos negativos, as analistas educacionais destacaram os

seguintes fatores:

Há uma espécie de aceleração ou supressão das disciplinas (do plano de

ensino) em decorrência do que é cobrado na prova. Muitos professores

deixam de trabalhar ou intensificam o trabalho com alguns “descritores”,

deixando de lado coisas muitas vezes relevantes para o aprendizado

escolar. (ANE G) [...] em várias escolas os professores ficam ansiosos,

apreensivos e podem “mascarar” os resultados, por exemplo, auxiliando os

alunos na hora da avaliação ou colocando para fazer a prova apenas os

alunos preparados [...]. Além disso, hoje, a política pública do estado

vinculou resultado e remuneração, o que, na minha opinião, foi um

equívoco, pois incentiva, ainda mais, a intenção de mascarar o resultado

final. (ANE H) (CARVALHO; MACEDO, 2010)(p. 268).

Nesses excertos, é possível verificar que um bom Boletim Pedagógico que versa

sobre a análise dos resultados da avaliação acaba sendo uma fonte de apoio

interessante para o professor, que passa a ter uma medida do que está funcionando

ou não na sua prática em sala de aula. A preparação para o dia dos testes também

exige por parte do professor um planejamento do conteúdo que ele está ministrando,

além de contextualizar o que está sendo ensinado com base em um trabalho mais

dialógico entre a matriz curricular e a matriz de referência da avaliação.

Paradoxalmente, o alinhamento excessivo entre a matriz de referência da

avaliação e a matriz curricular é apontado pelas analistas como um aspecto negativo,


uma vez que o professor corre o risco de deixar de lado conteúdos igualmente

importantes para a formação do aluno, mas que, pelo fato de não serem cobrados nos

testes de avaliação, não seriam objeto de atenção por parte dos professores.

Talvez um dos aspectos positivos mais marcantes encontrados na fala das

analistas educacionais sobre o impacto do Proalfa na rotina pedagógica do professor

diga respeito à capacidade de mobilizar as professoras para uma reflexão sobre suas

próprias práticas pedagógicas. Essas mudanças foram percebidas por elas como uma

atitude mais sensível para a importância do planejamento, para o estabelecimento de

planos e metas a serem alcançados com vistas à melhoria no desempenho dos alunos.

Nesse processo, não se pode deixar de desconsiderar a importância que as analistas

educacionais têm na interpretação e divulgação dos resultados, bem como o papel de

mediadoras de um trabalho pedagógico que pode alcançar bons resultados quando

realizado em equipe. Entretanto, parece-nos que é a própria prova a catalizadora de

mudanças, comportamentos e atitudes, uma vez ela traz consigo o diagnóstico e, com

ele, a possibilidade de observar e refletir sobre as possíveis dificuldades a serem

trabalhadas e suplantadas.

Em nossa pesquisa, temos também vários exemplos dos problemas apontados

pelos gestores em Educação a respeito dos materiais pedagógicos de divulgação e

formação. Para a maioria desses gestores, técnicos e especialistas em Educação, o

material pedagógico produzido para a divulgação e formação ainda não consegue

promover uma mudança efetiva na prática diária do professor. Esses casos forneceram

evidências de uma conexão ainda difícil de ser estabelecida entre as políticas de

divulgação e formação implementadas pelas Secretarias e o currículo a ser ensinado, o

que tem feito com que muitas delas reconheçam que, apesar de todos os esforços

nesse sentido, os Boletins Pedagógicos continuam sendo, em certa medida, objeto de

difícil compreensão por parte dos professores.

Não faltaram exemplos das dificuldades manifestas pelos professores em

relacionar os itens usados ao conteúdo ensinado. As oficinas pedagógicas, algumas das

quais preveem a elaboração de itens, refletem mais a tentativa de mostrar a conexão

entre o item e o descritor da matriz de referência, mas o problema é que essa matriz


nem sempre está explicitada em termos de conteúdo. Na tentativa de dirimir esse

problema, algumas Secretarias, como a do Espírito Santo, passaram a elaborar um guia

de intervenção pedagógica, material auxiliar ao Boletim Pedagógico, para facilitar o

processo de comunicação entre o material pedagógico de apoio e o professor:

[...] nós produzimos para o professor um guia de intervenção que tem todas

as sequências didáticas, que é um documento que é quase um plano de

aula para o professor, o passo a passo do que ele tem que fazer [...] porque

ele não consegue interpretar a habilidade. O que significa desenvolver

[habilidade]? Como é que eu enxergo esta habilidade desenvolvida no

aluno? Essa é a maior dificuldade que a gente vem escutando. Por isso a

gente se reúne muito com os professores nas oficinas de item.

(Técnica/SEE-ES)

Outra forma de superar esse desafio tem sido a criação de programas

estruturados de formação continuada com base nos resultados das escolas, que vão

além do trabalho individual dos analistas ou supervisores pedagógicos, na tentativa de

atingir um número mais significativo de professores. Trataremos do melhor exemplo

desse tipo de estratégia na seguinte seção.

6.2.1 Políticas de Formação Continuada Baseadas nos Resultados

Com as informações levantadas, observamos que muitas Secretarias começam a

instruir suas políticas de formação de professores baseadas no diagnóstico fornecido

pelas avaliações externas. Nesses casos, as estratégias de formação vão além das

oficinas voltadas para a explicação dos resultados das avaliações para se tornarem

programas permanentes de intervenção junto aos professores. Na cidade de Belo

Horizonte, por exemplo, foi implantado o programa de Monitoramento da

Aprendizagem. Com a análise dos resultados das avaliações externas realizadas na

Rede Municipal de Educação (Proalfa, Provinha Brasil e Avalia BH), a Secretaria

Municipal de Educação iniciou em 2009 um acompanhamento sistemático e

individualizado de todos os alunos do ensino fundamental, chamado de


Monitoramento da Aprendizagem. Além de diversas ações, como o reforço escolar,

visando melhorar o Ideb das escolas, são também desenvolvidas ações de formação

docente, em que os professores recebem formação específica e acompanhamento

constante da Secretaria Municipal de Educação.

Talvez o exemplo mais acabado de uma política de formação continuada calcada

nos resultados da avaliação se chame Plano de Intervenção Pedagógica – PIP, da

Secretaria da Educação do estado de Minas Gerais. Com base nos resultados das

avaliações do Proalfa, educadores e gestores elaboram um plano de intervenção

pedagógica cuja finalidade reside na construção de estratégias para melhorar o

desempenho dos alunos.

No caso aqui de Minas Gerais, você tem muitos projetos, mas somente um

deles é que usa [os resultados] especificamente como um ponto de partida,

ou seja, estabelece um diagnóstico e agora vamos trabalhar, vamos traçar

estratégias. (Técnicos-SEE/MG)

O objetivo é fazer com que as escolas com os piores resultados recebam visitas de

uma equipe pedagógica competente para discutir e trabalhar pontualmente as lacunas

observadas com os resultados da avaliação.

O PIP teve início em 2008 com a implantação do programa chamado Alfabetização

no Tempo Certo,7 cuja meta era garantir as competências de leitura e escrita de toda

criança até os 8 anos de idade até 2010. O PIP entra como suporte a esse programa a

fim de oferecer subsídio para que o estado pudesse alcançar a meta de alfabetização e

letramento de todas as crianças na idade certa, corrigindo problemas de fluxo de

desempenho entre as escolas das diferentes regiões do estado, evidenciado pelos

resultados da avaliação do Proalfa.

7 Modelado em programa quase homônimo do estado de Ceará chamado Programa de Alfabetização na

Idade Certa.


Foi então montada uma equipe central e regional de apoio pedagógico,

desenvolvido um material didático para servir de guia ao professor, especialistas,

diretores e grupo regional e, concomitante à produção do material, oferecer uma

capacitação em serviço a esses professores. Depois da construção da equipe e do

suporte para sua operacionalização, foram definidas as metas de intervenção e,

posteriormente, planejada a execução e acompanhamento da intervenção.

Embora o PIP acompanhe todos os tipos de escola (estratificadas em “escolas

pequenas”, “melhores escolas” e “escolas estratégicas”), a atenção se volta para o

atendimento às escolas estratégicas. Essas recebem essa denominação pela SEE, mas

na realidade são as escolas maiores que apresentam os piores resultados na avaliação

externa. Essas escolas estão distribuídas por todo o estado, mas com uma

concentração mais evidente na região metropolitana de Belo Horizonte e na região

norte.

A estrutura do PIP está apoiada na constituição de equipes de trabalho regionais

ligadas às Secretarias Regionais do Ensino (SREs), que, por sua vez, estão ligadas à

Equipe Central da Secretaria. A capacitação da Equipe Regional treina analistas e

inspetores escolares, os quais recebem os guias (materiais didático-pedagógicos) e o

sistema de acompanhamento. Todas as 46 SREs definem metas para as escolas do

estado no ensino fundamental, com base na avaliação do 3º ano do ensino

fundamental no Proalfa. É interessante destacar que essas equipes, organizadas

segundo um organograma que obedece a uma estrutura hierárquica, se mobiliza para

intervir nas escolas, dentro de uma agenda pré-programada de reuniões.

Pode-se dizer que essa constitui uma das estratégias mais bem definidas da

Secretaria de Educação de Minas Gerais, uma vez que, ao acompanhar as dificuldades

dos professores no domínio de certos conteúdos, a equipe desenvolve um trabalho de

capacitação individual dos professores baseado no resultado da avaliação dos alunos.

As metas de alfabetização para o estado, ultrapassadas com folga, demonstram o êxito

do PIP:

Então na verdade quando você vê, por exemplo, que tínhamos uma meta


de 74 para proficiência de alfabetização, vamos assim dizer, e nós

atingimos 86, alguma coisa melhorou, alguma coisa eles estão indo atrás. A

gente não sabe se realmente é a intervenção do PIP, isso aí, a gente ainda

não sabe qual que é a causa dessa melhora. Mas de 74 que era a nossa

meta e nós atingirmos 86, é muita coisa né? (Técnico/SEE-MG)

Um dos grandes diferenciais do PIP parece ser a realização de um trabalho

pedagógico em um nível muito circunscrito. A possibilidade de elaborar um

diagnóstico da turma com base nos resultados de avaliação e, diante disso, inferir qual

é a dificuldade do professor diante da turma permite que a equipe elabore um plano

de intervenção muito circunstanciado, oferecendo uma possibilidade de formação em

serviço para aquele professor, no que diz respeito à sua competência nos conteúdos e

habilidades ministrados. O resultado positivo fez com que a Secretaria pensasse na sua

expansão para outros segmentos da Educação básica, mas a dispersão de conteúdo do

segundo segmento do Ensino Fundamental, bem como dos três anos do Ensino Médio,

pode servir de obstáculo para a eficácia do PIP observada nos anos iniciais de

alfabetização:

O PIP é bom porque é um Programa que tem metas. No Ensino Médio não

garantimos que isso vai ter sucesso porque o professor não é muito

favorável e as disciplinas são várias. Então a sistemática deve ser muito

mais complexa. O outro problema é que em geral, os resultados da

avaliação são muito pouco utilizados, são pouco apropriados pelas escolas,

pouco discutidos. (Técnicos/SEE-MG)

As nossas investigações junto às outras Secretarias evidenciaram uma

heterogeneidade de práticas, métodos e concepções teóricas sobre o uso dos

resultados da avaliação na política de formação do professor. Se o PIP em Minas Gerais

fornece um exemplo de um programa bem estruturado e aparentemente bem-

sucedido, ele não representa um fenômeno isolado. Essa dimensão do uso dos

resultados das avaliações parece estar em expansão. Na medida em que os

instrumentos usados começam a fornecer informações sobre alunos individuais e vir


acompanhados de materiais curriculares e didáticos, pode-se prever a diversificação

ainda maior de iniciativas desta natureza.

No estado de Espírito Santo encontrou-se a única menção de uma conexão entre a

avaliação e a formação inicial dos professores. Entre os técnicos da Secretaria de

Educação desse estado notou-se a esperança das matrizes de referência do sistema de

avaliação criar uma sinalização para os cursos de formação de professores em relação

às expectativas da SEE/ES. O mecanismo dessa sinalização, e se haveria interferência

direta da Secretaria, não ficou estabelecido, mas o tema é de interesse ao mostrar a

impaciência da Secretaria com a falta de alinhamento entre a formação inicial e a

realidade da profissão e falta de informação e prática nos cursos de pedagogia na

interpretação e uso da avaliação externa.

6.2.2 O Currículo Básico

Mesmo não sendo o instrumento ideal para esse propósito, para muitos gestores

a extração das lições sobre as dificuldades dos alunos contidas nas proficiências

fornecidas para as diferentes séries e matérias é a contribuição principal da avaliação

para a melhoria da Educação.

Apesar desse voto de confiança no valor das avaliações para usos pedagógicos, é

patente a frustração dos responsáveis com os retornos dessa política.

Nós disponibilizamos os boletins pedagógicos com os resultados e aí nós

observamos que estava sendo pouco utilizada essa ferramenta. Esses

resultados eles não estavam sendo utilizados como instrumento de gestão

pedagógica ou de intervenção pedagógica. (Gestor: SEE/PE)

O constante aprimoramento dos boletins foi uma resposta a essa dificuldade e

uma aposta que, ao aprofundar cada vez mais a compreensão do professor em relação

às matrizes de referência das provas e às habilidades que se pretendem formar nos

alunos, o aproveitamento dos resultados das avaliações seria cada vez melhor:


Não basta mandar um boletim para a escola, você tem que mandar

informações significativas que fazem sentido para a escola, essa é a

primeira coisa. Então a primeira mudança é, que tipo de informação a

escola tem que receber? (Especialista: CAEd)

Nesse sentido, foram sendo eliminadas informações que não diziam respeito à

aprendizagem dos alunos, como as médias no Saeb , no caso dos Boletins do Proeb em

Minas Gerais, e enfatizados exemplos de itens para ajudar o professor a entender a

natureza das habilidades cobradas pela matriz. Os Boletins se expandiram com

visualizações da escala de proficiência, mostrando a faixa de desempenho em que se

situa a média da turma em relação a todas as principais competências testadas, e com

exemplos de itens usados nas provas para fazer a conexão entre a matriz, a escala e as

habilidades identificadas pelos descritores.

Ao mesmo tempo, e possivelmente como mais uma indicação da frustração com a

falta de impacto dos Boletins e os outros meios tradicionais de informar o professor,

acendeu-se o interesse de algumas Secretarias em implantar um currículo oficial

composto dos elementos considerados mínimos para cada série. Chamado de

Currículo Básico Comum em Minas Gerais, a Base Curricular Comum em Pernambuco e

a Proposta Curricular em São Paulo, esses currículos parecem advir da constatação de

que os esforços na busca por melhores resultados podem ser inócuos se não houver

uma política bem focada nos conteúdos ensinados.

O problema na matriz de referência está no fato de que o MEC faz uma

matriz de referência nacional e nacional é um negócio complicado [...] No

nosso caso, a nossa matriz de referência é o CBC, nós fizemos o CBC e ela

virou a nossa matriz de referência. Sem isso eu acho que é difícil

interpretar. Por isso que o Saeb não tinha condição e continua não tendo

condição de ser útil na sala de aula. (Especialista-MG)

Nossa investigação demonstrou uma dinâmica de construção de um currículo

comum oficial bastante recorrente: após a implantação dos sistemas de avaliação,

chega-se à conclusão de que pouco vale investir em formação, oficinas pedagógicas ou


na divulgação dos resultados por meio de boletins se não existir um currículo básico

comum, que permita construir um diálogo com o professor a respeito daquilo que está

sendo cobrado pelo sistema de avaliação. No caso de São Paulo, por exemplo, a

própria introdução ao novo currículo deixa evidente este propósito:

Estes documentos, que dão origem aos Cadernos do Professor, do Aluno e

do Gestor, são as referências essenciais para o estabelecimento das

matrizes de avaliação do Sistema de Avaliação de Rendimento Escolar do

Estado de São Paulo (Saresp). (SÃO PAULO [ESTADO] SECRETARIA DA

EDUCAÇÃO, 2010.) (p. 3)

Nesse caso, havia a intenção clara de reduzir a diversidade curricular reinante e,

por meio de documentos bem estruturados, criar um consenso:

[...] o diagnóstico que se tinha da rede antes da implantação do Saresp era

que, por exemplo, as escolas da rede tinham mais de 300 currículos e

mesmo na mesma escola era complicado um aluno sair de um turno e ir

para outro [...] Cada um construía ao seu bel prazer o que achava

conveniente. [...] É claro que a reação inicial [ao novo currículo] não foi,

assim, natural. Depois foi caminhando, caminhando, caminhando. Eu acho

que hoje não se discute mais a implantação do currículo há muito tempo.

(Técnico/SEE-SP)

No caso de Minas Gerais, os documentos também mostram a intenção de traduzir

os novos currículos em matrizes de referência para os sistemas de avaliação e, dessa

forma, criar um diálogo entre os dois:

A importância dos CBCs justifica tomá-los como base para a elaboração da

avaliação anual do Programa de Avaliação da Educação Básica (Proeb) e

para o Programa de Avaliação da Aprendizagem Escolar (Paae) e para o

estabelecimento de um plano de metas para cada escola. O progresso dos

alunos, reconhecidos por meio dessas avaliações, constitui a referência

básica para o estabelecimento de sistema de responsabilização e

premiação da escola e de seus servidores. Ao mesmo tempo, a constatação


de um domínio cada vez mais satisfatório desses conteúdos pelos alunos

gera consequências positivas na carreira docente de todo professor.

(Proposta Curricular – CBC: http://crv.educacao.mg.gov.br)

Em outros casos, como no do Espírito Santo, as próprias matrizes de referência

são transformadas em conteúdos curriculares básicos. Nesse exemplo, a linguagem

das competências e habilidades usada pelas matrizes está ainda mais próxima aos

objetivos do ensino:

A avaliação puxou o currículo. Nós tínhamos a avaliação já avançada e não

tínhamos o currículo [...] assim fica difícil, não tem uma referência para o

professor, o professor não pode ficar usando matriz de avaliação como

currículo. Aí começou a confecção do currículo com competências [...] e eles

partiram da matriz para montar o currículo. (Gestora/SEE-ES)

[...] houve uma reunião com o secretário de Educação e a gerencia de

avaliação para apresentar o programa de avaliação e o currículo. A

orientação toda foi para que o currículo contemplasse competências e

habilidades, desde que alinhado à avaliação. Na verdade, o currículo

nasceu a partir de um movimento contrário, ou seja, o currículo acabou

nascendo a partir da matriz de avaliação. (Técnica/SEE-ES)

No caso de Ceará, a decisão da Secretaria em governo anterior foi encurtar o

caminho e imprimir a lista de competências e habilidades contidas nas matrizes de

referência nos próprios diários dos professores. Há reconhecimento dos perigos dessa

atitude:

[...] claro que a matriz de referência da avaliação é um recorte do currículo.

[...] a gente vê o professor procurando a matriz de referencia, mas isso a

gente também tem muito medo. A gente também tem muito medo que eles

reduzam o currículo à matriz de referência da avaliação [...] Eles

trabalhavam era o livro, mas hoje já temos esse movimento curricular né,

de interesse dos professores de pegar a matriz, de conhecer a matriz para

ver o que está sendo cobrado na avaliação. (Gestor/SEE-CE)


Posteriormente, uma pesquisa constatou que a carga horária dedicada

efetivamente ao ensino das habilidades era mínima e que se precisava partir para a

produção de um currículo básico calcado em conteúdos:

Então a escola gastava muito do seu tempo trabalhando coisas que não

seriam objetos de avaliação. Não que ela não tivesse que trabalhar essas

outras dimensões né, mas percebia muito claro o desalinhamento entre [o]

currículo trabalhado e o currículo avaliado. [...] A pesquisa tornou isso

muito evidente, né. E foi a partir daí que surgiu a ideia de construir esse

documento sinalizando os conteúdos que queria que trabalhasse em cada

semestre.

A Secretaria do Ceará reconhece que a decisão de produzir um currículo para o

estado vem com atraso:

De certa forma o currículo do estado é uma coisa meio que tocada. A gente

tem conhecimento de alguns estados que avançaram muito nessa questão

de socializar e trabalhar o currículo com o professor assim, sem essa

questão da autonomia escolar. Durante muito tempo essa questão do

currículo parecia ser uma coisa que não poderia ser tocada por uma

secretaria de Educação do estado, que a escola tinha que fazer o seu

currículo e, em nome disso, se perdeu muito [tempo]. (Técnico: SEE/CE)

Em Pernambuco, já houve uma evolução com a Base Curricular Comum em

direção a uma especificação ainda mais detalhada dos conteúdos que os professores

precisam ensinar:

[...] nós já temos o que nós chamamos de OTMs que são as Orientações

Teórico Metodológicas, que é como se fosse o currículo nosso. [..] Da Base

Curricular Comum aperfeiçoou-se para as OTMs que é um pouco mais,

digamos assim, restrito né, talvez um pouco mais selecionado os

conteúdos. (Gestor/SEE-PE)

Na maioria dos casos, há indicações de que os currículos em construção nos

estados contam com a participação dos professores e refletem, portanto, um esforço


comum para estipular os objetivos do ensino. Essa construção coletiva cria a esperança

de uma implantação mais tranquila:

A Base Curricular comum, ela foi feita a partir de um trabalho coletivo. Um

trabalho contemplando as 17 Gerências Regionais de Educação, né? E esse

trabalho, obviamente não foi feito diretamente com todos os professores,

mas com uma boa amostra para que cada professor desses pudesse dar

sua contribuição. Muitas GREs conseguiram avançar. (Gestor/SEE-PE)

A implantação e adoção gradual dos currículos estaduais é um processo lento. O

domínio insuficiente dos conteúdos deixa os gestores frustrados e indicam problemas

de fundo em relação à formação inicial:

Eu diria que mesmo com o CBC ainda tem um bom espaço para andar [....]

principalmente porque o professor não sabe o CBC. Esse é o problema, ele

não sabe. (Especialista-MG)

Essas reflexões sobre a evolução das estratégias das Secretarias em direção a um

currículo de conteúdos básicos servem para indicar que há uma vertente da relação

entre avaliação e política de gestão que a presente pesquisa não teve condições de

aprofundar. Essa relação não é a do uso dos resultados do sistema de avaliação para

estabelecer os critérios para uma política de gestão. Em vez disso, ela reflete uma

interpretação da dificuldade em fazer uso mais produtivo dos resultados como

consequência da ausência de uma política curricular. Portanto, é mais a compreensão

da fragilidade da avaliação externa em servir de instrumento pedagógico do que da

sua utilidade. O movimento em direção ao currículo básico expressa a conclusão de

que, na ausência de um consenso compartilhado com os professores a respeito dos

conteúdos curriculares e de um alinhamento entre os objetivos do ensino, o currículo

da escola e as matrizes do sistema de avaliação, a contribuição deste para a melhoria

da qualidade será seriamente prejudicada.

Essa evolução na política dos estados pôde acontecer no contexto brasileiro pelo

fato de a avaliação educacional ter saído na frente e se estabelecido como um pilar da

política educacional sem uma evolução correspondente na especificação das


expectativas de aprendizagem para cada nível e conteúdo de ensino. Essa

correspondência é a que normalmente define a relação entre o currículo e a avaliação.

Na Inglaterra, por exemplo, a criação do primeiro sistema nacional de avaliação no

contexto da reforma educacional da década de 1980 aconteceu pari passu com a

definição do currículo nacional. Ou seja, o caminho do sistema de avaliação é aberto

geralmente pela implantação de objetivos de ensino que precisam ser monitorados. A

avaliação nessa conjuntura serve tanto para ajudar a implantar o novo currículo como

para medir o sucesso das escolas na sua execução.

Pela natureza federativa do sistema educacional brasileiro e a aparente

impossibilidade de um currículo nacional que vá além dos parâmetros filosóficos, o

Saeb foi criado com base em pesquisas que, na média, tentaram espelhar o currículo

real usado pelas escolas sem que ele fosse o oficial ou comum a todas as escolas.

Quando os estados começaram a adotar sistemas de avaliação modelados no Saeb,

eles também adotaram as mesmas matrizes e a mesma orientação no sentido da

especificação de objetivos em termos de competências de diferentes níveis de

sofisticação. Isso não significa que não haja um amplo grau de convergência entre as

matrizes do Saeb e aquelas produzidas pelos estados que já passaram pelo processo

de especificação do currículo básico. A diferença reside na explicitação e implantação

de um currículo que possa legitimamente servir de foco para todos os processos de

formação continuada, sobretudo quando expressado em termos de expectativas e

quando fruto de uma construção coletiva. Usar as matrizes definidas externamente

para essa finalidade não só restringe o currículo a um subconjunto daquilo que as

escolas deveriam ensinar como também obriga a utilização de uma linguagem de

especialistas que não é a dos livros didáticos e muito menos a das atividades que o

professor precisa desenvolver.

Uma pesquisa sobre essa vertente da relação entre a avaliação e a política

educacional mostraria provavelmente que, se não fosse pela dificuldade em comunicar

os resultados da avaliação aos professores, o progresso na definição dos currículos

estaduais teria sido menor. Mesmo atrasados, os currículos básicos dos estados e o

progresso na definição de expectativas de aprendizagem para as séries são avanços na


direção certa que em algum grau podem ser atribuídos ao fato de os sistemas de

avaliação terem saído na frente.

6.3 Para Informar ao Público

Com a crescente preocupação com os resultados fracos dos Estados Unidos na

década de 1980 em avaliações comparativas internacionais, tão habilmente explorados

pela Comissão Nacional sobre Excelência em Educação em seu relatório Uma Nação

em Risco, (THE NATIONAL COMMISSION ON EXCELLENCE IN EDUCATION, 1983), o

Programa Nacional de Avaliação do Progresso dos Alunos (Naep) decidiu ampliar sua

amostra e, na década de 1990, começou a publicar os resultados dos sistemas

educacionais estado por estado (GTEE/PREAL, 2010a). Aos poucos, os estados também

começaram a publicar seus resultados, dessa vez distrito por distrito e escola por

escola. Por trás dessa prática, encontrava-se a influência do economista Milton

Friedman e de outros economistas liberais, que contestavam o “monopólio natural” do

estado na oferta da Educação pública e procuravam estabelecer um mercado de livre

escolha com base na circulação irrestrita de informação sobre as escolas. O

argumento desses teóricos é a favor da redução das funções do estado e da devolução

ao indivíduo do direito de escolha num mundo regido pelas regras do mercado livre. Se

há razões para os governos arcarem com os custos da Educação, inclusive dos que vão

além da fase obrigatória do ensino, esses teóricos não veem justificativa na

“estatização” da oferta. Ou seja, o fato de o estado subvencionar a Educação não

significa que tem que ser o estado que ofereça a Educação. Em vez disso, o estado

poderia dar bolsas ou vales-Educação aos pais, que poderiam gastá-los nas escolas que

achassem melhor. O papel do estado nesse caso se reduziria ao monitoramento dos

estabelecimentos educacionais não estatais para garantir um padrão satisfatório de

qualidade (FRIEDMAN, 1955).

Dentro desse mesmo raciocínio, seguido também pelo governo britânico a partir

da reforma de 1998 (BALL, 2008; RANSON, 2008), é indispensável tornar públicos os

resultados de cada escola por meio de alguma métrica que permita aos pais fazer uma

comparação entre as escolas. Se a essa divulgação de informação se acrescenta uma


delegação de poder de decisão aos pais a respeito de qual escola pública eles preferem

para seus filhos, cria-se o tipo de concorrência entre as instituições, necessária para o

funcionamento de um mercado educacional livre. Na prática, as restrições são

inúmeras e o mercado funciona de uma forma imperfeita e irregular, mas a divulgação

de informação mesmo em um quase-mercado continua sendo um elemento forte da

política de livre escolha da escola (school-choice).

Não foi nos Estados Unidos que a ideia do vale-Educação encontrou seu primeiro

teste, mas no Chile, durante o período da ditadura. Com a força de um regime

autoritário e de poderes extraordinários, a gestão de todas as escolas públicas foi

descentralizada para o nível municipal, os professores foram desfiliados do governo

central, foram introduzidos instrumentos de financiamento baseados na ideia da

subvenção, ou seja, a distribuição de verbas de acordo com o número de alunos

matriculados, e criaram-se os instrumentos e incentivos para os pais exercerem seu

direito de gastarem os vales-Educação nas escolas da sua escolha. Foi instituído o

Simce, o sistema nacional de avaliação educacional, e iniciado o processo de

publicação e divulgação dos resultados escola por escola. E, pela relação entre as

escolhas dos pais, a matrícula dos alunos e o sistema de financiamento per capita,

criou-se o primeiro exemplo de um sistema de divulgação high stakes na América

Latina.

A divulgação bianual dos resultados do Simce não sofreu nenhuma

descontinuidade com a volta da democracia. Pelo contrário, o sistema foi se

aperfeiçoando, como em outros lugares onde havia uma razão doutrinária para a

divulgação dos resultados escolares. O aperfeiçoamento principal foi a incorporação de

informação sobre o nível socioeconômico dos alunos para permitir a comparação de

escolas com características similares. Esse aperfeiçoamento também foi incorporado

pelas publicações de resultados escolares na Inglaterra a partir de 2002. Até esta data,

os resultados “brutos” publicados nesse país não sofriam nenhum ajuste e refletiam

muito mais o desempenho dos alunos do que o desempenho das escolas. Isso não

seria um problema não fosse pelas consequências para as escolas com resultados

aparentemente ruins que são taxadas de fracas e começam a perder alunos e


professores (TAYLOR; NGUYEN, 2006). Em reconhecimento aos problemas inerentes

ao uso de dados brutos, após dez anos da política de Tabelas de Desempenho de

Escolas, o governo britânico introduziu indicadores de valor agregado para todas as

escolas públicas. O indicador foi construído com base no cálculo do desempenho

esperado do aluno, levando em consideração seu desempenho na fase escolar

anterior. A diferença entre o desempenho esperado e o desempenho atingido é a

medida do valor agregado pela escola ou para mais ou para menos da média nacional.

Em 2010, com a ascensão de um governo conservador no Chile, houve um nítido

retrocesso na qualidade das informações prestadas naquele país. Segundo o Preal

(2010):

Os caminhos que os novos dirigentes da Educação estão tomando para

informar sobre os resultados das provas do Simce são contrários ao mais

elementar sentido comum em matéria de divulgação e uso de resultados e

jogam por terra 25 anos de trabalho durante os quais o Simce evoluiu e

melhorou significativamente. Retrocedem aos enfoques e erros próprios da

década de 1980, que há tempo foram deixados para trás tanto por países

como os Estados Unidos e o Reino Unido, como pela maior parte dos países

da região. (GTEE/PREAL, 2010b) (p. 1)

A razão da cólera do Preal se resume na atitude desavisada do Ministério de

disponibilizar as informações sobre as escolas em mapas virtuais na internet, em que

cada escola está sinalizada por um alfinete de cor verde, amarelo ou vermelho,

dependendo de se a média de proficiência da escola está acima, em torno ou abaixo

da média do país. Como dizem os autores, a entrega dos resultados brutos do Simce

sem fazer ajustes pelas origens socioeconômicas das famílias confunde os pais e

estigmatiza as escolas que atendem os alunos mais pobres. Ao suprimir as informações

de valor agregado, os alfinetes de cores acabam refletindo simplesmente a

composição social do alunado de cada escola. Como na Inglaterra, o problema não

seria tão sério caso não fosse pelo impacto das decisões dos pais sobre onde

matricular seus filhos e sobre o volume de recursos recebido pela escola de acordo

com o número de alunos matriculados (GTEE/PREAL, 2010b).


Felizmente, a história da comunicação dos resultados dos sistemas federais de

avaliação no Brasil segue outros caminhos. A lógica dessa comunicação é publicizar as

informações com o intuito de apoiar as instâncias subnacionais na sua tarefa

constitucional de prover a Educação. Seria impensável o Saeb ou a Prova Brasil sem um

processo amplo de divulgação ou com uma divulgação enviesada, visando influenciar a

opinião dos pais. Esses instrumentos foram construídos para um público externo ao

MEC que abrange todos os governos subnacionais, a comunidade educacional e toda a

população nacional que acompanha os assuntos da Educação.

Por muito tempo, a disseminação dos resultados dos sistemas estaduais seguia

outra lógica. Na sua maioria, esses sistemas eram vistos pelos seus criadores

exclusivamente como instrumentos internos de gestão, e não como uma oportunidade

para a prestação de contas a um público com direito a informações transparentes

sobre a qualidade da Educação. As políticas de divulgação se restringiam aos boletins

para os professores e a outros poucos documentos internos.

A falta de transparência pode refletir mais a atitude de autopreservação comum a

todos os setores governamentais do que uma característica própria das Secretarias de

Educação. Mesmo assim, é surpreendente a ausência de informações detalhadas sobre

os resultados das avaliações nos sites das Secretarias na internet. Em vez de acesso

irrestrito a todos os dados, desagregados por escola e agregados por rede, região,

município, nível e disciplina, o comum é um acesso liberado exclusivamente para as

escolas, com informações que permitem poucas comparações. Em nenhum lugar se

encontram as séries históricas do tipo publicado nos relatórios do Saeb para permitir

que a população faça suas próprias análises das tendências mostradas pelos sistemas

estaduais.

Uma das possíveis razões pela falta de informação nos sites das Secretarias tem a

ver com a relação terceirizada entre o órgão público e a agência responsável pela

avaliação. No Brasil, são quatro ou cinco as principais agências e empresas que

oferecem o serviço de produção, aplicação e análise dos testes previstos pela

legislação estadual que institui os sistemas de avaliação. De longe a maior dessas

agências, o Centro de Políticas Públicas e Avaliação da Educação – CAEd, ligado à


Universidade Federal de Juiz de Fora, oferece alguma informação no seu próprio site

sobre as avaliações realizadas. A impressão, no entanto, é que essa atividade de

divulgação ocupa um lugar secundário para o CAEd, mesmo nos casos em que há o

pedido explícito da Secretaria da Educação. Se as próprias Secretarias fossem as

responsáveis diretas pela análise dos resultados e pela produção dos diversos textos

que são distribuídos para as escolas, é provável que houvesse uma melhora na

qualidade e diversidade das informações nos seus sites.

As exceções que começam a aparecer, juntamente com o foco nos resultados

cada vez mais explícito, incluem os estados de São Paulo e Minas Gerais. No caso de

São Paulo, encontram-se os dados do Saresp de 2007 a 2010 no site da Secretaria, com

os documentos legais, os questionários aplicados à equipe escolar e a descrição das

matrizes de referência. Os resultados são apresentados ano a ano por rede, nível,

disciplina, coordenadoria da capital e interior e também de acordo com os diferentes

níveis de desempenho, para ver a distribuição dos alunos em termos das competências

adquiridas. Mesmo na ausência de gráficos e tabelas para facilitar o processo de

comparação, os interessados podem encontrar todas as informações básicas, incluindo

cópia dos boletins remetidos para as escolas. No caso de Minas Gerais, são oferecidas

informações completas sobre os últimos três anos de aplicação das provas do Proeb,

juntamente com a matriz curricular, o boletim pedagógico e a “revista contextual”,

como é chamado o documento contendo dados sobre o nível socioeconômico da

escola e seu grau de eficácia. Não são mostrados nenhuma média por ano, disciplina,

SRE ou qualquer outro parâmetro de agregação. Como no caso do Rio Grande do Sul e

outros estados, a divulgação via site se dirige à escola e pressupõe que o único

interesse dela seja ver seus próprios resultados, isolados de quaisquer comparações.

Outra Secretaria que leva a sério sua obrigação de comunicar os resultados da

avaliação é a do Distrito Federal. Nesse caso, a obrigação se deriva das próprias

diretrizes do Sistema de Avaliação do Desempenho das Instituições Educacionais do

Sistema de Ensino do Distrito Federal – Siade, que estipulam a divulgação dos

resultados à comunidade escolar e à sociedade civil, conforme o Sumário Executivo do

Siade 2009 (SEE/DF, 2010). No site da Secretaria, encontram-se disponíveis para


download a Matriz de Referência para Avaliação, os Relatórios Pedagógicos Siade 2009

e um conjunto de apresentações para ajudar na utilização dos instrumentos de

avaliação e a interpretação dos resultados. Pelo fato de a Secretaria de Educação do

DF ter expandido seu sistema de avaliação para incluir a si mesma, do ponto de vista

tanto das suas políticas como da oferta da Educação, encontram-se entre os diversos

documentos a Síntese da Análise dos Indicadores de Políticas Públicas e a Síntese da

Análise dos Indicadores de Gestão. Chamam a atenção os dois documentos por

conterem os checklists de todos os indicadores usados na avaliação da atuação do

governo na condução de suas políticas e na gestão do sistema. Ainda mais

surpreendentes são as versões impressas de todos os diferentes documentos

encontrados no site, produzidas com capricho para a distribuição pública.

No caso do Rio de Janeiro, por outro lado, as informações são escassas. Os

resultados das últimas duas avaliações do Saerj estão organizados ou por lista de

escolas, com uma indicação da média por disciplina e sua classificação como baixo,

intermediário ou adequado, ou por lista de alunos, devido à importância recente do

ranqueamento do aluno com base na premiação com notebooks dos alunos que

atingem os níveis mais altos em português e matemática. Não se encontram as médias

por nível e disciplina e muito menos as comparações entre os anos.

Os sites visitados também não oferecem nenhum ranqueamento das escolas.

Apesar de termos localizado esse tipo de informação nos jornais do Rio Grande do Sul,

Minas Gerais e no Distrito Federal, a fonte das matérias não foram as Secretarias de

Educação. Dentro das Secretarias, existe a convicção que a divulgação não deve

permitir a comparação entre as escolas, como nos informou um gestor no Espírito

Santo:

Os educadores aqui não concordam com o ranking, acham que o ranking

não deve existir que isso em vez de estimular cria uma competitividade

desnecessária, tira a questão de unidade de rede, fragiliza a escola mais do

que estimula. É uma cultura brasileira mesmo. (Gestora; SEE/ES)


Às vezes, as informações fornecidas ficam até incompletas justamente para

prevenir qualquer risco desse tipo de comparação. A imprensa, no entanto, tem outras

ideias:

A imprensa tem liberdade. A gente não tem esse controle de dizer, divulgue

dessa ou daquela maneira, né? Você informa, passa uma lista, uma

planilha com todos os resultados e eles ordenam em ordem decrescente, do

maior para o menor, né? Acaba naturalmente virando um ranking, mesmo

que a intenção não seja essa. (Técnico: SEE/DF)

Em Pernambuco, a imprensa mostra o mesmo interesse que em outros lugares:

Quando a gente chama a coletiva da imprensa pra dar o resultado, a

primeira coisa que eles querem é um ranking. [...] na primeira vez que saiu

o Idepe, sem querer [o Secretário] deu o ranking e quase morreu todo

mundo. Então a gente segura isso como se fosse um tesouro, a gente não

libera. Se a imprensa quiser entrar e pegar é responsabilidade dela, nós não

damos ranking de forma nenhuma. [...] E isso deu tranquilidade às escolas

porque o diretor ele não entra em sofrimento. Se eu tenho uma escola que

está numa situação de alta vulnerabilidade social, uma escola em que o

diretor assumiu recentemente, uma escola em que o resultado é muito ruim

e de repente você compara ela com outra escola que o diretor está lá a 8,

10 anos, é injusto. (Gestor: SEE/PE)

Não há dúvida de que na ausência de informações que permitam controlar a

influencia do nível socioeconômico dos alunos e outros fatores externos à escola, a

comparação de escolas com base nos dados brutos dos sistemas estaduais não é

recomendável. Pela impossibilidade de identificar claramente a contribuição da escola

no resultado geral dos alunos, a comparação de dados brutos pode levar a conclusões

errôneas tanto no sentido de atribuir qualidade maior a escolas com alunos de nível

socioeconômico mais alto como no sentido de achar de pior qualidade escolas com

alunos mais pobres. Perante esse risco, e o possível constrangimento das escolas, as


Secretarias fazem bem em não permitir a divulgação de informações que possam

facilitar o ranqueamento de escolas.

A única exceção que encontramos a essa regra geral foram os Relatórios de

Desempenho Geral da Rede Estadual de Ensino produzidos pela Secretaria de

Educação de Mato Grosso do Sul. Nesses relatórios, sobre os resultados dos alunos no

Saems em língua portuguesa, produção de texto e matemática em 2009, encontram-se

ranqueados escolas e municípios, abrindo os flancos para as mesmas comparações

enganosas ocorridas no Chile. Não se sabe se os relatórios foram produzidos para

circulação interna ou não, mas, ao apresentar como um dos objetivos oficiais da

avaliação “fornecer informações às escolas da rede estadual e à sociedade sul-mato-

grossense sobre o desempenho dos alunos e os fatores que interferem na

aprendizagem”, essa Secretaria mostra que gostaria que os pais se familiarizassem

com os resultados das avaliações. No entanto, como a divulgação dos boletins

pedagógicos atinge somente os diretores das escolas e não há política explícita de

disseminação externa, deve-se supor que os ranqueamentos não faziam parte de uma

estratégia premeditada de divulgação de comparações junto à comunidade.

O único caso documentado de um canal oficial de comunicação com os pais dos

alunos mediante a produção de um informativo contendo os resultados da escola é o

caso do Boletim de Escolas da Secretaria de Educação do Paraná, descrito por Ayres

(2003). Criado como parte de uma estratégia para fomentar um mínimo de

responsabilização para as escolas e dar poder aos pais para demandar resultados, o

Boletim também tinha o propósito menos divulgado de fortalecer as associações de

pais e contrabalancear o poder do sindicato de professores, que na época estava em

desavença com o governo do estado. A teoria por trás dessa estratégia parece ser a de

que as escolas se sentiriam mais pressionadas em demonstrar bons resultados se os

pais estivessem mais bem informados a respeito da sua escola em comparação com as

outras.

Distribuído a todos os pais e membros da equipe escolar, o boletim era organizado

em um informativo de quatro páginas que continha três blocos de informação. O

primeiro trazia os resultados do programa de avaliação estadual de 2000 com a média


das notas dos alunos de 4ª e 8ª série em português e matemática da escola, do

município e do estado, classificados de acordo com quatro níveis de desempenho. Em

2002, o Boletim da Escola adicionou um indicador que informava se a escola tinha

atingido ou não o nível de desempenho “esperado” para ela, levando em consideração

a condição socioeconômica média dos alunos de cada série. O segundo bloco de

informações continha dados do censo escolar oficial, incluindo taxas de aprovação,

reprovação e evasão, com comparações com as médias municipais e estaduais, mas

sem nenhuma comparação com outras escolas específicas. O terceiro bloco

apresentava afirmações subjetivas em relação à escola, retiradas dos questionários

aplicados a alunos, diretores e pais (AYRES, 2003).

Com a mudança da administração estadual em 2003 e a nomeação de um

Secretário da Educação com fortes laços com os sindicatos dos professores, o sistema

de boletins foi abandonado. As dificuldades em treinar os pais na interpretação e no

uso do boletim, a falta de comunicação real entre pais e professores e a falta de

confiança geral dos professores e diretores com relação ao propósito do Boletim

levaram ao seu abandono precoce. O fracasso do Boletim da Escola do Paraná mostra

que uma estratégia de divulgação aparentemente low stakes e sem consequências

para os professores pode criar desconfianças e ser combatida se não implementada de

forma adequada. Pode-se supor que se o Boletim tivesse usado uma estratégia high

stakes, incorporando comparações entre as escolas e atribuindo alguma consequência

aos indicadores empregados, a sua vida teria sido ainda mais curta.

Outra modalidade de divulgação diz respeito ao uso dos resultados das avaliações

como um elemento de propaganda política. Foram encontradas peças dessa natureza

em Minas Gerais, onde, no período anterior às eleições estaduais de 2010, foram

distribuídos documentos pdf contendo informações positivas sobre os avanços da

Educação no estado. Um desses documentos, intitulado Choque de Gestão e

Educação, se dedica a mostrar os avanços da Educação como consequência do novo

modelo de gestão pública. Ao falar dos avanços, dá-se destaque ao aumento de 48,6

para 72,6% na proporção de alunos com nível recomendado em leitura e escrita entre

2006 e 2009, sendo essas informações derivadas dos testes Proalfa do sistema


estadual de avaliação. Em outro documento, de julho 2010, a Secretaria procura

mostrar a situação excepcional do Ideb de Minas Gerais, em comparação com os

outros estados. Dados mostravam que nas series iniciais em 2009, 94,8% das escolas já

alcançaram a meta do Ideb para 2011, que Minas passou do 3º lugar para 1º lugar em

português e matemática, que das 149 escolas do país com Ideb ≥ 7, 73,2% estavam em

Minas Gerais, que das 500 escolas com o Ideb mais alto, 63,6% estavam em Minas

Gerais, e assim por diante.

Essas peças de divulgação chamam a atenção justamente por serem tão incomuns.

Enquanto as notícias sobre a Educação eram sempre tão infelizes e os resultados dos

sistemas de avaliação tidos como ruins, não havia o que celebrar. Os governantes que

cumpriam seu papel de dar ao público o conhecimento dos resultados das avaliações o

faziam mais por obrigação do que por querer a publicidade. Além do mais, na ausência

de uma relação entre a política educacional e a popularidade do governo, não havia

razão para o governante se expor. A divulgação dos resultados das avaliações não era

uma prática calculada para ganhar votos.

A mudança desse cenário está associada à consolidação de instrumentos de

avaliação que permitem fazer comparações – ao longo dos anos e entre os estados – e

à criação de políticas educacionais voltadas para os resultados que pelo menos em

alguns estados parecem estar produzindo efeito. Nesses lugares, começam a surgir

melhorias que podem ser atribuídas à qualidade da gestão pública e também sinais de

que a população está pronta para priorizar a qualidade da Educação e disposta a

premiar os governantes que mostram avanços nessa direção. No Ceará, o sucesso da

política educacional do município de Sobral, disseminado por meio de todos os meios

de comunicação, contribuiu para a eleição do governador e continua fazendo escola.8

Nesse estado, o governador procura fazer um evento político da entrega dos prêmios

dos sistemas estaduais de incentivos:

8 No município de Sobral, houve 34,7% de aumento no Ideb nas séries iniciais entre 2007 e 2009.


O que ganha mais visibilidade hoje é o prêmio Escola Nota 10. Tanto que na

solenidade de entrega o ministro veio. Aquela coisa. Foi feita com todos os

prefeitos presentes, os secretários municipais. Ele ganhou uma dimensão

em termos de ser algo pomposo para a escola que ganhasse, o município

ter uma escola que ganhasse. Na primeira edição foi no centro de

convenção do estado que vieram todos os prefeitos e realmente foi um

evento. Tem sido feito assim com uma grande solenidade para a concessão

desse prêmio. Nas edições anteriores era algo muito limitado. No governo

Lúcio, por exemplo, o prêmio de Escola Destaque no máximo eram

convidados diretores das escolas dos estados. (Técnico: SEE/CE)

O comportamento do governador pode ser atribuído ao desejo de dar prestigio à

política educacional e angariar apoios entre os municípios para os esforços da

Secretaria de Educação. O evento pomposo da Escola Nota 10 seria, então, uma

estratégia de mobilização para entusiasmar os dirigentes e provocar melhorias nos

resultados dos municípios. Por outro lado, pode também ser um evento com fins

políticos de caráter eleitoral. De qualquer forma, o cálculo é que o assunto da

premiação renderá frutos tanto para o estado como para os municípios se houver uma

melhoria nos resultados das escolas. A fala do técnico da SEE sugere que a estratégia

de dar destaque aos resultados está dando certo:

Quando a gente fez a escala do Saeb a gente transformou aqueles

intervalos e pintou os intervalos, atribuiu cores aos intervalos. A cor salmão

é um nível intermediário. Tem prefeito que até diz assim: "Eu não quero

mais o verde ruim, eu quero o verde bom". Por que na escala tem o

dégradé de verde. O suficiente é um verdinho claro e o desejável ou

adequado seria o verde escuro. Então o prefeito já dizia, eu não quero o

verde ruim eu quero o verde bom. Então assim, isso já mostra que mesmo

aquelas pessoas que não são da área da Educação, leigos, um prefeito que

não tem uma facilidade muito boa pra entender os indicadores. (Técnico:

SEE/CE)


A conclusão a que se chega é que a avaliação educacional faz parte de um

movimento que, ao promover a melhoria dos resultados da escola, está propiciando

ganhos políticos pelos gestores dos sistemas de Educação. Nesse cenário, é a avaliação

que fornece as informações sobre os avanços do sistema que ao serem divulgadas

angariam os apoios desejados, tanto em termos de colaboração como em termos

eleitorais. Se a Educação nos estados continuar a melhorar e se o interesse da

população no assunto da qualidade da Educação continuar a crescer, pode-se esperar

um volume cada vez maior de informação nos sites das secretarias, em inserções na

televisão e em publicações de diversos tipos. Não há duvida de que a circulação de

maiores informações e a divulgação de resultados educacionais com propósitos

políticos trarão benefícios para a qualidade da Educação pública.

Mesmo não havendo nenhuma intenção de implantar políticas de “escolha de

escolas”, a divulgação de informações de valor agregado por escola aumentaria

significativamente o interesse da população e introduziria um elemento de

responsabilização, mesmo low stakes, ao processo de publicização dos resultados. A

questão é se isso traria alguma vantagem para a rede em termos de melhorias ou se

simplesmente abriria uma área de conflito com as escolas. As experiências de outros

países não fornecem as respostas pelo fato de esse tipo de divulgação estar sempre

associada a políticas de responsabilização high stakes que confundem as evidências

sobre o impacto. Mesmo assim, é possível imaginar a retomada de políticas de Boletim

Escolar, como no Paraná, para efeitos de divulgação de informações de valor agregado

visando o engajamento da comunidade sem que haja a mesma reação por parte dos

professores.

6.4 Para a Alocação de Recursos

O exemplo mais difundido, e aquele que mais resume o espírito e a técnica da

gestão de recursos educacionais com base em informações do desempenho das

escolas, é o chileno. O Programa das 900 Escolas (P-900) foi formulado como uma

política de melhoramento com base nos resultados do Sistema Nacional de Medição


da Qualidade da Educação (Simce) em março de 1990, na volta da democracia chilena

após 17 anos de ditadura, e até poucos anos atrás ainda orientava atividades e

recursos do Ministério da Educação desse país (GARCIA-HUIDOBRO, 2006).

O programa P-900 foi criado para melhorar a aprendizagem de alunos de escolas

de ensino fundamental das regiões rurais e urbanas mais pobres do país. As 900

escolas da primeira fase do programa representavam 10% de escolas com os piores

resultados no Simce, que desde 1988 vem fazendo levantamentos a cada dois anos do

desempenho escolar em matemática e língua espanhola de alunos de 4ª e 8ª séries do

Ensino Fundamental. O objetivo do P-900 foi melhorar a aprendizagem de alunos de 1ª

a 4ª séries em leitura, escrita e matemática e para tanto foram desenvolvidas

numerosas ações com as crianças e seus professores. A lógica subjacente foi a de que,

para atingir uma qualidade mínima em todas as escolas, havia a necessidade de

distribuir os recursos entre elas de forma desigual, num movimento que pode se

chamar de discriminação positiva.

Na medida em que as escolas foram alcançando a média de desempenho para

sua região, foram sendo substituídas por outras de “alto risco”, de modo que, até o

ano 2000, o programa conseguiu atender o total de 2.500 escolas. Mesmo as escolas

que não alcançavam as médias regionais, e que continuavam entre as atendidas,

registraram a melhora de 18,5 pontos em média, mais que o dobro das escolas não

atendidas (GARCIA-HUIDOBRO, 2006). Das escolas atendidas pelo P-900, a metade

delas foi de áreas rurais, mas, nesse mesmo período, 75% dos alunos atendidos foram

urbanos. Em 1997, o programa se expandiu para atender a pré-escola e as 5ª a 8ª

séries. Isso representou o incremento de mais de 117% no número de alunos, que

aumentou de 140 mil para 305 mil, e também de docentes, que aumentou de 5 mil

para 11 mil. Para os padrões brasileiros, esses números podem não parecer tão

significativos, mas no contexto chileno representavam aproximadamente 10% de todo

o sistema público de ensino do país. Os resultados da avaliação realizada em 2000

mostraram que o programa P-900 contribuiu para a equidade do sistema, na medida

em que os alunos de 4ª série das escolas atendidas aumentaram seu desempenho

mais do que o das não atendidas (SANTIAGO CONSULTORES Y ASESORÍAS PARA EL


DESARROLLO, 2000). O impacto do programa foi maior no seu período inicial, entre

1990 e 1992 e, de novo, entre 1996 e 1999, conseguindo diferenças entre as escolas

do programa e as outras escolas do sistema superiores a 3 pontos numa escala

parecida com a do Saeb. No período intermediário, as diferenças diminuíram devido

ao apoio dado pelo Ministério a outras escolas do país por meio das numerosas ações

do Programa de Melhoramento da Qualidade e Equidade da Educação Básica, também

distribuídas de acordo com o rendimento das escolas no Simce.

Um novo programa, chamado Mejor Escuela, que atende escolas com baixo

rendimento instaladas em regiões de vulnerabilidade social, recupera alguns dos

critérios do P-900. O foco do novo programa gira em torno do cumprimento dos

objetivos previstos pelo currículo nacional do Chile e oferece materiais pedagógicos

aos professores e treinamento no uso de métodos práticos apropriados às clientelas

atendidas. Resultados do Simce mostram o sucesso da estratégia com aumentos de 6

pontos em língua e 8 em matemática após quatro anos (O Estado de S.Paulo,

4/4/2011).

No principio da década passada, o México estabeleceu outro exemplo de um

programa de melhoramento em escolas urbanas de populações de baixa renda

escolhidas com base nos seus contextos sociais e nos resultados no Sistema Nacional

de Evaluación de la Educación – SNEE (FERRER, 2006). Chamadas de Escuelas de

Calidad, foram incorporadas mais de 35 mil até o final de 2005. Segundo relato de

pesquisadores brasileiros, o Programa de Escuelas de Calidad – PEC segue a mesma

lógica que o programa dos P-900 ao procurar promover igualdade de qualidade e de

oportunidades educacionais para todos os educandos, independente de sua

capacidade, origem social, etnia e ambiente familiar, mediante um processo de

discriminação positiva a favor dos mais necessitados (DOS SANTOS; DE AVILA; SILVA,

2010). O mesmo SNEE que foi usado para a identificação das escolas também é usado

a cada dois anos para fazer uma avaliação detalhada dos avanços das escolas PEC.

O Plano de Ações Articuladas implantado pelo MEC em 2007 contemplava

originalmente os municípios considerados prioritários em função do Ideb alcançado

em 2005 e por esse motivo se classifica aqui como política de alocação de recursos


federais com base em resultados da avaliação externa. Com a extensão do plano para

todos os municípios, a política adquiriu conotações de accountability. Pelo menos, é

nessa luz que Adrião e Garcia (2008) analisam os objetivos e métodos do Ministério.

Composto de programas e ações com o objetivo declarado de promover a melhoria da

qualidade da Educação básica brasileira, o plano é operacionalizado por meio de

convênios entre os municípios e a União e da elaboração local de um PAR:

Por esse instrumento, os gestores municipais se comprometem a promover

um conjunto de ações no campo educacional, responsabilizando-se pelo

alcance das metas estabelecidas pelo âmbito federal. Em contrapartida,

passam a contar com transferências voluntárias e assessoria técnica da

União. (ADRIÃO; GARCIA, 2008) (p. 779)

A existência de um documento legal que estabelece um acordo público na forma

de metas implica, necessariamente, algum grau de responsabilização subjetiva.

Dependendo da mobilização da população, o não-cumprimento das metas acordadas

possa trazer um custo político para os gestores municipais. Resta saber se o MEC se

interessa por condicionar a continuidade do financiamento ao cumprimento das metas

e dessa forma elevar conscientemente os stakes dessa responsabilização.

Apesar de incipiente no Brasil, o uso das informações sobre o desempenho escolar

para a definição de políticas de alocação de recursos deve estar bastante difundido.

Essa impressão se deriva da existência em quase todos os estados visitados de

exemplos de políticas de pequeno e de grande porte para a distribuição de materiais,

treinamentos e outros recursos físicos e financeiros com base em critérios que levam

em consideração o desempenho da escola ou da sua região no sistema de avaliação.

No caso de políticas compensatórias ou de discriminação positiva, definidas para

favorecer escolas com desempenho menor, podem ser citados o projeto Aprender

Mais, da Secretaria de Educação de Pernambuco, que garante reforço escolar em

português e matemática dado por 3.275 professores temporários para todos os

estudantes de 4ª e 8ª séries e 3ª série do Ensino Médio, um ”kit boletim” e cursos para

as escolas que não atingem as metas do Idepe; uma política veiculada pela Secretaria


de Educação do Rio Grande do Sul em 2010 para a identificação de escolas com

resultados “insuficientes” para receber apoio do poder público e replanejamento de

sua gestão e ação pedagógica; uma distribuição de recursos e ações pela Secretaria de

Educação de Minas Gerais para favorecer as escolas da região Grande Norte do estado,

identificada como detentora dos piores resultados no Simave; e outra política de

Pernambuco chamada Certificação de Padrões Base. Nesse caso, trata-se de um

processo de implantação e manutenção de um padrão físico de funcionamento das

221 escolas com o pior resultado no Idepe de 5ª a 8ª série. Com dinheiro do Banco

Mundial e por meio da gerência geral de engenharia da própria Secretaria, propõe-se

que as escolas atinjam um padrão de ventilação, iluminação, salas, carteiras, material

etc. e recebam os recursos e o apoio para a manutenção desse padrão.

Há também políticas que favorecem escolas ou regiões com base na lógica

contrária. Nesses casos, os beneficiários são escolas ou regiões com os melhores

resultados. A lei 14023/07 do Ceará, que distribui a cota estadual do ICMS para os

municípios de acordo com os resultados do Spaece, seria um exemplo. Nesse caso, foi

criado o Índice Municipal de Qualidade Educacional com base nos resultados de

português e matemática do 2º e do 5º ano do Ensino Fundamental e todo ano o

governo calcula o repasse de ICMS aos municípios de acordo com os critérios

estipulados no Decreto 29.306, de 5 de junho de 2008. Nessa legislação, em nome de

“uma gestão publica por resultados”, se estabelece que 18 dos 25% da arrecadação do

ICMS será distribuída “em função do Índice Municipal de Qualidade Educacional de

cada município, formado pela taxa de aprovação dos alunos do 1º ao 5º ano do ensino

fundamental e pela média obtida pelos alunos de 2º e 5º ano da rede municipal em

avaliações de aprendizagem” (Art. 1º, Parágrafo Único, II).

Pelo componente de responsabilização inerente à distribuição de recursos com

base no desempenho, as consequências dessa legislação têm sido a mobilização dos

prefeitos e uma concorrência para melhorar os resultados nos municípios:

Veja bem, o prefeito que nunca ligava para a Educação hoje ele está louco

aqui ligando pra gente o tempo todo, por quê? Por que tem o ICMS

atrelado ao resultado do 2º e 5º ano também. (Técnica: SEE/CE)


Outra consequência, menos interessante, tem sido a perda de receita da capital

por causa das características da população, que confirma que a distribuição da receita

do ICMS com base em um critério aparentemente meritocrático é um jogo de soma

zero:

...a gente viu agora em Fortaleza como tem perdido mais com isso por que

Fortaleza tem as adversidades maiores [...] é mais difícil colocar os meninos

nessa mobilização. No interior os prefeitos conseguem que os meninos

tenham participação de 100%, ou seja, não falta nenhuma na prova.

(Técnica: SEE/CE)

Mesmo com as dificuldades provocadas pela perda de receita de alguns

municípios, a política começa a fazer escola e em Pernambuco o governo já distribui

3% da receita do ICMS dos municípios com base em critérios parecidos.

O governador está tão fortemente motivado a isso que ele aprovou em

2008 o “ICMS Educação” em que 3% (dos 25%) são destinados aos

municípios com o melhor resultado no Idepe. Isso está fazendo com que os

municípios solicitem [..] que nós também calculemos o Idepe para eles. [...]

E uma das preocupações tanto dos prefeitos quando do governador agora,

é dar apoio aos municípios para que não haja muita distância entre o que a

Educação estadual está fazendo e está conseguindo de resultado, com

relação ao resultado do município.

Mais comum em se tratando da alocação de recursos de acordo com os resultados

são os prêmios pagos diretamente às escolas em reconhecimento aos resultados

alcançados nas avaliações estaduais. Um exemplo seria o Prêmio Escola de Valor,

criado pelo governo do Amazonas, para “estimular a obtenção de melhores índices

educacionais”. Anualmente são oferecidos prêmios de 30 mil reais a cada uma das

escolas que obtiverem os melhores índices no Ideb. O valor precisa ser empregado em

benefício da comunidade escolar e administrado pelas Associações de Pais, Mestres e

Comunidade. No primeiro ano de aplicação, 39 escolas foram premiadas e, no segundo

ano, 180. Segundo o site da Secretaria de Educação, o prêmio já ajudou a modificar a


realidade dessas escolas. Conforme as regras, foram aplicados 40% para a melhoria da

estrutura física, 40% para a compra de materiais pedagógicos e equipamentos

tecnológicos e 20% para a realização de eventos educacionais.

A política do Amazonas sofre do defeito de premiar as escolas que precisam

menos de recursos adicionais. Mesmo havendo alguma vantagem em oferecer um

prêmio, em termos de possíveis ganhos na produtividade da escola pelo efeito do

incentivo de obterem recursos adicionais para a caixa escolar, é provável que as

necessidades das escolas com desempenho menor sejam mais prementes. Ou seja, a

política de premiar as escolas melhores colide com os critérios de equidade que

recomendariam uma política compensatória para diminuir as diferenças existentes, e

não aumentá-las.

Existem exemplos de políticas que fazem as duas coisas simultaneamente. Mais

complexas, e potencialmente mais eficazes, essas políticas partem da premissa de que,

além de merecerem seus prêmios, as escolas mais bem colocadas nas avaliações

também têm alguma coisa a oferecer às escolas com o desempenho mais fraco. O que

essas políticas promovem, portanto, é uma relação de assistência técnica entre as

escolas premiadas e as escolas adotadas. Essa combinação dá um novo significado à

responsabilização. Além de serem responsabilizadas pelos seus próprios resultados, as

escolas premiadas também assumem uma nova responsabilidade para com as escolas

adotadas ou apoiadas.

O município de Rio de Janeiro abraçou uma política desse gênero ao definir em

2010 que as 25 melhores escolas de cada ano da Prova Rio, avaliação externa daquela

cidade, vão apadrinhar as 25 piores escolas, “dando orientações e mostrando algumas

estratégias que deram certo em suas unidades”. No entanto, a versão mais completa

dessa política de apadrinhamento foi lançada no Ceará em 2009 pela Lei 14.371, de 19

de junho 2009, que se chama Prêmio Escola Nota 10. Nesse caso, os critérios para a

seleção das escolas premiadas são de que tenham média no IDE-Alfa entre 8,5 e 10,

percentual de participação nas provas de Spaece de 85% e pelo menos 20 alunos de

ensino fundamental na época da avaliação. As escolas que atendem a essas condições

têm o direito de receber R$ 2.500,00 por aluno matriculado no 2º ano do Ensino


Fundamental. A contrapartida é a adoção de uma das escolas que obtiveram os

menores resultados no IDE-Alfa. A partir da sua adoção, essas escolas recebem uma

contribuição financeira do estado no valor de R$ 1.250,00 por aluno avaliado e ações

de cooperação técnico-pedagógica, vindas das escolas premiadas. Fazem parte dessas

ações a elaboração dos planos escolares e viagens de articulação e apoio entre as

escolas. Os recursos financeiros concedidos às escolas apoiadas são utilizados apenas

para a melhoria das condições escolares e dos resultados da aprendizagem dos alunos.

Isso significa que as melhorias podem ser na forma de investimentos na formação dos

professores, aulas de reforço escolar, aquisição de materiais didático-pedagógicos,

equipamentos eletrônicos e mobílias e melhorias estruturais, como construções de

espaços, reformas e adequação de áreas. Cabe esclarecer que a política visa

principalmente as escolas municipais devido ao processo acelerado de municipalização

do ensino fundamental empreendido pelo governo estadual a partir do final da década

de 1990, que deixou nas mãos do estado menos de 8% da matrícula nesse nível de

ensino.

Em 2009, com base nos resultados do Spaece de 2008, foi beneficiado o total de

300 escolas entre premiadas e adotadas. No ano seguinte, na Solenidade da 2ª Edição

da Entrega do Prêmio Escola Nota 10, realizada no Centro Administrativo com a

presença do ministro da Educação e da maioria dos prefeitos, foram beneficiadas mais

300 escolas com os mesmos valores que no ano anterior. Na mesma ocasião, também

foram agraciados com troféu os prefeitos de 83 municípios, entre os 184 municípios

cearenses que atingiram o Nível Desejado, com a média de 150 pontos ou mais na

prova Spaece-Alfa. Pelo menos na opinião dos governantes, o simbolismo do prêmio,

carregado do prestígio de um evento que conta com a presença do ministro, tem valor,

na política do estado, de concentrar as atenções nos resultados dos alunos.

A premiação recebida pela Escola Nota 10 é dividida em duas parcelas. Para

receber a segunda, a escola precisa manter sua própria média na avaliação seguinte e

a escola assistida mostrar que houve avanço no desempenho ao ponto de alcançar a

nota 5 no IDE-Alfa. Esse critério é para garantir que haja de fato uma relação de apoio

entre as duas escolas. Outra questão de importância diz respeito ao processo de


escolha das escolas adotadas e os usos do dinheiro. Na opinião de um gestor, é

importante obrigar a escola premiada a se relacionar com escolas distantes e não se

acomodar com escolas mais próximas. Na opinião de um técnico, a política melhoraria

se a premiação fosse menor, porém estendida a um número maior de escolas.

Outra questão é a confiabilidade das avaliações para operar um sistema de

premiação com base em uma única medida. Com informações fornecidas por um

técnico, descobriu-se que muitas escolas podem mudar de categoria entre associadas

e premiadas de um ano para outro, o que levanta a suspeita de que a categorização

deixa a desejar ou que a margem de erro é grande. Uma escola que passa das piores

para as melhores em período tão curto desafia a própria lógica dos sistemas de apoio :

O efeito prêmio ele foi muito mais forte no grupo das 148 escolas que

foram apoiadas. Então a gente percebeu uma evolução muito maior das

escolas que estavam num nível baixo e passaram para o alto. Ao todo, das

148 foram 107 escolas que receberam a segunda parcela. Então foi um

número altíssimo das escolas que conseguiram crescer e atingir a meta 5. E

tivemos 8 que saíram do status de apoiada de 2009 e em 2010 foram

premiadas e estão entre as 150 melhores do estado. Elas operaram uma

grande mudança. (Técnico: SEE/CE)

Mesmo não tendo sido criado como uma política de incentivo ou premiação, o

projeto de Escolas Referência de Minas Gerais se situa nessa categoria do sistema

classificatório por promover investimentos de diversos tipos nas escolas beneficiadas e

também por obrigar que elas adotem outras escolas de desempenho mais fraco. Um

dos programas estruturantes da política educacional de Minas Gerais (PEREIRA, 2009),

o Projeto Escolas-Referência busca a reconstrução da excelência na rede pública e a

superação do fracasso escolar por meio de uma Educação de qualidade. Iniciado em

2004, com a seleção de 223 escolas pela sua tradição, número de alunos nos ensinos

Fundamental e Médio e resultados positivos no Simave, o projeto visa tornar as

escolas escolhidas focos irradiadores de Educação de qualidade no estado.


Apesar da expansão do projeto para o total de 581 escolas com base nos

resultados do Proeb, ainda não existem avaliações mais detalhadas desse modelo de

gestão. O que se encontram são dissertações e outros estudos que focam aspectos da

estratégia, como o instrumento utilizado na formação continuada dos professores, o

PDP (FIGUEIREDO, 2007), o sistema de planejamento, o PDPI, e o papel do gestor

(REZENDE, 2010). Em estudo ainda em andamento, propõe-se comparar os ganhos dos

alunos das escolas referência e suas escolas associadas com escolas não incluídas no

projeto (PEREIRA, 2011). A grande questão desse estudo diz respeito à justiça em

concentrar esforços em um subconjunto de escolas em condições de se tornarem

escolas de excelência, em vez de estender os benefícios dos investimentos a todas as

escolas da rede. Para responder a essa pergunta, é preciso avaliar o possível efeito de

demonstração ao estabelecer um padrão de qualidade e desempenho para toda a rede

por meio do exemplo de algumas escolas e o impacto nas escolas associadas da sua

proximidade com essas escolas de excelência.

Os estados que ainda não têm políticas de alocação de recursos com base no

desempenho das escolas já pensam ter:

A gente está pensando utilizar o IDE [Índice de Desenvolvimento da Escola]

para a criação do fundo de distribuição de recursos para a escola. De

alguma forma estabelecer uma entrega do recurso com base na elevação

desse indicador, então com programas que a escola apresente desde

necessidades físicas, infra estrutura, quanto de pessoas, de assessoria, de

assessorias pedagógicas, principalmente. Eu acho que seria grande chance

da escola poder ter assessores para o desenvolvimento pedagógico dela.

[...] é uma forma mais orientada e uma política mais focada, com

focalização de política no resultado da escola para aquilo que a escola

precisa. (Técnico: SEE/ES)

Como comentário final, convém destacar a diferença entre as políticas de alocação

de recursos com base em resultados de acordo com o nível de impacto das

consequências ou responsabilização. A distribuição de recursos em favor de escolas

com desempenho menor não pode ser considerada política de responsabilização por


não existir nenhum propósito de estimular as escolas a reduzir seu desempenho para

se tornarem escolas beneficiadas. No caso das políticas de premiação, por outro lado,

em que as escolas com melhor desempenho são aquinhoadas com recursos até

vultosos, como no caso do Ceará, a mensagem é claramente de competição e de

incentivo a todas as escolas para que melhorem seus resultados. A não-premiação da

escola acarreta prejuízos pela perda de melhores condições de trabalho e pelo não-

reconhecimento da qualidade da escola. Por colocar os resultados nas mãos das

escolas e dos seus profissionais, a política é de responsabilização, mesmo sendo uma

premiação para a escola, e não para os profissionais. Na seção seguinte, serão tratados

os incentivos dirigidos os profissionais das escolas.

6.5 Para Políticas de Incentivos Salariais

A bibliografia sobre o tema da responsabilização no Brasil não é extensa, mas

permite traçar o histórico dessa política desde o principio da década passada. Os

exemplos mais bem documentados da primeira geração de políticas dessa natureza

são os casos da Nova Escola, do estado do Rio de Janeiro, o sistema de bônus salarial

do estado de São Paulo, o prêmio Escola do Novo Milênio, do estado de Ceará, e o

bônus salarial para professores alfabetizadores do município de Sobral, todos criados

no ano de 2001 (MEC/INEP, 2005; BROOKE, 2006; RODRIGUES, 2007; ANDRADE, 2008;

BROOKE, 2008). O que essas políticas tiveram em comum foi a formulação de critérios

para o pagamento de incentivos salariais aos profissionais das escolas com base nas

médias de desempenho dos alunos.

Semelhantes ao sistema Sned, do Chile, essas políticas de responsabilização

associam consequências aos resultados dos alunos em termos de um adicional ao

salário dos professores pertencentes às escolas classificadas ou premiadas. Por esse

motivo, essas políticas se diferenciam das políticas de accountability high stakes dos

Estados Unidos, onde as consequências atingem primeiramente os alunos. Nos Estados

Unidos, a legislação estipula as metas em termos da proporção de alunos que

alcançam o desempenho mínimo necessário para receber o diploma de conclusão do


Ensino Médio. No Chile e no Brasil, os resultados dos sistemas de avaliação não são

usados para classificar ou certificar o aluno e muito menos para influenciar seu futuro

no mercado de trabalho. Portanto, as consequências criadas pelos sistemas de

premiação/incentivos desses países são decorrências secundárias dos resultados do

processo escolar que nos dizem mais sobre a visão dos gestores a respeito da

motivação do professor, e menos sobre a qualidade de Educação da escola. É verdade

que nos Estados Unidos as consequências se estendem também para as escolas e seus

professores mediante as políticas de intervenção naquelas escolas que demonstram

um progresso anual insuficiente, mas mesmo nesses casos o indicador de qualidade ou

a falta dela são as taxas de graduação dos alunos. Nos casos brasileiro e chileno, o

indicador que se produz ao final dos cálculos determina se a escola é premiada ou não

e qual o nível de premiação alcançada. Por mais sofisticada que seja a metodologia de

cálculo, esse indicador é bem menos transparente que a taxa de graduação.

Outra diferença entre as políticas de responsabilização e as de accountability diz

respeito à natureza sempre positiva da premiação ou bônus salarial, enquanto as

consequências high stakes nos Estados Unidos podem ter implicações bastante

negativas para os alunos, seus professores e suas escolas. A ausência de qualquer

consequência negativa no caso brasileiro não significa a priori a falta de eficácia da

política de incentivos, mas deixa dúvida sobre a pertinência do termo

responsabilização como a tradução cabal da palavra accountability. A recusa dos

professores e legisladores em permitir qualquer tipo de punição é inteiramente

compreensível, mas, quando inexiste a possibilidade de consequência negativa, torna-

se mais difícil alegar que a escola e sua equipe estão sendo responsabilizadas pelo

produto de seu esforço. Somente na presença da possibilidade de consequências tanto

negativas como positivas pode-se dizer que há algo em jogo que represente um valor a

ser ganho ou perdido conforme o significado da própria palavra stakes, usada para

descrever a política.

Com essas diferenças em mente, convém fazer a distinção de acordo com o nível

em que a política de responsabilização incide no processo escolar, em nível do aluno,

do professor ou da escola. Com essa distinção, pode-se dizer que as políticas


brasileiras de responsabilização são direcionadas quase exclusivamente às escolas,

havendo só um registro, no caso de Sobral, no Ceará, onde, além de dar prêmio à

escola, a política de responsabilização identificava e premiava professores

alfabetizadores individuais.

Também convém explicitar quem está responsabilizando a quem. No caso dos

Estados Unidos e de certa forma no do Chile, uma parte das políticas de accountability

mostra que os governos centrais tomam para si o papel de exigir os direitos da

população de receber um serviço público de qualidade dos governos estaduais e

distritais. Nesses casos, o accountability expressa um acordo a respeito do gasto

correto e eficiente dos recursos dos contribuintes e a obrigação dos governos

subnacionais de cumprir esse papel com transparência. Também pressupõe uma

organização de poder em que o governo central tem ascendência legítima sobre os

governos subnacionais. No caso brasileiro, essas condições não são dadas. O único tipo

de responsabilização em jogo, do governo estadual em relação aos seus funcionários, é

o mesmo do empregador que exige bons resultados dos seus empregados. Por mais

que façam uso de justificativas que expressam os direitos do cidadão de ser bem

atendido, as políticas estaduais de incentivos salariais sempre serão, antes de tudo,

estratégias para aumentar a produtividade.

Os outros exemplos mencionados de programas estaduais de responsabilização

empregam diferentes medidas de resultados como indicadores da qualidade da escola.

Os indicadores são de três tipos. O mais comum é o desempenho médio dos alunos de

determinada série e matéria. Os outros dois indicadores são o de calcular o progresso

da escola com base na mudança no nível de aprendizagem dos alunos de um ano

escolar para outro e o de mostrar a distribuição percentual dos alunos por faixa ou

nível de desempenho.

O desempenho médio apresenta uma série de problemas para o cálculo do

incentivo. Como o desempenho do aluno é uma combinação de vários fatores,

incluindo muitos que são externos à escola, o desempenho medido pelo sistema de

avaliação reflete muito mais do que a contribuição dada pela equipe escolar. Portanto,

as médias podem indicar o nível de desempenho, mas não a fonte da aprendizagem.


Pelo uso exclusivo desse indicador, é possível premiar uma escola que em nada tenha

contribuído para o nível médio de desempenho dos seus alunos.

É para contornar esse problema que os estados do Ceará e do Rio de Janeiro

introduziram uma medida de progresso no desempenho da escola de um ano para

outro. Trata-se do modelo chamado nos Estados Unidos de “mudança de status”

(HANUSHEK; RAYMOND, 2003), que pode ser visto como um avanço parcial pelo fato

de controlar hipoteticamente pela aprendizagem anterior dos alunos. Como a

composição social do alunado de determinada escola não muda de forma brusca,

pode-se supor que o alunado da mesma série, em dois anos consecutivos, é composto

do mesmo tipo de aluno e tem características sociais e níveis de aprendizagem prévia

similares. Portanto, medindo a diferença no desempenho dos alunos da mesma série

em anos consecutivos, pode-se obter uma medida do quanto a escola avançou no

período em questão. O problema dessa suposição é que há as flutuações naturais

entre as turmas e entre os anos mencionadas por Carnoy em relação ao Sned (CARNOY

et al., 2004) e a escola pode ser julgada como apresentando mais ou menos progresso

exclusivamente em função dessas flutuações. Em suma, a mudança de um ano para

outro confunde o desempenho da escola, as diferenças socioeconômicas entre os

alunos e os erros naturais de medição.

Outro problema relacionado à medida de progresso é que ela pressupõe uma

mudança constante e positiva no nível de desempenho dos alunos. Para a fase inicial

do programa de responsabilização ou para a escola que começa a instituir programas

de melhoramento, essa mudança pode ser uma meta realista. Para a escola que já

alcançou um nível mais alto de desempenho, o progresso constante pode não ser tão

realista e a escola ser julgada de menor qualidade.

É também importante observar que em nenhum dos exemplos da primeira

geração de políticas de responsabilização havia uma medida da distribuição dos alunos

pelos diferentes níveis de aprendizagens alcançados nas diferentes matérias testadas.

Não havia, portanto, uma medida do grau de equidade alcançado pela escola e

nenhuma forma de premiar as escolas que se esforçavam para eliminar as

desigualdades intraescolares existentes. Da mesma forma que as políticas de


responsabilização entendem que o aprimoramento da qualidade depende da ênfase

nos resultados da escola, pode-se argumentar que somente com a inclusão de

indicadores de equidade é que os sistemas começarão a combater as diferenças no

tratamento de alunos dentro das escolas. Nesse contexto, cabe lembrar que as

variações intraescolares no desempenho dos alunos são sempre maiores do que a

variação entre as escolas.

A segunda geração de políticas de responsabilização tenta superar as críticas

relatadas. Criados nos últimos dois ou três anos e exemplificados pelos sistemas de

incentivos de Pernambuco, São Paulo e Espírito Santo, esses novos sistemas

incorporam procedimentos mais sofisticados para a definição de critérios e a avaliação

de escolas. Segundo Formoso (2009), o objetivo do novo Programa de Qualidade da

Escola em São Paulo foi promover a melhoria da qualidade e a equidade do sistema de

ensino estadual e ao mesmo tempo combater o problema do absenteísmo dos

professores. O programa de pagamento de uma bonificação foi atrelado, portanto, a

dois fatores: o resultado de um índice de desenvolvimento das escolas, denominado

Idesp, e a assiduidade dos professores (FORMOSO JR., 2009).

A metodologia do Idesp descrita por Soares (2009) mostra a forma encontrada

para verificar a qualidade do ensino e também privilegiar a dimensão da equidade. O

primeiro passo foi a definição dos níveis de desempenho aos quais seriam atribuídos

significados pedagógicos e normativos. Há muita diversidade de opinião sobre o

número e denominação dos níveis que devem ser usados. No caso do Idesp foram

escolhidos quatro níveis com as seguintes denominações: Abaixo do Básico, Básico,

Proficiente e Avançado. As etiquetas escolhidas para os níveis têm um claro significado

normativo e descrevem graus de dominação das competências almejadas pelos

responsáveis pelo currículo oficial. A opção por quatro níveis reflete a necessidade de

orientar a organização de atividades a serem oferecidas aos alunos após a análise dos

dados obtidos em uma avaliação, dando às proficiências dos alunos uma utilidade

pedagógica, e não apenas gerencial (SOARES, 2009).

O segundo passo foi a escolha dos pontos de corte das proficiências do Saresp

para os quatro níveis. Encontrou-se uma distribuição de referência por meio da


comparação do desempenho dos alunos brasileiros com o desempenho dos alunos de

um grupo de países participantes do Pisa de 2000. Mediante a comparação da

distribuição da pontuação dos dois grupos e o cálculo da diferença em desvios padrão

foi possível criar uma distribuição “ideal” das pontuações para o Saeb. Com base nessa

distribuição, e a decisão de colocar aproximadamente 25% dos alunos no nível

avançado e outros 25% no nível básico, chegou-se a duas tabelas com a definição dos

pontos de corte para cada nível para 4ª, 8ª e 3º e para leitura e matemática do Saresp.

O significado desses passos se revela com a fórmula para o cálculo do Idesp para

cada escola. Ao mesmo tempo em que o Idesp mantém a ideia básica do Ideb de

agregação dos indicadores de fluxo e desempenho, ele também incorpora a dimensão

de equidade no indicador de desempenho ao mudar a maneira de cálculo do primeiro

fator, passando a utilizar um indicador baseado nos percentuais de alunos nos

diferentes níveis. O indicador de desempenho usado no Idesp é obtido calculando-se

primeiramente a defasagem média dos alunos da escola em relação ao nível avançado.

Para isso, atribuem-se aos alunos classificados no nível Abaixo do Básico, Básico,

Proficiente e Avançado respectivamente três, duas, uma e nenhuma defasagem. A

defasagem do sistema ou escola é definida como a média ponderada das defasagens

de cada nível, tomando como peso a porcentagem de alunos em cada nível. Para

transformar essa medida de defasagem em um indicador similar ao Ideb, foi

necessário transformá-la em um número que assume valores entre 0 e 10, sendo

atribuído à pior escola o valor 0 e à melhor escola o valor 10. Isso é obtido pela

aplicação da seguinte fórmula: Indicador = (1 - (Defasagem/3))*10

O uso da defasagem como medida de desempenho da escola sinaliza a

importância de melhorar o desempenho dos alunos mais fracos, em vez de excluí-los.

Quando os incentivos eram pagos com base na média das turmas testadas, a

estratégia mais eficiente para aumentar as chances de recebê-los residia na melhoria

dos resultados dos alunos com maior condição de mostrar avanços, e não no trabalho

mais paciente com os alunos de desempenho mais baixo.

As metas desenhadas pela Secretaria de Educação com base no indicador Idesp

servem para monitorar a evolução da qualidade da Educação nas escolas. Segundo


Ferraz (2009), a inovação do programa está na relação entre o tradicional bônus

monetário e o grau de cumprimento dessas metas. Para isso, foi definido um índice

que mede o grau de cumprimento das metas para cada ciclo em cada escola. No ciclo

2007/2008, esse índice foi calculado comparando o quanto a escola melhorou entre

2007 e 2008 (Idesp2008 - Idesp2007) com quanto a escola deveria ter melhorado para

atingir a meta (Idespmeta – Idesp2007). Essa relação oferece a percentagem da meta

efetivamente atingida pela escola. Para escolas que têm mais de um ciclo, há

diferentes metas que a escola tem de atingir. Uma maneira de analisar se ela se

aproximou das metas como um todo é calcular a média ponderada de cada Índice de

Cumprimento, em que a ponderação é o número de alunos avaliados no Saresp em

cada um dos ciclos (FERRAZ, 2009).

Esse índice de cumprimento ponderado é então utilizado para remunerar as

equipes das escolas por seu desempenho. A Secretaria de Educação definiu uma

remuneração que é proporcional ao grau de atendimento das metas. Em escolas que

tiverem um índice de cumprimento de 100% da meta, por exemplo, todos os

professores e funcionários da escola recebem um bônus equivalente a 20% dos 12

salários mensais, ou seja, 2,4 salários mensais a mais. Porém, em atenção ao outro

objetivo do sistema de responsabilização, o pagamento individual depende da

frequência dos professores. Para receberem o bônus, os funcionários devem ter

atuado, no mínimo, em dois terços dos dias letivos do ano (ou 244 dias). Mesmo

entendido como punição pelos professores, a SEE/SP entende que, como não há

punição para o não-alcance das metas, o sistema de bonificação não se equivale aos

sistemas encontrados nos Estados Unidos (FORMOSO JR, 2009).

O estado do Espírito Santo demonstra um enfoque muito parecido com São Paulo.

Em documento da própria Secretaria (SEDU/ES, 2010), encontra-se a descrição da

Bonificação por Desempenho, criada em 2010 e baseada no índice de desenvolvimento

da escola - IDE, composto do indicador dos resultados, o IRE, e do indicador do esforço

da escola, o IEE, de modo que o IDE = IRE x IEE.

Como em São Paulo, o primeiro passo se resume na definição dos mesmos quatro

níveis de desempenho e os pontos de corte a serem empregados. Diferentemente do


cálculo de defasagem em São Paulo, a metodologia usada no Espírito Santo atribui um

valor de 0 a 10 para cada nível de desempenho, deixando clara a intenção de

beneficiar a escola que consegue passar seus alunos para os níveis de desempenho

mais altos. Um nível adicional da classificação é formado pelos alunos “excluídos” que

evadem ou, mesmo matriculados, não se apresentam para as avaliações e recebem em

consequência o valor 0. Essa categoria desestimula a perda de alunos por abandono e

também a prática de “esconder” alunos de baixo desempenho na época dos testes. O

cálculo do Indicador de Resultado da Escola é obtido pela multiplicação do percentual

de alunos em cada nível de desempenho pelo valor atribuído àquele nível (mostrado

no Quadro 2.), dividido por 100.

Quadro 2. Categorização dos Alunos em Níveis e Respectivos Escores para 5º e 9º

Anos do Ensino Fundamental e 1º Ano do Ensino Médio

Nível Excluídos Abaixo do

Básico Básico Proficiente Avançado

Escore 0 2 6 8 10

O próximo passo se resume ao cálculo do Indicador de Resultados da Escola para

todas as avaliações a que foi submetida ao longo do período de referência. No caso da

aplicação da fórmula em 2010, levaram-se em consideração as avaliações de 2008 e

2009. O Indicador de Resultados da Escola final é calculado com base na média

ponderada, levando em consideração o número de alunos matriculados nas séries

testadas.

O indicador de esforço da escola, IEE, é a forma encontrada para levar em

consideração o nível socioeconômico da escola e permitir, dessa maneira, uma

comparação entre escolas que não seja viciada pelas diferenças na condição dos

alunos. A lógica do indicador é que, quanto mais alto o nível socioeconômico, menor o

esforço da escola para produzir bons resultados. Portanto, o cálculo do indicador é

dado pela diferença entre o nível socioeconômico da escola, numa escala de 0 a 5, e


um valor máximo arbitrado em 10. A escola com nível socioeconômico mais alto teria

um índice de esforço 5, enquanto a escola com o nível socioeconômico mais baixo

teria o índice 10. Usando a mesma lógica em relação aos níveis de ensino da escola, e

pressupondo o aumento de esforço na medida em que os alunos avançam desde as

primeiras séries do ensino fundamental até o Ensino Médio, calcula-se o esforço total

da escola levando em consideração a composição do corpo estudantil por nível de

ensino. A definição do modelo para o cálculo e o pagamento da bonificação das

escolas premiadas também foi objeto de discussão detalhada para evitar certos

inconvenientes, incluindo o risco de fomentar um ranqueamento das escolas e a

prática dos professores de procurarem transferências para as escolas mais bem

classificadas. O pagamento da bonificação ao individuo é condicionado a uma

frequência mínima, como em São Paulo.

De modo parecido com São Paulo, o sistema de incentivos implementado em

Pernambuco em 2008 também premia escolas com base em metas de desempenho

calculadas usando o sistema de avaliação do estado, o Saepe, e um indicador de fluxo

escolar, de forma análoga ao Ideb. No entanto, a definição das metas foi feita de forma

diferente da de São Paulo, pela ausência de resultados do Saepe para o ano de 2007.

Para as escolas de desempenho no quartil inferior da distribuição do Indicador de

Desenvolvimento da Educação de Pernambuco – Idepe, foi usada como meta a nota do

Ideb de 2009. Para as escolas de desempenho intermediário, a meta foi definida para

superar em 10% o estado com melhor desempenho do Nordeste. Por último, para o

grupo de escolas com desempenho superior, as metas foram estipuladas pelo valor do

estado com melhor desempenho no Brasil.

Para determinar a proporção da meta que foi atingida pela escola, é feito um

cálculo em duas etapas, segundo Ferraz (FERRAZ, 2009). Calcula-se primeiro um índice

que represente o quanto a escola deveria melhorar para cumprir a meta – o Índice de

Cumprimento (IC) – e depois o Índice de Progresso (IP), para estimar o quanto a escola

efetivamente progrediu. A média para cada série é ponderada pela proporção de

alunos em cada ciclo. Finalmente, a proporção da meta global atingida pela escola é

calculada pela divisão do que a escola efetivamente atingiu, o IP, pelo índice de


cumprimento das metas, o IC. A remuneração por desempenho é paga somente para

aquelas escolas em que o índice de cumprimento global seja pelo menos de 50%.

Os avanços metodológicos dos novos sistemas de incentivos são evidentes. Todos

evitam o uso de medidas simples de tendência central e incorporam métodos mais

sofisticados para captar tanto a proficiência quanto o fluxo de alunos. Também no caso

de São Paulo e Espírito Santo, foram criados métodos para levar em consideração

questões de equidade e amenizadas as dificuldades em fazer comparações entre as

escolas ao controlar pelas diferenças no nível socioeconômico e composição do corpo

estudantil. O uso de metas também incorpora uma visão prospectiva para facilitar a

compreensão do incentivo.

Mas certas dificuldades técnicas ainda permanecem. As medidas usadas para

controlar o nível socioeconômico dos alunos se baseiam em valores arbitrados, e não

no impacto real do nível socioeconômico ou em outras características dos alunos.

Também não resolve o problema da falta de medida do desempenho anterior dos

alunos, o que impede que seja calculada a contribuição específica da escola à

aprendizagem dos alunos. No há duvida de que a melhor medida para o desempenho

dos alunos seria a medida longitudinal, em que os mesmos são monitorados ao longo

de um período de tempo a partir de uma primeira avaliação servindo de linha de base.

O resultado dessas medidas longitudinais, em termos de ganhos médios de

aprendizagem da coorte de alunos, pode ser considerado um cálculo mais exato do

valor agregado da escola porque, além de controlar pelo efeito da aprendizagem

prévia, controlam-se também as flutuações na composição das turmas.

6.5.1 Investigações em Loco.

Quatro dos estados escolhidos para a pesquisa de campo têm políticas de

bonificação regidas pelos seus sistemas de avaliação – São Paulo, Minas Gerais,

Pernambuco e Ceará. Mais um estado, Espírito Santo, e o Distrito Federal já


prepararam as metodologias para o cálculo do bônus, mas ainda não fizeram o

primeiro pagamento9. Essa demora se deve à decisão de deixar passar o período

eleitoral de 2010 e aguardar as orientações dos novos Secretários de Educação. As

incertezas desse período, que se estendeu pelo primeiro semestre de 2011, dificultou

a pesquisa de campo e tornou necessário restringir as entrevistas à discussão das

políticas dos governos cujos mandatos tinham terminado. As mudanças já efetuadas

ou ainda em curso nas políticas educacionais de diversos estados a partir da chegada

dos novos governantes levam a crer que algumas das observações dos pesquisadores

descritas a seguir possam estar já desatualizadas.

As observações não repetirão os detalhes fornecidos sobre as metodologias dos

sistemas de bonificação, extraídos da bibliografia levantada. Elas se restringirão aos

detalhes do funcionamento desses sistemas não disponíveis na bibliografia e àqueles

aspectos que esclarecem melhor os princípios e problemas dessa modalidade de

política de gestão.

Ceará

No caso do Ceará, cabe esclarecer que o prêmio Escola Nota 10, já apresentado na

categoria Alocação de Recursos, também será estudado aqui pelo fato de parte do

prêmio ser destinado aos professores. Conforme o Manual de Orientações para

Elaboração, Execução e Prestação de Contas do Plano de Aplicação dos Recursos

Financeiros do Prêmio, documento de 63 páginas, dos 75% do valor total do prêmio

recebidos na primeira parcela, as escolas podem destinar até 20% para “bonificar os

professores do 2º ano do Ensino Fundamental; profissionais do núcleo gestor e demais

profissionais lotados na escola, no ano de referência da premiação”. Do resto do

prêmio, até 70% é destinado para aquisição de materiais de apoio pedagógico,

material permanente, formação continuada e adequações dos ambientes físicos da

9 No caso de Espirito Santo, o Bônus foi regulamentado em 31/5/11 e o primeiro pagamento, referente

ao ano de 2010, está programado para julho de 2011.


escola e “outras ações que contribuam para a melhoria da qualidade do ensino e da

aprendizagem dos alunos”, e até 20% destinados a deslocamento, alimentação e

hospedagem para a equipe escolar com o objetivo de desenvolver ações de

cooperação técnico-pedagógicas junto à escola apoiada. Dentre os limites fixados pela

legislação, a escola fica livre para seguir seus próprios critérios, até na forma de

calcular e fazer a distribuição da bonificação.

A Secretaria de Educação do Ceará também patrocina o prêmio Aprender pra

Valer, voltado para escolas de Ensino Médio, conforme a Lei nº 14.484, de 2008. Nesse

caso, são premiados os professores de até 45 escolas que atingem os seguintes índices

na soma das médias de língua portuguesa e matemática em cada uma das três séries

do Ensino Médio:

• Evolução de 7 a 10% sobre a média de proficiência obtida no ano anterior.

• Não apresentar média de proficiência no padrão Muito Crítico.

• Percentual de participação mínima de 80% (no Spaece) com base na matrícula

inicial informada no Educacenso.

O prêmio, destinado aos gestores, professores e servidores efetivos e

temporários, é concedido no valor mensal da remuneração de cada servidor,

proporcional ao acréscimo na média de proficiência dos alunos. Ou seja, no limite

inferior de 7% de crescimento na média da escola, os professores ganham uma

bonificação de 70% do salário. No limite superior de 10% ou mais, a bonificação é de

100%. Em 2010, a premiação representou um gasto de cerca de R$ 2 milhões e, como

no caso da Escola Nota 10, houve solenidade para a entrega às escolas de placas de

homenagens pelo desempenho alcançado. A ideia de trabalhar várias políticas de

incentivos simultaneamente não é por acaso:

No sistema de motivação precisa perceber é o seguinte, que você precisa de

mais de um modelo. Você não pode trabalhar só com uma linha de força,

você tem que ter várias linhas de força coerentes e convergentes. Então

com Escola Nota 10 eu motivo os professores e diretores, com o ICMS eu

motivo o prefeito, e com o Aprender para Valer, eu motivo diretores,


gestores, professores, funcionários, e ai, eu motivo independente do

contrato de trabalho, se é cargo efetivo ou se é temporário ou se é

terceirizado, eu motivo todos. Nenhuma pessoa da escola pode ficar fora

do prêmio. (Gestor: SEE/CE)

A convicção do estado do Ceará na eficácia dos prêmios como incentivo para os

professores tem uma década de história, que, como política para as escolas de ensino

regular, começa com a criação do prêmio Escola do Novo Milênio pela Lei Nº 13.203,

de fevereiro 200210. Alterado em 2004, quando o estado institui o Programa de

Modernização e Melhoria da Educação Básica e cria o Selo Escola Destaque do Ano, o

prêmio continua ininterrupto até 2007. Nesse ano, o atual governador, Cid Gomes,

toma posse. Prefeito de Sobral de 1997 a 2005, quando aquele município implantou o

primeiro exemplo de um sistema de bonificação individual para professores

alfabetizadores, o novo governador dá continuidade às políticas de incentivos ao criar

o Índice Municipal de Qualidade Educacional como base para a distribuição dos 25%

do ICMS pertencentes aos municípios e estabelece as bases para a retomada da

premiação de escolas em 2008 por meio da Escola Nota 10. No ano seguinte, são

criados o Prêmio Aprender pra Valer e também o Prêmio para os Alunos do Ensino

Médio, também pioneiro, que distribui um laptop a todos os alunos que conseguem

média de 325 em língua portuguesa e 350 em matemática na escala do Spaece.11

A própria continuidade da política de incentivos sugere que os gestores locais

estão convictos da sua eficácia. Como diz uma especialista:

Nós não temos ainda nenhuma evidência sobre o impacto desse sistema de

bonificação, por que eles são bastante novos. Mas você tem casos de

10 Em 2001, o projeto chamado Tempo de Avançar, que utilizou o telecurso 2000 da Fundação Roberto

Marinho para implantar 2 mil turmas de alfabetização com alunos fora de idade escolar, foi a primeira

experiência com a política de premiação. De acordo com os resultados na Prova de Êxito, ao final do

curso foram premiados os professores dos alunos com o melhor desempenho.

11 Política similar instituído na cidade do Rio de Janeiro para “homenagear e valorizar os alunos que

obtiveram as melhores notas em Português e Matemática” vai premiar os cinco melhores alunos de cada disciplina dos dois anos avaliados com uma bicicleta.


estados como Ceará que tem sistemas de premiação que já tem mais de 10

anos e o estado continua usando. Ou seja, pelo menos no nível de uma

apreciação mais subjetiva de impacto desses programas eles estão

achando que eles têm razão que esses sistemas produzem bons resultados.

Agora estão aplicando inclusive para os alunos, dando prêmios aos alunos

que saem com os melhores resultados e eles vêem impactos instantâneos.

(Especialista: UFMG)

A opinião positiva dos gestores cearenses não vem só do efeito cumulativo da

experiência mas também de um raciocínio que deposita fé no efeito real do incentivo

tanto na melhoria da competência como na motivação do professor:

Eu acho que essa ideia [do prêmio], ela persiste porque as pessoas se

comportam diferentemente, tem níveis de compromisso e níveis de

competências diferentes. Quem tem nível de competência diferente precisa

às vezes ser incentivado internamente para adquirir a competência que não

tem. E quem não tem compromisso precisa saber que, ou passa a ter

compromisso ou passa a ter, vamos dizer assim, um tratamento

diferenciado em relação a quem tem. Que quem tem merece mais que

quem não tem. (Gestor: SEE/CE)

Para o mesmo gestor, a questão de se haveria outras formas de abordar os

problemas da Educação ou de organizar a própria política de incentivos não é uma

preocupação. A política de premiação é uma opção pragmática que chega ao cerne da

preocupação pelos resultados da escola e que qualquer política nesse contexto é

melhor do que nenhuma:

Nós somos, sim, pragmáticos, funcionalistas, realistas, sabe? Agora nós

não somos só isso. Mas se a realidade requer nesse momento uma

abordagem assim, então que seja essa, sabe? Vamos separar um pouco o

ideal, idealismo pedagógico, das condições de possibilidade da prática,

sabe? [...] No estado [...] em que a escola brasileira está, a pior estratégia


de premiação é melhor do que nada, porque nós precisamos quebrar a

inércia dessa indiferença pelos resultados. (Gestor: SEE/CE)

Isso não significa que a política de incentivos salariais não oferece problemas na

hora da aplicação prática das regras. No caso da Escola Nota 10, por exemplo, foi

necessário criar o IDE-Alfa, que leva em consideração a proporção de alunos

matriculados que efetivamente participam do Spaece porque as escolas nem sempre

aplicavam as provas aos alunos mais fracos para não prejudicar suas médias. Além

desse tipo de gaming, em que as escolas aprendem a manipular as regras, também se

observa a tendência das escolas de se preocuparem menos com as séries que não são

levadas em consideração no calculo do IDE-Alfa:

É visível como que alguns municípios relaxam um pouco no

acompanhamento do terceiro e do quarto ano. Porque o foco do prêmio

está no segundo ano. Ninguém quer ser professor mais do segundo ano. Ele

quer ser professor do terceiro ou do quarto ano porque ele não está sendo

tão pressionado, tão cobrado. Há um afrouxamento. Há aquela política de

acompanhamento austero, intensivo, que foi montado para o primeiro e,

sobretudo para o segundo ano. Mas, por mais que a escola saiba como

fazer, ela não se aplica ao terceiro, não se aplica ao quarto. (Técnico:

SEE/CE)

O gestor responsável pela política reconhece a existência dessas estratégias, que

classifica de “distorções”:

Todas as pessoas se comportam em função de resultados mais imediatos.

Então, se eu posso conseguir [...] uma avaliação com um mínimo de

esforço, eu vou fazer um mínimo de esforço. Às vezes isso significa uma

redução de escopo da tarefa, às vezes até uma inversão dos valores em

relação às tarefas, não é? O exemplo mais claro disso é aquela coisa de

dizer, assim, bom se o que importa é Português e Matemática, vamos

treinar os meninos pra fazerem boas questões de Português e Matemática

e nada mais importa, né?” (Gestor: SEE/CE)


Outros problemas incluem a “transferência branca” de alunos para outras escolas

para tentar se livrar de alunos de desempenho mais baixo e a insatisfação criada pela

pressão irreal do prêmio Aprender pra Valer, que estipula um crescimento de no

mínimo 7% ao ano na média de desempenho da escola, independentemente do

patamar já alcançado:

Os diretores têm uma reação muito grande. Os diretores escolares

consideram alto esse crescimento de 7%. Tem que ser mexida logo, logo,

por que a escola não consegue manter esse percentual do crescimento. Aí a

gente viu que poucas escolas, foi um número muito pequeno, que

conseguiu atingir essa meta. (Técnico: SEE/CE)

Na opinião dos técnicos da Secretaria, há indicações de que o programa Escola

Nota 10 produz resultados positivos no conjunto das escolas atingidas. Em comparação

com 2009, as médias tanto das escolas premiadas como das apoiadas cresceram em

2010 e, das 148 apoiadas, 107 chegaram a receber a segunda parcela do apoio

financeiro em 2010, mostrando que suas médias já alcançaram 5 no IDE-Alfa.

A evolução da média no Ceará se deu de uma forma muito acelerada. Com

certeza a gente tem que atribuir isso a essa política de publicização de

resultados, de política de premiação mesmo, e de mídia que foi feito em

cima desses resultados.

No entanto, o efeito parece não ser pelo recebimento do dinheiro. Uma evidencia

nesse sentido é o fato de as escolas apoiadas, que recebem menos, terem avançado

mais que as escolas premiadas. Outra evidência é fornecida pelo fato de os recursos

terem demorado a chegar às escolas e o avanço no desempenho ter acontecido

mesmo na ausência dos recursos. A explicação alternativa tem a ver com o efeito

psicológico da premiação, tanto para as premiadas como para as apoiadas:

O efeito da avaliação e a divulgação do resultado por si só já é uma

dinâmica de motivação. A escola saber que ela está entre as melhores. Aí

eu fico perguntado: por que as apoiadas evoluíram mais do que as

premiadas? As premiadas não conseguiram manter a média de


desempenho. Então talvez é o efeito psicológico do prêmio, do fato de ter o

prêmio e ter a publicização do resultado e a escola ser conhecedora que

está numa situação crítica e tudo mais. Talvez isso tenha gerado um

movimento interno na escola de tentar rever o seu projeto e tentar rever

suas práticas. Talvez é muito mais do que o efeito do dinheiro que chegou

a essa escola ou mesmo o efeito da cooperação técnica da apadrinhada

que chegou a essa escola. (Técnico: SEE/CE)

Mesmo assim, nem todas as escolas premiadas conseguem manter suas médias

para justificar o recebimento da segunda parcela da premiação, equivalente a 25% do

total. Das 148 premiadas em 2009, 75 não receberam a segunda parcela por não

manterem o IDE-Alfa da escola no mesmo nível e mais 12 pelo fato de suas escolas

apoiadas não alcançarem o índice de 5 nessa mesma escala.

No caso do Ensino Médio, houve também uma melhoria expressiva nos

resultados. Mas nesse caso o efeito pode ter sido pelo novo entusiasmo dos alunos,

provocado pelo Prêmio para os Alunos do Ensino Médio, e refletir, portanto, a

melhoria causada pela medição mais exata da proficiência dos alunos:

Por que antes os alunos do Ensino Médio muitos deles nem sequer liam a

prova. Marcavam qualquer letra, queriam se ver livre pra logo ir embora.

Alguns que sabiam que ia ter avaliação nem iam naquele dia por que eles

não são obrigados a fazer a prova. A gente não tem como obrigar o aluno a

fazer a prova, né. E agora na aplicação a gente observou o aluno

questionando com o aplicador o tempo da aplicação. Então houve uma

mudança de paradigma do aluno ao fazer o teste por que ele estava

querendo, ele estava brigando pra fazer o teste, não era mais o aplicador

tentando convencê-lo a ficar na cadeira e a reler o teste de novo. (Técnico:

SEE/CE)

A taxa de participação dos alunos matriculados, criada para contornar o problema

da “transferência branca” e a falta de comparecimento dos alunos no dia das provas,

tem criado seus próprios problemas. Um deles tem sido a não premiação de escolas


que por motivos alheios têm perdido alunos por abandono ou transferência. Nesses

casos, escolas com desempenho inferior podem chegar a receber a premiação por não

ter sofrido a mesma perda de alunos. Há relatos de funcionários das escolas viajarem

até os novos domicílios de alunos transferidos para receber a documentação oficial da

transferência e de um diretor que teve que falar com o conselho tutelar do Rio de

Janeiro para garantir que o aluno transferido tivesse sido de fato matriculado em

escola do Rio. Um técnico da SEE/CE sugere que uma forma de contornar o impacto da

perda inevitável de alunos seria estipular um percentual mínimo de participação e

fazer a distribuição dos prêmios entre os que satisfazem esse mínimo:

Tipo assim, irão concorrer ao premio Escola Destaque as escolas que

tiveram uma participação mínima de 90%. E aí vai ganhar quem tiver a

maior proficiência. [..]Não tem culpa uma escola que tinha atingido uma

nota altíssima mas perdeu um aluno que foi transferido, mudou para uma

outra escola e aí não ficou mais com 100% [de participação] e caiu a média

dela de proficiência. (Técnico: SEE/CE)

No fundo, essa dificuldade diz respeito à aparente “injustiça” dos critérios

estipulados para o pagamento do incentivo. Em se tratando de um acréscimo

importante à renda do professor, equivalente a um mês de salário, não é trivial a

questão de se as regras da competição são percebidas como legítimas e justas. A

experiência de Sobral, e os ajustes sucessivos nas regras do bônus do professor

alfabetizador para o aperfeiçoamento da política de incentivos mostra o quanto os

gestores precisam fazer as adaptações de acordo com as definições locais de justiça.

Numa primeira versão dessas regras, as cinco primeiras escolas na prova de

alfabetização levaram o prêmio, independentemente do tamanho da escola e do

número de turmas. No ano seguinte, a competição foi subdividida em categorias pelo

número de turmas das escolas em reconhecimento à dificuldade maior em melhorar

os resultados em escolas maiores. No terceiro ano, houve nova mudança pelo fato de

algumas escolas não receberem prêmios mesmo tendo desempenho melhor que

escolas premiadas em outros grupos por só existir um prêmio para cada grupo. Neste

ano, foi eliminado o ranqueamento e criado no seu lugar um sistema de metas com


base no desempenho da própria escola no ano anterior. Nesse formato, a escola

competia consigo mesma para alcançar pelo menos 90% da meta. A lição aprendida é

que o sistema de incentivo nunca será perfeito:

Eu já coloco que meu modelo é esse, que vai funcionar assim, que esse ano

vai ser assim, doa a quem doer, esse ano vai funcionar assim. Agora, tenho

certeza que ele não é perfeito, e nós poderemos também falar seriamente

de como melhorá-lo. Mas não fazer nada porque nunca vai ser perfeito é

errado. (Gestor: SEE/CE)

Espírito Santo

O sistema de bonificação de Espírito Santo, que prevê pagamento a toda a equipe

da escola que atingir determinado índice de desenvolvimento da escola, é de

elaboração recente, o que permite o resgate mais pormenorizado dos diferentes

objetivos perseguidos pelos gestores. Mesmo não havendo ainda uma aplicação

prática da metodologia, o raciocínio por trás da sua criação ainda está fresco na

memória dos envolvidos. O primeiro objetivo é levar para dentro da escola a mesma

preocupação com os resultados das avaliações que aquela expressa no planejamento

estratégico do estado:

Para mim, eu não tenho grandes pretensões com relação ao bônus e tal,

mas se conseguirem levar para dentro da escola essa discussão de que o

resultado principal é a aprendizagem eu acho que o jogo já está ganho.

(Gestora: SEE/ES)

Uma vez aceita a relação entre qualidade e resultados e estabelecida a

preocupação da escola em melhorar seus resultados, parece que haverá naturalmente

a compreensão de por que a escola ganhou ou deixou de ganhar o bônus:

O que a gente queria com o sistema de bonificação é levar essa discussão

da qualidade para dentro da escola. Ou seja, o Paebes, que é o nosso

sistema de avaliação, passa a ganhar uma nova cara porque hoje ele não

vai para a escola simplesmente como uma avaliação. [...] Com a


bonificação ele coloca uma coisa nova, então você cria um estímulo para

que as pessoas pelo menos passem a entender por que é que eu ganhei

1000 e você ganhou 2000, por que a escola A é assim e a B é assado.

(Gestora: SEE/ES)

O que não fica explicitado nesse raciocínio é como o professor possa de fato

entender as diferenças entre as escolas e, com base nessa compreensão, alterar de

alguma forma a sua prática. As informações que circularão entre as escolas podem

explicitar as diferenças nos índices, mas dificilmente identificarão por que uma escola

atingiu determinado patamar e outra não.

O segundo objetivo diz respeito ao propósito de incentivar os professores a se

verem como responsáveis pelos resultados da escola;

A ideia é você levar [para a escola] essa questão da discussão dos

indicadores de avaliação, de que o resultado do trabalho do professor é a

aprendizagem e que ele também é responsável pela evasão escolar, pela

reprovação do aluno, ou seja, isso não é um fator só do aluno. Ele tem uma

participação ali que é a gestão da escola em que ele trabalha. (Gestora:

SEE/ES)

Esse raciocínio parece completo, já que o pagamento de uma bonificação aos

professores das escolas com os melhores resultados de fato sinaliza a crença de que

esses professores têm de uma parte da responsabilidade por esses resultados,

sobretudo na presença de uma metodologia de cálculo que leva em consideração o

nível socioeconômico dos alunos. O que não fica garantido é que os professores sintam

as mesmas convicções a respeito da sua contribuição ou que entendam o que precisa

fazer para ganhar o prêmio no futuro.

O terceiro objetivo é retribuir o esforço dos professores. Como o bônus é

classificado como prêmio, e não como remuneração, ele se justifica como um

reconhecimento da dedicação adicional que os professores mostraram ao produzirem

resultados acima da média. O incentivo esperado é no sentido de suscitar níveis de

esforço maiores no futuro, mesmo sabendo que o nível de esforço pode variar entre os


professores de uma mesma escola e que o incentivo pode não afetar a todos

igualmente:

[...] os diretores de escola, [...] eles aplaudem muito o bônus, porque eles

conseguem ver isso dentro da escola. Eles veem isso mais de perto, ou seja,

o esforço de determinados professores e o esforço menor de outros.

(Gestora: SEE/ES)

O quarto objetivo, ao condicionar o pagamento do bônus ao cumprimento de um

número mínimo de dias de trabalho, é coibir as faltas dos professores:

A gente chega a receber professores aqui que dizem que tiraram atestado

porque tinham que resolver um problema hoje na unidade central e falam

assim como se fosse a coisa mais normal do mundo tirar um atestado

médico falso para usar o tempo para outra coisa. Então a frequência veio

como uma [razão] para compor esse índice até para a gente saber até que

ponto essa falta realmente é real ou ela é enfim, uma cultura. (Gestora:

SEE/ES)

Haverá necessidade de voltar a esta discussão dos objetivos da premiação na hora

de determinar se justifica classificar esta política como de responsabilização e de

prever seus prováveis impactos no ensino.

Minas Gerais

O sistema de premiação de Minas Gerais merece uma análise mais detalhada por

seguir um modelo diferente dos outros estados. Chamado Acordo de Resultados, a

metodologia implantada em 2008, e repetido anualmente desde então, se estende a

todas as Secretarias do governo. No caso da Secretaria da Educação, o acordo diz

respeito aos resultados da Secretaria, das Superintendências Regionais de Ensino (SRE)

e de todas as escolas. No caso das escolas, a nota recebida é composta em 65% da

nota da Secretaria, 10% da nota da SRE e 25% da avaliação dos “indicadores

finalísticos” da escola. Por meio dessa composição, mostra-se claramente que a

responsabilidade pelos resultados finais da escola é compartilhada entre as três


instâncias. Essa característica do Acordo de Resultados a diferencia das demais

políticas de incentivos estudadas que tendem a identificar os professores, os dirigentes

e demais membros das equipes escolares como os únicos integrantes do sistema de

ensino responsáveis pelos resultados de aprendizagem, apesar da conhecida

importância das condições materiais fornecidas pelo órgão central e os diversos

serviços de apoio das instancias regionais.

Os indicadores finalísticos da escola dizem respeito a um conjunto de dez metas,

expressas tipicamente em termos da proficiência média dos alunos por ano e matéria.

Como exemplo, a sexta meta, com peso valendo 2,14% do total da nota da escola, diz

respeito à proficiência média dos alunos do 9º ano do Ensino Fundamental em

português. A escola ganha a nota máxima se o valor observado para a meta for maior

ou igual ao Nível Recomendável para o ano, de acordo com a classificação publicada

pelo sistema de avaliação do estado. No caso de a meta da escola ser menor que o

Nível Recomendável, precisa-se empregar uma equação para calcular o desempenho

da escola de 0 a 1 com base na diferença entre a proficiência alcançada no presente

ano com a proficiência do ano anterior dividido pela diferença entre a meta e a

proficiência do ano anterior. No final, a nota do indicador = Desempenho x Peso do

Indicador x 10. Quando somados todas as notas dos indicadores, mais as notas da

Secretaria e da SRE a que a escola pertence, a nota final da escola mostrará a

proporção da meta global alcançada e, portanto, o percentual do prêmio de

produtividade a que terá direito.

Essa matemática é necessária depois da decisão de beneficiar a escola com

alguma recompensa mesmo no caso de não alcançar 100% da meta acordada. Essa

flexibilização torna o processo mais brando, permitindo a diluição do significado das

metas ao ponto de elas se tornarem indicadores de resultados, o que permite levar em

consideração a realidade das escolas que nem sempre conseguem melhorar no ritmo

desejado, apesar dos esforços. O raciocínio da Secretaria que levou a essa flexibilização

é mostrado na seguinte fala:

Meta tem que ser flexível por que meta rígida é meta boba. Meta é uma

coisa importante? É importante, mas ela não foi feita para ser sustentada a


ferro e fogo; de qualquer jeito você tem que ganhar. Se for a ferro e fogo o

cara toma anabolizante para não sei o que lá nas olimpíadas, se for a ferro

e fogo as pessoas usam tudo quanto é tipo de artifício para chegar lá.

Passa menino sem saber, altera nota do menino, ensina o menino a fazer

prova. Acontece esse tipo de coisa por quê? Por que se eu não conseguir, eu

vou perder salário e ninguém está em condições de perder salário. (Gestor:

SEE/MG)

O aspecto mais interessante do acordo de resultados é o procedimento para a

fixação das metas. Esse processo culmina na assinatura de um termo de compromisso

por parte das SREs e das escolas após a consulta ao sistema online em que as metas

estão listadas escola por escola. No caso de a escola não concordar, existe um

procedimento para a sugestão de nova meta e para o julgamento do pleito da escola.

Ou seja, mesmo sendo um processo centralizado, a possibilidade de a escola fazer uma

contraproposta torna mais legítimas as metas fixadas e justifica a assinatura do termo

de compromisso que pactua os resultados esperados:

[...] tem que ser pactuada, não pode ser imposto. Então a gente tem um

sistema na internet onde a Secretaria examina o histórico da escola, as

condições com base no relatório das visitas [...]. Com base nisso você

elabora uma proposta de meta para todas as escolas, essa é a primeira

providência. [...] o diretor acessa, imprime e discute internamente. Olha a

meta da secretaria é essa, dá para fazer ou não dá? Eles podem variar o

que está previsto lá em 10%. [...] Eles podem propor variação pra cima ou

pra baixo e o gozado é que alguns fazem pra cima. (Gestor: SEE/MG)

Não que a Secretaria acate todas as contrapropostas das escolas:

[em 2009] de 3.988 escolas foram 10% de pedidos de alteração [...] E,

desses 10%, nós modificamos só 10%, o resto não. Na verdade assim, vinha

muito pedido de abaixar meta. (Técnico: SEE/MG)

Outro aspecto relevante, que remete à discussão sobre o impacto do modelo de

planejamento estratégico assumido por diversos governos estaduais, diz respeito à


relação entre as metas dos planos governamentais e as metas colocadas para as

escolas. No caso de Minas Gerais, as metas do Plano Mineiro de Desenvolvimento

Integral – PMDI 2003-2023 foram desdobradas em metas plurianuais por meio dos

PPAG – Plano Plurianual de Ação Governamental. No caso do PPAG 2008-2011, coube

à Secretaria planejar suas metas de acordo com o percentual de crescimento fixado

pelo estado:

A distribuição das metas está amarrada à meta geral do Estado por que no

Estado foi dito: olha, nós vamos crescer 5% esse ano. Então a distribuição é

mais ou menos assim: umas [escolas] estão acima de 5, outros estão

abaixo, mas no fim, na hora em que todo mundo bater a meta, a gente

bate a meta daqui [do Estado] também. (Gestor: SEE/MG)

No entanto, nem sempre os planejadores ouvem os gestores antes de fixar as

metas globais do estado. Na primeira edição do Acordo de Resultados, os planejadores

dividiram as escolas em cinco faixas de acordo com a proficiência do ano de 2007 (um

ano de crescimento acima da média), calcularam a taxa de crescimento para cada faixa

e fixaram as metas até 2010.

Fizeram essas metas e foram embora. [...] E aí nós verificamos que as

escolas não estavam com um percentual de cumprimento muito bom, pelo

contrário, as notas foram muito baixas. [...] eles superestimaram as metas

porque justamente eles consideraram um crescimento do Estado muito alto

[...] Então eles pegaram aquele crescimento e fizeram uma projeção só que

na hora em que nós pegamos os bandos e fizemos a primeira avaliação, o

percentual de cumprimento foi muito baixo. É por isso que nós fizemos a

primeira revisão, no ano de 2009. (Técnico: SEE/MG)

As metas estavam muito altas, principalmente no ano de 2010. Aí nós

conversamos, a Secretária conversou com o pessoal do Estado para estudar

os resultados e eles aceitaram as nossas reivindicações e nós fizemos um

histórico, nós mostramos as tendências de crescimento e eles viram que

realmente estavam muito alto [...], eles aceitaram, tanto que as metas,


nossas metas, reduziram bem para o ano de 2010, que estavam bem altas.

(Técnico: SEE/MG)

Não é trivial a questão de como estabelecer as metas de um sistema de incentivos

quando não se quer usar um ranqueamento competitivo nem fixar as metas

exclusivamente com base no histórico do crescimento anual da proficiência. O que

está em jogo é uma combinação de fatores que também leva em consideração a

vontade dos governantes de ir além da meta:

“A Educação trabalha com desafios e politicamente o que move as pessoas

é o desafio. [...] A Educação precisa de uma coisa maior, precisa de uma

coisa mais significativa, alguma coisa de natureza diferente. Então a ideia

que nós trabalhamos ao ir para a escola é a idéia de desafios e não a idéia

de meta. Meta é prêmio por produtividade. Isso aí é meta, isso aí vocês vão

ter que cumprir mesmo. Agora o desafio não é isso não, o desafio é muito

maior do que esse. O desafio é diferente [...] Se não, fica todo mundo

marcando passo. (Gestor: SEE/MG)

O sistema de acordo de resultados tem vários méritos metodológicos. Também

tem uma deficiência criada pelo uso de médias para a fixação de metas e o cálculo do

desempenho da escola. Pelo fato de a escola poder melhorar suas médias com mais

facilidade mediante atenção especial aos alunos mais capazes, existe o risco de a

escola esquecer-se dos alunos mais atrasados:

Quando a gente vai ler os documentos, percebe que há uma

supervalorização de um ponto na escala. Quando eu super valorizo um

ponto na escala, nem todos os alunos me interessam, me interessam os

alunos que estão próximos de ultrapassar aquele limite e isso tem

consequência. É claro que essa análise ela pode ser uma análise difícil de

ser feita no primeiro ano, é razoável esperar que logo as escolas vão

perceber que isso é a maneira de você ficar bem no indicador. (Especialista:

UFMG)


A Secretaria já percebeu esse problema e pensa resolvê-lo ao criar requisitos para

melhorar a distribuição dos alunos entre as faixas de desempenho, de forma análoga a

de São Paulo e Espírito Santo:

A gente acha que a proficiência às vezes engana um pouco. Porque às vezes

a escola cresce na proficiência média, mas reduz o número de alunos no

nível recomendado, o que não é desejável. Então talvez a gente tenha que

alocar esses dois indicadores. (Técnico: SEE/MG)

Outra possível deficiência diz respeito à dificuldade de a escola entender o cálculo

do porcentual do bônus a que tem direito e a dificuldade de aceitar as diferenças nas

metas de cada escola:

O acordo avalia a escola em relação a ela mesma. Então teve um problema

que no primeiro acordo foi muito claro. A escola que tinha uma proficiência

maior e outra que tinha menor em municípios iguais. Aquela que tinha

proficiência menor tinha um prêmio de produtividade maior por que ela

cresceu mais que a outra escola [...] Então assim ela não entendia e a gente

teve que explicar, olha o acordo compara você com você mesma. (Técnico:

SEE/MG)

O fato de os indicadores estarem relacionados às matérias avaliadas pelo Simave

no 3º, 5º e 9º anos do Ensino Fundamental e 3º ano do Ensino Médio também traz

consequências para a maneira de pensar dos professores de outras matérias e anos.

Mesmo pago a todos os professores da escola, a capacidade de o bônus incentivar os

professores não incluídos nos indicadores deve ser menor, o que abre a possibilidade

do free riding, encontrado na bibliografia:

Muitos funcionários e outros professores de outras matérias não se sentem

parte do acordo de resultados, eles acham que não vão contribuir com

nada, eles têm esse sentimento. Então assim, eles não se sentem parte

desse pacto. Eles recebem o prêmio e "que bom, mais um prêmio", mas eles

não sentem que o seu trabalho foi reconhecido, que a nota que está ali


traduz o trabalho que eles desenvolveram durante aquele ano. Muitos. E eu

acho que eles têm completa razão. (Técnico: SEE/MG)

Apesar das deficiências, tanto os técnicos como os gestores da Secretaria

atribuem uma parte do avanço nos resultados das escolas durante os últimos anos à

incorporação de um regime de metas e incentivos:

Então a escola hoje gosta de receber as metas, ela gosta de trabalhar com

as metas, de ter o caderno dela. [...] Então na verdade quando você vê, por

exemplo, que nós tínhamos uma meta de 74 pra proficiência de

alfabetização [...] e nós atingimos 86, alguma coisa melhorou, alguma

coisa eles estão indo atrás. [...] a gente ainda não sabe qual que é a causa

dessa melhora a gente não sabe. Mas de 74 que era a nossa meta e nós

atingimos 86, é muita coisa, né? (Gestor: SEE/MG)

Pernambuco

O sistema de incentivo salarial introduzido pela Secretaria de Educação de

Pernambuco em 2009 era pensado como um dos elementos de um conjunto de ações

voltados para a revisão da situação funcional e salarial do professor. Entre essas ações,

figurava a reformulação do contrato de trabalho e do plano de carreira de modo que o

professor pudesse se dedicar à docência em uma única escola, em vez de acumular até

70 horas aula/semana em diferentes escolas e redes, como permitido pela legislação

atual. Portanto, o incentivo era visto como um complemento para um salário que já

resolveria as necessidades do professor. Além disso, a visão da Secretaria de

Pernambuco atrelava o aumento salarial da nova carreira a um esquema de supervisão

bem mais rigoroso. O incentivo salarial, pago com base nos resultados da escola, seria

então um dos elementos desse esquema de supervisão:

O professor pode ter 70 horas-aula por semana é uma coisa meio louca,

tem que rever isso. Então nós temos muito claro o que o professor precisa.

O professor precisa ser bem remunerado, ter uma jornada de trabalho

plausível, mas nós sabemos que só isso não basta porque sistemas que


adotaram isso sem um forte sistema de supervisão não funcionam bem. [...]

Então nós acreditamos que é preciso ter um plano de carreira de incentivo,

de salário bom, mas atrelado a isso o sistema de supervisão, de

monitoramento, de aferição de resultados, de atrelar uma parte da

remuneração com esses resultados. Nós estamos caminhando pra isso, até

o final do ano a gente consegue fechar todas essas variáveis, digamos

assim. (Gestora:SEE/PE)

Para enfatizar a política de fixar os professores em uma única escola, o bônus

salarial é pago aos professores que estiveram na escola por um período superior a seis

meses. De forma parecida à de Minas Gerais, o valor do bônus é calculado com base

no percentual de cumprimento da meta fixada para a escola, a partir de 50%. As metas

são determinadas para cada escola com base na faixa de desempenho em que se

encontra – baixo, médio ou alto – de acordo com os resultados do Saepe do ano

anterior.

O que também chama a atenção do sistema de Pernambuco é a maneira de

estipular o valor do bônus pago aos professores. Comum em outros sistemas é o

pagamento a uma proporção fixa de escolas ou, como no Chile, às escolas que

atendem a uma proporção fixa de alunos, no caso 25%. Em Pernambuco, é criado todo

ano um fundo representando a folha de pagamento de um mês, o que permitiria pagar

um bônus equivalente a um salário a todos os professores caso todas as escolas

atingissem 100% da meta. Em 2008, 51,8% das escolas tiveram acesso ao bônus, o que

permitiu pagar 2,4 vezes o salário-base dos beneficiados no caso de escolas que

atingiram 100% da meta. Em 2009, a proporção de escolas atingindo pelo menos 50%

da meta subiu para 82%. Com isso, o fator usado no pagamento do bônus caiu para 1,6

salário nas escolas que alcançaram 100% da meta.

Nesse mesmo ano, a Secretaria estendeu o pagamento do bônus às gerências

regionais com base na média ponderada da taxa de cumprimento das metas das

escolas, sinalizando a responsabilidade também atribuída aos órgãos de apoio e

supervisão, como em Minas Gerais. No próximo passo, pretende-se criar uma

sistemática para o pagamento de bônus aos funcionários do órgão central.


No entanto, o fato de as políticas referentes à nova carreira dos professores não

terem sido implantadas e os salários não terem sido reformulados reduz bastante a

credibilidade da política de incentivos salariais de Pernambuco. Sem essas mudanças,

colocadas como pré-requisitos pela própria Secretaria, será mais penoso cobrar as

atividades esperados pelo sistema de supervisão e mais difícil concretizar os avanços

esperados do sistema de incentivos.

São Paulo

Sendo o sistema estadual de bonificação mais contestado pelos integrantes do

magistério e o que mais aparece no noticiário, a política implantada pela Secretaria de

Educação de São Paulo merece uma discussão mais detalhada. Já foram tratadas as

questões técnicas sobre a fórmula usada para avaliar a qualidade e a equidade da

escola. Nesta seção, precisa-se investigar o status da Bonificação por Desempenho

como o mais problemático dos diversos exemplos em estudo das novas políticas de

incentivos salariais.

O primeiro problema da Bonificação por Desempenho, lançada em maio de 2008,

é que ela tem antecedentes. Entre 2001 e 2006, a Secretaria já pagava um bônus anual

aos professores e diretores. Entre os anos de 2001 e 2003, esse bônus foi calculado de

acordo com a assiduidade média da equipe, o desempenho global da escola, medido

durante o ano escolar anterior através do Saresp, e outros indicadores de qualidade,

principalmente o nível de retenção de alunos pelas escolas. Em 2004, os critérios

foram modificados para, em primeiro lugar, incluir um mínimo de 200 dias de trabalho

efetivo e o desenvolvimento de projetos envolvendo a comunidade da escola, e, em

segundo lugar, para excluir o uso dos resultados de desempenho do Saresp. Em 2006,

o Saresp foi suspenso e os resultados do desempenho dos alunos novamente retirados

do cálculo do bônus. Isso se deveu, em grande medida, à aplicação no ano anterior da

nova Prova Brasil.

A resistência aos bônus anuais pagos pela Secretaria foi contínua. A oposição mais

vociferante, do Sindicato dos Professores do Ensino Oficial do Estado de São Paulo,


expressou uma rejeição à “transferência abusiva da lógica de mercado” para a

Educação (CAVALIERE, 2003) (p.30) e à competição entre as escolas e os diretores das

escolas, que seria fomentada por essa política (CDEP, 2006). Outras críticas tiveram

mais a ver com problemas de trapaças, havendo meios para os professores ajudarem

os alunos a preencher as folhas de respostas ou alterarem as respostas dos alunos,

uma vez que eram os professores que aplicavam e corrigiam as provas. Supostamente

esses casos eram “bem conhecidos” entre os professores das escolas estaduais

(DISSIDÊNCIA, 2006), bem como os problemas burocráticos associados ao cálculo e ao

pagamento individual dos professores. Outro argumento, aparentemente bem

justificado, dizia respeito ao uso de resultados de desempenho médio dos alunos sem

nenhuma tentativa de controlar por diferenças socioeconômicas entre as escolas ou

pelo impacto de diferenças no nível anterior de aprendizagem.

Com a eliminação dos resultados dos alunos, o programa de bônus se tornou mais

uma maneira de justificar um benefício natalino. Porém o uso contínuo de medidas de

assiduidade e até de taxas mínimas de comparecimento em cursos de treinamento

para os professores, tal como incluído entre os critérios de 2005, é uma indicação do

problema perene de absenteísmo e da vontade da Secretaria de cobrar a frequência

dos professores mesmo na ausência de um indicador de qualidade da escola.

Com esses antecedentes, é difícil saber se a resistência atual de uma parte dos

professores se deve mais às cobranças de frequência, ao sistema de avaliação em si ou

aos efeitos negativos provocados pela associação high stakes entre os testes e o

pagamento da bonificação. Há evidências de que ainda há restrições ao Saresp no qual

a bonificação está fundamentada. Sem uma atitude tranquila em relação à

legitimidade e confiabilidade do próprio sistema de avaliação, dificilmente será

recebida de braços abertos uma política alicerçada nesse instrumento. O que se

observa no caso do Saresp são os questionamentos que se arrastam há mais de uma

década e mostram a sobrevivência de resistências que em outros estados já foram

superadas. A forte politização do tema da avaliação, classificada como produto das

reformas neoliberais de recorte gerencialista, e a falta de simpatia do principal

sindicato de professores para a política de avaliação do estado, impulsionado e


consolidado por um governo do PSDB, ajudaram a criar um ambiente ainda um tanto

hostil ao próprio tema da avaliação.

No entanto, os argumentos publicados pela Apeoesp para sua oposição atual à

política de bonificação não incluem nenhuma restrição explícita ao sistema de

avaliação. Os argumentos empregados dizem respeito, primeiro, à falta de “uma

verdadeira política salarial, que assegure reajustes e aumentos reais para todos os

professores, da ativa e aposentados”; segundo, à falta de evidência de que o sistema

de bonificação possa elevar a qualidade do ensino ou o nível de satisfação dos

professores; terceiro, à falta de inclusão de outros fatores, além dos resultados dos

alunos; e quarto, ao valor irrisório do bônus pago (APEOESP, 2011).

Surpreendentemente, as últimas duas críticas apontam para a necessidade de

melhorias na política, e não para sua abolição.

Ao mesmo tempo, o sindicato sinaliza que pretende contestar na Justiça a Lei

Complementar nº 1078/2008 por não ter considerado todas as justificativas de faltas

previstas no Estatuto do Servidor Público do Estado na hora de calcular a bonificação

de cada servidor. A reivindicação da Apeoesp é que a Secretaria deixe de descontar as

faltas que têm justificativa legal. A posição da Secretaria é que a bonificação não é

salário, senão uma forma de premiar os professores e outros servidores que mostrem

dedicação ao deixar de aproveitar todas as faltas que a lei faculta.

O argumento do sindicato de que o sistema de bonificação é incapaz de elevar a

qualidade do ensino deriva de uma leitura sobre a experiência de outros países.

Dependendo da bibliografia consultada, essa leitura fornece uma série de argumentos

sobre os efeitos colaterais dos testes high stakes usados por políticas de

accountability, como os sistemas de incentivos já discutidos na seção 4 deste

documento. Recém-sumarizados pelo Movimento Contra Testes de Alto Impacto em

Educação, criado no âmbito da Anped em 2010, os efeitos colaterais dos testes de alto

impacto (high stakes) incluem a capacidade de falsear os dados das avaliações, induzir

à desonestidade, substituir os esforços de ensino pelo de preparação para testes,

estreitar o currículo e desestruturar os profissionais do magistério, além de provocar


extrema ansiedade em alunos, pais, professores e administradores (MOVIMENTO,

2010).

Além dos possíveis efeitos colaterais negativos, o sindicato pode também apontar

a falta de evidência de um impacto positivo na aprendizagem e até de evidência pelo

contrário. O incentivo pago em 2011 causou constrangimento ao revelar um recuo no

total pago e a queda no número de escolas aptas para receber o bônus, em

comparação com o ano anterior. O valor pago a 190 mil funcionários, de 3.778 escolas

– 75% das 5.019 unidades estaduais – foi de R$ 340 milhões. Em 2010, foram

concedidos R$ 655 milhões. O número de escolas que não receberam o bônus

triplicou. Em 2010, 510 escolas (9,9% do total) ficaram sem a bonificação, enquanto

em 2011 foram 1.474, o que representa 29,1% da rede pública do estado. As causas

principais foram as variações negativas do Saresp entre 2009 e 2010 nos anos finais do

Ensino Fundamental e no Ensino Médio. Com isso, só houve aumento no valor do

Idesp nos anos iniciais do ensino fundamental, que subiu de 3,86 para 3,96, em uma

escala que vai até 10. Nos anos finais do Ensino Fundamental, houve o recuo de 2,84

para 2,52 e, no Ensino Médio, o Idesp caiu de 1,98, em 2009, para 1,81.

6.5.2 Discussão

Para alguns especialistas ligados à universidade, a queda na bonificação de São

Paulo permite inferir que a política como um todo é um fracasso e que não são os

incentivos financeiros que motivam os professores (O Globo, 23/4/2011). No entanto,

as atitudes ainda favoráveis entre os gestores dessa mesma política em outros estados

e o interesse de estados como Pará em experimentar com o pagamento de bônus (O

Liberal, PA, 3/4/2011) podem sugerir que o impacto depende do contexto, das

relações entre as partes e também de uma continuidade maior no período de

aplicação da política. A literatura também recomenda cautela antes de chegar a

conclusões gerais, devido à grande diversidade na configuração das políticas de

incentivos e nos resultados alcançados.


De toda forma, observa-se a necessidade de clareza maior sobre o tipo de impacto

desejado pelos sistemas de incentivos brasileiros. A falta de evidência de que o prêmio

incentive o professor a procurar se capacitar ou modificar sua prática de ensino impõe

a necessidade de explicitar que o propósito seja muito mais do que bonificar a

assiduidade. Nesse caso, talvez nem precisasse de indicadores de aprendizagem.

Outros usos de incentivos, como para trazer professores para áreas menos atraentes,

como é o caso das escolas rurais, ou para atrair professores para disciplinas

curriculares em que há falta de professores, ainda não constam do elenco de políticas

dos governos estaduais, mesmo havendo uma conexão bem mais clara entre o

pagamento de bônus para essas finalidades e os resultados alcançados.

Do ponto de vista das metodologias usadas, é inegável que as políticas de

incentivos de segunda geração, que utilizam indicadores de desempenho construídos

de diversos elementos para levar em consideração o fluxo, o nível socioeconômico dos

alunos, o esforço da escola, a distribuição dos alunos por faixa de desempenho etc. são

mais sólidas e confiáveis do que seus antecessores. No entanto, até a construção de

indicadores que levem em consideração o valor agregado e que permitam a avaliação

da escola ao longo de um período de anos, sempre haverá dúvidas sobre a influência

de movimentos aleatórios no desempenho dos alunos. Os resultados da Escola Nota

10 do Ceará, em que a metade das escolas premiadas em 2009 não conseguiu mostrar

o mesmo desempenho no ano seguinte, leva a crer que uma parte dos prêmios se

deve a flutuações aleatórias. O fato de algumas das escolas identificadas como de

desempenho mais baixo em 2009 conseguirem melhorar, a ponto de receberem

prêmios como escolas nota 10 no ano seguinte, também levanta suspeitas sérias.

Dificilmente uma escola pode cumprir essa trajetória em um único ano escolar, mesmo

com a assistência técnica de uma escola de excelência.

O estudo da implantação e dos primeiros passos da nova geração de políticas de

incentivos salariais não foi capaz de mostrar sinais claros de benefícios em termos dos

resultados dos alunos. Pelo contrário, os resultados do sistema de bonificação de São

Paulo de 2010, em que o número de professores beneficiados e o volume pago de


bônus foram menores que em 2009, sugere que o sistema de bonificação não é uma

ação suficiente para promover a melhoria dos resultados dos alunos em curto prazo.

Também não há evidências seguras de que os sistemas de incentivos causem os

danos colaterais da gravidade sugerida pelos críticos da política. Há razões para

acreditar que, no caso brasileiro, esses danos colaterais talvez não sejam tão graves

justamente pela natureza da política de responsabilização em jogo. Onde a

responsabilização traz possíveis consequências muito negativas para os professores,

incluindo o fechamento da escola e a consequente perda de emprego, o nível do risco

de não se alcançar a meta é muito alto, o que pode provocar os comportamentos

vistos como destrutivos tanto ética quanto pedagogicamente. Por outro lado, quando

a política de responsabilização se fixa no pagamento de prêmios de bonificação que

possam atingir até a maioria dos professores, a única consequência negativa da

política é o não-recebimento do bônus. Em um regime em que o nível salarial dos

professores é considerado adequado, com no caso de Espírito Santo, o não-

recebimento do bônus pode ser encarado com maior tranquilidade.

Os embates ideológicos que caracterizam o campo, e que também explicam por

que a bibliografia continua incapaz de decantar algum consenso, indica que a

formulação de novas políticas e a reformulação de políticas existentes será mais uma

questão de fé do que de ciência. Sendo assim, me permito duas suposições. A primeira

é que, quanto mais se avança no sistema em termos do ano escolar e idade dos alunos,

maior a dificuldade em relacionar a atuação dos professores aos resultados dos alunos

e mais tênues os sistemas de incentivos. Por isso, será sempre mais difícil criar prêmios

que façam sentido para os professores do Ensino Médio ou os últimos anos do Ensino

Fundamental. Pelo mesmo raciocínio, será mais provável encontrar evidência de algum

impacto de um sistema de premiação nos primeiros anos do Ensino Fundamental.

Nesses anos, é mais fácil o professor sentir que sua atuação fará alguma diferença no

nível de desempenho absoluto dos alunos.

A segunda suposição é que, quanto menor o piso salarial e maior a insatisfação

dos professores com seus salários, menor a probabilidade de o incentivo salarial

produzir os efeitos desejados. Enquanto o incentivo seja visto com um remendo ou


uma tentativa disfarçada de oferecer o salário que o professor reivindica, a sua lógica

como prêmio fica prejudicada, e sua capacidade de provocar o tipo de atuação

colaborativa pretendida, ainda mais remota. Isso significa que não é propriamente o

tamanho do incentivo que faz a diferença, senão a distância entre o salário recebido e

o salário visto como merecido. Independentemente do nível salarial efetivamente

recebido, o fato de os professores de Espírito Santo estarem mais satisfeitos com seus

contracheques proporcionará um futuro mais promissor à política de incentivo

naquele estado do que em São Paulo.


6.6 Como Componente da Política de Avaliação Docente

O sistema de avaliação docente implantado no Chile em 2004 e extensivo a todos

os professores de sala de aula das escolas públicas municipais faz uso de informações

de quatro fontes sobre a prática do professor. A planilha de autoavaliação conta 10%

da nota final, o portfólio organizado pelo próprio docente conta 60%, a entrevista com

um “professor avaliador”, 20%, e o informe fornecido pelo superior hierárquico os 10%

restantes. Ou seja, mesmo no país que foi pioneiro na implantação de um sistema de

avaliação escolar baseado nos resultados dos alunos, não há previsão para o uso desse

tipo de informação na avaliação de desempenho individual a que são submetidos os

professores chilenos para efeitos de classificação de competência.

A razão por essa restrição no uso dos resultados dos alunos tem relação com duas

características fundamentais das informações produzidas pelos sistemas de avaliação

externa. A primeira é a sua incapacidade de mostrar o quanto o rendimento dos

alunos em determinada disciplina e ano se deve à atuação do seu professor. Sem

tomar em consideração o ponto de partida dos alunos que compõem a turma do

professor, não é legitimo atribuir o ponto de chegada ao esforço e à competência dele.

Quanto mais alta a série escolar, mais o desempenho do aluno se deve a seus

professores e a suas experiências em anos anteriores. E, em um sistema educacional

que atende a alunos de diversas origens sociais, o uso de informação sobre a

proficiência dos alunos para medir o desempenho individual do docente pode levar a

classificações que devem muito mais às características dos alunos do que às dos

professores.

A segunda característica, já discutida em relação aos incentivos salariais, é que os

sistemas de avaliação externa nunca aplicam testes para todas as disciplinas a todos os

alunos em todos os anos. Isso significa que não há informação de desempenho dos

alunos para todos os professores. Tipicamente os professores das disciplinas ligadas às

artes e esporte são excluídos, como são os professores das outras disciplinas nas séries

intermediárias. Ao mesmo tempo, a pesquisa sobre eficácia escolar mostra que o


desempenho dos alunos é influenciado por diversos outros fatores escolares, além do

professor, que incluem a qualidade dos materiais curriculares, o tamanho da turma, o

clima da escola e outras condições que afetam a aprendizagem. Em escolas que

prezam a colaboração entre os professores, atribuir o desempenho acadêmico dos

alunos em determinada disciplina a um único professor, mesmo que seja o responsável

pela disciplina, também pode levar a erros.

Para tentar evitar esses problemas, e produzir uma medida que capte de maneira

mais fidedigna a contribuição do professor para a aprendizagem dos alunos, vários

estados norte-americanos têm empregado modelos estatísticos de valor agregado (VA)

para mostrar o crescimento do desempenho em determinado ano escolar mediante a

comparação de duas avaliações (BAKER et al., 2010; GLAZERMAN et al., 2010). Em

resposta à falta de eficácia das políticas tradicionais e incentivada pelo governo

Obama, muitos estados estão começando a determinar não só o pagamento de

professores individuais com base nessas medidas do valor agregado aos resultados dos

alunos mas também a sua situação funcional, incluindo a continuidade dos seus

contratos. Há a esperança nesses lugares de que os incentivos tornem os professores

mais eficazes e os professores menos eficazes deixem a profissão.

O problema é que nem os modelos VA resolvem as dificuldades metodológicas.

Por exemplo, as estimativas da produtividade ou eficácia dos professores usando VA se

mostram muito instáveis. Dependendo do ano, da turma estudada ou do modelo

estatístico usado, a classificação do professor pode variar significativamente. Um

estudo em cinco distritos escolares urbanos em San Diego, Califórnia, mostra que, dos

20% de professores classificados como os mais eficazes no primeiro ano, menos de um

terço estava no mesmo grupo no segundo ano e outro terço estava no grupo dos 40%

menos eficazes (KOEDEL; BETTS, 2007). Outro estudo que correlacionou os VAs de dois

anos seguidos de professores na Flórida encontrou índices de correlação muito

modestos entre 0,2 e 0,3 (SASS, 2008). Ambos os resultados contrariam a ideia de que

a qualidade ou a eficácia do professor sejam uma característica que muda pouco com

o tempo.


Nesses casos, a instabilidade seria consequência de mudanças nas características

das turmas e outros fatores dentro e fora da escola que influenciam a aprendizagem

dos alunos. Mesmo quando são empregados métodos para ajustar por diferenças nas

características demográficas e econômicas dos alunos e nas condições das escolas, os

professores de alunos de nível socioeconômico mais baixo recebem classificações mais

baixas. Portanto, a distribuição não aleatória de alunos entre escolas e professores e a

grande variação na experiência dos alunos em casa e na escola significa que não há

como comparar o mérito dos professores com base nos resultados das suas turmas,

mesmo quando se usam modelos que supostamente controlam características dos

alunos.

Faz sentido, portanto, que não haja quase registro no Brasil de uso de resultados

de avaliações externas para organizar políticas de incentivo salarial que façam

distinções entre os professores de uma mesma escola e muito menos para tomar

decisões sobre a situação funcional dos professores. As únicas exceções são o sistema

de avaliação de desempenho individual de Minas Gerais e uma política de curta

duração do Distrito Federal para decidir sobre a recondução de diretores escolares

com base na média de desempenho da escola.

No caso do Distrito Federal, o uso da média da escola no Siade foi uma decisão ad

hoc para facilitar a recondução de uma parte dos diretores e vice-diretores de escola.

As equipes gestoras eleitas em 2007 que ainda permaneciam em seus cargos poderiam

ganhar mais dois anos de mandato em 2009 se as comunidades escolares os

reelegessem. Para isso, as escolas dirigidas por elas precisavam ter um bom

desempenho do Siade 2009, realizado em outubro desse ano. Se o desempenho dos

alunos não fosse melhor em relação aos resultados de 2008, essas equipes

obrigatoriamente teriam que participar de novo processo seletivo no final de 2010.

Caso os índices fossem alcançados, a equipe poderia permanecer na direção da escola

por mais dois anos. Portanto, os resultados dos alunos foi um critério definitivo para

determinar a duração do período de gestão do diretor.

A partir da implantação em 2009 de um sistema de Avaliação da Gestão

Compartilhada e da Gestão Escolar Regimental, como parte do sistema de avaliação


das instituições educacionais do DF, a Secretaria fica de posse de checklist extenso de

indicadores sobre o funcionamento de todas as escolas com base nas informações

prestadas online pelos diretores. Esses indicadores vão desde a implantação da

proposta pedagógica da escola até os processos participativos das instancias

colegiadas, passando por uma bateria de “parâmetros para a gestão compartilhada e

desempenho escolar”. Nessa última categoria, estão incluídas as taxas de aprovação,

promoção, evasão, distorção idade-série e também a variação do Ideb de 4ª e 8ª séries

e a relação entre a avaliação escolar dos alunos e a avaliação do Siade (indicador

2B23). A presença desses indicadores sinaliza a importância dos resultados no

conjunto de critérios da boa gestão e provavelmente dispensa o uso da média no Siade

em decisões futuras sobre a recondução da equipe escolar.

No caso de Minas Gerais, por outro lado, o uso de informação sobre o

desempenho dos alunos na avaliação anual dos docentes tem todas as características

de uma política permanente. Mesmo sendo só mais uma informação entre muitas nas

mãos dos avaliadores, valendo no máximo 10% no conjunto de critérios empregados,

fica evidenciado o interesse das autoridades em colocar o foco nos resultados e

responsabilizar os professores pela aprendizagem dos alunos.

A Avaliação de Desempenho Individual (ADI) é realizada todo ano por uma

comissão avaliadora de cinco integrantes. Os avaliadores levam em consideração cinco

critérios ao analisar o professor regente, como mostrado no Quadro 2.:

Desenvolvimento Profissional, Relacionamento Interpessoal, Compromissos

Profissional e Institucional e Habilidades Técnicas e Profissionais. Cada critério é

composto de dois a nove indicadores, tendo peso 1 ou 2, o que permite aumentar ou

diminuir a relevância do indicador na composição da pontuação final. O último

indicador do quarto critério especifica que “[O professor] obtém bons resultados de

aprendizagem de seus alunos evidenciados pelas avaliações internas, realizadas pela

escola, e por avaliações externas”. Valendo até 5 pontos, mas com peso 2, esse

indicador pode contribuir com até 10% da pontuação total do professor, dependendo

da opinião dos avaliadores.


Essa avaliação é high stakes para o professor, na medida em que a progressão

horizontal ou vertical na carreira só é permitida para quem recebeu uma avaliação

igual ou superior a 70%. Por exemplo, quem obteve um diploma de pós-graduação,

mas não atingiu a nota mínima no ADI, fica impedido de ocupar o nível correspondente

ao novo título. E, com duas avaliações seguidas inferiores a 70% ou com quatro em

dez avaliações abaixo desse limite, o professor é exonerado do cargo. Até o presente,

mais de 400 professores já foram exonerados por esse motivo.

Esse sistema de avaliação docente formaliza um critério usado pela Secretaria

cinco anos atrás para exonerar um número grande de professores alfabetizadores.

Uma resolução publicada em 2006 impediu a renovação dos contratos de professores

eventuais em escolas com mais de 30% de alunos não alfabetizados de acordo com a

avaliação do Proalfa. O gestor responsável pela política não tem dúvida de que levar

em consideração os resultados dos alunos na hora da avaliação individual contribui

para incentivar os professores:

O resultado do aluno é o negócio que mais pesa na pontuação e tem várias

fontes. A comissão pode olhar várias coisas e o professor pode dar a sua

explicação. [...] Onde tem Proeb [...] e Paae que são do Estado [a comissão]

pode olhar esses resultados todos. [...] E o que quê isso tem a ver com

estímulo? Tem a ver o seguinte; a condição para você ser promovido na

carreira é que você tem avaliação de desempenho positivo. (Gestor;

SEE/MG)

Uma gestora da Secretaria de Educação de Pernambuco mostrou entusiasmo com

uma política de avaliação docente para efeitos de promoção na carreira que também

incorpora critérios relacionados ao desempenho dos alunos:

[...] vai ter [...] um sistema de informação. Ele vai ser em cima do resultado

do aluno, do tempo de ensino, do cumprimento do programa de ensino e

do resultado do Saepe. [...] o projeto já está desenhado. E por sua vez o

plano de carreira vai prever, porque ele já prevê avaliação de desempenho.

A avaliação de desempenho vai ter também um link com o resultado do


desempenho do aluno. Tudo nosso é em função do desempenho do aluno.

(Gestora: SEE/PE)

A política ainda não foi implantada e não se sabe se haverá tentativas por parte da

Secretaria de Pernambuco de incorporar medidas de valor agregado para torná-la mais

palatável. Mesmo nesse caso, se existe qualquer reflexão por parte dos professores

sobre as imprecisões e instabilidades inerentes à avaliação docente, pode-se prever

um grau merecido de resistência à nova política.


Quadro 2. Ficha de Avaliação Individual. Secretaria de Educação de Minas Gerais

TERMO DE AVALIAÇÃO - PARTE II

ANEXO V - INSTRUMENTO DE AVALIAÇÃO

Servidor: ______________________________________________ Masp: _________

Cargo/Disciplina: ________________________________________ Nº adm.: ________

Escola Estadual:________________________________________ Cód.: _________

Lotação _________________________Período/Etapa: ___/___/____ a ___/___/____

Cargo: Professor da Educação Básica – PEB

CRITÉRIO I - DESENVOLVIMENTO PROFISSIONAL 1 a 5 pts. Peso Total

1 Participa de grupos de estudos, reuniões pedagógicas, cursos, eventos e palestras disponibilizados pelo sistema; estuda e se

orienta pelos materiais institucionais da SEE e outros. 2

2 Compartilha conhecimentos, informações, dificuldades, soluções e práticas exitosas que agregam valor ao trabalho. 1

SUBTOTAL - 15 pontos

ESTADO DE MINAS GERAIS

SECRETARIA DE ESTADO DE EDUCAÇÃO


CRITÉRIO II - RELACIONAMENTO INTERPESSOAL 1 a 5 pts. Peso Total

1

Relaciona-se cordialmente com todos do seu ambiente de trabalho e com o público em geral, cumpre as normas legais e as

decisões pactuadas ou emanadas das instâncias hierárquicas, agindo segundo os princípios éticos que norteiam a administração

pública.

1

2 Respeita a diversidade, adotando práticas inclusivas e éticas no relacionamento com a comunidade e com os alunos em sala de

aula. 1

3 Participa do trabalho de equipe e das ações da escola que envolvem interação com as famílias e alunos, contribuindo para o

desenvolvimento das atividades de aprendizagem, recreação e convivência. 1


CRITÉRIO III - COMPROMISSOS PROFISSIONAL E INSTITUCIONAL 1 a 5 pts. Peso Total

1 Cumpre com responsabilidade suas atribuições e atende as normas da administração pública relativas à assiduidade e

pontualidade. 2

2 Participa de projetos e ações coletivas e da realização das avaliações internas e externas da aprendizagem dos alunos. 1

3 Zela pela conservação de todo o patrimônio público da instituição. 1


CRITÉRIO IV - HABILIDADES TÉCNICAS E PROFISSIONAIS 1 a 5 pts. Peso Total

1 Planeja seu trabalho, participa da construção do Projeto Pedagógico da escola, elabora e executa o planejamento didático anual e

planos de aulas observando as diretrizes curriculares estaduais. 1

2 Analisa e utiliza os resultados de avaliações internas e externas para diagnosticar os níveis de aprendizagem dos alunos, avaliar a

eficácia do ensino e implementar intervenções pedagógicas, quando necessário. 1


3 Facilita a aprendizagem utilizando materiais didáticos e processos pedagógicos que estimulam e desafiam os alunos na superação

das dificuldades. 1

4 Apresenta aos pais ou responsáveis os resultados das avaliações de aprendizagem e os indicadores do desenvolvimento do aluno

e busca caminhos para superar dificuldades identificadas. 1

5

Desenvolve eficiente gestão de sala de aula, cria ambiente propício ao desenvolvimento da aprendizagem e de relações humanas

saudáveis, orienta os alunos quanto à necessidade de organização, limpeza e conservação dos equipamentos, mobiliário e do

prédio escolar.

1

6 Cria novas oportunidades de aprendizagens e avaliações para os alunos com desempenho insatisfatório, para que todos possam

aprender efetivamente o que foi ensinado. 1

7 Compromete-se com a aprendizagem de todos os seus alunos, esclarecendo dúvidas, orientando e corrigindo, individual e

coletivamente, os trabalhos escolares e deveres de casa e presta atendimento diferenciado aos alunos com mais dificuldades. 1

8 Apresenta atitude positiva em relação à capacidade de aprendizagem dos alunos e é capaz de reconhecer talentos e de promover

o desenvolvimento da autoconfiança e autoestima. 1

9 Obtém bons resultados de aprendizagem de seus alunos evidenciados pelas avaliações internas, realizadas pela escola, e por

avaliações externas. 2


PONTUAÇÃO TOTAL


6.7 Para a Certificação de Alunos e Escolas

Diferentemente de outros países, os responsáveis pela criação dos sistemas

estaduais de avaliação não cogitam usar os resultados como um critério para a

aprovação dos alunos. Mesmo na série final do Ensino Médio, quando os alunos

concluem o ensino básico e saem do âmbito do sistema estadual de ensino, a

aprovação dos alunos é determinada exclusivamente pela escola, com base em

avaliações realizadas pelos professores.

Em outros países, é comum o emprego de avaliações externas para decidir se o

aluno está apto para receber o diploma de Ensino Médio ou dar nota de acordo com o

nível de aprendizagem alcançado nas diferentes matérias que compõem o currículo

nesse nível de ensino. A vantagem sempre citada para a criação de parâmetros

externos para a avaliação dos alunos diz respeito ao estabelecimento de um padrão

único e a garantia de equivalência do significado do diploma em diferentes lugares e

tempos. Na ausência desse padrão, podem existir diferenças significativas entre os

critérios de diferentes escolas e entre os critérios da mesma escola em diferentes

anos. As autoridades ficam sem parâmetro para a comparação das escolas e as escolas

sem uma medida clara dos seus resultados. Os esforços recentes de promover

mudanças na qualidade da Educação tanto nos Estados Unidos como na Inglaterra têm

como critério-chave os resultados das escolas calculados baseados nas taxas de

diplomação dos alunos ou nas notas dos alunos nas matérias que compõem o

certificado de Ensino Médio. Nesses países, o aluno se submete as avaliações externas

por ser o único meio de garantir o diploma ou certificado de Ensino Médio e de se

habilitar para o processo de seleção ao Ensino Superior.

Há diversas razões históricas e estruturais para a não-utilização dos sistemas

estaduais de avaliação implantados a partir da década de 1990 para a certificação de

alunos ao final do Ensino Médio, incluindo a autonomia dos sistemas estaduais e

municipais e a autonomia das próprias escolas. Há também restrições de natureza

mais técnica devido à incapacidade dos instrumentos de avaliação externa usados

nesses sistemas de oferecer uma visão completa do rendimento de cada aluno. Sem


um instrumento de avaliação capaz de aferir o nível alcançado por cada aluno em cada

uma das competências e habilidades que compõem o currículo do Ensino Médio,

torna-se indispensável o processo avaliativo interno respaldado pelo conhecimento do

aluno pelos seus professores.

Nos primeiros anos de escolarização, a restrição ao uso da avaliação externa pode

ser superada pelo fato de o currículo para esse período ainda ser pouco extenso. Na

medida em que o aluno progride dentro do sistema, a aprendizagem se torna cada vez

mais abrangente, ficando cada vez mais difícil captá-la com um único instrumento de

avaliação. A matriz de referência para cada área curricular vai aumentando com o

acréscimo de novos elementos e o aprofundamento dos elementos já introduzidos.

Por esse motivo, a partir da 4ª série, os sistemas de avaliação do Saeb e dos estados

trabalham com diversas versões paralelas do mesmo teste, compostas por itens

diferentes, mas equivalentes. Com a aplicação dos diferentes testes a diferentes

subconjuntos de alunos da mesma série, consegue-se aplicar um número maior de

itens e abraçar uma parte maior do currículo. Quando somados os resultados dos

diferentes subconjuntos, obtém-se um panorama da situação de toda a população de

alunos sem ter exigido demais de cada aluno. Se fosse para aplicar ao mesmo aluno

todas as questões necessárias para cobrir o currículo, o teste se tornaria extenso

demais, inviabilizando sua aplicação em um único período escolar.

O único caso em que foram usados os resultados de uma avaliação externa para

determinar a progressão de alunos individuais foi em São Paulo no ano de 2001. Nesse

caso, porém, não foram os alunos do final do Ensino Médio, mas alunos de 4ª e 8ª

séries que foram promovidos ou retidos com base nos resultados do Saresp. A

experiência foi polêmica por diversas razões, incluindo o problema de usar um

instrumento não desenhado para a avaliação de indivíduos. Outro problema foi o fato

de os alunos não saberem de antemão que os resultados seriam usados com essa

finalidade. Pelo fato de o Saresp ser um instrumento de monitoramento, sem

consequências para os alunos, estes nem sempre levam os testes a sério e podem ter

sido prejudicados na ocasião por não responderem às questões com o devido cuidado.


A criação e a consolidação do Enem como um exame certificador para os alunos

que querem continuar seus estudos mostram que algumas das restrições históricas

sobre a avaliação externa ao final do Ensino Médio foram superadas. Ao mesmo

tempo, o Enem mostra que, quando a matriz de referência da prova é definida mais

com base em competências e menos em termos de conhecimentos curriculares, é

possível criar um instrumento capaz de medir o nível alcançado por cada aluno. O que

o Enem nunca fornecerá é uma medida da qualidade da escola onde os alunos

estudaram. Apesar de ser muito usada com essa finalidade, a média dos resultados dos

alunos de determinada escola não indica a qualidade da escola porque os alunos que

fazem a prova não representam nem a totalidade nem uma amostra representativa

dos egressos daquela instituição. A falta de correspondência exata entre a matriz de

referência e o currículo das escolas e o fato de estas atenderem a populações bastante

diferenciadas seriam outras razões para não confiarem nos resultados do Enem como

um indicador de qualidade da instituição.

A única avaliação externa em condições de fornecer essa indicação, após

modificações, seria a avaliação estadual. Por enquanto, porém, ainda não há sinal de

interesse nesse sentido por parte dos gestores estaduais. As mudanças necessárias

seriam bastante radicais, incluindo a reformulação da legislação sobre a organização

do ensino para permitir a exigência de nota mínima na avaliação estadual para a

finalização do Ensino Médio. Com os problemas atuais de fluxo nesse nível de ensino,

representados pelas altas taxas de abandono, dificilmente um gestor criaria mais

algum impedimento à finalização do curso e à diplomação do aluno. A necessidade de

reorganizar a matriz de referência do 3º ano e seu impacto sobre o currículo dos anos

anteriores também representariam um desafio difícil de superar, a não ser mediante a

utilização de provas anuais ao longo do Ensino Médio. Mas, dadas as grandes

disparidades de qualidade no interior dos sistemas e as diferenças entre as escolas

públicas e privadas, mesmo esta solução seria pouco atrativa por deixar em evidência a

grande desvantagem educacional de alunos mais desfavorecidos, do ponto de vista da

origem social e econômica. Até o sistema implantar uma qualidade de ensino mais

homogênea e oferecer oportunidades reais de avanço aos alunos mais pobres, uma


avaliação estadual seletiva, com funções certificatórias, seria considerada

extremamente antidemocrática.

O único exemplo encontrado de uso dos resultados dos alunos para efeitos de

certificação não trata de decisões sobre alunos, mas sobre escolas, no caso as escolas

privadas do Distrito Federal. Essa situação se deriva do fato da Secretaria de Educação

do DF ser o órgão responsável pela autorização de funcionamento das escolas privadas

e pela sua recertificação como estando aptas para continuarem em funcionamento

depois de cinco a dez anos, dependendo do tipo de escola. No ano anterior ao

vencimento da sua autorização, as escolas privadas candidatas à recertificação são

automaticamente inscritas entre as escolas a serem avaliadas pelo Siade. Outras

escolas privadas podem se inscrever voluntariamente para essa mesma avaliação

mediante o pagamento dos custos. A ideia da Secretaria era comparar os resultados da

escola privada durante dois anos seguidos para determinar se ela mantinha o mesmo

nível de qualidade:

Quando ela for recredenciar, ela vai ser avaliada antes para [poder]

comparar se ela melhorou mesmo ou não, até para dizer se ela vai ser

recredenciada ou não, em cima de um resultado do Siade. (Técnico:

SEE/DF)

Não havia informações disponíveis para verificar o impacto dessa política em

termos do número de escolas privadas avaliadas nem se havia escolas impedidas de

funcionarem com base nos seus resultados. Suspeita-se que a política foi divulgada

mais para alertar as escolas privadas do interesse da Secretaria em promover a

melhoria dos resultados do que para fechar escolas com crescimento de desempenho

aparentemente insatisfatório. Essa conclusão deriva do fato de que tomar a decisão

sobre o funcionamento de uma escola com base no crescimento da média dos alunos

para um único ano escolar seria uma temeridade. Por não levar em consideração as

flutuações naturais nessa média, nem as taxas diferenciadas de crescimento de acordo

com o nível absoluto de desempenho da escola, a medida não oferece o rigor

necessário para uma decisão high stakes de tamanha importância.


7. Considerações Finais

O estudo teve como propósito descrever e refletir sobre as diferentes políticas de

gestão empreendidas pelas Secretarias de Educação dos estados e dos municípios

maiores com base em seus sistemas próprios de avaliação educacional. Para essa

finalidade, foi elaborado um esquema classificatório e foram levantadas informações

primárias e secundárias sobre diversos exemplos para permitir uma discussão dos

prováveis impactos dessas políticas no novo cenário da gestão educacional.

A primeira constatação da pesquisa é da diversificação e progressiva sofisticação

nas metodologias empregadas pelas secretarias estaduais e municipais na utilização

dos resultados das avaliações para a tomada de decisões. O aumento no número e na

competência técnica dos métodos dos sistemas estaduais, concomitante com a

melhoria nos sistemas de informação, tem contribuído para essa disseminação. Outras

contribuições advêm da incorporação pelos governos estaduais de um novo modelo de

gestão pública, voltado para o controle dos resultados dos serviços oferecidos à

população, e da liderança do MEC e de organizações da sociedade civil na criação de

um consenso nacional sobre a importância dos resultados das avaliações externas

como uma medida da qualidade do ensino e como parâmetro para o progresso da

Educação brasileira em direção a uma equiparação com os países desenvolvidos. A

criação de um indicador próprio, tipo Ideb, por um número cada vez maior de estados,

é indicativo dessa nova abordagem para a política de monitoramento dos serviços

públicos e da disposição de empregar os resultados da avaliação na formulação de

novas políticas, como a da responsabilização. Nesse novo contexto, não surpreende

descobrir que em 2007 quase 60% de uma amostra da população da periferia de São

Paulo já tinha conhecimento da existência do Saresp (OLIVEIRA; GUEDES, 2010).

Confirmando a diversificação nos usos da avaliação, foram identificadas sete

categorias de políticas de gestão que se fundamentam nos resultados dos alunos e das

escolas. Na maioria dos casos, e em determinadas condições, essas políticas podem ser

entendidas como contribuições importantes para a melhoria da qualidade da

Educação. Em outros casos, porém, notadamente no uso dos resultados dos alunos


como um componente da política de avaliação docente e para a certificação de alunos

e escolas, observa-se o emprego desavisado das avaliações para a tomada de decisões

que precisam de informações bem mais confiáveis e de fontes diversas.

A discussão sobre o uso da avaliação para formular políticas de responsabilização

high stakes mostra a necessidade de fazer distinções entre o contexto educacional

brasileiro e o contexto dos países onde foi realizada a maior parte das pesquisas sobre

os efeitos dessas políticas. A primeira distinção a fazer é que nos outros países os

critérios usados para determinar a qualidade da escola e, com base nessa avaliação,

fixar consequências como o pagamento de bônus salarial, podem ser de vários tipos.

Nos Estados Unidos estes incluem o progresso da escola de acordo com as metas

estaduais e as ameaças de sanções estipuladas pela legislação NCLB, e também os

resultados dos alunos em termos de desempenho e taxa de diplomação ao final do

Ensino Médio. Essa diplomação representa uma conquista para os egressos do Ensino

Médio que vai determinar o curso de sua vida futura e não é difícil imaginar o

empenho dos professores em elevar as chances de seus alunos de passarem nos

Exames Obrigatórios de Saída de Ensino Médio (Mandatory High School Exit Exams). O

interesse dos pais e das autoridades educacionais também é intenso, sobretudo depois

do monitoramento público dos resultados das escolas. O professor pode enxergar na

taxa de sucesso dos seus alunos a medida de sua própria capacidade profissional, além

de se sentir pessoalmente responsável caso os resultados não forem os melhores.

No contexto norte-americano, as consequências caso a escola não alcance as

metas propostas também podem ser extremas. Com uma legislação federal que exige

que cada escola demonstre um progresso anual adequado em direção às metas

estipuladas para o ano 2014 para todos os grupos étnicos e uma legislação estadual

que pode determinar a remoção de alunos e até o fechamento de escolas caso o

progresso não se materializar, os professores têm motivos de sobra para se preocupar

com os resultados dos alunos.

Nesse contexto e sob essa pressão, é possível que aconteça tudo aquilo que os

críticos da accountability high stakes arrolam como os efeitos colaterais negativos. A

literatura fala do estreitamento do currículo, do ensino voltado para o ensaio de


conteúdos previstos para os testes, da perda da autonomia e do espírito de

colaboração entre docentes e de condutas, incluindo as tentativas de falsear os dados

das avaliações, que mostram uma deturpação do comportamento ético esperado dos

educadores. Mas, pelas pressões a que estão sujeitos e por agirem na condição de

pessoas que podem fazer a diferença para a vida dos alunos, é difícil culpar os

professores pelas atitudes tomadas.

No contexto brasileiro, as políticas de responsabilização que recaem nos ombros

dos professores não dizem respeito ao futuro de seus alunos e não envolvem os pais.

Também não há riscos para as escolas que envolvem o fechamento de

estabelecimentos e a perda de emprego dos membros da equipe. Nas palavras de

Afonso, são “formas parcelares de accountability” e, portanto, incompletas (AFONSO,

2009). Não deixa de ser verdade que, quanto melhores os resultados dos alunos,

melhores suas chances na vida, mas essa equação não tem a mesma urgência em um

sistema que diploma todos os alunos que sobrevivem até o final do ciclo e que jamais

discriminaria as escolas com os piores resultados. No caso brasileiro, as avaliações dos

alunos que são usadas para determinar se as escolas cumpriram suas metas ou

alcançaram um patamar de desempenho considerado satisfatório representam muito

pouco para os alunos. Pelo contrário, há evidências de que os alunos fazem tão pouco

caso dos testes que, quando se criam consequências, como os laptops e as bicicletas

para os alunos de Ensino Médio do Ceará e do Rio de Janeiro, respectivamente, a

mudança no empenho dos alunos é tão radical que altera por completo a base de

comparação. Nessa situação, o professor não assimila o drama dos alunos nem

consegue transferir para eles a sua preocupação em relação aos resultados dos testes.

O que está em jogo nesses casos não são as consequências para os sujeitos principais

da Educação, os alunos, mas o nível de recompensa dos professores. Em vez de ser a

própria definição do objeto de seu trabalho, pelas consequências para os alunos, a

motivação para a melhoria nos resultados se torna uma decorrência do nível de

preocupação do professor em melhorar seu salário.

Talvez por esse motivo, ainda não existam evidências claras para os efeitos

negativos das políticas de responsabilização no Brasil. Também não há evidências, a


não serem anedotas, que os incentivos efetivamente motivam os professores a

produzirem resultados melhores.

Com base em três argumentos, chega-se à conclusão de que no contexto brasileiro

as políticas de responsabilização formuladas em termos de incentivos salariais podem

ser inócuas no que se refere ao seu objetivo primordial de melhorar a qualidade do

ensino. O primeiro argumento deriva da pesquisa que mostra que os esquemas de

incentivos coletivos podem impactar a assiduidade dos professores, mas dificilmente

alteram sua forma de ensinar. Essa conclusão não é de difícil compreensão dado o fato

de que o pagamento coletivo sai ou para todos os membros da equipe ou para

ninguém da equipe. Isso dificulta o trabalho do professor que quer receber o bônus,

mas que não tem com quem aprender para mudar seu ensino. E, mesmo motivado, o

professor só receberá o bônus se a escola inteira se interessar pelo mesmo objetivo.

Pesquisa chilena tende a mostrar que as escolas que não recebem o bônus dificilmente

passam a receber em anos posteriores. Ou seja, o bônus só premia quem já tem

resultados melhores.

O segundo argumento é a falta de evidencia sobre a relação entre a assiduidade

do professor e o desempenho dos alunos. Se for verdade que os sistemas de incentivos

podem influenciar positivamente a assiduidade dos professores, no sentido de coibir

as faltas excessivas, que caracterizam os sistemas públicos, seria natural pressupor um

impacto positivo sobre a aprendizagem dos alunos. No entanto, essa relação é

relativizada por diversos elementos, incluindo o desempenho dos professores

substitutos, o desempenho do professor titular quando presente e a falta de critério

no controle das faltas. Ainda não sabemos se a melhoria na assiduidade conduz de fato

a uma melhoria nos resultados dos alunos.

O terceiro argumento tem relação com o currículo. Para o accountability

funcionar, precisa-se de quatro elementos, segundo Corvalán: informação (sobre o

desempenho dos alunos), autoridade (para definir os critérios), consequências (em

termos de prêmios e castigos) e padrões (em termos do significado pedagógico das

metas) (CORVALÁN; MCMEEKIN, 2006). No caso brasileiro, os padrões estão faltando.

O professor não saberia qual a diferença entre 220 e 240 na escala de proficiência


usada pelo Boletim Pedagógico em termos dos conteúdos que ele precisa ensinar para

chegar ao nível de proficiência requerido. Essa falta de correspondência entre os

critérios empregados pelos sistemas de incentivos e a compreensão do seu significado

em termos da aprendizagem dos alunos está na base da falta de progresso da maioria

dos estados no uso dos resultados das avaliações como material de apoio pedagógico.

Se os sistemas de incentivos tiverem algum impacto, ele será a consequência da

ênfase colocada nas metas e nos resultados do ensino. Essa contribuição, que diz

respeito a um novo ideário em relação aos objetivos finais do sistema educacional e do

trabalho do professor, é a expressão de um estilo de gestão que produz as políticas de

incentivo salarial, mas que não precisa delas para existir. Em outras palavras, a

importância atribuída aos resultados é uma mensagem implícita nas políticas de

responsabilização que pode ter sua própria influência na maneira de a escola enxergar

seu papel.

A outra contribuição diz respeito aos avanços na implantação dos novos currículos

básicos nos estados. Conforme discutido, as políticas de accountability têm sido usadas

em outros lugares como uma estratégia para a implementação de reformas. Existe até

a expressão evaluation-driven reforms para descrever o processo conhecido como

backwash, em que as questões abordadas pelas avaliações sinalizam não só os

conteúdos cobrados mas também o tipo de ensino que deveria ser privilegiado. No

caso dos estados que já optaram pela criação de currículos próprios e já estabeleceram

uma nova correspondência com as matrizes de referência dos sistemas de avaliação,

não há dúvida de que esses sistemas funcionarão como porta-vozes do currículo básico

e que acelerarão a sua adoção. Se acharmos que a iniciativa dos estados de criar seus

próprios currículos é um passo na direção certa, a consequência dos testes high-stakes

deve ser levada em consideração. As dúvidas ficam por conta dos possíveis impactos

colaterais negativos na autonomia e na criatividade dos professores de um currículo

oficial fincado em conteúdos básicos. Porém, no contexto brasileiro, a nossa aposta é

que os professores que se beneficiarão de um currículo estadual que não só estrutura

os conteúdos mas também fornece sugestões didáticas, representem a maioria.


Independentemente dos seus possíveis efeitos, a pesquisa demonstrou o avanço

técnico da segunda geração de políticas de responsabilização. Mesmo assim, pode-se

observar a continuidade de determinados problemas, incluindo o uso de médias de

desempenho de um único período escolar, a falta de medidas de equidade com base

na distribuição dos alunos por faixa de desempenho e a falta de informação sobre o

fator principal na explicação do desempenho dos alunos, ou seja, seus antecedentes

socioeconômicos. Ainda não foi criado um sistema de responsabilização que usa uma

média móvel com base nas várias medições anuais para diminuir as flutuações

inerentes às avaliações. Também não foi testado o uso de modelos longitudinais para

aferir o valor agregado das escolas por meio da montagem de bancos de dados e do

acompanhamento dos mesmos alunos ao longo dos anos. Na falta desses avanços,

observa-se que os estados estão tomando decisões que inevitavelmente incluem e

excluem escolas das diferentes categorias de premiação com base em erros de

medição.

A questão que a pesquisa não conseguiu resolver adequadamente diz respeito ao

significado do movimento em direção à formalização do currículo básico estadual.

Como a implantação de um currículo não representa uma política de gestão baseada

nos resultados da avaliação externa, a sua investigação escapou dos limites da

pesquisa. No entanto, a relação entre os sistemas de avaliação e os currículos básicos

em processo de implantação em diversos estados merece a atenção dos

pesquisadores. A reforma dos fundamentos das matrizes de referência representa uma

mudança importante na qualidade dos instrumentos da avaliação educacional e a

esperança de um círculo virtuoso em que a avaliação externa passe a cumprir uma

função diagnóstica de utilidade para o professor.

O movimento dos currículos básicos estaduais pode ser entendido como uma das

consequências da dificuldade em usar as informações tradicionais fornecidas pelos

Boletins e por outras estratégias de apoio pedagógico. Essa dificuldade é atribuída às

deficiências na formação dos professores, mas também à falta de compreensão do

significado pedagógico das proficiências e outras informações providas pelas

avaliações. Em um primeiro momento, essa dificuldade é encarada mediante um


esforço em explicar os resultados por meio de um detalhamento cada vez maior dos

componentes técnicos das avaliações. Nesse momento, são introduzidas as

explicações sobre a escala de proficiência, a matriz de referência e a relação entre

determinados itens das provas e as habilidades que pretendem avaliar.

Em um segundo momento, os responsáveis percebem que o que faz falta é uma

explicitação dos conteúdos curriculares que estão sendo cobrados, descritos nos

termos em que os professores estão acostumados a trabalhar. Com base nessa

construção, mais ou menos estruturada em termos de conteúdos específicos, torna-se

possível criar um alinhamento compreensível entre os objetivos do ensino, o currículo

da escola e as matrizes do sistema de avaliação. Mesmo não sendo uma solução

instantânea pelas dificuldades dos professores na assimilação dos novos currículos, há

certo consenso sobre as vantagens em criar uma sintonia nova entre os conteúdos, as

expectativas de aprendizagem e a avaliação. Essa vantagem passa pela capacidade de

dizer o que os itens das provas estão medindo e o que os alunos de determinada

proficiência sabem ou não sabem ainda. Com isso, explica-se, finalmente, o significado

da escala de proficiência e abre-se a possibilidade de padrões ou expectativas de

aprendizagem com base em referenciais curriculares, e não em faixas arbitrárias de

desempenho.


8. Referencias Bibliográficas

ABRUCIO, F. L. Os avanços e os dilemas do modelo pós-burocrático: a reforma da administração pública à luz da experiência internacional recente. In: BRESSER PEREIRA, L. C. e SPINK, P., (ORGS.) (Ed.). Reforma do Estado e Administração Pública Gerencial. Rio de Janeiro:: FGV, v.7ª ed., 2006.

ABRUCIO, F. L.; GAETANI, F. Agenda, aprendizado e coalizão. In: FUNDAP, C. E. (Ed.). Avanços e perspectivas da gestão públicas nos Estados. Brasília: CONSAD, 2006.

ADRIÃO, T.; GARCIA, T. OFERTA EDUCATIVA E RESPONSABILIZAÇÃO NO PDE: O PLANO DE AÇÕES ARTICULADAS. Cadernos de Pesquisa, v. v. 38, n. n. 135, p. p. 779-796, set./dez. 2008 2008. Disponível em: < http://www.scielo.br/pdf/cp/v38n135/v38n135a12.pdf >. Acesso em: 03/11/10.

AFONSO, A. J. Políticas avaliativas e accountability em Educação - subsídios para um debate iberoamericano. Sísifo. Revista de Ciências da Educação, v. 09, p. pp 57-70, 2009. Disponível em: < http://sisifo.fpce.ul.pt/?r=23&p=57 >. Acesso em: 08/10/10.

AHN, T.; VIGDOR, J. The Impact of Incentives on Effort: Teacher Bonuses in North Carolina. Harvard2010. 2010. (PEPG 10-06)

ALVES, F. Qualidade da Educação fundamental: integrando desempenho e fluxo escolar. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro., v. vol.15, n. n.57, p. pp. 525-541, 2007. Disponível em: < http://www.scielo.br/scielo.php?script=sci_abstract&pid=S0104-40362007000400005&lng=en&nrm=iso&tlng=pt >.

AMAZONAS. RELATÓRIO DE AÇÃO GOVERNAMENTAL. SÍNTESE 2003-2009. SEPLAN, S. D. E. D. P. E. D. E.-. Manaus: GOVERNO DO ESTADO DO AMAZONAS 2009.

AMREIN, A.; BERLINER, D. The impact of high-stakes tests on student academic performance: An analysis of NAEP results in states with high-stakes tests and ACT, SAT, and AP test results in states with high school graduation exams. Education Policy Research Unit (EPRU), Education Policy Studies Laboratory, College of Education, Division of Educational Leadership and Policy Studies, Arizona State University, 2002. Disponível em: < http://epaa.asu.edu/ojs/article/viewFile/297/423 >.

ANDERSON, J. A. Accountability in education. Paris: IIEP/IAE, 2005. Disponível em: < http://www.iaoed.org/files/Edpol1.pdf >.

ANDRADE, E. D. C. “School Accountability” no Brasil: experiências e dificuldades. Revista de Economia Política, v. 28, n. nº 3(111), p. pp. 443-453, julho-setembro 2008. Disponível em: < http://www.scielo.br/pdf/rep/v28n3/a05v28n3.pdf >. Acesso em: 05/10/10.

APEOESP. Fax Urgente 2011. Disponível em: < http://apeoespsub.org.br/teste/Fax/Fax_2911.pdf >. Acesso em: 06/06/2011.

ATKINSON, A. B., SIMON; CROXSON, BRONWYN; GREGG, PAUL; PROPPER, CAROL; SLATER, HELEN; WILSON,DEBORAH. Evaluating the impact of performance-related pay for teachers in England Labour Economics Elsevier B.V. 16: 251-261 p. 2009.


AU, W. High-Stakes Testing and Curricular Control: A Qualitative Metasynthesis. Educational Researcher, v. Vol. 36, n. No. 5, p. pp. 258-267, 2007. Disponível em: < http://edr.sagepub.com/content/36/5.toc >.

AYRES, S. Boletim da Escola: Diagnóstico Multidimensional das Escolas do Paraná. Ensaio, v. 11, n. 38 p. 33-44, 2003.

BAKER, E. L. et al. Problems with the Use of Student Test Scores to Evaluate Teachers. The Economic Policy Institute Washington D.C. 2010. (Briefing Paper # 2 7 8)

BALL, S. J. The Legacy of ERA, Privatization and the Policy Ratchet. Educational Management Administration and Leadership., v. Vol. 36 n. 2, p. 185-199, 2008.

BAUER, A. Usos dos resultados das avaliações de sistemas educacionais: iniciativas em curso em alguns países da América. Revista Brasileira de Estudos Pedagógicos. , v. v. 91, n. n. 228, p. p. 315-344, maio/ago. 2010 2010. Disponível em: < http://www.rbep.inep.gov.br/index.php/RBEP/article/viewFile/1690/1341 >.

BAUER, A. Avaliação do impacto de formação docente em serviço: o programa Letra e Vida. 2011. 230 (Doutorado). Faculdade de Educação, USP, São Paulo.

BRAUN, H. Reconsidering the impact of high-stakes testing. Education Policy Analysis Archives, v. 12, n. 1, p. 1-43, 2004.

BROOKE, N. As perspectivas para as políticas de responsabilização educacional no Brasil. . Cadernos de Pesquisa, v. 36, n. 128, p. pp. 377-401, 2006. ISSN ISSN 0100-1574. Disponível em: < http://www.scielo.br/scielo.php?script=sci_issuetoc&pid=0100-157420060002&lng=en&nrm=iso >.

BROOKE, N. Responsabilização Educacional no Brasil. http://www.rinace.net/riee/numeros/vol1-num1/art7.pdf. Acesso em (Data). Revista Iberoamericana de Evaluación Educativa. 1: pp. 93-109 p. 2008.

CAREY, K. The Pangloss Index: How States Game the No Child Left Behind Act. Washington, D.C: Education Sector 2007.

CARNOY, M. et al. Las Limitaciones de Incentivos Salariales para Profesores Basados en Comparaciones Inter-Cohortes: El Caso del Programa SNED. Expansiva. 2004

CARNOY, M.; LOEB, S. Does external accountability affect student outcomes? A cross-state analysis. Educational Evaluation and Policy Analysis, v. 24, n. 4, p. 305, 2002. ISSN 0162-3737. Disponível em: < http://epa.sagepub.com/content/24/4/305.full.pdf+html >. Acesso em: 07/01/2011.

CARVALHO, G. F. D. S.; MACEDO, M. D. S. A. N. Avaliação oficial: o que dizem os mediadores da política pública sobre o impacto na prática docente. Estudos em Avaliação Educacional, v. vol.21, n. número 46, p. 253-270, maio/agosto 2010. ISSN 1984-932x. Disponível em: < http://www.fcc.org.br/pesquisa/publicacoes/eae/arquivos/1577/1577.pdf >.

CAVALIERE, A. M. Entre o Pioneirismo e o Impasse: A reforma paulista de 1920. São Paulo: Educação e Pesquisa, v. Vol 29, n. No 1, p. p.27-44, 2003.


CDEP. Comitê em Defesa da Escola Pública. http://www.adusp.org.br/PEE/PEE.rtf São Paulo 2006.

CEARÁ. ANÁLISE DO USO DOS RESULTADOS DAS AVALIAÇÕES A PARTIR DOS PLANOS ESCOLARES E DOS PROGRAMAS MUNICIPAIS E SUAS ESTRATÉGIAS DE EFETIVAÇÃO. s.d.

CLAD. La responsabilizacion en la nueva gestion publica latinoamericana. Buenos Aires: Eudeba, 2000.

CONSED. Estudo sobre Avaliação da Educação e Valorização do Magistério. Consed. Brasilia. 2005

CORRÊA, D. Avaliação de políticas públicas para a redução da violência escolar em Minas Gerais: o caso do Projeto Escola Viva, Comunidade Ativa. 2007. (Mestrado). Faculdade de Educação, Universidade Federal de Minas Gerais, Belo Horizonte.

CORVALÁN, J.; MCMEEKIN, R. W. O. Accountability educacional: Rendición de cuentas más responsabilización por los procesos y resultados de la educación. In: MCMEEKIN, J. C. R. W. (Ed.). Accountability educacional: posibilidades y desafíos para América Latina a partir de la experiencia internacional. Santiago, Chile: PREAL - CIDE, 2006.

DANTAS, L. M. V. As Contribuições das Políticas de Avaliação Educacional em Larga Escala: o caso da avaliação de aprendizagem na Bahia. 2009. (Doutorado). Faculdade de Educação, Universidade Federal da Bahia, Salvador, Bahia.

DISSIDÊNCIA. Gilberto Dimenstein e a bonificação dos professores. Dissidência, http://www.andrekenji.com.br/weblog/?p=264 10/11/2006. 2006. Disponível em: < http://www.andrekenji.com.br/weblog/?p=264 >. Acesso em: April 10th, 2006.

DOS SANTOS, G.; DE AVILA, S.; SILVA, W. A qualidade da Educação na América Latina. Revista da FACED. ISSN, v. 1980, p. 6620, 2010. Disponível em: < http://74.125.155.132/scholar?q=cache:EvOWzXA6U4AJ:scholar.google.com/+PEC+Mexico&hl=pt-BR&as_sdt=2000 >.

EBERTS, R.; HOLLENBECK, K.; STONE, J. TEACHER PERFORMANCE INCENTIVES AND STUDENT OUTCOMES. W.E. Upjohn InstituteAugust, 2000 2000

ECOSTRAT, C. I.-. AVALIAÇÃO DE IMPACTO DO PROJETO ESCOLA DO NOVO MILÊNIO - PENM 2008

ESPIRITO SANTO. Plano Estratégico Nova Escola. Vitória, ES: Secretaria da Educação 2008.

FERRAZ, C. Sistemas Educacionais Baseados em Desempenho, Metas de Qualidade e a Remuneração de Professores: os Casos de Pernambuco e São Paulo. In: VELOSO, F. P., SAMUEL; HENRIQUES, RICARDO; GIAMBIAGI, FÁBIO (Ed.). Educação Básica no Brasil: Construindo o País do Futuro. Rio de Janeiro: Elsevier, 2009.

FERRER, G. Sistemas de Evaluación de Aprendizajes en América Latina: Balance y Desafíos. Março 2006, p.174. 2006

FIGLIO, D. N.; KENNY, L. W. Individual teacher incentives and student performance. National Bureau of Economic Research. Cambridge, Mass., p.26 p. 2006


FIGUEIREDO, J. PROJETO MINEIRO DE DESENVOLVIMENTO PROFISSIONAL DE EDUCADORES–PDP: um estudo da formação continuada de professores. 2007. (Mestrado). Educação, PUC-Campinas, Campinas.

FONTANIVE, N. S.; KLEIN, R. Uma visão sobre o Sistema de Avaliação da Educação Básica do Brasil - SAEB. Ensaio, v. 29, n. Vol.8, p. pp.409-439, Outubro-Dezembro 2000.

FONTANIVE, N. S.; KLEIN, R. O EFEITO DA CAPACITAÇÃO DOCENTE NO DESEMPENHO DOS ALUNOS: UMA CONTRIBUIÇÃO PARA A FORMULAÇÃO DE NOVAS POLÍTICAS PÚBLICAS DE MELHORIA DA QUALIDADE DA EDUCAÇÃO BÁSICA. Revista Iberoamericana de Evaluación Educativa, v. 3, n. 3, 2010. Disponível em: < http://www.rinace.net/riee/numeros/vol3-num3/art4.pdf >.

FORMOSO JR, A. BUROCRATAS DE LINHA DE FRENTE E PRESSÃO POR RESULTADOS NA EDUCAÇÃO: Experiências Brasileiras em Governos Estaduais. 2009. 118 Dissertação (Mestrado) (Mestre em Administração Pública e Governo). ESCOLA DE ADMINISTRAÇÃO DE EMPRESAS DE SÃO PAULO, FUNDAÇÃO GETÚLIO VARGAS, SÃO PAULO.

FRANCO, C. et al. Qualidade e eqüidade em Educação: reconsiderando o significado de "fatores intra-escolares"*. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. vol.15, n. no.55, Apr./June 2007. Disponível em: < http://www.scielo.br/pdf/ensaio/v15n55/a07v1555.pdf >.

FRIEDMAN, M. O Papel do Governo na Educação. In: SOLO, R. A. (Ed.). Economics and the Public Interest. New Jersey: Rutgers University Press, 1955. p.1- 144.

FUHRMAN, S. H. Redesigning Accountability Systems for Education. CPRE Policy Briefs. Graduate School of Education, University of Pennsylvania: Consortium for Policy Research in Education 2003.

GAJARDO, M. Reformas Educativas na América Latina. Balanço de Uma Década. Documentos PREAL, v. No. 15,, 2000. Disponível em: < www.preal.cl >.

GARCIA-HUIDOBRO, J. E. Programa de las 900 Escuelas y Escuelas Críticas (Chile). Dos experiencias de discriminación positiva. . Apresentação em Conferencia do Banco Mundial, Cartagena, Colômbia, outubro 9-11, 2006. , 2006. Cartagena, Colômbia. p.30.

GATTI, B. A., , AÑO/, PP. 17-41 AVALIAÇÃO EDUCACIONAL NO BRASIL: PONTUANDO UMA HISTÓRIA DE AÇÕES EccoS revista científica, UNINOVE, São Paulo, Brasil, v. vol. 4, n. número 001, p. pp.17-41, junho 2002 Disponível em: < http://www4.uninove.br/ojs/index.php/eccos/article/viewFile/291/280 >.

GLAZERMAN, S. et al. Evaluating Teachers: The Important Role of Value-Added Brown Center on Education Policy. 2010

GOODMAN, S.; TURNER, L. Teacher Incentive Pay and Educational Outcomes: Evidence from the NYC Bonus Program. HarvardJune, 2010. 2010. (PEPG 10-07)

GTEE/PREAL. LOS RANKINGS DE ESCUELAS COMO FORMA DE ENTREGAR INFORMACIÓN SOBRE CALIDAD EDUCATIVA. Boletín Nº17: 1-11 p. 2010a.

______. ¿Qué está pasando en Chile con el SIMCE? Boletim Monografico No. 16 2010b.


HAERTEL, E.; HERMAN, J. L. A Historical Perspective on Validity Arguments for Accountability Testing. In: HERMAN, E. H. J. L. (Ed.). Uses and Misuses of Data for Educational Accountability and Improvement: 104th Yearbook of the National Society for the Study of Education. Malden, MA: Blackwell Publishing, v.Part II, 2005. p.1-34.

HANEY, W. M. Evidence on Education under NCLB (and How Florida Boosted NAEP Scores and Reduced the Race Gap). Broad Seminar for K-12 Reporters, 2006. Grace Dodge Hall, Teachers College, Columbia University, New York City, Sept. 8-10, 2006. National Board on Educational Testing and Public Policy.

HANUSHEK, E. A.; RAYMOND, M. E. Lessons about the Design of State Accountability Systems. In: PETERSON, P. E. e WEST, M. R. (Ed.). No Child Left Behind? The Politics and Practice of School Accountability. Washington, D.C.: The Brookings Institution, 2003.

HASTINGS, J. S. W., JEFFREY. No Child Left Behind : estimating the impact on choices and student outcomes. NBER Working Paper No. 13009, Cambridge, Mass., p. 39 p., 2007. Disponível em: < http://www.nber.org/papers/w13009 >. Acesso em: 06/09/2010.

HERMAN, J. L.; HAERTEL, E. Uses and misuses of data for educational accountability and improvement. Malden, Mass., p. xvi, 383 p., 2005.

HOUT, M.; ELLIOTT, S. W., Eds. Incentives and Test-Based Accountability in Education. National Research Council. Committee on Incentives and Test-Based Accountability in Public Education. Washington, D.C.: The National Academies Press, National Research Council. Committee on Incentives and Test-Based Accountability in Public Educationed. 2011.

JACOB, B. A. ACCOUNTABILITY, INCENTIVES AND BEHAVIOR: THE IMPACT OF HIGH-STAKES TESTING IN THE CHICAGO PUBLIC SCHOOLS. NATIONAL BUREAU OF ECONOMIC RESEARCH. Cambridge, MA: June 2002. 2002

JOHNSON, D. D.; JOHNSON, B. High stakes : children, testing, and failure in American schools. Lanham, Md.: Rowman & Littlefield Publishers, 2002. xxi, 223 p. ISBN 0742517888 (cloth alk. paper) 0742517896 (pbk. alk. paper).

KIRKPATRICK, D. L. Evaluating training programs: the four levels. São Francisco (EUA): Barrett-Koehler, 1994.

KLEIN, R. Como está a Educação no Brasil? O que fazer? Ensaio: aval.pol.públ.Educ. Rio de Janeiro., v. vol.14, n. n.51, p. pp. 139-171, 2006. Disponível em: < http://www.scielo.br/pdf/ensaio/v14n51/a02v1451.pdf >.

KLINGER, D. A., DELUCA, CHRISTOPHER & MILLER, TESS. THE EVOLVING CULTURE OF LARGE-SCALE ASSESSMENTS IN CANADIAN EDUCATION Canadian Journal of Educational Administration and Policy, n. Issue #76, July 3 2008. Disponível em: < http://www.umanitoba.ca/publications/cjeap/articles/klinger.html >.

KOEDEL, C.; BETTS, J. R. Re-Examining the Role of Teacher Quality in the Educational Production Function. National Center on Performance Initiatives Nashville, TN. 2007

KRAWCZYK, N. A Construção Social das Políticas Educacionais no Brasil e na América Latina. In: (Ed.). O cenário educacional latino americano no limiar do século XXI. Campinas: Editora Autores Associados, 2000.


LAVY, V. Performance Pay and Teachers’ Effort, Productivity, and Grading Ethics. American Economic Review v. 99, n. 5, p. 1979-2011, 2009. Disponível em: < http://www.economics.harvard.edu/faculty/staiger/files/Lavy%2Baer%2Bdec%2B2009.pdf >. Acesso em: 15/11/10.

LIMA, L. C.; AFONSO, A. J. Reformas da Educação Pública: Democratização, Modernização, Neoliberalismo. . Porto: Afrontamento, 2002.

LINN, R. L.; BAKER, E. L.; BETEBENNER, D. W. Accountability Systems: Implications of Requirements of the No Child Left Behind Act of 2001. Educational Researcher 31: pp. 3-16 p. 2002.

LOPES, V. V. Cartografia da avaliação educacional no brasil. 2007. 396 Doutorado (Doutorado). Educação, Universidade de São Paulo, São Paulo.

MADAUS, G. F.; AIRASIAN, P. W.; KELLAGHAN, T. School Effectiveness: A Reassessment of the Evidence. New York: McGraw-Hill Book Company, 1980.

MADAUS, G. F.; STUFFLEBEAM, D.; SCRIVEN, M. S. Evaluation Models: Viewpoints on educational and human services evaluation. In: MADAUS, G. F.;STUFFLEBEAM, D., et al (Ed.). Program Evaluation: An historical overview. Norwell, MA: Kluwer Academic Publishers, 1983.

MALEN, B.; RICE, J. K. A Framework for Assessing the Impact of Education Reforms on School Capacity: Insights From Studies of High-Stakes Accountability Initiatives. EDUCATIONAL POLICY, v. 18, n. 5, p. 631-660, November 2004 2004. Disponível em: < http://epx.sagepub.com/content/18/5/631.abstract >. Acesso em: 06/10/10.

MANNA, P. The No Child Left Behind Act and educational accountability in the United States. Prepared for the conference on Understanding and Evaluating New Accountability Regimes: Canada in Comparative Perspective, University of Toronto, Canada, February 5-6, 2010. 2010.

MCMEEKIN, R. W. Hacia una comprensión de la accountability educativa y cómo puede aplicarse en los países de América Latina. In: MCMEEKIN, J. C. R. W. (Ed.). Accountability educacional: posibilidades y desafíos para América Latina a partir de la experiencia internacional. Santiago, Chile: PREAL - CIDE, 2006.

MEC/INEP. Vencendo o Desafio da Aprendizagem nas Séries Iniciais: A Experiência de Sobral/Ce. Brasilia: MEC/INEP, 2005. Disponível em: < www.sic.inep.gov.br/index.php?option=com_docman&task... >.

MIZALA, A.; ROMAGUERA, P. RENDIMIENTO ESCOLAR Y PREMIOS POR DESEMPEÑO. LA EXPERIENCIA LATINOAMERICANA. Centro de Economía Aplicada, Universidad de ChileAbril, 2003. 2003

MIZALA, A.; ROMAGUERA, P. Teachers’ Salary Structure and Incentives in Chile. In: VEGAS, E. E. (Ed.). Incentives to Improve Teaching: Lessons from Latin America. Washington, D.C: The World Bank, 2005.

MORTIMORE, P. et al. School Matters. Berkeley, CA: : University of California Press, 1988.

MOVIMENTO. Movimento contra Testes de Alto Impacto em Educação. 2010. Disponível em: < http://sites.google.com/site/movimentocontratestes/home >. Acesso em: 04/06/2011.


MUNIZ, R. M.; SILVEIRA, M. C. D.; BECHELAINE, C. O Caminho em Direção à Gestao por Resultados em Minas Gerais: uma análise do Plaos Mineiros de Desenvolvimento Integrado. In: GUIMARÃES, T. B.;PORDEUS, I. A., et al (Ed.). Estado para Resultados. Belo Horizonte: Editora UFMG, 2010.

MURALIDHARAN, K.; SUNDARARAMAN, V. Teacher performance pay : experimental evidence from India. National Bureau of Economic Research. Cambridge, Mass., p.37, [11] p. 2009

NICHOLS, S. L.; GLASS, G. V.; BERLINER, D. C. High-Stakes Testing and Student Achievement: Problems for the No Child Left Behind Act. Education Policy Research Unit (EPRU)/ Education Policy Studies Laboratory/ Arizona State University06/09/2010. 2005. (EPSL-0509-105-EPRU)

NYSED, N. Y. S. E. D. The Impact of High-Stakes Exams on Students and Teachers. Albany, NY. 2004

OLIVEIRA, L. K. M. D. ANÁLISE DA IMPLEMENTAÇÃO DE PROGRAMAS ESTADUAIS: avaliação em larga escala e o efeito na Proficiência em Matemática dos alunos da 4ª série do Ensino Fundamental 2007.

OLIVEIRA, N. V.; GUEDES, P. M. A aspiração das famílias por melhores escolas públicas. In: FUNDAÇÃO VICTOR CIVITA (Ed.). Estudos & Pesquisas Educacionais Nº 1. SP: Fundação Victor Civita, 2010.

OLIVEIRA, R. P. D.; GADELHA, C. G. Evolução da Educação e da Saúde. In: ESTRATÉGICOS, C. D. G. E. E. (Ed.). Projeto Brasil 2003-2010: Trajetórias e desafios. Brasília: Centro de Gestão e Estudos Estratégicos, 2010.

PEREIRA, M. C. AS AVALIAÇÕES EXTERNAS MINEIRAS: CONTEXTO DE POLÍTICAS DE RESPONSABILIZAÇÃO. XXIV Simpósio Brasileiro de Política e Administração da Educação Universidade Federal do Espírito Santo (UFES), Vitória, Espirito Santo.: Associação Nacional de Política e Administração da Educação (ANPAE) 2009.

PETERS, G. B. Os dois futuros do ato de governar: processos de descentralização e recentralização no ato de governar. Revista do Serviço Público, v. vol. 59, n. nº 3, p. p. 298-307, jul./ set. 2008.

PORTO, C. A.; SILVEIRA, J. P. O Planejamento e a Gestão Estratégica e sua Funçao em Minas Gerais. In: GUIMARÃES, T. B.;PORDEUS, I. A., et al (Ed.). Estado para Resultados. Belo Horizonte: Editora UFMG, 2010.

PRINCE, C. D. K., JULIA; AZAR, TAMARA MORSE; BHATT, MONICA; WITHAM, PETER J. Building Teacher and Community Support for New Compensation Systems. Center for Educator Compensation Reform. Washington, D.C. 2008

RAND. Designing Effective Pay-for-Performance in K–12 Education. Policy Brief. Santa Monica, CA: Rand education 2009.

RANSON, S. The Changing Governance of Education. Educational Management Administration & Leadership, v. 36, n. 2, p. 201-219, 2008.

RAPPLE, B. Payment by results: An example of assessment in elementary education from nineteenth century Britain. Education Policy Analysis Archives, v. 2, n. 1, p. 1-23, 1994.


RAVELA, P. A., PATRICIA; VALVERDE, GILBERT; WOLFE, RICHARD; FERRER GUILLERMO; MARTÍNEZ RIZO, FELIPE; AYLWIN, MARIANA; WOLFF, LAURENCE,. Las evaluaciones educativas que América Latina necesita. Preal. Santiago: 2008. 2008

REZENDE, V. O PAPEL DO GESTOR ESCOLAR NA IMPLANTAÇÃO DO PROGRAMA DE QUALIDADE NA ESCOLA DE ENSINO MÉDIO. I Congresso Ibero-Brasileiro e VI Congresso Luso-Brasileiro na Espanha e em Portugal. Cáceres e Mérida na Espanha 2010.

RODRIGUES, J. R. S. Responsabilização e Resultados Escolares no Rio de Janeiro. 2007. (Mestrado). Departamento de Educação, PUC-Rio, PUC-Rio, Rio de Janeiro.

RUTTER, M. et al. Fifteen Thousand Hours: Secondary Schools and their Effects on Children. London: Open Books, 1979.

SANTIAGO CONSULTORES Y ASESORÍAS PARA EL DESARROLLO. Evaluación del Programa de las 900 Escuelas. MINISTERIO DE EDUCACIÓN. Santiago, Chile 2000.

SÃO PAULO (ESTADO) SECRETARIA DA EDUCAÇÃO. Currículo do Estado de São Paulo: Matemática e suas tecnologias. São Paulo, 2010. Disponível em: < http://www.rededosaber.sp.gov.br/portais/Portals/43/Files/MEST.pdf >.

SASS, T. R. The Stability of Value Added Measures of Teacher Quality and Implications for Teacher Compensation Policy. National Center for Analysis of Longitudinal Data in Education Research, Washington, D.C., 2008. Disponível em: < http://www.urban.org/uploadedpdf/1001266_stabilityofvalue.pdf >. Acesso em: 09/06/2011.

SEDU/ES. Relatório Técnico Modelo da Bonificação: Secretaria de Estado da Educação do Estado de Espirito Santo -: 66 p. 2010.

SEE/DF. SIADE 2009: Sumário Executivo Avaliação de Rendimento. Brasilia: Governo do Distrito Federal 2010.

SEGATTO, C. I. COMO IDEIAS SE TRANSFORMAM EM REFORMAS: Um estudo comparativo das mudanças educacionais orientadas pelo desempenho nos estados brasileiros. 2011. Mestrado (Mestre em Administração Pública e Governo). Escola de Administração de Empresas de São Paulo Fundação Getúlio Vargas

SHEPARD, L. A Checklist for Evaluating Large-Scale Assessment Programs. The Evaluation Center, Western Michigan University. Kalamazoo. 1977

SHULHA, L. M.; COUSIN, J. B. Evaluation use: theory, research and practice since 1986. American journal of Evaluation., v. vol 18, p. p.195-208, 1997.

SOARES, J. F. Índice de desenvolvimento da Educação de São Paulo (IDESP): bases metodológicas. . Revista São Paulo em Perspectiva, São Paulo, Fundação SEADE, v. V.23, n. n.1, p. 29-41, Janeiro-Junho 2009 2009.

SOARES, S. AVALIAÇÃO EDUCACIONAL COMO INSTRUMENTO PEDAGÓGICO. TRABALHO E SOCIEDADE, IETS, Rio de janeiro, v. Ano 2, n. Nº 4, p. p.23-25, Agosto 2002 2002.

SOARES, T. Influência do professor e do ambiente em sala de aula sobre a proficiência alcançada pelos alunos avaliados no SIMAVE-2002. Estudos em Avaliação Educacional, v. 28, p. 103-123, 2003.


______. Modelo de três níveis hierárquicos para a proficiência dos alunos de 4ª série avaliados no teste de Língua Portuguesa do SIMAVE/PROEB-2002. Revista Brasileira de Educação, v. no.29 n. May/Aug. , p. 73-87, 2005 2005.

SOARES, T.; TEIXEIRA, L. Efeito do perfil do diretor na gestão escolar sobre a proficiência do aluno. Estudos em Avaliação Educacional. São Paulo: Fundação Carlos Chagas, v. 17, p. 34, 2006.

SOUSA, S. M. Z. L. POSSÍVEIS IMPACTOS DAS POLÍTICAS DE AVALIAÇÃO NO CURRÍCULO ESCOLAR. Cadernos de Pesquisa, v. 119, p. p.175-190, 2003. Disponível em: < http://www.scielo.br/pdf/cp/n119/n119a09.pdf >. Acesso em: 05/12/10.

SOUSA, S. M. Z. L.; OLIVEIRA, R. P. D. Sistemas de Avaliação Educacional no Brasil: características, tendências e uso dos resultados. Universidade de São Paulo, Faculdade de Educação, Centro de Estudos e Pesquisas em Políticas Públicas de Educação - CEPPPE2007. 2007

SPRINGER, M. O., Ed. Performance Incentives: Their Growing Impact on American K-12 Education. Wadhington, D.C.: Brooking Institution Press, p.336ed. 2009.

SUNDERMAN, G. L. Holding NCLB accountable : achieving accountability, equity, & school reform. Thousand Oaks, CA: Corwin Press, 2008. xvi, 262 p. ISBN 9781412957878 (cloth) Disponível em: < http://www.loc.gov/catdir/enhancements/fy0828/2007040309-b.html

SUPOVITZ, J. Can high stakes testing leverage educational improvement? Prospects from the last decade of testing and accountability reform. Journal of Educational Change Published online: 28 March 2009: 211-227 p. 2009.

TAYLOR, J.; NGUYEN, A. N. An Analysis of the Value Added by Secondary Schools in England: Is the Value Added Indicator of Any Value?*. Oxford Bulletin of Economics and Statistics, v. 68, n. 2, p. 203-224, 2006. ISSN 1468-0084.

THE NATIONAL COMMISSION ON EXCELLENCE IN EDUCATION. A Nation at Risk.The Imperative for Educational Reform. Washington, D.C.: U.S. Government Printing Office 1983.

VALENZUELA, A. Leaving children behind : how "Texas-style" accountability fails Latino youth. Albany: State University of New York Press, 2005. viii, 313 p. ISBN 0791462390 (hardcover alk. paper) 0791462404 (pbk. alk. paper). Disponível em: < http://www.loc.gov/catdir/toc/ecip0418/2004012237.html >.

VEGAS, E.; UMANSKY, I. Improving Teaching and Learning through Effective Incentives: What Can We Learn from Education Reforms in Latin America? The World Bank. Washington, DC: 2005.

VIDAL, E. M.; VIEIRA, S. L. GESTÃO EDUCACIONAL E RESULTADOS NO IDEB: UM ESTUDO DE CASO EM 10 MUNICÍPIOS CEARENSES. VI REUNIÃO DA ABAVE Fortaleza, Ceará, 31 de agosto a 02 de setembro, 2011 2011.

VOLANTE, L. Teaching to the test: What every educator and policy-maker should know. Canadian Journal of Educational Administration and Policy, v. 35, p. 1-19, 2004.


WINTERS, M. A. R., GARY W.; MARSH, RYAN H.; GREENE, JAY P.; HOLLEY, MARC J. . The Impact of Performance Pay for Public School Teachers: Theory and Evidence. Harvard University. 2008. (PEPG 08-15)


ANEXO 1 Organização dos arquivos da pesquisa em Google Docs Exemplos: a) Nível 2; b) Nível 5; c) Nível 2.

a) Nível 2

b) Nível 5

c) Nível 2


ANEXO 2 Entrevistados

ENTREVISTADO DATA FILIAÇÃO INSTITUCIONAL

Adriana Bauer 28/02/11 Fundação Carlos Chagas

Aléssio Costa Lima 23/02/11 SEE CE

Aline Elisa Cotta D' Ávila 16/02/11 SEE ES

Andressa Rocha 17/02/11 SEE ES

Fernanda Scaciota Simões da Silva 31/03/11 SEE PR

Francisco Soares 21/03/11 GAME/UFMG

Iaci Cavalcanti Pequeno 23/02/11 SEE CE

Ilda Hochman 08/02/11 SEE MG

Janine Mattar Pereira de Castro 16/02/11 SEE ES

João Filocre 08/02/11 EX-SEE MG

Leonara Margotto Tartaglia 16/02/11 SEE ES

Lina Kátia Mesquita de Oliveira 31/01/11 CAEd

Lúcia Matos 04/05/11 SEE MG

Margareth Zaponi 21/02/11 SEE PE

Maria Conceição Conholato 28/02/11 FDE SP

Maria Inêz Barroso Simões 09/05/11 SEE MG

Maurício Holanda Maia 23/02/11 SEE CE

Nilma Fontanive 05/04/11 Fundação Cesgranrio

Olivier Bezerra 22/03/11 SEE DF

Patrícia Dantas 22/02/11 SEE PE

Rafael Morais 08/02/11 SEE MG

Ruben Klein 05/04/11 Fundação Cesgranrio

Valdelina Solomão Lima 16/02/11 SEE ES

William Massei 28/02/11 SEE SP


ANEXO 3 Ambiente NVIVO. Queries/Políticas de Incentivos por Estado

relatorio-avaliacoes-externas

Documents

Transcript of relatorio-avaliacoes-externas