Post on 07-Feb-2019
Avaliação Econômica Programa Excelência em Gestão
Gerência de Avaliação de Projetos
São Paulo, 27 de agosto de 2012 1
Programa Excelência em Gestão
O Programa
•Parceria entre a Secretaria de Educação do Estado de São Paulo e Fundação Itaú Social;
– Coordenação técnica do Projeto Piloto: Instituto Fernand Braudel
• Regional de Ensino Leste 3;
• 10 escolas de Ensino Fundamental II e Ensino Médio; – critério de escolha: IDESP;
• Período: 2009 a 2011.
2
Programa Excelência em Gestão
O Programa
• OBJETIVO: • Fortalecer as práticas da coordenação escolar e do corpo docente na oferta
de ensino: • Planejamento das aulas • Gestão da sala de aula • Uso da avaliação dos alunos
• ESTRATÉGIA: Tutoria
Formação continuada customizada; Caráter prático e modelar; Realizada no cotidiano da escola, especialmente na sala de aula; Tutor: par avançado também atuante na rede pública de ensino.
• FOCO (adesão voluntária): Professores Coordenadores; Professores de
Língua Portuguesa e Matemática.
3
Programa Excelência em Gestão
O Programa
• OBJETIVO: Intensificar a participação dos pais; aproximação família-escola.
• ESTRATÉGIA: Coordenador de Pais; Visita domiciliar; Organização de atividades para pais e alunos; Mobilização de voluntários; organização do espaço escolar; Atendimento e acompanhamento de alunos (evasão escolar); Atendimento a pais; Participação das reuniões de pais; Coordenador de Pais: Profissional dedicado exclusivamente à
aproximação entre família e escola, com conhecimento da comunidade;
– FOCO: Famílias e alunos.
4
Programa Excelência em Gestão
Matriz Avaliativa
5
Desempenho
do Professor
• Planejamento
• Gestão da sala de aula
• Avaliação
Gestão Pedagógica
• HTPC
• Liderança Pedagógica
Relação Família-escola
• Atendimento a pais
• Participação em atividades da escola
Formação do aluno
• Participação na vida escolar
• Relação entre alunos
• Relação do aluno com conhecimento
• Desempenho Escolar
Programa Excelência em Gestão
Estratégias de Avaliação
Perspectivas complementares:
I - Monitoramento das estratégias de intervenção no campo (relatórios,
visitas técnicas, questionários)
II - Avaliação de métodos mistos: com uso de metodologias quantitativas
e qualitativas para as quatro dimensões
III - Avaliação econômica: análise de impacto e cálculo do retorno
econômico com foco em desempenho dos alunos nas notas de Língua
Portuguesa e Matemática (SARESP)
6
Programa Excelência em Gestão
A Avaliação Econômica
• Objetivos avaliados:
– Efeito do programa no desempenho escolar: notas no exame do Saresp de Língua Portuguesa e Matemática.
• Público alvo: alunos do segundo ciclo do fundamental e ensino médio: – Observamos o desempenho dos alunos do 7º e 9º ano do ensino Fundamental e 3º ano do
ensino médio.
8
Total de escolas no programa Total de alunos avaliados
5º - 7º 6 375
(2008-2010) 5º - 9º
6 296 (2007-2011)
7º - 9º 9 523
(2008-2010) 9º - 3ºEM
10 295 (2008-2011)
9º - 3ºEM 10 279
(2007-2010)
Programa Excelência em Gestão
Questões no Desenho da Avaliação
1) Intervenções
• Intervenções concomitantes – Não permitem identificar os efeitos de cada uma delas
• Mudança nas intervenções ao longo do tempo – Ex-post não sabemos o que deu certo
2) Amostra
• Apenas 10 escolas – Análise de impacto possível apenas no nível dos alunos
– O contexto de cada escola tem grande poder de alterar a média
• Validade externa – Todas da mesma regional
– Escolas mais vulneráveis 9
Programa Excelência em Gestão
A Avaliação
• Metodologia:
– Painel de alunos (controla por características não observadas fixas no tempo)
– Observa dois pontos do tempo: antes e depois da intervenção (primeira diferença)
– Usa grupo de controle:
• Escolas de baixo IDESP da RMSP (vantagem: busca pares de escolas mais similares)
• Demais escolas da Leste 3 (vantagem: controla por variável não observada de contexto)
– Usa método econométrico que garante que os grupos tratado e controle sejam muito similares (pareamento duplo robusto: variáveis de controle e ponderação por escore de propensão).
• Escore de propensão = probabilidade de ser tratado predita com base em características observáveis; usado como fator de correção da composição da amostra
• Explica razoavelmente o viés de composição: R² por volta de 20%
• Corrige satisfatoriamente a composição: diferença de média não significante entre os grupos nas variáveis consideradas (balanceamento de 70% a 80%)
10
Programa Excelência em Gestão
Metodologia
• ΔYi = α + β*Ti + βj*Xij + μi
Onde:
• ΔYi = Yi ano(1) – Yi ano(0)
• Ti = identifica se aluno estuda em escola piloto
• Matriz Xij :Variáveis de controle “j” para cada aluno “i”:
– Alunos: gênero, idade, raça, se fez pré-escola e escolaridade dos pais
– Diretores: tempo no cargo
– Professores: tempo no cargo
– Escolas: total de matrículas, IDESP 2007, oferta de ensino
– Componentes de IPVS (Índice Paulista de Vulnerabilidade Social): • Proporção de famílias pobres na escola (renda familiar menor que 850 reais)
• Proporção de famílias com crianças de 0 a 5 anos
• Proporção de mães com ensino fundamental e ensino médio completos
11
Histórico de proficiência por ano escolar
Programa Excelência em Gestão 12
150
155
160
165
170
175
180
185
190
195
200
2007 2008 2009 2010 2011
5º ano - Matemática
*Leste 3 *RMSP com pior IDESP Tratamento
170
175
180
185
190
195
200
205
210
2007 2008 2009 2010 2011
7º ano - Matemática
*Leste 3 *RMSP com pior IDESP Tratamento
* Não inclui as escolas beneficiadas pelo programa
•As escolas tratadas têm proficiência mais similar às escolas da RMSP com pior IDESP. •As demais escolas da Leste 3 têm desempenho média melhor que as escolas tratadas. •A tendência das escolas tratadas é paralela às demais escolas da Leste 3
Histórico de proficiência por ano escolar
Programa Excelência em Gestão 13
210
215
220
225
230
235
240
245
2007 2008 2009 2010 2011
9º ano - Matemática
*Leste 3 *RMSP com pior IDESP Tratamento
240
245
250
255
260
265
2007 2008 2009 2010 2011
3º ano EM - Matemática
*Leste 3 *RMSP com pior IDESP Tratamento
* Não inclui as escolas beneficiadas pelo programa
Histórico de proficiência por ano escolar
Programa Excelência em Gestão 14
155
160
165
170
175
180
185
2007 2008 2009 2010 2011
5º ano - Língua Portuguesa
*Leste 3 *RMSP com pior IDESP Tratamento
* Não inclui as escolas beneficiadas pelo programa
190
192
194
196
198
200
202
204
206
208
2007 2008 2009 2010 2011
7º ano - Língua Portuguesa
*Leste 3 *RMSP com pior IDESP Tratamento
Histórico de proficiência por ano escolar
Programa Excelência em Gestão 15
210
215
220
225
230
235
2007 2008 2009 2010 2011
9º ano - Língua Portuguesa
*Leste 3 *RMSP com pior IDESP Tratamento
* Não inclui as escolas beneficiadas pelo programa
240
245
250
255
260
265
270
2007 2008 2009 2010 2011
3º ano EM - Língua Portuguesa
*Leste 3 *RMSP com pior IDESP Tratamento
Exemplo Gráfico do Resultado
Programa Excelência em Gestão 16
160
165
170
175
180
185
190
195
200
2008 2010
5ª a 7ª ano - Língua Portuguesa
Tratado Controle Contrafactual
} 3.1
Programa Excelência em Gestão
Resultados vis a vis escolas de pior IDESP da RMSP
17
Linha de Base Anos de Programa Matemática Língua Portuguesa
2007 2008 2009 2010 2011 Impacto Impacto
1 6° Ano
2 6°Ano 7°Ano
3 5º Ano 6°Ano 7°Ano 8° Ano 3,3**(12%) 3,1*(11%)
4 5º Ano 6º Ano 7°Ano 8°Ano 9°Ano -5,9*(-11%) -
5 6º Ano 7º Ano 8°Ano 9°Ano 1° EM - -
6 7º Ano 8º Ano 9°Ano 1° EM 2° EM
7 8º Ano 9º Ano 1° EM 2° EM 3° EM - 5,7** (17%)
8 9º Ano 1º EM 2° EM 3° EM - -
9 1º EM 2º EM 3° EM
Coortes laranja = 3 anos de programa Coortes azuis =2 anos de programa
*** 99% de significância ** 95% de significância *90% de significância
Comparação dentro da Leste 3
• Os resultados usando como grupo de controle as demais escolas da Leste 3 confirmam os resultados acima: – LP para o 3º ano do EM 2011. – LP e MT para 7º ano do EF 2010.
• No entanto, os resultados não são significativos para as coortes do 9º ano. – O pior resultado em matemática é comum a todas as
escolas da Leste 3 e não parece estar relacionado com o programa.
Programa Excelência em Gestão
Resultados: hipóteses interpretativas
• Por que impacto positivo?
– Início do FUND II: mais fácil gerar impacto com séries de alunos mais jovens
– EM: o último ano do programa foi mais efetivo:
• Maior número de tutorias (relatórios de gestão corroboram)
• Coordenador de pais mais bem definido (segundo estudo qualitativo)
• Por que impacto negativo no final do Fund II?
– O pior resultado em matemática é comum a todas as escolas da Leste 3 e não parece estar relacionado com o programa.
19
Programa Excelência em Gestão
Resultados: hipóteses interpretativas
• Por que impacto diferenciado em Língua Portuguesa?
– Melhor aceitação das tutorias por esses professores (percepção gestores do programa)
– As tutorias são mais efetivas entre os professores de língua portuguesa (estudo qualitativo)
• Problemas levantados pelos gestores que enfraquecem a possibilidade de resultado:
– Dificuldade de realizar tutorias no turno noturno
– Algumas escolas não aceitaram o programa
– Resistência de alguns professores em receber as tutorias
– Elevada rotatividade/ausência de professores descontinua a ação
– Heterogeneidade das escolas (composição da equipe e gestão escolar)
20
Programa Excelência em Gestão
Resultados avaliação de métodos mistos
Formação dos Alunos: percepção sobre a ação das tutorias no ambiente escolar e
sala de aula
• Melhora a relação entre alunos
• Relação dos alunos com conhecimento mais positiva
• Alunos reconhecem ter maior possibilidade para participação em sala de aula
• Professores de português e matemática são indicados como referência de bons professores
• Inquietação dos jovens para serem melhor percebidos e cuidados na escola
• Obs: Mudanças do desempenho do professor convergem com inquietações
e expectativas dos alunos
22
Programa Excelência em Gestão
Resultados avaliação de métodos mistos
Desempenho do Professor: percepção sobre o aprendizado das tutorias
I - Planejamento:
• Maior utilização dos referenciais curriculares da Secretaria de Educação e utilização das
sequências didáticas
• Compreensão sobre o significado das competências desejadas para os alunos
• Ampliação do uso de recursos didáticos em sala de aula e maior observação das necessidades
específicas de aprendizagem dos alunos
II - Gestão de sala de aula:
• Maior participação dos alunos em sala
• Atenção ao tempo de uso de fala, circulação física pela classe, configuração de dinâmicas para
estudos individuais
III - Avaliação:
• Uso da avaliação como instrumento de aprendizagem dos alunos
• Elaboração de provas com clareza sobre quais competências e habilidades se quer
conhecer e a confecção de exercícios adequados
• Realização de devolutivas das provas para os alunos
23
Programa Excelência em Gestão
Resultados avaliação de métodos mistos
Gestão Pedagógica: percepção sobre a necessidade da tutoria e fortalecimento
dos papeis
• Professores Coordenadores indicam melhor compreensão de sua função. Entretanto, essa
compreensão não se transformou em ação prática na gestão pedagógica das escolas
• Percepção pelos PCs de que o modelo de HTPC das escolas é uma reprodução das reuniões
formativas da DRE
• Reconhecimento de que o HTPC se tornou mais formativo, mas ainda distante da realidade
concreta da sala de aula e das necessidades dos professores
• PCs ainda se encontram em situação de certo isolamento nas escolas
24
Programa Excelência em Gestão
Resultados avaliação de métodos mistos
Relação Família-Escola: percepção sobre a ação efetiva do coordenador de pais
• Citadas por todos os públicos, sempre associadas a elogios e atributos positivos
• Alunos e familiares afirmam que estas profissionais reforçam os laços entre famílias e escolas por
constituírem uma referência clara a quem ambos podem recorrer
• Relação horizontal estabelecida facilita e potencializa a aproximação destes dois universos
• Proximidade de perfil entre as coordenadoras de pais e as famílias é determinante para que os
familiares estabeleçam com elas uma relação de referência no ambiente escolar
• Visitas realizadas pelas coordenadoras de pais permitem compreender melhor a situação de
alguns alunos e orienta a escola na relação pedagógica com eles estabelecida
• Diretores identificam importância das coordenadoras de pais para apoiar a relação com as
famílias e destacam que exercem papel diferente dos professores mediadores
25
Programa Excelência em Gestão
Considerações
• Avaliação mostrou convergência entre as expectativas dos alunos (espaço para
participação, maior atenção dos professores) e as mudanças das práticas dos
professores (planejamento, avaliação e gestão da sala de aula)
• A implantação do Programa aconteceu de forma gradativa nos 3 anos de duração:
- 1º ano de aprendizagem: identificação dos papéis; fortalecimento do vínculo
com as escolas e a Regional de Ensino; estratégias de comunicação
- 2º e 3º anos: intensificação da estratégia de tutoria e das ações com as
famílias e os alunos
• Heterogeneidade das unidades escolares (gestão; composição das equipes; porte)
• Necessidade de atuação conjunta entre diferentes líderes escolares (supervisor,
diretor, coordenador pedagógico)
27
Programa Excelência em Gestão
Expansão e transferência de tecnologia
FORMAÇÃO CENTRALIZADA NA REGIONAL
• PCNPs e Supervisores: conteúdos de gestão pedagógica com foco nas estratégias de tutoria
(8h/mês).
• PCs (EFII e EM): alcançar em escala o público alvo nos conteúdos de gestão pedagógica com foco nas
estratégias de tutoria (8h/mês).
FORMAÇÃO DESCENTRALIZADA NAS ESCOLAS
• Diretor e Professor Coordenador
• Acompanhamento de caráter formativo e modelar e in loco.
• Visitas técnicas quinzenais -> com equipe gestora.
28
Diretoria Regional Leste 3
3 TUTORES
12 ESCOLAS MODELARES
11 SUPERVISORES
12 PCNPs
ESTRATÉGIAS DE TUTORIA
FOCO DA TRANSFERÊNCIA
Supervisores e PCNPs assumindo tutoria como estratégia central de trabalho com
Diretores e PCs
TRANSBORDAMENTO: 50 ESCOLAS