REMUNERAÇÃO VARIÁVEL NO SERVIÇO PÚBLICO COMO … · O pagamento por desempenho exige medição...
35
Centro de Convenções Ulysses Guimarães Brasília/DF – 16, 17 e 18 de abril de 2013 REMUNERAÇÃO VARIÁVEL NO SERVIÇO PÚBLICO COMO FATOR DE INDUÇÃO NA MELHORIA DO DESEMPENHO DO SERVIDOR Silvio Campos Guimarães Nelson Marconi
Transcript of REMUNERAÇÃO VARIÁVEL NO SERVIÇO PÚBLICO COMO … · O pagamento por desempenho exige medição...
Centro de Convenções Ulysses Guimarães Brasília/DF – 16, 17 e 18 de abril de 2013
REMUNERAÇÃO VARIÁVEL NO SERVIÇO PÚBLICO COMO FATOR DE INDUÇÃO NA
MELHORIA DO DESEMPENHO DO SERVIDOR
Silvio Campos Guimarães Nelson Marconi
2
Painel 43/162 Remuneração variável como incentivo ao desempenho
REMUNERAÇÃO VARIÁVEL NO SERVIÇO PÚBLICO COMO FATOR
DE INDUÇÃO NA MELHORIA DO DESEMPENHO DO SERVIDOR
Silvio Campos Guimarães Nelson Marconi
RESUMO O objetivo do presente artigo é analisar os programas de remuneração variável direcionados para servidores públicos em busca dos seus efeitos no desempenho do servidor. Para isso se procurou identificar estudos que apresentassem métodos capazes de correlacionar o desempenho com a adoção do programa. Nota-se que a literatura é divergente quanto à associação entre os benefícios disponibilizados e a melhoria do desempenho no setor público. Para contribuir com as pesquisas e com o esclarecimento da divergência observada foram realizados testes no programa implantado pela Secretaria de Educação do Estado de São Paulo, avaliando o desempenho dos diretores e professores no período de 2007 a 2011 com a aplicação de modelo econométrico de Diferença em Diferenças para eliminar efeitos fixos não observáveis. Também foi avaliado o desempenho dos alunos em busca do efeito dos diretores e professores sobre as notas dos primeiros. Como resultado constatou há efeitos positivos para professores e alunos, o que não se confirmou para os diretores. Constatou também nas três avaliações tendência negativa de 2009 para 2011, com exceção para professor e aluno da 8ª série de português.
3
SUMÁRIO
1 INTRODUÇÃO...................................................................................................... 04
2 OBJETIVO E JUSTIFICATIVAS.......................................................................... 05
3 REVISÃO DA BIBLIOGRAFIA............................................................................. 06
4 O PROGRAMA PAULISTA DOS BÔNUS NA EDUCAÇÃO............................... 10
5 METODOLOGIA................................................................................................... 12
6 DADOS................................................................................................................. 15
7 TESTES................................................................................................................ 17
7.1 Testes do efeito do programa sobre o desempenho do diretor.................. 18
7.2 Resultados nos diretores................................................................................ 20
7.3 Testes do efeito do programa sobre o desempenho do professor............. 21
7.4 Resultados dos professores........................................................................... 26
7.5 Testes do efeito do programa sobre o desempenho do aluno.................... 29
7.6 Resultados dos alunos.................................................................................... 29
8 CONCLUSÕES.................................................................................................... 32
9 REFERÊNCIAS.................................................................................................... 33
4
1 INTRODUÇÃO
Atualmente as organizações estão sendo incentivadas a seguir algumas
linhas de gestão com práticas administrativas que favorecem a emergência do
capital humano como fator principal para serem bem sucedidas. De acordo com
Flannery (1997), essas transformações geram mudança de valores, de cultura e
reconfiguram as estruturas organizacionais. Estas, por sua vez, criam novas formas
de administrar as pessoas por meio de políticas de recursos humanos que integram
todos os setores da organização e dimensionam suas estratégias para um único
foco, isto é, o da valorização das pessoas como condição para obter
comprometimento de todos e atingir os objetivos determinados.
Os modelos tradicionais de remuneração fixa para o servidor não se
propõem a servir como forma permanente de incentivo à melhoria desempenho do
servidor. Algumas experiências têm sido tentadas com este propósito. Uma delas é
o Programa de Remuneração Variável (PRV), que atrela o cumprimento de metas à
premiação em dinheiro ou equivalente.
Os estudos desenvolvidos visando avaliar os impactos desses programas
têm encontrado resultados que se contradizem, ora identificando efeitos positivos,
ora negativos, ora neutros. Parece que os argumentos utilizados para avaliar os
efeitos dos programas não foram convincentes para desmotivar os elaboradores
destes programas a insistir na sua implantação ou mesmo desincentivar novos
gestores a adotar tais programas. Pode ser que não haja sustentação teórica para
continuidade dos Programas de Remuneração Variável (PRV) ou que as métricas
utilizadas para avaliar seus impactos sejam inadequadas e pouco convincentes. É
neste último ponto que este trabalho pretende oferecer contribuição, avançando nas
discussões tanto da teoria quanto do ponto de vista empírico com base nos dados
disponíveis.
5
2 OBJETIVO E JUSTIFICATIVAS
O objetivo do presente estudo é analisar os programas de remuneração
variável direcionados para servidores públicos em busca dos seus efeitos no
desempenho do servidor.
A relevância do tema é significativa. Em 2010 o Brasil possuía 44.068.355
empregos formais. Deste total, 8.923.380 são trabalhadores no setor público nos
governos municipais, estaduais e federal, incluso a administração direta e indireta e
que podem se beneficiar de um modelo de remuneração variável 1 . Ou seja,
aproximadamente 20% dos empregos formais do país estão na administração
pública.
Nas experiências desenvolvidas em diversos países e no Brasil ainda não
se obteve respostas convincentes de como constatar e mensurar o impacto da
remuneração variável no desempenho do servidor.
Também pode ser notada a carência de estudos em países em
desenvolvimento dos efeitos da remuneração variável, seja no setor público ou na
área privada. Nesse sentido, pode se citar o estudo de Hasnain, Manning e
Pierskalla (2012) que analisou 153 estudos sobre o tema, sendo que apenas 26
foram realizados em países em desenvolvimento. Todos os demais foram em países
membros da OCDE. A revisão da literatura aqui utilizada encontrou poucos estudos
na América Latina, sendo que no Brasil são escassos os estudos sobre o tema.
Nota-se uma janela de oportunidade para se desenvolver estudos nesta área
considerando a realidade da cultura local e que esta pesquisa intenciona contribuir
na procura por meios que possam aferir adequadamente os efeitos da remuneração
variável.
Assim, dado a importância do tema tanto para governos quanto para
servidores, o presente trabalho pretende contribuir no desenvolvimento de
metodologias para mensurar o impacto dos programas de remuneração variável no
desempenho do servidor público.
1 Consulta em 17/02/12 em http://www.mte.gov.br/rais/2010/
6
3 REVISÃO DA BIBLIOGRAFIA
Bowman (2010) examinou pesquisas acadêmicas, artigos recentes
publicados na mídia, publicações governamentais e dados de 15 entrevistas não
estruturadas de 30 a 50 minutos por telefone no ano de 2008 com interesse em
avaliar os programas de remuneração variável no governo federal americano.
Bowman constatou que em dois relatórios governamentais, The Civil Service Reform
Act em 1978 e Recognition Act em 1984, foi apontado que houve constrangimentos
do participantes, atrasos no programa, custou mais dinheiro do que o previsto e não
reconheceu corretamente os melhores servidores, concluindo que se houve efeitos
positivos na produtividade, satisfação do trabalhador e no turnover, foram limitados
ou nenhum. Em alguns dos trabalhos citados por Bowman, tais programas são
piores do que não fazer nada, porque viciam, corrompem os interesses intrínsecos
em trabalhar.
No relatório do Government Accountability Office (GAO) em 2007 as
críticas não foram menos contundentes, indicando que 81% das pessoas
acreditavam que moralmente estavam piores que antes e que houve sindicalização
excessiva como resultado. Em outro programa, Senior Executive Service, constatou
que não houve impacto no desempenho, afetou negativamente a motivação e o
moral, antecipou aposentadorias e desencorajou as gerências de nível médio a
adotar o programa.
Na contramão destes relatos e apresentando pontos positivos, o relatório
do National Institute of Standards constatou que o programa deles contribuiu para
eficiência dos altos talentos, reteve os melhores talentos e expandiu a autoridade
dos gerentes para contratar e decidir sobre remuneração.
No geral, pesquisadores não acusam os programas de não funcionarem
sob determinadas circunstâncias, mas que a condição ideal para que funcionem
raramente é encontrada na realidade empírica.
Christopher Hood (2006) realizou um estudo comparando os programas
de remuneração baseado em desempenho no Reino Unido com o sistema de metas
utilizados na antiga União Soviética e em outros países socialistas. Para ele, este
sistema leva ao que chamou de gaming, que é o uso de artifícios pelos servidores
públicos para atingir as metas estabelecidas com dados e informações que, na
realidade, estão superavaliados.
7
O autor constata que as práticas empregadas pelos órgãos britânicos nos
programas lançados pelo primeiro ministro inglês Tony Blair em 2001 eram as
mesmas utilizadas pelos órgãos soviéticos, especialmente na era Brezhnev (1964-
1982). As distorções nas avaliações das metas atingidas foram permeando o
sistema até sua ruina completa.
Hood identifica alguns antídotos para combater o gaming no modelo de
remuneração por desempenho: adotar as regras rígidas; utilizar dados precisos;
detalhar as metas, realizar auditorias, punir também aqueles que são complacentes
com a indisciplina e o erro.
Weibel et al. (2009) oferece uma contribuição apresentando uma
pesquisa utilizando uma amostra de 46 estudos, nos quais buscou identificar se os
incentivos financeiros são relacionados ao desempenho.
O estudo ajuda a explicar o sucesso modesto de remuneração para o
desempenho do setor público, por cinco razões. Em primeiro lugar, parece que no
setor público elevar a motivação é uma dificuldade. Assim, a remuneração por
desempenho pode potencialmente criar um efeito de crowding-out forte (apropriação
da premiação pelo servidor como um direito permanente, assemelhando-a a
remuneração fixa). Em segundo lugar, o financiamento público é claramente mais
limitado do que o financiamento do setor privado. Em terceiro lugar, remuneração
por desempenho pode reduzir os investimentos em capacitação e na seleção de
servidores contratados. Em quarto lugar, o problema do servidor executar tarefas
múltiplas pode representar uma dificuldade adicional para o pagamento por
desempenho no setor público. O pagamento por desempenho exige medição precisa
do desempenho e conhecimento prévio pelo servidor da sua atribuição para que o
esforço individual seja eficaz, no entanto, as instituições de públicas muitas vezes
têm de entregar produtos e serviços complexos, tais como ''boa saúde'' ou ''boa
educação''. Em quinto lugar, do ponto de vista político-econômico, a aplicação de
recompensas por desempenho também traz o risco de manipulação política.
Hasnain, Manning e Pierskalla (2012) fizeram uma revisão teórica e
buscaram evidências dos efeitos do pagamento associado ao desempenho, assim
considerada qualquer forma compensação na qual a remuneração final de um
empregado é função de alguma forma de avaliação do desempenho.
Nos estudos avaliados o desempenho poderia ser obtido por meio de
avaliações qualitativas ou medidas quantitativas dos inputs (alocação de esforços,
8
comparecimento ao trabalho, contribuição voluntária no ambiente de trabalho e
aquisição de novas habilidades/conhecimentos); outputs (conclusão de
compromisso pré-acordado ou número de clientes/casos atendidos); ou outcomes
(teste de avaliação de estudantes, avaliação dos clientes, taxa de utilização dos
serviços ou criação de receita).
Os pesquisadores identificaram 153 estudos relacionados ao tema que
objetivaram de alguma forma aferir os resultados obtidos. Em 93 deles foram
encontrados efeitos positivos diversos, outros 37 foram considerados neutros e
apenas 23 constataram efeitos negativos. Do total inicial foram selecionados 110,
que avaliavam atividades semelhantes ao do setor público, caracterizadas por ser
trabalhos complexos e de resultados difíceis de serem observados.
No estudo constatou-se que o efeito positivo nos considerados craft jobs
(serviços que dependem de habilidades pessoais, mas os resultados são similares
para qualquer indivíduos ou grupos, p.e. professor, médico, auditor) é significante,
enquanto nos coping jobs (serviços que dependem de habilidades pessoais, mas os
resultados não são comparáveis entre indivíduos ou grupos, p.e. gerentes,
executivos) é muito menor.
Os autores chamam a atenção pela falta de estudos que avaliam os
efeitos de longo prazo. A maioria realiza conclusões pontuais, podendo ser
modificadas no tempo na medida em que o programa se tornar mais familiar para os
participantes, inclusive por comportamentos negativos (p.e. gaming).
Assis (2012) realizou estudo na Secretaria de Segurança Pública do
Estado de Minas Gerais em busca dos efeitos do PRV nas estruturas da Policia
Civil, Militar e Corpo de Bombeiros.
Os resultados foram distintos para cada instituição avaliada. Na Polícia
Civil notou-se que houve um importante aumento de produtividade, que auxiliou a
esvaziar as prateleiras de inquéritos antigos. Entretanto, não houve um processo
de comunicação sobre o propósito das metas, e a ausência de um líder com
legitimidade para traduzir e articular o modelo com os objetivos organizacionais
cooperou para que alguns gestores intermediários cobrassem resultados a
qualquer preço. Esse tipo de cobrança contribuiu para a queda na qualidade dos
inquéritos.
9
Na Policia Militar ficou constatado que o acordo contribuiu para que a
noção de resultado e metas fosse mais difundida, especialmente no interior do
Estado.
O efeito mais positivo foi notado no Corpo de Bombeiros. Os dois
indicadores pactuados provocaram uma série de mudanças nos processos
organizacionais e geraram efeitos concretos de melhoria para os cidadãos.
Oshiro & Scorzafave (2011) propuseram medir o impacto do PRV
implantado em 2008 pelo governo de São Paulo na Secretaria de Educação sobre a
proficiência dos alunos das escolas estaduais paulistas.
Para avaliar o programa os autores compararam o resultado dos alunos
antes da implantação do programa com o resultado posterior. Para isto foram
utilizados os dados da Prova Brasil edição 2007 e 2009. O grupo de tratamento foi
as escolas estaduais paulistas e o grupo de controle foi as escolas dos demais
estados e as escolas municipais paulistas. A variável de interesse foi a proficiência
em matemática e português dos alunos da quarta e oitava séries apuradas na Prova
Brasil.
Os resultados notados foram positivos apenas para a 4ª série. O efeito
estimado em matemática foi cerca de 6,4 pontos na escala SAEB (de 0 a 500) e em
português foi de 3,7 pontos. Com relação à oitava série os coeficientes de interesse
não foram significativos estatisticamente tanto em matemática quanto em português.
Pode-se notar pelos estudos analisados que as avaliações qualitativas
dos PRV tendem a identificar pontos positivos com razoável facilidade. Porém, as
avaliações quantitativas tendem a encontrar resultados mais modestos, quando não
negativos. Neste ponto, recupera-se o que diz Marsden (2009) de que a forma de
avaliar pode não estar medindo adequadamente o desempenho do servidor e que a
presente pesquisa pretende ajudar a elucidar.
4 O PROGRAMA PAULISTA DOS BÔNUS NA EDUCAÇÃO
O programa testado neste estudo foi o programa paulista de bônus na
educação. As regras do sistema de remuneração foram lançadas pelo Programa de
Qualidade da Escola (PQE) em maio de 2008.
10
Em março de 2009, o governo estadual remunerou cerca de 200 mil
servidores baseado em resultados de 2008.
A Secretaria de Educação do Estado de São Paulo estipula metas para a
série final de cada ciclo de ensino - quarta série (quinto ano) e oitava série (nono
ano) do ensino fundamental e terceiro ano do ensino médio - da escola e remunera
todos os professores do ciclo avaliado e os demais funcionários, ou seja, o incentivo
é dado ao grupo pertencente à escola avaliada.
As metas são estabelecidas com base no Índice de Desenvolvimento da
Educação do Estado de São Paulo (IDESP) para cada etapa escolar, que por sua
vez, é composto por dois outros índices:
No qual ID é o índice de Desempenho e IF é o índice de Fluxo. O ID é
baseado nas notas do SARESP, exame de avaliação externa paulista. O exame
avalia a proficiência dos alunos de acordo com as exigências do Sistema Nacional
de Avaliação da Educação Básica, que define o aprendizado desejado para o aluno
no final de cada ciclo. Para o pagamento de bônus, considera-se apenas a
proficiência em Matemática e Português.
O ID para cada disciplina (j) e para cada etapa de escolarização (s) é
dado por:
Na fórmula, def é um indicador que mede a defasagem em relação às
expectativas de aprendizado.
Em que AB, B, Ad e Av representam respectivamente a proporção de
alunos nos níveis abaixo do básico, básico, adequado e avançado em relação ao
total de alunos avaliados.
O indicador de Fluxo (IF) é dado pela taxa média de aprovação em cada
etapa de escolarização e é dado por:
11
Em que A é a taxa de aprovação na série i e n é o número de séries2 da
etapa de escolarização considerada.
A partir dos dados do IDESP calcula-se a parcela que a escola cumpriu
da meta. O Índice de Cumprimento (IC) em determinado ano (t) para cada etapa
escolar (s) é dado pela seguinte fórmula:
O IC é limitado no intervalo de 0% a 120%. Para valores negativos,
considera-se o piso (zero). Para valores superiores a 120%, considera-se o
cumprimento de 120%.
Um adicional por qualidade passou a ser considerado a partir de 2009.
Este índice reflete a posição da escola em relação à média das outras escolas
(IDESP global) e à sua meta de longo prazo (META 2030). O Índice de Qualidade
(IQ) do ano t para a série s é calculado pela seguinte fórmula:
Para efeito de pagamento, considera-se o indicador (IQ+IC), que está
limitado entre 0 e 120%.
As metas de longo prazo do IDESP para cada série são iguais para todas
as escolas e foram estabelecidas levando-se em consideração níveis de
aprendizado comparáveis aos de países da Organização para a Cooperação e o
Desenvolvimento Econômico (OCDE). As metas para 2030 para quarta e oitava
séries do fundamental são, respectivamente, 7,0 e 6,0.
2 Atualmente, com o ensino fundamental de nove anos, n é igual a 5 para as séries iniciais do EF e 4
para as séries finais
12
Com relação ao pagamento do bônus, o valor varia de acordo com a
parcela da meta cumprida e é feito a professores do ciclo que cumpriu a meta e para
funcionários com nível de absenteísmo abaixo de 1/3. Em escolas que cumprem
100% da meta, por exemplo, os funcionários recebem o equivalente a 2,4 salários.
Em escolas que superam a meta prevista, o bônus pode chegar a 2,9 salários.
Escolas que não cumprem as metas, mas que nos dois anos anteriores foram
classificadas entre as 10% melhores, também recebem uma remuneração. Este
seria um incentivo para escolas boas, cujas metas são difíceis de cumprir, pois as
notas já estão num patamar elevado.
5 METODOLOGIA
Para averiguar o efeito do programa de remuneração variável (bônus)
adotado na Secretaria de Educação do Estado de São Paulo para os diretores e
professores da rede estadual a partir de 2008 deveríamos comparar o desempenho
em duas situações, com e sem a presença do programa. Porém, como o programa é
aplicado a todos os servidores da educação estadual indistintamente, não é possível
observar as duas situações ao mesmo tempo.
Angrist & Pischke (2009) sugerem como alternativa encontrar grupos com
características semelhantes e que não tenham participado deste programa e de
nenhum outro programa de remuneração variável. Desta forma pode-se utilizar o
grupo que participou do programa (grupo de tratamento) e outro que não participou
(grupo de controle), considerando as características observáveis. Seguindo esta
recomendação, o grupo de controle poderá ser os diretores e professores das
escolas estaduais nos demais Estados brasileiros que não adotaram programa de
remuneração variável.
Para identificar o grupo de controle foi realizado pesquisa em todas as
Secretarias de Educação dos demais 25 estados brasileiros e mais no Distrito
Federal, excluindo aqueles que adotaram programa de remuneração variável.
Como resultado, representantes de 19 Estados responderam que não
adotam PRV. Nos Estados do Acre, Piauí e Paraíba não foi possível confirmar se há
ou não PRV, dado que os respondentes não souberam informar com precisão.
13
Serão considerados como se tivessem e, desta forma, não farão parte do grupo de
controle. Os três Estados juntos representam aproximadamente 5% do total de
alunos, professores e diretores. Tais exclusões não comprometem o resultado da
pesquisa.
Nos Estados do Amazonas, Pernambuco, Minas Gerais e Espirito Santo
foram encontrados programas de remuneração variável associados ao desempenho
do servidor. No total 7 Estados foram excluídos do grupo de controle. Os Estados
que informaram ter programa (ex. Goiás), mas que não eram associados ao
desempenho e que caracterizava um mero complemento de salário, foram mantidos
como parte do grupo de controle.
Uma vez definido quais serão os grupos de tratamento e controle, há de
serem eliminados os efeitos das características não observáveis e que não variam
no tempo. Segundo Angrist & Pischke (2009), pode-se eliminar tais efeitos utilizando
um estimador de Diferenças em Diferenças (DD) e comparando o resultado de antes
e depois do tratamento. O método DD consiste na comparação da diferença dos
resultados (Y) do grupo de tratamento e controle ao longo do tempo (diferença no
tempo). Será considerado como o resultado antes da adoção do programa e o
resultado depois do programa. Neste caso o DD identifica o efeito da intervenção
sobre o resultado de interesse Y, que pode ser assim escrito:
(8)
O status tratamento de um servidor i será dado por meio de uma variável
binária D que assume o valor 1 quando participa do programa e 0 se não participa.
O valor da variável de interesse para o indivíduo i será caso ele seja submetido
ao tratamento e caso contrário. O efeito do tratamento para o indivíduo i ( ) é
dado por . No entanto o contrafactual de um indivíduo não tratado
não é observável, dado que o mesmo indivíduo não tem como
estar no grupo de tratamento e controle simultaneamente.
Para que seja possível calcular o estimador de DD é necessário admitir a
hipótese de tendência comum que é dada por:
.
14
Neste caso o impacto médio é dado por:
(10)
Desta forma o DD pode ser escrito como a diferença do ATT (average
treatment effect on treated) antes de depois da adoção do programa por:
(11)
ou
(12)
Assim o estimador DD poderá ser calculado pelo método de Mínimos
Quadrados Ordinários (MQO) a partir do seguinte modelo:
(13)
Onde:
, se recebeu o tratamento e 0 caso contrário;
, depois do tratamento e 0 se antes;
Ajustando o modelo ao contexto do presente trabalho, o desempenho do
indivíduo i no estado s e no período t pode ser apresentado da seguinte forma:
15
Onde:
, se é diretor, professor ou aluno de uma escola estadual
paulista (ou seja, se recebeu tratamento) e 0 caso contrário;
, se é referente a 2009 ou a 2011 (depois do programa) e 0 se é
referente a 2007 (antes do programa).
O é estimado pela interação entre o indivíduo i (diretor, professor ou
aluno) de uma escola estadual e o ano, representando o impacto sobre o
desempenho dos tratados. É a variável de interesse;
é o vetor de covariáveis
é o resíduo da regressão
6 DADOS
Os bônus pagos aos servidores paulistas estão associados ao
desempenho no Saresp, conforme detalhado anteriormente neste trabalho, porém,
esta avaliação é restrita ao Estado de São Paulo, impedindo com isto que possam
utilizar outros Estados como contrafactual. Esta carência pode ser suprida pelo
Sistema de Avaliação da Educação Básica – Saeb/Prova Brasil, que teve aplicação
antes e depois da implantação do programa paulista.
O Saeb/Prova Brasil é uma avaliação externa em larga escala aplicada de
forma censitária, a cada dois anos, pelo Instituto Nacional de Estudos e Pesquisas
Educacionais Anísio Teixeira – INEP.
A metodologia do Saeb/Prova Brasil baseia-se na aplicação de testes
padronizados de Língua Portuguesa e Matemática e Questionários
Socioeconômicos a estudantes de todas as turmas de 4ª e 8ª séries do ensino
fundamental regular (em regime de 8 anos) e de 5º e 9º anos (em regime de 9 anos)
de escolas públicas, desde que possuíssem pelo menos 20 alunos nas séries e anos
avaliados. Além dos estudantes, diretores e professores também respondem a
Questionários Socioeconômicos.
16
No formato revisado em 2005, o Saeb realizou três edições, em 2007,
2009 e 2011. Nessa última edição foram avaliados 4.286.276 estudantes,
matriculados em 56.222 escolas distribuídas em todo território nacional.
A aplicação dos questionários visou ao levantamento não apenas de
informações sobre o desempenho dos alunos, como também sobre as condições
intra e extraescolares que incidem sobre o processo de ensino e aprendizagem.
Para isso, preencheram os questionários, além dos próprios alunos que
responderam as provas, os seus professores de língua portuguesa e matemática e
os diretores de suas unidades escolares.
Os questionários aplicados aos diretores e professores levantaram dados
sobre a caracterização sociodemográfica de seus respondentes, sua formação e
experiência profissional, as condições de trabalho em que se desenvolve o ambiente
escolar, as práticas pedagógicas e de gestão que vêm sendo adotadas. A
participação em políticas, programas e projetos governamentais também foi avaliada
pelos questionários aplicados a esses profissionais.
Os questionários dos alunos permitiram levantar dados sobre o seu perfil,
nível de renda e estrutura familiar, bem como seus hábitos de leitura, sua trajetória
escolar, as práticas escolares e cotidianas e suas expectativas quanto à
continuidade dos estudos.
A escala de desempenho em Matemática e Língua Portuguesa é medida
de 0 a 500.
Com base nas características apresentadas da Prova Brasil, considera-se
que a mesma possui dados e informações suficientes para que se possa realizar os
testes necessários para identificar os efeitos no desempenho dos diretores,
professores e alunos da rede escolar estadual paulista do PRV implantado em 2008.
7 TESTES
Para a análise do impacto do programa paulista, que foi implantado em
dezembro de 2008, serão utilizados os dados da Prova Brasil aplicada nos anos de
2007 (antes da implantação do programa) e de 2009 e 2011 (depois da implantação)
17
aos alunos da 4ª e 8ª série (em regime de 8 anos) e de 5º e 9º anos (em regime de 9
anos) de escolas públicas, equivalente ao final de cada ciclo do ensino fundamental.
Serão também utilizados os dados dos questionários aplicados aos diretores e
professores, bem como o aplicado aos alunos de ambas as séries. Os questionários
são distintos para cada grupo avaliado.
Será testado o desempenho dos diretores de escola, professores e alunos
antes e depois do programa de bonificação da Secretaria de Educação do Estado de
São Paulo.
O desempenho do diretor será analisado pela adoção de práticas
gerenciais que podem beneficiar tanto o desempenho do professor quanto do aluno.
O desempenho do professor será avaliado pelo emprego de um conjunto de práticas
pedagógicas que podem beneficiar o aprendizado do aluno, enquanto o
desempenho dos alunos será analisado tendo como variável de interesse a nota em
português e matemática nas respectivas séries.
Os questionários aplicados ao diretor da escola e professor serão
utilizados para identificar práticas pedagógicas/gerenciais. O mesmo também será
feito com os alunos das respectivas séries para identificar características
socioeconômicas e práticas de estudo.
Desta forma, será possível avaliar o efeito do programa sobre o diretor da
escola, professor e aluno, controlando as variáveis observáveis que podem afetar o
desempenho destes grupos.
A análise do diretor será feita de forma independente, porém no teste do
professor será controlado o efeito do diretor e no teste do aluno será controlado o
efeito do diretor e professor.
7.1 Testes do efeito do programa sobre o desempenho do diretor
O desempenho do diretor será mensurado por um algoritmo construído
com base no questionário que lhe foi aplicado, utilizando questões que meçam as
práticas gerenciais direcionadas para melhora pedagógica empregadas na escola.
Para compor o algoritmo de atividades do diretor foram selecionadas as
seguintes questões relacionadas às práticas gerenciais:
18
Questão 22 – Se promoveu alguma atividade de formação continuada
na escola – Resposta A=Sim ou B=Não, transformada em: A = 2; B = 1;
Questão 24 – Neste ano, quantas vezes o conselho de escola se
reuniu? Respostas de A a E, transformada em: A = 3; B = 4; C = 5; D =
2; E = 1;
Questão 29 – Neste ano, quantas vezes se reuniram os conselhos de
classe? Respostas de A a E, transformada em: A = 3; B = 4; C = 5; D =
2; E = 1;
Questão 30 – Se há projeto pedagógico da escola, como foi elaborado
e por quem – Respostas de A a H, transformada em: A = 2; Respostas
B,C,D,E,F= 3; Respostas G,H=1.
Para as questões 24 e 29 os valores imputados obedeceram a ordem de
relevância dentro do contexto pedagógico da escola, quanto mais vezes o evento
acontece, melhor.
Na questão 30 foi adotado maior valor (3) para as resposta que indicam
ser o projeto pedagógico elaborado pelo diretor e professores, tanto com
participação recíproca ou não. O valor intermediário (2) foi adotado para a alternativa
que indica ser o projeto pedagógico da escola o mesmo que foi encaminhado pela
Secretaria de Educação. Considera-se que o projeto discutido internamente tenha
mais aderência a realidade da escola do que os modelos pré-fabricados em
gabinetes. Por fim, adotou-se o menor valor (1) para as respostas que denotam
desconhecimento do diretor sobre como foi elaborado o projeto pedagógico ou se
ele não existe.
Na análise das questões notou-se que há predominância de respostas na
alternativa que indica que a maioria dos diretores adotam boas práticas gerenciais e
pedagógicas, mas ainda distante do ponto ideal.
O algoritmo será a variável dependente, sendo obtido pelo somatório das
respostas das quatro questões apresentadas. A estatística descritiva se apresenta
da seguinte forma:
Variável Observações Média Desvio Padrão Mínimo Máximo
Algoritmo 14.719 13,5431 1,9446 4 15
19
Variável Observações Média Desvio Padrão Mínimo Máximo
Diretor
Definido a composição da variável dependente (algoritmo), que avalia o
desempenho do diretor, o próximo passo é definir o estimador Diferenças em
Diferenças (DD). O mesmo será calculado pelo método dos Mínimos Quadrados
Ordinários (MQO) a partir da equação (14) apresentada na seção da metodologia
deste trabalho.
A análise comparativa dos dados da Prova Brasil dos diretores paulistas e
dos demais estados indicam que os paulistas possuem mais idade que dos demais
estados participantes da pesquisa, são mais graduados, porém menos pós-
graduados. Tem participado com maior frequência das atividades de formação
continuada e tem salário é superior. Mesmo com salário superior, os diretores
paulistas exercem outra atividade que contribui com a renda pessoal com maior
frequência. Os professores ligados à escola do diretor possuem proporção menor de
vínculo estável com a escola. Também se pode notar que os paulistas têm maior
experiência na função.
A diferença mais significativa dentre as covariáveis está nas atividades de
apoio ou reforço de aprendizagem para os alunos. Enquanto apenas 65,6% dos
diretores dos demais estados desenvolvem algum programa para isto, 97,5% dos
paulistas o fazem.
De modo geral, os dados apresentados demonstram que diretores
paulistas possuem características que melhor favorecem a promoção de ensino de
qualidade.
7.2 Resultados nos diretores
A variável de interesse é o resultado da interação de Ano com o Estado.
O coeficiente desta variável indica o efeito nos indivíduos tratados, ou seja, diretor
participante do programa de remuneração variável das escolas estaduais paulista.
Dado a quantidade de variáveis de controle, a tabela a seguir indica
apenas se foi controlada neste experimento.
20
Tabela 7.2.1 – Variáveis controladas dos diretores
Variáveis Controladas
Sexo
Idade
Cor
Ensino Superior
Pós-graduação
Atividade Formação Continuada
Salário
Renda Familiar
Salário/Renda Familiar
Exerce outra atividade que contribui para renda pessoal
Tempo como diretor
Tempo como diretor na escola
Carga horária na escola
Salário/ Carga horária
% professores com vínculo estável na escola
Desenvolve programa regular de apoio de aprendizagem
Participação na escolha do livro didático
21
Tabela 7.2.2 - Coeficientes estimados - Diretores 2009 e 2011
Variáveis 2009 2011
Ano*Estado 0.038* -0.213**
(0.055) (0.053)
Ano 0.189** -0.415**
(0.035) (0.041)
Estado 0.681** 0.720**
(0.039) (0.037)
Constante 10.033** 8.995**
(0.359) (0.318)
No Observações 21.238 20.744
R2 0.1609 0.1627
(1) Erro padrão entre parênteses (2) ***p<0,01; **p<0,05; *p<0,1 Fonte: elaboração do autor
O resultado apresentado indica efeito de 0,038 (significante ao nível de
10%) no desempenho do diretor de escola estadual paulista em 2009, enquanto em
2011 o efeito foi negativo em -0,213 pontos (0,053 desvio padrão). Demonstra
também que houve declínio no desempenho em 2011
7.3 Testes do efeito do programa sobre o desempenho do professor
Dado que o professor não possui avaliação específica, para identificar seu
desempenho, propõe-se também a construção de algoritmos baseados no
questionário aplicado utilizando questões que avaliem a dedicação nos aspectos
pedagógicos e no conteúdo ministrado pelo docente no ensino de português e
matemática, na 4ª e na 8ª série. Desta forma serão construídos quatro algoritmos
dos professores: português 4ª série, matemática 4ª série, português 8ª série e
matemática 8ª série.
A criação de algoritmos distintos se justifica porque os professores da 4ª e
da 8ª série, não importando se de português ou matemática, são, quase sempre,
pessoas distintas. Esta diferenciação é menos intensa na 4ª série, na qual é mais
22
comum o mesmo professor ministrar as duas disciplinas, porém a base de dados
comprova que há diferenças.
As informações podem ser extraídas do questionário do professor. No que
se refere às técnicas pedagógicas, foram identificados dois grupos de questões,
sendo um relacionado com o ensino de português, com nove questões, e outro com
a matemática, com dez questões. A tabela seguinte apresenta as questões, sendo
que as respostas poderiam ser:
(A) Semanalmente
(B) Algumas vezes por mês
(C) Uma vez por mês
(D) Uma vez por bimestre
(E) Nunca
a) Sobre a prova de português (questões extraídas do questionário do professor):
AS ATIVIDADES (DE LÍNGUA PORTUGUESA) QUE VOCÊ REALIZA COM OS
ALUNOS DA(S) SÉRIE(S) AVALIADA(S) TÊM POSSIBILITADO AOS ALUNOS
(Marque apenas UMA opção em cada linha.)
Metodologia de ensino em português
24. copiar textos extensos do livro didático ou do quadro de giz (quadro-negro ou lousa).
25. conversar sobre textos de jornais e revistas.
26. fazer exercícios sobre gramática relacionados com textos de jornais ou revistas.
27. ler, discutir com colegas e escrever textos relacionados com o desenvolvimento de projeto temático.
28. ler contos, crônicas, poesias ou romances.
29. conversar sobre contos, crônicas, poesias ou romances.
30. usar contos, crônicas, poesias ou romances para exercitar aspectos da gramática.
31. fixar os nomes de conceitos gramaticais e linguísticos.
32. discutir um texto, explorando as diferenças entre fatos e opiniões.
Na análise das respostas notou-se que há predominância da alternativa
A, que é a tendência esperada, indicada por aproximadamente 50% dos
professores. Mesmo assim, a distribuição demonstra que há condições de
mobilidade dos professores nas próximas avaliações em busca de uma situação
ideal, que seria a concentração de 100% na alternativa A. Desta forma, a
23
composição dos algoritmos baseados nestas questões indica ser adequada para
avaliar o desempenho do professor de português, tanto da 4ª quanto da 8ª série.
b) Sobre a prova de matemática (questões extraídas do questionário do professor):
AS ATIVIDADES (DE MATEMÁTICA) QUE VOCÊ REALIZA COM OS ALUNOS
DA(S) SÉRIE(S) AVALIADA(S) TÊM POSSIBILITADO AOS ALUNOS (Marque
apenas UMA opção em cada linha.)
Metodologia de ensino em matemática
28. fazer exercícios para automatizar procedimentos.
29. lidar com problemas que exigem raciocínios diferentes e mais complexos que a maioria dos exemplos usuais.
30. falar sobre suas soluções, discutindo os caminhos usados para encontrá-las.
31. gravar as regras que permitem obter as respostas certas dos cálculos e problemas.
32. lidar com temas que aparecem em jornais e/ou revistas, discutindo a relação dos temas com a Matemática.
33. interpretar resultados numéricos obtidos para dar uma resposta adequada ao problema.
34. lidar com situações que lhes sejam familiares e que apresentem temas do interesse dos alunos.
35. experimentar diferentes modos de resolver um problema ou de efetuar um cálculo.
36. aprimorar a precisão e a velocidade de execução de cálculos.
37. experimentar diferentes ações (coletar informações recortar, analisar, explorar, discutir, manipular etc.) para resolver problemas.
Novamente se notou a predominância das respostas na alternativa A,
indicada por aproximadamente 60% dos professores. Seguindo o mesmo
entendimento das questões de português, a distribuição das respostas demonstra
que condições de mobilidade do professores nas próximas avaliações em busca de
uma situação ideal, que seria a concentração de 100% na alternativa A. Desta
forma, a composição dos algoritmos baseados nestas questões indica ser adequada
para avaliar o desempenho do professor de matemática, tanto da 4ª quanto da 8ª
série.
Cada alternativa de resposta em ambas tabelas varia de A a E recebeu
arbitrariamente valor numérico entre 1 e 5. A imputação dos valores obedeceu à
frequência com que cada atividade é empregada, que varia de Semanalmente até
24
Nunca. Ao primeiro foi dado valor 5 e ao último valor 1, distribuindo harmonicamente
os valores intermediários nas demais alternativas. Com este constructo premiam-se
com maior valor as atividades pedagógicas adotadas com maior frequência.
Desta forma, as questões de 24 a 43 obedeceram a seguinte
transformação: A = 5; B = 4; C = 3; D = 2; E = 1
No que se refere ao conteúdo ministrado, a questão 55 do questionário de
2007 será utilizada como componente do algoritmo da variável de interesse e se
apresenta da seguinte forma:
Conteúdo ministrado em português ou matemática
55. quanto dos conteúdos previstos você conseguiu desenvolver com os alunos da(s) turma(s) avaliada(s), neste ano?
Menos de
40%.
(A)
Entre
40% e
60%.
(B)
Entre
60% e
80%.
(C)
Mais de
80%.
(D)
Para esta questão, que não se refere à técnica pedagógica, mas sim ao
quanto percentualmente do conteúdo pedagógico foi dado em sala, teve-se que
readaptar a escala de ordem decrescente para a crescente, variando de Menos de
40% até Mais de 80%, nesta ordem, considerando que quanto mais conteúdo foi
repassado, melhor para o aluno. A transformação se apresenta assim: A = 1; B = 2;
C = 3; D = 4
Os algoritmos elaborados com base no exposto anteriormente serão a
média aritmética por escola do somatório das respostas dos professores nos quatro
segmentos apresentados; português 4ª e 8ª série e matemática 4ª e 8ª série. A
média agrupará o resultado dos professores por escola, sendo esta a unidade
utilizada nesta pesquisa, mantendo-se coerente com o Índice de Desenvolvimento
da Educação do Estado de São Paulo (IDESP) apurado por escola, que é utilizado
para pagamento do PRV paulista.
Os algoritmos serão as variáveis dependentes de cada uma das quatro
classificações de professores. A estatística descritiva se apresenta da seguinte
forma:
25
Algoritmo Observações Média Desvio Padrão
Mínimo Máximo
Professor 4ª série Português
23.790 40,8892 4,2705 11 49
Professor 8ª série Português
29.000 37,8987 5,6640 10 49
Professor 4ª série Matemática
24.046 48,1038 4,2138 12 54
Professor 8ª série Matemática
29.569 46,3417 5,2996 11 54
Dado que a maioria dos professores respondeu a alternativa A que indica
como sendo a melhor prática pedagógica pelo conceito adotado neste trabalho e
que tem o maior peso entre elas, os algoritmos dentro ou próximo do quartil mais
elevado, conforme pode ser observado nos histogramas seguintes:
26
Este mesmo procedimento foi realizado com os dados de 2009 e 2011
gerando estatísticas semelhantes.
A análise comparativa dos dados da Prova Brasil do perfil dos professores
paulistas com os professores dos demais estados indica que os paulistas são mais
graduados, porém menos pós-graduados que dos demais estados participantes da
pesquisa e tem salário superior. Também são menos estáveis nas escolas e
trabalham menos horas na sua escola, porém mais horas por semana, distribuídas
entre outra escola e outra atividade diferente de professor. As diferenças notadas
não são suficientes para demonstrar que há vantagens expressivas entre o perfil do
professor paulista e os demais estados.
7.4 Resultados dos professores
A variável dependente são os algoritmos dos professores das séries e
disciplinas avaliadas, enquanto a variável de interesse será o resultado da interação
de Ano com o Estado. Esta última busca identificar se houve efeito no professor de
escola paulista, comparando-o com os professores das escolas dos demais Estados
que não adotaram PRV, tanto no ano de 2009 quanto em 2011 (após a adoção do
PRV em 2007). O coeficiente desta variável indica o efeito nos indivíduos tratados,
ou seja, da escola do professor participante do programa de remuneração variável
das escolas estaduais paulista.
Dado a quantidade de variáveis de controle, a tabela a seguir indica
apenas se foi controlada neste experimento.
27
Tabela 7.4.1 – Variáveis controladas dos professores
Variáveis Controladas
Sexo
Idade
Cor
Ensino Superior
Pós-graduação
Atividade Formação Continuada
Salário nesta escola
Exerce outra atividade que contribui para renda
pessoal
Salário nesta escola / Salário Bruto como professor
Salário Bruto como professor
Tempo como professor
Tempo como professor na mesma escola
Tempo que ministra aula para a séria avaliada
Carga horária na escola
Salário nesta escola / Carga horária na escola
Quantidade escolas em que trabalha
Quantidade horas-aula dada por semana
28
Tabela 7.4.2 - Coeficientes estimados - Professores 2009 e 2011
Variável
dependente:
Desempenho do
Professor
Português 4a
Série
Matemática 4a
Série
Português 8a
Série
Matemática 8a
Série
2009 2011 2009 2011 2009 2011 2009 2011
Ano*Estado 0.748** 0.351** 0.526** 0.356** -1.641** -0.644** -0.993** -1.097**
(0.184) (0.188) (0.189) (0.180) (0.290) (0.214) (0.260) (0.182)
Ano 1.710** 1.941** 0.324** 1.245** -3.486** 0.188** -2.462** 1.615**
(0.121) (0.137) (0.124) (0.131) (0.166) (0.138) (0.152) (0.119)
Estado 0.425** 0.305** -0.412** -0.482** 2.059** 1.462** 1.360** 1.220**
(0.139) (0.135) (0.141) (0.130) (0.223) (0.164) (0.196) (0.144)
Desempenho do
Diretor 0.079** 0.119** 0.114** 0.130** -0.011* 0.088** 0.117** 0.064**
(0.022) (0.022) (0.023) (0.022) (0.039) (0.029) (0.035) (0.025)
Constante 41.103** 39.534** 45.377** 44.946** 35.428** 35.546** 42.168** 44.217**
(0.625) (0.592) (0.641) (0.575) (1.014) (0.741) (0.881) (0.616)
No Observações 9.974 9.979 9.867 10.047 15.818 16.364 15.893 18.581
R2 0.0879 0.0725 0.0279 0.0462 0.1079 0.0515 0.0501 0.0290
(1) Erro padrão entre parênteses (2) ***p<0,01; **p<0,05; *p<0,1 Fonte: elaboração do autor
Nota-se com base na tabela anterior que os coeficientes da variável de
interesse (Ano*Estado) são todos estatisticamente significativos a 95% de confiança.
O efeito é positivo para 4ª série tanto de português quanto em matemática. Porém,
para a 8ª série a situação se inverte, com coeficientes negativos para ambas as
disciplinas. Também é possível notar que o efeito é decrescente de 2009 para 2011
para todas as análises, exceto para Português 8ª série, que se torna menos
negativo.
O efeito do diretor também é estatisticamente significante, exceto para
português 8ª série em 2009, porém, o efeito é discreto em todas as análises.
29
7.5 Testes do efeito do programa sobre o desempenho do aluno
A avaliação do efeito do programa sobre o aluno não é propriamente o
objeto de interesse direto desta pesquisa, porém como a função do diretor e do
professor decorre da existência do aluno e o bom desempenho dos primeiros poderá
refletir no desempenho do aluno, torna-se necessário avaliar o efeito finalístico do
desempenho dos diretores e professores na nota do aluno. Para avaliar o
desempenho do aluno da rede estadual paulista a variável de interesse será a
proficiência em Português e Matemática dos alunos da 4ª e 8ª série apurada pela
Prova Brasil nos anos de 2007, 2009 e 2011.
Será avaliado o efeito em português e em matemática separadamente
nas respectivas séries.
Na análise comparativa do perfil dos alunos paulistas com os demais
estados, as variações mais significativas são notadas na idade escolar adequada
nas respectivas séries, nas quais os alunos paulista estão mais próximos, enquanto
o Brasil se mostra mais tardio. Também pode ser notado que os paulistas moram em
casas com menos quartos, entraram na escola na pré-escola com maior frequência.
Uma diferença significativa está na questão da reprovação em que os paulistas tem
aproximadamente 20 pontos percentuais a menos do que os alunos do Brasil.
7.6 Resultados dos alunos
A variável dependente será a nota do aluno das séries e disciplina
avaliada de acordo com a escala SAEB (0 a 500), enquanto a variável de interesse
será o resultado da interação de Ano com o Estado. Esta última busca identificar se
houve efeito no aluno de escola paulista, comparando-o com os alunos das escolas
dos demais Estados que não adotaram PRV, tanto no ano de 2009 quanto em 2011
(após a adoção do PRV em 2007). O coeficiente desta variável indica o efeito nos
indivíduos tratados, ou seja, aluno da escola do diretor e professor participante do
programa de remuneração variável das escolas estaduais paulista.
Será apurado o efeito no aluno controlando o desempenho do diretor e
professor. Com isto será obtido o efeito no aluno sem que o desempenho do seu
superior influencie se resultado.
30
Dado a quantidade de variáveis de controle, a tabela a seguir indica
apenas se foi controlada neste experimento.
Tabela 7.6.1 – Variáveis controladas dos alunos
Variáveis Controladas
Sexo
Cor
Idade
Tem computador em casa
Número de banheiros em casa
Número de quartos em casa
Número de pessoas com quem mora
Mora com a mãe
Escolaridade da mãe
Escolaridade do pai
Pais vão à reunião de pais
Pais incentivam a estudar
Pais incentivam a fazer o dever de casa
Pais incentivam a ler
Pais incentivam a não faltar à escola
Trabalho fora
Série que entrou na escola
Se já foi reprovado
31
Tabela 7.6.2 - Coeficientes estimados - Aluno 2009 e 2011
Variável
dependente:
Desempenho do
Professor
Português 4a Série
Matemática 4a
Série Português 8a Série Matemática 8a Série
2009 2011 2009 2011 2009 2011 2009 2011
Ano*Estado 3.413** -0.367* 8.341** 3.816** -1.453** 0.727** -0.173* -1.008**
(0.218) (0.219) (0.230) (0.229) (0.152) (0.149) (0.148) (0.146)
Ano 6.652** 13.234** 9.197** 13.916** 5.529** 14.550** -4.958** 10.200**
(0.153) (0.158) (0.159) (0.162) (0.123) (0.118) (0.119) (0.116)
Estado -2.960** -3.032** -2.587** -2.638** -0.855** -1.034** -3.587** -3.769**
(0.152) (0.152) (0.160) (0.158) (0.107) (0.106) (0.104) (0.104)
Desempenho do
Diretor 1.475** 1.341** 1.755** 1.599** 1.266** 0.875** 1.632** 1.207**
(0.032) (0.032) (0.034) (0.033) (0.025) (0.024) (0.024) (0.024)
Desempenho do
Professor 0.181** 0.082** 0.295** 0.268** -0.009* 0.011* 0.080** 0.202**
(0.018) (0.017) (0.018) (0.019) (0.007) (0.008) (0.007) (0.008)
Constante 113.88** 109.25** 117.04** 106.93** 210.53** 212.29** 216.58** 217.77**
(1.265) (1.288) (1.428) (1.455) (0.830) (0.860) (0.837) (0.884)
No Observações 516.255 524.748 514.473 525.754 1.239.824 1.257.018 1.237.631 1.270.426
R2 0.1817 0.2010 0.1736 0.1887 0.1551 0.1634 0.1318 0.1379
(1) Erro padrão entre parênteses (2) ***p<0,01; **p<0,05; *p<0,1 Fonte: elaboração do autor
Nota-se com base na tabela anterior que os coeficientes da variável de
interesse (Ano*Estado) são estatisticamente significativos a 95% de confiança,
exceto para alunos de português da 4ª série em 2011 e de matemática 8ª série em
2009. O efeito maior pode ser notado nos alunos de 4ª série em 2009, porém esse
efeito se mostra declinante para 2011. A única série avaliada com melhora de
desempenho a 8ª série em português. Todas as demais reduzem seu desempenho
em 2011.
32
O efeito do diretor também é estatisticamente significante a 95%, porém,
o efeito é discreto em todas as análises também se mostra declinante de 2009 para
2011.
O efeito do professor se mostra significante, exceto para os alunos de
português da 8ª série, porém o mesmo é modesto em influenciar o desempenho
dos alunos.
8 CONCLUSÕES
Dentro do contexto dos programas de remuneração variável, este trabalho
se propôs a investigar se o programa de bônus adotado na Secretaria de Educação
do Estado de São Paulo em 2008 tiveram impactos sobre o desempenho dos
diretores das escolas e professores, bem como sobre as notas dos alunos em
matemática e português.
Utilizando-se do método de Diferenças em Diferenças (DD) para eliminar
os efeitos fixos não observáveis, foi avaliado o desempenho de 2009 e 2011, após a
implantação do programa em 2008, com o desempenho de 2007, antes do
programa.
Os resultados demonstraram alinhados com a bibliografia consultada.
Para os diretores foram encontrados resultados não significantes a 95% em 2009 e
negativos em 2011 em -0,213 pontos. Nos professores os resultados em 2009 e
2011 foram positivos para português e matemática da 4ª série e negativos para 8ª
série.
Os resultados dos alunos apresentaram em linha com os professores,
sendo o melhor desempenho notado para alunos da 4ª série de matemática em
2009 com 8,341 pontos.
Exceto para o professor e aluno de português da 8ª série, todos os
demais demostraram piora no desempenho de 2009 para 2011.
33
9 REFERÊNCIAS
ANGRIST, Joshua D; PISCHKE, Jörn-Steffen. Mostly Harmless Econometrics, An Empiricist’s Companion. Princeton University Press, 2009. ASSIS, Luis Otávio M; NETO, Mario T. R. Principais Características do Sistema de Remuneração Variável no Choque de Gestão em Minas Gerais: O acordo de resultados e o prêmio por produtividade. Gestão & Regionalidade, v. 26, n. 76, p. 75-90, jan-abr, 2010, ______. Remuneração Variável no Setor Público: Investigação das Causas do Fracasso e Implicações para o Estado Brasileiro. Revista Eletrônica de Gestão Organizacional, Vol. 9, No. 3 p. 585 - 614, set. / dez. 2011. ______. Efeitos Organizacionais da Implantação de Metas e Remuneração Variável por Desempenho: o caso da segurança pública em Minas Gerais. Tese de mestrado. Fundação Getulio Vargas/EAESP, 2012. BEHN, R. D. The big questions of public management. Public Administration Review, 55(4):313-24, 1995. BOYLE, Richard. Managing public sector performance. Dublin : Institute of Public Administration, 1989. BOWMAN, James S. The Success of Failure: The Paradox of Performance Pay. Review of Public Personnel Administration. 30; 70, 2010, CADSBY, C. Bram. Sorting and incentive effects of pay for performance: an experimental investigation –Academy of Management Journal. Vol. 50, No. 2, 387–405, 2007. EHRENBERG, Ronald G.; SMITH, Robert S. A moderna economia do trabalho – teoria e política pública. 5. ed. São Paulo, Makron Books, 2000, FLANNERY, Thomas. Pessoas. Desempenho e salários: as mudanças na forma de remuneração nas empresas. São Paulo: Futura, 1997. JENKINS, G. Douglas et al. Are Financial Incentives Related to Performance? A meta-empirical Review of empirical research. Journal of Applied Psychology, v. 83, n. 5, p. 777-787. 1998. HASNAIN, Zahid; MANNING, Nick; PIERSKALLA, Jan H. Performance-related Pay in the Public Sector. A Review of Theory and Evidence. World Bank, abril 2012. HOOD, Christopher. Gaming in Targetworld: Th e Targets Approach to Managing British Public Services. Public Administration Review, july/august, 2006.
34
LAZEAR, Edward P. Perfomance Pay and Produtivicty. American Economic Review, v. 90, n. 5, p. 1346-1361. 2000, MORICONI, Gabriela M. Medindo a eficácia dos professores: o uso de modelos de valor agregado para estimar o efeito do professor sobre o desempenho dos alunos. Tese de doutorado, Fundação Getulio Vargas/EAESP, 2012. MARSDEN, David. The paradox of performance related pay systems: ‘why do we keep adopting them in the face of evidence that they fail to motivate?’ in Hood, C; Margetts, H; Paradoxes of modernization: unintended consequences of public policy reforms. Oxford, UK: Oxford University Press 2010 (In Press). OECD- Organisation For Economic Co-Operation And Development. Perfomance-related pay: policies for government employees. Paris: OECD Publishing, 2005a. OSHIRO, Cláudia H. SCORZAFAVE, Luiz G. Efeitos do Pagamento de Bônus aos Professores sobre a Proficiência Escolar no Estado de São Paulo. 38º Encontro Nacional de Economia. Anais do ANPEC. Foz do Iguaçu/PR. 2011. PERRY, James L.; ENGBERS, Trent A. & JUN, So Yun. Back to the future? Performance-related pay, empirical research, and the perils of persistence. Public Administration Review, v. 69, n.1, p. 1-31, Washington, January/February, 2009. POLLITT, Christopher. Performance management in practice: a comparative study of executive agencies. Journal of Public Administration Research and Theory, Oxford, June, 2005. SCHUSTER, J. R & ZINGHEIM, P. K. The new pay: linking employee and organizational performance. New York: Lexington Books, 1995. WEIBEL, Antoinette; ROST, Katja; OSTERLOH, Margit. Pay for Perfomance in the Public Sector – Benefits an (Hidden) Costs. Journal of Public Administration Research and Theory, v. 20, p. 387-412, Oxford, may, 2009.
35
___________________________________________________________________
AUTORIA
Silvio Campos Guimarães – Doutorando em Administração Pública da Fundação Getulio Vargas. Fundação Getulio Vargas – Escola de Administração de Empresas de São Paulo.
Endereço eletrônico: [email protected] Nelson Marconi – Professor do Departamento de Economia da Fundação Getulio Vargas. Fundação Getulio Vargas – Escola de Administração de Empresas de São Paulo.
