Post on 04-Aug-2020
1
IMPACTO DAS INTERVENCcedilOtildeES DO
AGOSTO DE 2019
1
INTRODUCcedilAtildeO
O presente documento apresenta resultados de vaacuterias iniciativas e accedilotildees do Instituto Alfa e Beto ao longo de seus
14 anos de existecircncia
O Instituto Alfa e Beto possui duas linhas de atuaccedilatildeo a promoccedilatildeo do debate educacional com base em evidecircncias e
o desenvolvimento de intervenccedilotildees de comprovada eficaacutecia
O conceito de educaccedilatildeo baseada em evidecircncias comeccedila a ser progressivamente absorvido por algumas instituiccedilotildees
ndash embora ainda esteja longe de se constituir em criteacuterio para decisotildees O uso de evidecircncias cientiacuteficas relacionadas agrave
alfabetizaccedilatildeo por exemplo passou a ser assimilado pelo Ministeacuterio da Educaccedilatildeo a partir do ano de 2019 embora as
implicaccedilotildees praacuteticas ainda estejam longe de ocorrer Avanccedilos natildeo satildeo lineares tudo satildeo processos sujeitos aos vais
e vens da vida poliacutetica e social Daiacute a importacircncia do debate permanente e da anaacutelise constante dos resultados e do
impacto das intervenccedilotildees ndash mesmo as que se inspiram em soacutelidas evidecircncias
Ao longo de sua trajetoacuteria os programas do Instituto Alfa e Beto jaacute foram usados por mais de 2 milhotildees de alunos
sendo pouco mais de 12 milhotildees no programa de alfabetizaccedilatildeo do 1ordm ano e os demais em programas que vatildeo da
preacute-escola ao 5ordm ano aleacutem de programas de revisatildeo e outros que abrangem as seacuteries finais Esses programas foram
implementados em mais de 8 redes estaduais de ensino e em mais de 1000 municiacutepios ndash sendo que alguns deles
permanecem usando vaacuterios de nossos programas ao longo dos anos
Neste documento encontram-se resultados referentes a vaacuterias das intervenccedilotildees levadas a efeito pelo Instituto Os
resultados se limitam a accedilotildees que podem ser avaliadas por meio dos dados da Prova Brasil testes externos elaborados
2
pelas redes de ensino ou de experimentos cientiacuteficos controlados especialmente a avaliaccedilatildeo de intervenccedilotildees
relacionadas com a Primeira Infacircncia com o uso de software educativo e teste de novos programas A qualidade dos
dados o rigor dos controles experimentais e os resultados variam nas diferentes intervenccedilotildees
Os resultados estatildeo organizados por niacutevel ndash Educaccedilatildeo Infantil Alfabetizaccedilatildeo Seacuteries Iniciais e Outros Em cada niacutevel satildeo
apresentadas evidecircncias sobre o impacto de programas ou intervenccedilotildees especiacuteficas que satildeo brevemente descritas
Chamamos atenccedilatildeo do leitor para os seguintes aspectos
Todos os programas e iniciativas do Instituto Alfa e Beto satildeo desenvolvidos com base em evidecircncias cientiacuteficas
rigorosas sobre o que funciona em educaccedilatildeo Esse trabalho se tornou possiacutevel com a realizaccedilatildeo de uma seacuterie de
Seminaacuterios Internacionais promovidos desde antes a criaccedilatildeo do Instituto Alfa e Beto e que nos permitiram estabelecer
laccedilos acadecircmicos e contar com a contribuiccedilatildeo de dezenas de alguns dos mais ilustres estudiosos dos diferentes temas
sobre os quais trabalhamos Clique aqui para conhecer as publicaccedilotildees referentes a esses seminaacuterios e aqui para ver
o depoimento de alguns desses pesquisadores sobre o nosso trabalho
Na maioria dos casos a implementaccedilatildeo dos programas do Instituto Alfa e Beto se daacute em condiccedilotildees de implementaccedilatildeo
muito adversas Entre elas
1 A implementaccedilatildeo natildeo eacute realizada diretamente pelo Instituto Alfa e Beto e sim pelas redes de ensino com todas as
suas dificuldades e limitaccedilotildees
2 A maioria das propostas do Instituto esbarra com resistecircncias decorrentes das ideologias dominantes na educaccedilatildeo
brasileira e que geram inconsistecircncias e dissonacircncia cognitiva que interferem na implementaccedilatildeo
3 Em vaacuterios casos os programas do Instituto especialmente na aacuterea de alfabetizaccedilatildeo contam natildeo apenas com
hostilidade mas com accedilotildees simultacircneas e contraditoacuterias promovidas pelas proacuteprias escolas secretarias e tambeacutem
pelo Ministeacuterio da Educaccedilatildeo
3
Dito isso cabe ressaltar que esses resultados soacute foram possiacuteveis graccedilas agrave decisatildeo de prefeitos e secretaacuterios de
educaccedilatildeo ao esforccedilo de gestatildeo das equipes das secretarias e ao trabalho de implementaccedilatildeo de milhares de diretores
coordenadores e professores de escolas de todo o paiacutes ndash frequentemente trabalhando em condiccedilotildees adversas A cada
um deles fica registrado o nosso reconhecimento e gratidatildeo
Os dados aqui apresentados decorrem de bases de dados de acesso puacuteblico ou dados coletados diretamente pelos
pesquisadores responsaacuteveis pelos estudos Pesquisadores interessados em aprofundar essas anaacutelises ou promover
outros estudos podem entrar em contato conosco
Haacute diversas formas de avaliar o impacto de uma instituiccedilatildeo especialmente uma instituiccedilatildeo natildeo-governamental O
compromisso do Instituto Alfa e Beto eacute estimular o debate em torno das evidecircncias ndash no sentido de promover a
adoccedilatildeo de poliacuteticas e praacuteticas com resultados comprovados Por isso se julga na obrigaccedilatildeo de documentar e divulgar
os resultados de seu trabalho Este tambeacutem eacute um convite para que instituiccedilotildees congecircneres faccedilam o mesmo
Evidecircncias satildeo sempre sujeitas a debate ndash e natildeo seraacute diferente neste caso Ao examinar evidecircncias sobre o que
funciona em educaccedilatildeo eacute importante considerar natildeo apenas as evidecircncias isoladas mas padrotildees que costumam estar
associados a resultados consistentes
Cabe ao leitor avaliar as iniciativas individuais e o conjunto da obra
Joatildeo Batista Araujo e OliveiraFundador e Presidente do Instituto Alfa e Beto
4
01 Universidade do Bebecirc ndash Boa Vista Impacto da leitura interativa nas crianccedilas
Primeira Infacircncia e Educaccedilatildeo Infantil
Universidade do Bebecirc ndash Boa Vista Impacto do niacutevel de escolaridade dos pais
Impacto de um programa de capoeira sobre o desenvolvimento de funccedilotildees executivas ndash Petrolina
Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo ndash Petrolina
Impacto global do Programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto no desenvolvimento das crianccedilas do Programa Nova Semente ndash Petrolina
Alfabetizaccedilatildeo
Impacto do Programa Alfa e Beto numa comparaccedilatildeo de 3 meacutetodos de alfabetizaccedilatildeo na Rede Estadual do Rio Grande do Sul
Impacto do Programa Alfa e Beto numa comparaccedilatildeo com municiacutepios que adotaram outras metodologias no Estado do Cearaacute (Programa SpaeceAlfa)
Avaliaccedilatildeo da implementaccedilatildeo do Ilhas do Alfabeto (jogo digital) em alunos da rede municipal do Rio de Janeiro
Seacuteries Iniciais
Impacto do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) seguido do Programa de Ensino Estruturado (2ordm ano) em escolas de municiacutepios do Piauiacute
Desempenho de alunos que participaram de programas de alfabetizaccedilatildeo e 2ordm ano do Instituto Alfa e Beto em relaccedilatildeo aos alunos dos programas regulares da rede municipal do Rio de Janeiro
Desempenho comparativo de alunos que usaram programas do Instituto Alfa e Beto em uma ou mais seacuteries escolares em 31 municiacutepios de 12 estados
Desempenho comparativo de escolas que usaram programas do Instituto Alfa e Beto em pelo menos duas seacuteries escolares em 37 municiacutepios de 13 estados
Outros
Impacto da implementaccedilatildeo do jogo digital Tabuada na Fazenda em Arcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
Efeitos da implementaccedilatildeo de um programa de Fluecircncia de Leitura nas seacuteries iniciais ndash SME-RJ
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
Sobral um caso muito especial
SUMAacuteRIO
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
INTERVENCcedilAtildeO
5
01 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)
EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira
interativa
LOCALBoa Vista (RR)
DATA
Ao longo de 9 meses em 2015
PARTICIPANTES566 famiacutelias das quais 484 foram avaliadas e 475 responderam ao teste Cloze
METODOLOGIAEstudo randomizado com clusters
PRINCIPAIS RESULTADOS Diferenccedila de impacto nos pais do grupo experimental variou de 52 a 57 de um DP em variaacuteveis como estimulaccedilatildeo
cognitiva e leitura interativa
Diferenccedila no impacto sobre as crianccedilas variou de 33 a 62 de um DP em variaacuteveis como vocabulaacuterio receptivo
memoacuteria de trabalho e leitura interativa
Impacto da leitura interativa nas crianccedilas por meio do programa Universidade do Bebecirc
6
FONTE DOS DADOSWeisleder Adriana Denise SR Mazzuchelli Aline Saacute Lopez Walfrido Duarte Neto Carolyn Brockmeyer Cates Hosana Alves Gonccedilalves Rochele Paz Fonseca Joatildeo Oliveira and Alan L Mendelsohn ldquoReading aloud and child development a clus-ter-randomized trial in Brazilrdquo Pediatrics 141 no 1 (2018) e20170723
TABELA 1 TABELA 2
Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score
OutcomeControl
Mean (SD)ordfInterventionMean (SD)ordf
pb Cohenrsquosdb
BaselinecorrectedCohenrsquos db
Mean Difference(95 CI)d
ICC(Cluster)
ICC(Center)pd
Receptive vocabulary
Expressivevocabulary
Workingmemory
IQ (StandartScore)
PhonologicalShort-Term Memory
Interactive reading
Socio-emotionalcompetence
Externalizingbehavior
Attention problems
Agressiveproblems
Baseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
761 (65)
1274 (88)
346 (41)
745 (57)
432 (40)
716 (45)9076 (132)
9339 (138)
165 (19)
321 (25)
1283 (65)
1103 (52)
5679 (91)
5898 (82)
1999 (93)
1899 (99)
412 (24)
406 (27)
1588 (78)
1494 (91)
774 (67)
1476 (99)
431 (49)
869 (66)419 (39)
935 (58)9304 (139)
9889 (145)
173 (19)
342 (24)
1383 (69)
1441 (58)
5780 (93)
5903 (82)
1963 (94)
1757 (96)
402 (26)
356 (25)1561 (78)
1401 (80)
83
02
04
03
73
lt001e
09
lt001e
64
35
11
lt001e
23
95
67
11
67
04
71
21
02
22
19
20
03
42
17
39
04
09
15
61
11
01
04
15
04
19
03
12
33
15
46
33
08
62
05
18
22
13
254 (110 397)
068 (-045 182)
220 (19 341)
558 (298 817)
025 (-021 72)
298 (191 410)
-040 (-172 34)
-097 (-260 66)
-056 (-113 01)
-075 (-208 57)
001e
24
lt001e
lt001e
29
lt001e
56
24
053
27
01
04
02
0
0
0
0
0
0
0
01
04
04
0
02
01
0
0
01
0
a Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correctionf Includes only children 25 years or older for whom standard scores could be calculated
A Tabela 1 mostra o impacto no comportamento dos pais que participaram do programa Os resultados satildeo particularmente elevados e significativos nas variaacuteveis relacionadas com a estimulaccedilatildeo cognitiva dos filhos e a intensidade de leitura interativa
A Tabela 2 mostra o impacto no comportamento das crianccedilas que participaram do programa Os resultados satildeo particularmente elevados (33 a 62 de um DP) e significativos nas variaacuteveis relacionadas ao aumento do vocabulaacuterio receptivo memoacuteria de trabalho e leitura interativa
OutcomeControl
Mean (SD)ordfInterventionMean (SD)ordf
pb Cohenrsquosdb
BaselinecorrectedCohenrsquos db
Mean Difference(95 CI)d
ICC(Cluster)
ICC(Center)pd
StimQ Total
StimQ READ
StimQ PVR
StimQ PIDA
Interactivereading (ACIRI)
Physicalpunishment
Baseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
Baseline
Follow-up
Baseline
Follow-up
Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score
2076 (74)
2304 (75)
501 (39)
610 (40)
859 (30)
889 (31)
720 (23)
806 (20)
1410 (64)
1178 (52)
430 (15)
433 (15)
2104 (77)
2576 (67)
523 (41)
812 (36)
860 (29)
955 (28)
723 (25)
822 (20)
1498 (66)
1472 (55)
437 (16)
407 (15)
70
lt001e
56
lt001e
98
01
89
38
14
lt001e
61
06
03
38
05
53
00
22
01
08
14
55
05
17
43
52
29
09
57
22
277 (021 534)
184 (076 292)
067 (-020 153)
022 (-041 083)
280 (140 419)
-033 (-065 53)
03
lt001e
13
50
lt001e
04
097
02
06
06
03
0
0097
06
06
06
03
02
Abbreviations ACIRI Adult-Child Interactive Reading Inventory CI confidence interval ICC intracluster correlation coefficientPIDA involvement in developmental advance PVR parental verbal responsivity SD standart devilationa Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correction
INTERVENCcedilAtildeO
7
02 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)
EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira
interativa
LOCALBoa Vista (RR)
DATA
Ao longo de 9 meses em 2015
PARTICIPANTES566 famiacutelias das quais 279 participaram do programa As demais compuseram o grupo de controle
METODOLOGIAEstudo randomizado com clusters
PRINCIPAIS RESULTADOSO programa UBB teve impactos semelhantes para pais com alto e baixo niacutevel de escolaridade
Melhora na qualidade da interaccedilatildeo de 05 desvio-padratildeo para ambos os grupos
Melhora na memoacuteria do trabalho de 04 desvio-padratildeo para ambos os grupos
Melhora no vocabulaacuterio receptivo de 03 desvio-padratildeo para ambos os grupos
Impacto do niacutevel de escolaridade dos pais no desempenho das crianccedilas
8
FONTE DOS DADOSRCT of a Reading aloud intervention in Brazil Do impacts differ depending on parent literacy (submetido para publicaccedilatildeo)
TABELA 1
Outcomes
Parenting
Child
Interactive reading (ACIRI)Cognitive Home Environment (StimQ)StimQ READStimQ PVRStimQ PIDAExpressive vocabulary (TIN)Receptive vocabulary (Peabody)Nonverbal intelligence (SON)Working memory (TIMT)Phonological short-term memory
53
52
71
17
13
20
31
38
42
09
51
27
32
29
08
03
27
42
44
15
High literacyLow literacyaUniversidade do Bebecirc
t
a tNote plt01 plt001 Parent literacy dichotomized by median split tendency towards statistical significance (p= 007) All analyses were adjusted for childrenrsquos sex age race (dichotomized as indigenous or not indigenous) and birth order parentrsquos age marital status family income food insecurity financial hardship and parental depressive symptoms Multilevel modeling was used to account for clustering (12 sites and 22 child care centers)
Os modelos multiniacutevel mostram efeitos comparaacuteveis da UBB nos resultados dos pais e das crianccedilas independentemente do niacutevel de alfabetizaccedilatildeo e leitura dos pais
INTERVENCcedilAtildeO
9
03 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOCapoeira
EM QUE CONSISTEImplementaccedilatildeo de um programa de capoeira para crianccedilas de 4 a 5 anos de idade do Programa Nova Semente
LOCALPetrolina (PE)
DATA
Ao longo do 2ordm semestre de 2016
PARTICIPANTESCerca de 1800 crianccedilas Houve dois grupos com intervenccedilatildeo aleacutem do grupo de controle um com aulas tradicionais de
capoeira outro com aulas de capoeira e atividades adicionais voltadas ao desenvolvimento de funccedilotildees executivas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOSExistem evidecircncias de melhora na funccedilatildeo executiva das crianccedilas
Aumento na ordem de 012 desvio-padratildeo em atenccedilatildeo e controle inibitoacuterio para os dois grupos com intervenccedilatildeo
Melhora de 015 desvio-padratildeo em memoacuteria do trabalho para crianccedilas do grupo com ecircnfase em controle executivo
Efeito maior para crianccedilas beneficiaacuterias do Bolsa-famiacutelia e filhos(as) de matildees menos escolarizadas
Impacto da capoeira no desenvolvimento de funccedilotildees de controle executivo
10
FONTE DOS DADOSHirata (2019) Impact of Capoeira on Childrenrsquos Executive Functions (em elaboraccedilatildeo)
O Graacutefico 1 mostra o efeito do programa (representado pelo ciacuterculo cheio) em atenccedilatildeocontrole inibitoacuterio e memoacuteria do trabalho para diferentes pontos (percentis) da distribuiccedilatildeo de desenvolvimento naquelas habilidades O intervalo de confianccedila de 95 eacute representado pelas hastes acima e abaixo do ciacuterculo cheio
Observa-se que o efeito (medido em desvios-padratildeo) sobre atenccedilatildeo (figura agrave esquerda) eacute maior para alunos que possuem maior niacutevel de atenccedilatildeo Jaacute o efeito para memoacuteria do trabalho eacute praticamente constante Os dois casos referem-se ao grupo exposto a aulas de capoeira com ecircnfase em controle executivo
O Graacutefico 2 mostra que o efeito do programa foi mais relevante para crianccedilas cujas matildees tinham baixa escolaridade (natildeo completaram o ensino meacutedio)
Tanto para o grupo exposto ao curso tradicional de capoeira quanto ao curso com ecircnfase em controle executivo (Capoeira + EF) o efeito sobre atenccedilatildeo e controle inibitoacuterio foi de 016 desvio-padratildeo ambos significantes a 10 Para crianccedilas cujas matildees completaram o ensino meacutedio ainda que os efeitos sejam positivos estatisticamente natildeo se pode afirmar que satildeo diferentes de zero
GRAacuteFICO 1 GRAacuteFICO 2
I I10 25 50 75 90
-4
-2
0
2
4
6
Impa
ct
Quantiles
I I I I II II I
ATTENTION
Quantiles10 25 50 75 90
-4
-2
0
2
4
6
I I II I II
WORKINGMEMORY
I I Impa
ct
Non-significant
Low schooling High Schooling
018
016
014
012
01
008
006
004
002
0
Capoeira Capoeira + EF
INTERVENCcedilAtildeO
11
04NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma Nova Semente
EM QUE CONSISTEIntervenccedilatildeo usando a metodologia My Teaching Partner com educadores do Programa Nova Semente
LOCALPetrolina (PE)
DATA
Ao longo de 2014
PARTICIPANTES2000 crianccedilas das quais 800 tiveram educadoras que passaram pelo treinamento
METODOLOGIAPareamento por escore de propensatildeo apoacutes a intervenccedilatildeo e regressatildeo com descontinuidade baseada no timing de
implementaccedilatildeo da intervenccedilatildeo
PRINCIPAIS RESULTADOS Sobre as crianccedilas Desempenho superior sobre o raciociacutenio na ordem de 02 desvio-padratildeo para crianccedilas do
maternal e da preacute-escola
Sobre as educadoras Melhoria da qualidade das interaccedilotildees com aumento de mais de 1 desvio-padratildeo
na qualidade do feedback para educadoras tanto do maternal quanto da preacute-escola e de cerca de 09
desvio-padratildeo na modelagem da linguagem
Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo em Petrolina
12
A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos
De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente
FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente
TABELA 1 TABELA 2
B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado
A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola
Maternal Preacute-escola
Coeficiente (erro-padratildeo)
016(007)
020(008)
lt 001 lt 005 lt 01
Clima Positivo
Clima Negativo
Sensibilidade do Professor
Respeito pelas Perspectivas da Crianccedila
Orientaccedilatildeo comportamental
Auxiacutelio ao Aprendizado e ao Desenvolvimento
Qualidade do Feedback
Modelagem da Linguagem
008(009)
022(006)
-010(008)
-003(008)
072(011)
018(010)
111(010)
081(010)
112(010)
-048(008)
153(008)
149(008)
103(006)
100(007)
1071(009)
069(010)
Maternal
Favoraacuteveis
Desfavoraacuteveis
Natildeo significativos
Preacute
INTERVENCcedilAtildeO
13
05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente
EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova
Semente (Petrolina PE)
LOCALPetrolina (PE)
DATA
2016
PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova
Semente A outra metade natildeo frequentava creche ou preacute-escola
METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo
agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo
quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1
PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo
em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola
Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas
14
FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary
A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)
TABELA 1
ECE
ObservationsPseudo R-squared
Robust standard errors in parentheses 1 significant 5 significant
(1)10
(2)25
(3)Median
(4)75
(5)90th th th th
0465(0074)
166
0229
0428(0128)
166
0253
0369(0176)
166
0222
0403(0169)
166
0247
0434(0279)
166
0285
INTERVENCcedilAtildeO
15
06 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees
LOCALRede puacuteblica estadual do Rio Grande do Sul
DATA
2006 e 2007
PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul
METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como
controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional
PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo
de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)
Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul
16
O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado
Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1
Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores
175
180
190
200
201120092007Ano
185
195
Not
a m
eacutedia
de
Liacuteng
ua P
ortu
gues
a
FocircnicoConstrutivistaControle II
GestatildeoControle I
GRAacuteFICO 1
Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p
InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X
Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X
lt 001 lt 005 lt 01
(1) (2) (3) (4) (5) (6)
A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo
Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa
TABELA 1
FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357
INTERVENCcedilAtildeO
17
07 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTE
Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo
LOCALRedes municipais do Estado do Cearaacute
DATA
2008 a 2012
PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias
No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)
METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute
PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados
consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos
Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste
Programa SPAECEAlfa do Estado do Cearaacute
18
FONTE DOS DADOSDados puacuteblicos do SPAECEALFA
2008 2009 2010 2011 2012
1278
1266
1284
-18
188
1338
1446
132
126
1679
1623
1666
1618
56
2034
1739
1803
1776
21
2148
1647
1832
1621
211
1976
Total
Alfa e Beto
Demais
Diferenccedila
Sobral
Municiacutepios Suficiente Desejaacutevel
123456789
10111213
2404
794
796
1493
154
104
1144
693
2058
1153
1149
704
2313
267
1340
190
187
81
13
143
239
218
200
291
16
248
5784
8307
8756
6555
9576
9805
7548
8766
5252
6714
6932
8568
5646
506
8230
698
621
814
972
760
565
533
615
529
961
645
2011 2012 2011 2012
O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral
O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis
TABELA 1 TABELA 2
INTERVENCcedilAtildeO
19
08 NIacuteVELEducaccedilatildeo Infantil
PROGRAMA AVALIADOIlhas do Alfabeto
EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto
LOCALRio de Janeiro (RJ)
DATA
Ao longo do 2ordm semestre de 2018
PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os
demais seguiram as atividades regulares programadas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano
Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)
Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo
Implementaccedilatildeo do jogo digital Ilhas do Alfabeto
20
FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)
Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano
O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos
Efeito sobre teste de alfabetizaccedilatildeo
O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos
GRAacuteFICO 1 GRAacuteFICO 2
12
1
4
1
6
18
20
Antes Depois
Esco
re
Controle Tratado
10
20
30
40
Antes Depois
Esco
re
Controle Tratado
INTERVENCcedilAtildeO
21
09 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto
LOCALMuniciacutepios do estado do Piauiacute
DATA
2011 a 2012
PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram
METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com
cluster para municiacutepios
PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo
equivalendo a mais de meio ano letivo de ganho
Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)
22
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa
Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015
2015
2013
Escolas
Observaccedilotildees
R-2
804(220)
-003(164)
832(251)
118(136)
459
1377
017
459
1377
018
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
TABELA 1
INTERVENCcedilAtildeO
23
10 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de
programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Dados coletados em 2013
PARTICIPANTESGrupos auto-selecionados
METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos
PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais
Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais
Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)
24
0 20 40 60 80 100
010
2030
40
Alunos IAB
0 20 40 60 80 100
010
2030
40
Outros Alunos
notas com conceitos B ou MB
GRAacuteFICO 1
Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)
IAB(1)
Outros(2)
IAB(3)
Outros(4)
TABELA 1
As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas
O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas
Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769
As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
1
INTRODUCcedilAtildeO
O presente documento apresenta resultados de vaacuterias iniciativas e accedilotildees do Instituto Alfa e Beto ao longo de seus
14 anos de existecircncia
O Instituto Alfa e Beto possui duas linhas de atuaccedilatildeo a promoccedilatildeo do debate educacional com base em evidecircncias e
o desenvolvimento de intervenccedilotildees de comprovada eficaacutecia
O conceito de educaccedilatildeo baseada em evidecircncias comeccedila a ser progressivamente absorvido por algumas instituiccedilotildees
ndash embora ainda esteja longe de se constituir em criteacuterio para decisotildees O uso de evidecircncias cientiacuteficas relacionadas agrave
alfabetizaccedilatildeo por exemplo passou a ser assimilado pelo Ministeacuterio da Educaccedilatildeo a partir do ano de 2019 embora as
implicaccedilotildees praacuteticas ainda estejam longe de ocorrer Avanccedilos natildeo satildeo lineares tudo satildeo processos sujeitos aos vais
e vens da vida poliacutetica e social Daiacute a importacircncia do debate permanente e da anaacutelise constante dos resultados e do
impacto das intervenccedilotildees ndash mesmo as que se inspiram em soacutelidas evidecircncias
Ao longo de sua trajetoacuteria os programas do Instituto Alfa e Beto jaacute foram usados por mais de 2 milhotildees de alunos
sendo pouco mais de 12 milhotildees no programa de alfabetizaccedilatildeo do 1ordm ano e os demais em programas que vatildeo da
preacute-escola ao 5ordm ano aleacutem de programas de revisatildeo e outros que abrangem as seacuteries finais Esses programas foram
implementados em mais de 8 redes estaduais de ensino e em mais de 1000 municiacutepios ndash sendo que alguns deles
permanecem usando vaacuterios de nossos programas ao longo dos anos
Neste documento encontram-se resultados referentes a vaacuterias das intervenccedilotildees levadas a efeito pelo Instituto Os
resultados se limitam a accedilotildees que podem ser avaliadas por meio dos dados da Prova Brasil testes externos elaborados
2
pelas redes de ensino ou de experimentos cientiacuteficos controlados especialmente a avaliaccedilatildeo de intervenccedilotildees
relacionadas com a Primeira Infacircncia com o uso de software educativo e teste de novos programas A qualidade dos
dados o rigor dos controles experimentais e os resultados variam nas diferentes intervenccedilotildees
Os resultados estatildeo organizados por niacutevel ndash Educaccedilatildeo Infantil Alfabetizaccedilatildeo Seacuteries Iniciais e Outros Em cada niacutevel satildeo
apresentadas evidecircncias sobre o impacto de programas ou intervenccedilotildees especiacuteficas que satildeo brevemente descritas
Chamamos atenccedilatildeo do leitor para os seguintes aspectos
Todos os programas e iniciativas do Instituto Alfa e Beto satildeo desenvolvidos com base em evidecircncias cientiacuteficas
rigorosas sobre o que funciona em educaccedilatildeo Esse trabalho se tornou possiacutevel com a realizaccedilatildeo de uma seacuterie de
Seminaacuterios Internacionais promovidos desde antes a criaccedilatildeo do Instituto Alfa e Beto e que nos permitiram estabelecer
laccedilos acadecircmicos e contar com a contribuiccedilatildeo de dezenas de alguns dos mais ilustres estudiosos dos diferentes temas
sobre os quais trabalhamos Clique aqui para conhecer as publicaccedilotildees referentes a esses seminaacuterios e aqui para ver
o depoimento de alguns desses pesquisadores sobre o nosso trabalho
Na maioria dos casos a implementaccedilatildeo dos programas do Instituto Alfa e Beto se daacute em condiccedilotildees de implementaccedilatildeo
muito adversas Entre elas
1 A implementaccedilatildeo natildeo eacute realizada diretamente pelo Instituto Alfa e Beto e sim pelas redes de ensino com todas as
suas dificuldades e limitaccedilotildees
2 A maioria das propostas do Instituto esbarra com resistecircncias decorrentes das ideologias dominantes na educaccedilatildeo
brasileira e que geram inconsistecircncias e dissonacircncia cognitiva que interferem na implementaccedilatildeo
3 Em vaacuterios casos os programas do Instituto especialmente na aacuterea de alfabetizaccedilatildeo contam natildeo apenas com
hostilidade mas com accedilotildees simultacircneas e contraditoacuterias promovidas pelas proacuteprias escolas secretarias e tambeacutem
pelo Ministeacuterio da Educaccedilatildeo
3
Dito isso cabe ressaltar que esses resultados soacute foram possiacuteveis graccedilas agrave decisatildeo de prefeitos e secretaacuterios de
educaccedilatildeo ao esforccedilo de gestatildeo das equipes das secretarias e ao trabalho de implementaccedilatildeo de milhares de diretores
coordenadores e professores de escolas de todo o paiacutes ndash frequentemente trabalhando em condiccedilotildees adversas A cada
um deles fica registrado o nosso reconhecimento e gratidatildeo
Os dados aqui apresentados decorrem de bases de dados de acesso puacuteblico ou dados coletados diretamente pelos
pesquisadores responsaacuteveis pelos estudos Pesquisadores interessados em aprofundar essas anaacutelises ou promover
outros estudos podem entrar em contato conosco
Haacute diversas formas de avaliar o impacto de uma instituiccedilatildeo especialmente uma instituiccedilatildeo natildeo-governamental O
compromisso do Instituto Alfa e Beto eacute estimular o debate em torno das evidecircncias ndash no sentido de promover a
adoccedilatildeo de poliacuteticas e praacuteticas com resultados comprovados Por isso se julga na obrigaccedilatildeo de documentar e divulgar
os resultados de seu trabalho Este tambeacutem eacute um convite para que instituiccedilotildees congecircneres faccedilam o mesmo
Evidecircncias satildeo sempre sujeitas a debate ndash e natildeo seraacute diferente neste caso Ao examinar evidecircncias sobre o que
funciona em educaccedilatildeo eacute importante considerar natildeo apenas as evidecircncias isoladas mas padrotildees que costumam estar
associados a resultados consistentes
Cabe ao leitor avaliar as iniciativas individuais e o conjunto da obra
Joatildeo Batista Araujo e OliveiraFundador e Presidente do Instituto Alfa e Beto
4
01 Universidade do Bebecirc ndash Boa Vista Impacto da leitura interativa nas crianccedilas
Primeira Infacircncia e Educaccedilatildeo Infantil
Universidade do Bebecirc ndash Boa Vista Impacto do niacutevel de escolaridade dos pais
Impacto de um programa de capoeira sobre o desenvolvimento de funccedilotildees executivas ndash Petrolina
Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo ndash Petrolina
Impacto global do Programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto no desenvolvimento das crianccedilas do Programa Nova Semente ndash Petrolina
Alfabetizaccedilatildeo
Impacto do Programa Alfa e Beto numa comparaccedilatildeo de 3 meacutetodos de alfabetizaccedilatildeo na Rede Estadual do Rio Grande do Sul
Impacto do Programa Alfa e Beto numa comparaccedilatildeo com municiacutepios que adotaram outras metodologias no Estado do Cearaacute (Programa SpaeceAlfa)
Avaliaccedilatildeo da implementaccedilatildeo do Ilhas do Alfabeto (jogo digital) em alunos da rede municipal do Rio de Janeiro
Seacuteries Iniciais
Impacto do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) seguido do Programa de Ensino Estruturado (2ordm ano) em escolas de municiacutepios do Piauiacute
Desempenho de alunos que participaram de programas de alfabetizaccedilatildeo e 2ordm ano do Instituto Alfa e Beto em relaccedilatildeo aos alunos dos programas regulares da rede municipal do Rio de Janeiro
Desempenho comparativo de alunos que usaram programas do Instituto Alfa e Beto em uma ou mais seacuteries escolares em 31 municiacutepios de 12 estados
Desempenho comparativo de escolas que usaram programas do Instituto Alfa e Beto em pelo menos duas seacuteries escolares em 37 municiacutepios de 13 estados
Outros
Impacto da implementaccedilatildeo do jogo digital Tabuada na Fazenda em Arcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
Efeitos da implementaccedilatildeo de um programa de Fluecircncia de Leitura nas seacuteries iniciais ndash SME-RJ
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
Sobral um caso muito especial
SUMAacuteRIO
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
INTERVENCcedilAtildeO
5
01 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)
EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira
interativa
LOCALBoa Vista (RR)
DATA
Ao longo de 9 meses em 2015
PARTICIPANTES566 famiacutelias das quais 484 foram avaliadas e 475 responderam ao teste Cloze
METODOLOGIAEstudo randomizado com clusters
PRINCIPAIS RESULTADOS Diferenccedila de impacto nos pais do grupo experimental variou de 52 a 57 de um DP em variaacuteveis como estimulaccedilatildeo
cognitiva e leitura interativa
Diferenccedila no impacto sobre as crianccedilas variou de 33 a 62 de um DP em variaacuteveis como vocabulaacuterio receptivo
memoacuteria de trabalho e leitura interativa
Impacto da leitura interativa nas crianccedilas por meio do programa Universidade do Bebecirc
6
FONTE DOS DADOSWeisleder Adriana Denise SR Mazzuchelli Aline Saacute Lopez Walfrido Duarte Neto Carolyn Brockmeyer Cates Hosana Alves Gonccedilalves Rochele Paz Fonseca Joatildeo Oliveira and Alan L Mendelsohn ldquoReading aloud and child development a clus-ter-randomized trial in Brazilrdquo Pediatrics 141 no 1 (2018) e20170723
TABELA 1 TABELA 2
Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score
OutcomeControl
Mean (SD)ordfInterventionMean (SD)ordf
pb Cohenrsquosdb
BaselinecorrectedCohenrsquos db
Mean Difference(95 CI)d
ICC(Cluster)
ICC(Center)pd
Receptive vocabulary
Expressivevocabulary
Workingmemory
IQ (StandartScore)
PhonologicalShort-Term Memory
Interactive reading
Socio-emotionalcompetence
Externalizingbehavior
Attention problems
Agressiveproblems
Baseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
761 (65)
1274 (88)
346 (41)
745 (57)
432 (40)
716 (45)9076 (132)
9339 (138)
165 (19)
321 (25)
1283 (65)
1103 (52)
5679 (91)
5898 (82)
1999 (93)
1899 (99)
412 (24)
406 (27)
1588 (78)
1494 (91)
774 (67)
1476 (99)
431 (49)
869 (66)419 (39)
935 (58)9304 (139)
9889 (145)
173 (19)
342 (24)
1383 (69)
1441 (58)
5780 (93)
5903 (82)
1963 (94)
1757 (96)
402 (26)
356 (25)1561 (78)
1401 (80)
83
02
04
03
73
lt001e
09
lt001e
64
35
11
lt001e
23
95
67
11
67
04
71
21
02
22
19
20
03
42
17
39
04
09
15
61
11
01
04
15
04
19
03
12
33
15
46
33
08
62
05
18
22
13
254 (110 397)
068 (-045 182)
220 (19 341)
558 (298 817)
025 (-021 72)
298 (191 410)
-040 (-172 34)
-097 (-260 66)
-056 (-113 01)
-075 (-208 57)
001e
24
lt001e
lt001e
29
lt001e
56
24
053
27
01
04
02
0
0
0
0
0
0
0
01
04
04
0
02
01
0
0
01
0
a Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correctionf Includes only children 25 years or older for whom standard scores could be calculated
A Tabela 1 mostra o impacto no comportamento dos pais que participaram do programa Os resultados satildeo particularmente elevados e significativos nas variaacuteveis relacionadas com a estimulaccedilatildeo cognitiva dos filhos e a intensidade de leitura interativa
A Tabela 2 mostra o impacto no comportamento das crianccedilas que participaram do programa Os resultados satildeo particularmente elevados (33 a 62 de um DP) e significativos nas variaacuteveis relacionadas ao aumento do vocabulaacuterio receptivo memoacuteria de trabalho e leitura interativa
OutcomeControl
Mean (SD)ordfInterventionMean (SD)ordf
pb Cohenrsquosdb
BaselinecorrectedCohenrsquos db
Mean Difference(95 CI)d
ICC(Cluster)
ICC(Center)pd
StimQ Total
StimQ READ
StimQ PVR
StimQ PIDA
Interactivereading (ACIRI)
Physicalpunishment
Baseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
Baseline
Follow-up
Baseline
Follow-up
Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score
2076 (74)
2304 (75)
501 (39)
610 (40)
859 (30)
889 (31)
720 (23)
806 (20)
1410 (64)
1178 (52)
430 (15)
433 (15)
2104 (77)
2576 (67)
523 (41)
812 (36)
860 (29)
955 (28)
723 (25)
822 (20)
1498 (66)
1472 (55)
437 (16)
407 (15)
70
lt001e
56
lt001e
98
01
89
38
14
lt001e
61
06
03
38
05
53
00
22
01
08
14
55
05
17
43
52
29
09
57
22
277 (021 534)
184 (076 292)
067 (-020 153)
022 (-041 083)
280 (140 419)
-033 (-065 53)
03
lt001e
13
50
lt001e
04
097
02
06
06
03
0
0097
06
06
06
03
02
Abbreviations ACIRI Adult-Child Interactive Reading Inventory CI confidence interval ICC intracluster correlation coefficientPIDA involvement in developmental advance PVR parental verbal responsivity SD standart devilationa Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correction
INTERVENCcedilAtildeO
7
02 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)
EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira
interativa
LOCALBoa Vista (RR)
DATA
Ao longo de 9 meses em 2015
PARTICIPANTES566 famiacutelias das quais 279 participaram do programa As demais compuseram o grupo de controle
METODOLOGIAEstudo randomizado com clusters
PRINCIPAIS RESULTADOSO programa UBB teve impactos semelhantes para pais com alto e baixo niacutevel de escolaridade
Melhora na qualidade da interaccedilatildeo de 05 desvio-padratildeo para ambos os grupos
Melhora na memoacuteria do trabalho de 04 desvio-padratildeo para ambos os grupos
Melhora no vocabulaacuterio receptivo de 03 desvio-padratildeo para ambos os grupos
Impacto do niacutevel de escolaridade dos pais no desempenho das crianccedilas
8
FONTE DOS DADOSRCT of a Reading aloud intervention in Brazil Do impacts differ depending on parent literacy (submetido para publicaccedilatildeo)
TABELA 1
Outcomes
Parenting
Child
Interactive reading (ACIRI)Cognitive Home Environment (StimQ)StimQ READStimQ PVRStimQ PIDAExpressive vocabulary (TIN)Receptive vocabulary (Peabody)Nonverbal intelligence (SON)Working memory (TIMT)Phonological short-term memory
53
52
71
17
13
20
31
38
42
09
51
27
32
29
08
03
27
42
44
15
High literacyLow literacyaUniversidade do Bebecirc
t
a tNote plt01 plt001 Parent literacy dichotomized by median split tendency towards statistical significance (p= 007) All analyses were adjusted for childrenrsquos sex age race (dichotomized as indigenous or not indigenous) and birth order parentrsquos age marital status family income food insecurity financial hardship and parental depressive symptoms Multilevel modeling was used to account for clustering (12 sites and 22 child care centers)
Os modelos multiniacutevel mostram efeitos comparaacuteveis da UBB nos resultados dos pais e das crianccedilas independentemente do niacutevel de alfabetizaccedilatildeo e leitura dos pais
INTERVENCcedilAtildeO
9
03 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOCapoeira
EM QUE CONSISTEImplementaccedilatildeo de um programa de capoeira para crianccedilas de 4 a 5 anos de idade do Programa Nova Semente
LOCALPetrolina (PE)
DATA
Ao longo do 2ordm semestre de 2016
PARTICIPANTESCerca de 1800 crianccedilas Houve dois grupos com intervenccedilatildeo aleacutem do grupo de controle um com aulas tradicionais de
capoeira outro com aulas de capoeira e atividades adicionais voltadas ao desenvolvimento de funccedilotildees executivas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOSExistem evidecircncias de melhora na funccedilatildeo executiva das crianccedilas
Aumento na ordem de 012 desvio-padratildeo em atenccedilatildeo e controle inibitoacuterio para os dois grupos com intervenccedilatildeo
Melhora de 015 desvio-padratildeo em memoacuteria do trabalho para crianccedilas do grupo com ecircnfase em controle executivo
Efeito maior para crianccedilas beneficiaacuterias do Bolsa-famiacutelia e filhos(as) de matildees menos escolarizadas
Impacto da capoeira no desenvolvimento de funccedilotildees de controle executivo
10
FONTE DOS DADOSHirata (2019) Impact of Capoeira on Childrenrsquos Executive Functions (em elaboraccedilatildeo)
O Graacutefico 1 mostra o efeito do programa (representado pelo ciacuterculo cheio) em atenccedilatildeocontrole inibitoacuterio e memoacuteria do trabalho para diferentes pontos (percentis) da distribuiccedilatildeo de desenvolvimento naquelas habilidades O intervalo de confianccedila de 95 eacute representado pelas hastes acima e abaixo do ciacuterculo cheio
Observa-se que o efeito (medido em desvios-padratildeo) sobre atenccedilatildeo (figura agrave esquerda) eacute maior para alunos que possuem maior niacutevel de atenccedilatildeo Jaacute o efeito para memoacuteria do trabalho eacute praticamente constante Os dois casos referem-se ao grupo exposto a aulas de capoeira com ecircnfase em controle executivo
O Graacutefico 2 mostra que o efeito do programa foi mais relevante para crianccedilas cujas matildees tinham baixa escolaridade (natildeo completaram o ensino meacutedio)
Tanto para o grupo exposto ao curso tradicional de capoeira quanto ao curso com ecircnfase em controle executivo (Capoeira + EF) o efeito sobre atenccedilatildeo e controle inibitoacuterio foi de 016 desvio-padratildeo ambos significantes a 10 Para crianccedilas cujas matildees completaram o ensino meacutedio ainda que os efeitos sejam positivos estatisticamente natildeo se pode afirmar que satildeo diferentes de zero
GRAacuteFICO 1 GRAacuteFICO 2
I I10 25 50 75 90
-4
-2
0
2
4
6
Impa
ct
Quantiles
I I I I II II I
ATTENTION
Quantiles10 25 50 75 90
-4
-2
0
2
4
6
I I II I II
WORKINGMEMORY
I I Impa
ct
Non-significant
Low schooling High Schooling
018
016
014
012
01
008
006
004
002
0
Capoeira Capoeira + EF
INTERVENCcedilAtildeO
11
04NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma Nova Semente
EM QUE CONSISTEIntervenccedilatildeo usando a metodologia My Teaching Partner com educadores do Programa Nova Semente
LOCALPetrolina (PE)
DATA
Ao longo de 2014
PARTICIPANTES2000 crianccedilas das quais 800 tiveram educadoras que passaram pelo treinamento
METODOLOGIAPareamento por escore de propensatildeo apoacutes a intervenccedilatildeo e regressatildeo com descontinuidade baseada no timing de
implementaccedilatildeo da intervenccedilatildeo
PRINCIPAIS RESULTADOS Sobre as crianccedilas Desempenho superior sobre o raciociacutenio na ordem de 02 desvio-padratildeo para crianccedilas do
maternal e da preacute-escola
Sobre as educadoras Melhoria da qualidade das interaccedilotildees com aumento de mais de 1 desvio-padratildeo
na qualidade do feedback para educadoras tanto do maternal quanto da preacute-escola e de cerca de 09
desvio-padratildeo na modelagem da linguagem
Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo em Petrolina
12
A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos
De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente
FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente
TABELA 1 TABELA 2
B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado
A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola
Maternal Preacute-escola
Coeficiente (erro-padratildeo)
016(007)
020(008)
lt 001 lt 005 lt 01
Clima Positivo
Clima Negativo
Sensibilidade do Professor
Respeito pelas Perspectivas da Crianccedila
Orientaccedilatildeo comportamental
Auxiacutelio ao Aprendizado e ao Desenvolvimento
Qualidade do Feedback
Modelagem da Linguagem
008(009)
022(006)
-010(008)
-003(008)
072(011)
018(010)
111(010)
081(010)
112(010)
-048(008)
153(008)
149(008)
103(006)
100(007)
1071(009)
069(010)
Maternal
Favoraacuteveis
Desfavoraacuteveis
Natildeo significativos
Preacute
INTERVENCcedilAtildeO
13
05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente
EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova
Semente (Petrolina PE)
LOCALPetrolina (PE)
DATA
2016
PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova
Semente A outra metade natildeo frequentava creche ou preacute-escola
METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo
agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo
quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1
PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo
em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola
Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas
14
FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary
A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)
TABELA 1
ECE
ObservationsPseudo R-squared
Robust standard errors in parentheses 1 significant 5 significant
(1)10
(2)25
(3)Median
(4)75
(5)90th th th th
0465(0074)
166
0229
0428(0128)
166
0253
0369(0176)
166
0222
0403(0169)
166
0247
0434(0279)
166
0285
INTERVENCcedilAtildeO
15
06 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees
LOCALRede puacuteblica estadual do Rio Grande do Sul
DATA
2006 e 2007
PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul
METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como
controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional
PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo
de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)
Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul
16
O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado
Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1
Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores
175
180
190
200
201120092007Ano
185
195
Not
a m
eacutedia
de
Liacuteng
ua P
ortu
gues
a
FocircnicoConstrutivistaControle II
GestatildeoControle I
GRAacuteFICO 1
Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p
InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X
Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X
lt 001 lt 005 lt 01
(1) (2) (3) (4) (5) (6)
A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo
Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa
TABELA 1
FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357
INTERVENCcedilAtildeO
17
07 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTE
Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo
LOCALRedes municipais do Estado do Cearaacute
DATA
2008 a 2012
PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias
No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)
METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute
PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados
consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos
Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste
Programa SPAECEAlfa do Estado do Cearaacute
18
FONTE DOS DADOSDados puacuteblicos do SPAECEALFA
2008 2009 2010 2011 2012
1278
1266
1284
-18
188
1338
1446
132
126
1679
1623
1666
1618
56
2034
1739
1803
1776
21
2148
1647
1832
1621
211
1976
Total
Alfa e Beto
Demais
Diferenccedila
Sobral
Municiacutepios Suficiente Desejaacutevel
123456789
10111213
2404
794
796
1493
154
104
1144
693
2058
1153
1149
704
2313
267
1340
190
187
81
13
143
239
218
200
291
16
248
5784
8307
8756
6555
9576
9805
7548
8766
5252
6714
6932
8568
5646
506
8230
698
621
814
972
760
565
533
615
529
961
645
2011 2012 2011 2012
O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral
O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis
TABELA 1 TABELA 2
INTERVENCcedilAtildeO
19
08 NIacuteVELEducaccedilatildeo Infantil
PROGRAMA AVALIADOIlhas do Alfabeto
EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto
LOCALRio de Janeiro (RJ)
DATA
Ao longo do 2ordm semestre de 2018
PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os
demais seguiram as atividades regulares programadas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano
Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)
Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo
Implementaccedilatildeo do jogo digital Ilhas do Alfabeto
20
FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)
Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano
O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos
Efeito sobre teste de alfabetizaccedilatildeo
O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos
GRAacuteFICO 1 GRAacuteFICO 2
12
1
4
1
6
18
20
Antes Depois
Esco
re
Controle Tratado
10
20
30
40
Antes Depois
Esco
re
Controle Tratado
INTERVENCcedilAtildeO
21
09 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto
LOCALMuniciacutepios do estado do Piauiacute
DATA
2011 a 2012
PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram
METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com
cluster para municiacutepios
PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo
equivalendo a mais de meio ano letivo de ganho
Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)
22
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa
Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015
2015
2013
Escolas
Observaccedilotildees
R-2
804(220)
-003(164)
832(251)
118(136)
459
1377
017
459
1377
018
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
TABELA 1
INTERVENCcedilAtildeO
23
10 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de
programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Dados coletados em 2013
PARTICIPANTESGrupos auto-selecionados
METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos
PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais
Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais
Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)
24
0 20 40 60 80 100
010
2030
40
Alunos IAB
0 20 40 60 80 100
010
2030
40
Outros Alunos
notas com conceitos B ou MB
GRAacuteFICO 1
Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)
IAB(1)
Outros(2)
IAB(3)
Outros(4)
TABELA 1
As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas
O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas
Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769
As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
2
pelas redes de ensino ou de experimentos cientiacuteficos controlados especialmente a avaliaccedilatildeo de intervenccedilotildees
relacionadas com a Primeira Infacircncia com o uso de software educativo e teste de novos programas A qualidade dos
dados o rigor dos controles experimentais e os resultados variam nas diferentes intervenccedilotildees
Os resultados estatildeo organizados por niacutevel ndash Educaccedilatildeo Infantil Alfabetizaccedilatildeo Seacuteries Iniciais e Outros Em cada niacutevel satildeo
apresentadas evidecircncias sobre o impacto de programas ou intervenccedilotildees especiacuteficas que satildeo brevemente descritas
Chamamos atenccedilatildeo do leitor para os seguintes aspectos
Todos os programas e iniciativas do Instituto Alfa e Beto satildeo desenvolvidos com base em evidecircncias cientiacuteficas
rigorosas sobre o que funciona em educaccedilatildeo Esse trabalho se tornou possiacutevel com a realizaccedilatildeo de uma seacuterie de
Seminaacuterios Internacionais promovidos desde antes a criaccedilatildeo do Instituto Alfa e Beto e que nos permitiram estabelecer
laccedilos acadecircmicos e contar com a contribuiccedilatildeo de dezenas de alguns dos mais ilustres estudiosos dos diferentes temas
sobre os quais trabalhamos Clique aqui para conhecer as publicaccedilotildees referentes a esses seminaacuterios e aqui para ver
o depoimento de alguns desses pesquisadores sobre o nosso trabalho
Na maioria dos casos a implementaccedilatildeo dos programas do Instituto Alfa e Beto se daacute em condiccedilotildees de implementaccedilatildeo
muito adversas Entre elas
1 A implementaccedilatildeo natildeo eacute realizada diretamente pelo Instituto Alfa e Beto e sim pelas redes de ensino com todas as
suas dificuldades e limitaccedilotildees
2 A maioria das propostas do Instituto esbarra com resistecircncias decorrentes das ideologias dominantes na educaccedilatildeo
brasileira e que geram inconsistecircncias e dissonacircncia cognitiva que interferem na implementaccedilatildeo
3 Em vaacuterios casos os programas do Instituto especialmente na aacuterea de alfabetizaccedilatildeo contam natildeo apenas com
hostilidade mas com accedilotildees simultacircneas e contraditoacuterias promovidas pelas proacuteprias escolas secretarias e tambeacutem
pelo Ministeacuterio da Educaccedilatildeo
3
Dito isso cabe ressaltar que esses resultados soacute foram possiacuteveis graccedilas agrave decisatildeo de prefeitos e secretaacuterios de
educaccedilatildeo ao esforccedilo de gestatildeo das equipes das secretarias e ao trabalho de implementaccedilatildeo de milhares de diretores
coordenadores e professores de escolas de todo o paiacutes ndash frequentemente trabalhando em condiccedilotildees adversas A cada
um deles fica registrado o nosso reconhecimento e gratidatildeo
Os dados aqui apresentados decorrem de bases de dados de acesso puacuteblico ou dados coletados diretamente pelos
pesquisadores responsaacuteveis pelos estudos Pesquisadores interessados em aprofundar essas anaacutelises ou promover
outros estudos podem entrar em contato conosco
Haacute diversas formas de avaliar o impacto de uma instituiccedilatildeo especialmente uma instituiccedilatildeo natildeo-governamental O
compromisso do Instituto Alfa e Beto eacute estimular o debate em torno das evidecircncias ndash no sentido de promover a
adoccedilatildeo de poliacuteticas e praacuteticas com resultados comprovados Por isso se julga na obrigaccedilatildeo de documentar e divulgar
os resultados de seu trabalho Este tambeacutem eacute um convite para que instituiccedilotildees congecircneres faccedilam o mesmo
Evidecircncias satildeo sempre sujeitas a debate ndash e natildeo seraacute diferente neste caso Ao examinar evidecircncias sobre o que
funciona em educaccedilatildeo eacute importante considerar natildeo apenas as evidecircncias isoladas mas padrotildees que costumam estar
associados a resultados consistentes
Cabe ao leitor avaliar as iniciativas individuais e o conjunto da obra
Joatildeo Batista Araujo e OliveiraFundador e Presidente do Instituto Alfa e Beto
4
01 Universidade do Bebecirc ndash Boa Vista Impacto da leitura interativa nas crianccedilas
Primeira Infacircncia e Educaccedilatildeo Infantil
Universidade do Bebecirc ndash Boa Vista Impacto do niacutevel de escolaridade dos pais
Impacto de um programa de capoeira sobre o desenvolvimento de funccedilotildees executivas ndash Petrolina
Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo ndash Petrolina
Impacto global do Programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto no desenvolvimento das crianccedilas do Programa Nova Semente ndash Petrolina
Alfabetizaccedilatildeo
Impacto do Programa Alfa e Beto numa comparaccedilatildeo de 3 meacutetodos de alfabetizaccedilatildeo na Rede Estadual do Rio Grande do Sul
Impacto do Programa Alfa e Beto numa comparaccedilatildeo com municiacutepios que adotaram outras metodologias no Estado do Cearaacute (Programa SpaeceAlfa)
Avaliaccedilatildeo da implementaccedilatildeo do Ilhas do Alfabeto (jogo digital) em alunos da rede municipal do Rio de Janeiro
Seacuteries Iniciais
Impacto do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) seguido do Programa de Ensino Estruturado (2ordm ano) em escolas de municiacutepios do Piauiacute
Desempenho de alunos que participaram de programas de alfabetizaccedilatildeo e 2ordm ano do Instituto Alfa e Beto em relaccedilatildeo aos alunos dos programas regulares da rede municipal do Rio de Janeiro
Desempenho comparativo de alunos que usaram programas do Instituto Alfa e Beto em uma ou mais seacuteries escolares em 31 municiacutepios de 12 estados
Desempenho comparativo de escolas que usaram programas do Instituto Alfa e Beto em pelo menos duas seacuteries escolares em 37 municiacutepios de 13 estados
Outros
Impacto da implementaccedilatildeo do jogo digital Tabuada na Fazenda em Arcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
Efeitos da implementaccedilatildeo de um programa de Fluecircncia de Leitura nas seacuteries iniciais ndash SME-RJ
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
Sobral um caso muito especial
SUMAacuteRIO
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
INTERVENCcedilAtildeO
5
01 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)
EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira
interativa
LOCALBoa Vista (RR)
DATA
Ao longo de 9 meses em 2015
PARTICIPANTES566 famiacutelias das quais 484 foram avaliadas e 475 responderam ao teste Cloze
METODOLOGIAEstudo randomizado com clusters
PRINCIPAIS RESULTADOS Diferenccedila de impacto nos pais do grupo experimental variou de 52 a 57 de um DP em variaacuteveis como estimulaccedilatildeo
cognitiva e leitura interativa
Diferenccedila no impacto sobre as crianccedilas variou de 33 a 62 de um DP em variaacuteveis como vocabulaacuterio receptivo
memoacuteria de trabalho e leitura interativa
Impacto da leitura interativa nas crianccedilas por meio do programa Universidade do Bebecirc
6
FONTE DOS DADOSWeisleder Adriana Denise SR Mazzuchelli Aline Saacute Lopez Walfrido Duarte Neto Carolyn Brockmeyer Cates Hosana Alves Gonccedilalves Rochele Paz Fonseca Joatildeo Oliveira and Alan L Mendelsohn ldquoReading aloud and child development a clus-ter-randomized trial in Brazilrdquo Pediatrics 141 no 1 (2018) e20170723
TABELA 1 TABELA 2
Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score
OutcomeControl
Mean (SD)ordfInterventionMean (SD)ordf
pb Cohenrsquosdb
BaselinecorrectedCohenrsquos db
Mean Difference(95 CI)d
ICC(Cluster)
ICC(Center)pd
Receptive vocabulary
Expressivevocabulary
Workingmemory
IQ (StandartScore)
PhonologicalShort-Term Memory
Interactive reading
Socio-emotionalcompetence
Externalizingbehavior
Attention problems
Agressiveproblems
Baseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
761 (65)
1274 (88)
346 (41)
745 (57)
432 (40)
716 (45)9076 (132)
9339 (138)
165 (19)
321 (25)
1283 (65)
1103 (52)
5679 (91)
5898 (82)
1999 (93)
1899 (99)
412 (24)
406 (27)
1588 (78)
1494 (91)
774 (67)
1476 (99)
431 (49)
869 (66)419 (39)
935 (58)9304 (139)
9889 (145)
173 (19)
342 (24)
1383 (69)
1441 (58)
5780 (93)
5903 (82)
1963 (94)
1757 (96)
402 (26)
356 (25)1561 (78)
1401 (80)
83
02
04
03
73
lt001e
09
lt001e
64
35
11
lt001e
23
95
67
11
67
04
71
21
02
22
19
20
03
42
17
39
04
09
15
61
11
01
04
15
04
19
03
12
33
15
46
33
08
62
05
18
22
13
254 (110 397)
068 (-045 182)
220 (19 341)
558 (298 817)
025 (-021 72)
298 (191 410)
-040 (-172 34)
-097 (-260 66)
-056 (-113 01)
-075 (-208 57)
001e
24
lt001e
lt001e
29
lt001e
56
24
053
27
01
04
02
0
0
0
0
0
0
0
01
04
04
0
02
01
0
0
01
0
a Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correctionf Includes only children 25 years or older for whom standard scores could be calculated
A Tabela 1 mostra o impacto no comportamento dos pais que participaram do programa Os resultados satildeo particularmente elevados e significativos nas variaacuteveis relacionadas com a estimulaccedilatildeo cognitiva dos filhos e a intensidade de leitura interativa
A Tabela 2 mostra o impacto no comportamento das crianccedilas que participaram do programa Os resultados satildeo particularmente elevados (33 a 62 de um DP) e significativos nas variaacuteveis relacionadas ao aumento do vocabulaacuterio receptivo memoacuteria de trabalho e leitura interativa
OutcomeControl
Mean (SD)ordfInterventionMean (SD)ordf
pb Cohenrsquosdb
BaselinecorrectedCohenrsquos db
Mean Difference(95 CI)d
ICC(Cluster)
ICC(Center)pd
StimQ Total
StimQ READ
StimQ PVR
StimQ PIDA
Interactivereading (ACIRI)
Physicalpunishment
Baseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
Baseline
Follow-up
Baseline
Follow-up
Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score
2076 (74)
2304 (75)
501 (39)
610 (40)
859 (30)
889 (31)
720 (23)
806 (20)
1410 (64)
1178 (52)
430 (15)
433 (15)
2104 (77)
2576 (67)
523 (41)
812 (36)
860 (29)
955 (28)
723 (25)
822 (20)
1498 (66)
1472 (55)
437 (16)
407 (15)
70
lt001e
56
lt001e
98
01
89
38
14
lt001e
61
06
03
38
05
53
00
22
01
08
14
55
05
17
43
52
29
09
57
22
277 (021 534)
184 (076 292)
067 (-020 153)
022 (-041 083)
280 (140 419)
-033 (-065 53)
03
lt001e
13
50
lt001e
04
097
02
06
06
03
0
0097
06
06
06
03
02
Abbreviations ACIRI Adult-Child Interactive Reading Inventory CI confidence interval ICC intracluster correlation coefficientPIDA involvement in developmental advance PVR parental verbal responsivity SD standart devilationa Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correction
INTERVENCcedilAtildeO
7
02 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)
EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira
interativa
LOCALBoa Vista (RR)
DATA
Ao longo de 9 meses em 2015
PARTICIPANTES566 famiacutelias das quais 279 participaram do programa As demais compuseram o grupo de controle
METODOLOGIAEstudo randomizado com clusters
PRINCIPAIS RESULTADOSO programa UBB teve impactos semelhantes para pais com alto e baixo niacutevel de escolaridade
Melhora na qualidade da interaccedilatildeo de 05 desvio-padratildeo para ambos os grupos
Melhora na memoacuteria do trabalho de 04 desvio-padratildeo para ambos os grupos
Melhora no vocabulaacuterio receptivo de 03 desvio-padratildeo para ambos os grupos
Impacto do niacutevel de escolaridade dos pais no desempenho das crianccedilas
8
FONTE DOS DADOSRCT of a Reading aloud intervention in Brazil Do impacts differ depending on parent literacy (submetido para publicaccedilatildeo)
TABELA 1
Outcomes
Parenting
Child
Interactive reading (ACIRI)Cognitive Home Environment (StimQ)StimQ READStimQ PVRStimQ PIDAExpressive vocabulary (TIN)Receptive vocabulary (Peabody)Nonverbal intelligence (SON)Working memory (TIMT)Phonological short-term memory
53
52
71
17
13
20
31
38
42
09
51
27
32
29
08
03
27
42
44
15
High literacyLow literacyaUniversidade do Bebecirc
t
a tNote plt01 plt001 Parent literacy dichotomized by median split tendency towards statistical significance (p= 007) All analyses were adjusted for childrenrsquos sex age race (dichotomized as indigenous or not indigenous) and birth order parentrsquos age marital status family income food insecurity financial hardship and parental depressive symptoms Multilevel modeling was used to account for clustering (12 sites and 22 child care centers)
Os modelos multiniacutevel mostram efeitos comparaacuteveis da UBB nos resultados dos pais e das crianccedilas independentemente do niacutevel de alfabetizaccedilatildeo e leitura dos pais
INTERVENCcedilAtildeO
9
03 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOCapoeira
EM QUE CONSISTEImplementaccedilatildeo de um programa de capoeira para crianccedilas de 4 a 5 anos de idade do Programa Nova Semente
LOCALPetrolina (PE)
DATA
Ao longo do 2ordm semestre de 2016
PARTICIPANTESCerca de 1800 crianccedilas Houve dois grupos com intervenccedilatildeo aleacutem do grupo de controle um com aulas tradicionais de
capoeira outro com aulas de capoeira e atividades adicionais voltadas ao desenvolvimento de funccedilotildees executivas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOSExistem evidecircncias de melhora na funccedilatildeo executiva das crianccedilas
Aumento na ordem de 012 desvio-padratildeo em atenccedilatildeo e controle inibitoacuterio para os dois grupos com intervenccedilatildeo
Melhora de 015 desvio-padratildeo em memoacuteria do trabalho para crianccedilas do grupo com ecircnfase em controle executivo
Efeito maior para crianccedilas beneficiaacuterias do Bolsa-famiacutelia e filhos(as) de matildees menos escolarizadas
Impacto da capoeira no desenvolvimento de funccedilotildees de controle executivo
10
FONTE DOS DADOSHirata (2019) Impact of Capoeira on Childrenrsquos Executive Functions (em elaboraccedilatildeo)
O Graacutefico 1 mostra o efeito do programa (representado pelo ciacuterculo cheio) em atenccedilatildeocontrole inibitoacuterio e memoacuteria do trabalho para diferentes pontos (percentis) da distribuiccedilatildeo de desenvolvimento naquelas habilidades O intervalo de confianccedila de 95 eacute representado pelas hastes acima e abaixo do ciacuterculo cheio
Observa-se que o efeito (medido em desvios-padratildeo) sobre atenccedilatildeo (figura agrave esquerda) eacute maior para alunos que possuem maior niacutevel de atenccedilatildeo Jaacute o efeito para memoacuteria do trabalho eacute praticamente constante Os dois casos referem-se ao grupo exposto a aulas de capoeira com ecircnfase em controle executivo
O Graacutefico 2 mostra que o efeito do programa foi mais relevante para crianccedilas cujas matildees tinham baixa escolaridade (natildeo completaram o ensino meacutedio)
Tanto para o grupo exposto ao curso tradicional de capoeira quanto ao curso com ecircnfase em controle executivo (Capoeira + EF) o efeito sobre atenccedilatildeo e controle inibitoacuterio foi de 016 desvio-padratildeo ambos significantes a 10 Para crianccedilas cujas matildees completaram o ensino meacutedio ainda que os efeitos sejam positivos estatisticamente natildeo se pode afirmar que satildeo diferentes de zero
GRAacuteFICO 1 GRAacuteFICO 2
I I10 25 50 75 90
-4
-2
0
2
4
6
Impa
ct
Quantiles
I I I I II II I
ATTENTION
Quantiles10 25 50 75 90
-4
-2
0
2
4
6
I I II I II
WORKINGMEMORY
I I Impa
ct
Non-significant
Low schooling High Schooling
018
016
014
012
01
008
006
004
002
0
Capoeira Capoeira + EF
INTERVENCcedilAtildeO
11
04NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma Nova Semente
EM QUE CONSISTEIntervenccedilatildeo usando a metodologia My Teaching Partner com educadores do Programa Nova Semente
LOCALPetrolina (PE)
DATA
Ao longo de 2014
PARTICIPANTES2000 crianccedilas das quais 800 tiveram educadoras que passaram pelo treinamento
METODOLOGIAPareamento por escore de propensatildeo apoacutes a intervenccedilatildeo e regressatildeo com descontinuidade baseada no timing de
implementaccedilatildeo da intervenccedilatildeo
PRINCIPAIS RESULTADOS Sobre as crianccedilas Desempenho superior sobre o raciociacutenio na ordem de 02 desvio-padratildeo para crianccedilas do
maternal e da preacute-escola
Sobre as educadoras Melhoria da qualidade das interaccedilotildees com aumento de mais de 1 desvio-padratildeo
na qualidade do feedback para educadoras tanto do maternal quanto da preacute-escola e de cerca de 09
desvio-padratildeo na modelagem da linguagem
Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo em Petrolina
12
A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos
De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente
FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente
TABELA 1 TABELA 2
B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado
A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola
Maternal Preacute-escola
Coeficiente (erro-padratildeo)
016(007)
020(008)
lt 001 lt 005 lt 01
Clima Positivo
Clima Negativo
Sensibilidade do Professor
Respeito pelas Perspectivas da Crianccedila
Orientaccedilatildeo comportamental
Auxiacutelio ao Aprendizado e ao Desenvolvimento
Qualidade do Feedback
Modelagem da Linguagem
008(009)
022(006)
-010(008)
-003(008)
072(011)
018(010)
111(010)
081(010)
112(010)
-048(008)
153(008)
149(008)
103(006)
100(007)
1071(009)
069(010)
Maternal
Favoraacuteveis
Desfavoraacuteveis
Natildeo significativos
Preacute
INTERVENCcedilAtildeO
13
05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente
EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova
Semente (Petrolina PE)
LOCALPetrolina (PE)
DATA
2016
PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova
Semente A outra metade natildeo frequentava creche ou preacute-escola
METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo
agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo
quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1
PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo
em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola
Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas
14
FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary
A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)
TABELA 1
ECE
ObservationsPseudo R-squared
Robust standard errors in parentheses 1 significant 5 significant
(1)10
(2)25
(3)Median
(4)75
(5)90th th th th
0465(0074)
166
0229
0428(0128)
166
0253
0369(0176)
166
0222
0403(0169)
166
0247
0434(0279)
166
0285
INTERVENCcedilAtildeO
15
06 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees
LOCALRede puacuteblica estadual do Rio Grande do Sul
DATA
2006 e 2007
PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul
METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como
controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional
PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo
de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)
Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul
16
O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado
Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1
Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores
175
180
190
200
201120092007Ano
185
195
Not
a m
eacutedia
de
Liacuteng
ua P
ortu
gues
a
FocircnicoConstrutivistaControle II
GestatildeoControle I
GRAacuteFICO 1
Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p
InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X
Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X
lt 001 lt 005 lt 01
(1) (2) (3) (4) (5) (6)
A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo
Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa
TABELA 1
FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357
INTERVENCcedilAtildeO
17
07 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTE
Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo
LOCALRedes municipais do Estado do Cearaacute
DATA
2008 a 2012
PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias
No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)
METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute
PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados
consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos
Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste
Programa SPAECEAlfa do Estado do Cearaacute
18
FONTE DOS DADOSDados puacuteblicos do SPAECEALFA
2008 2009 2010 2011 2012
1278
1266
1284
-18
188
1338
1446
132
126
1679
1623
1666
1618
56
2034
1739
1803
1776
21
2148
1647
1832
1621
211
1976
Total
Alfa e Beto
Demais
Diferenccedila
Sobral
Municiacutepios Suficiente Desejaacutevel
123456789
10111213
2404
794
796
1493
154
104
1144
693
2058
1153
1149
704
2313
267
1340
190
187
81
13
143
239
218
200
291
16
248
5784
8307
8756
6555
9576
9805
7548
8766
5252
6714
6932
8568
5646
506
8230
698
621
814
972
760
565
533
615
529
961
645
2011 2012 2011 2012
O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral
O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis
TABELA 1 TABELA 2
INTERVENCcedilAtildeO
19
08 NIacuteVELEducaccedilatildeo Infantil
PROGRAMA AVALIADOIlhas do Alfabeto
EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto
LOCALRio de Janeiro (RJ)
DATA
Ao longo do 2ordm semestre de 2018
PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os
demais seguiram as atividades regulares programadas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano
Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)
Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo
Implementaccedilatildeo do jogo digital Ilhas do Alfabeto
20
FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)
Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano
O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos
Efeito sobre teste de alfabetizaccedilatildeo
O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos
GRAacuteFICO 1 GRAacuteFICO 2
12
1
4
1
6
18
20
Antes Depois
Esco
re
Controle Tratado
10
20
30
40
Antes Depois
Esco
re
Controle Tratado
INTERVENCcedilAtildeO
21
09 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto
LOCALMuniciacutepios do estado do Piauiacute
DATA
2011 a 2012
PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram
METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com
cluster para municiacutepios
PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo
equivalendo a mais de meio ano letivo de ganho
Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)
22
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa
Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015
2015
2013
Escolas
Observaccedilotildees
R-2
804(220)
-003(164)
832(251)
118(136)
459
1377
017
459
1377
018
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
TABELA 1
INTERVENCcedilAtildeO
23
10 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de
programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Dados coletados em 2013
PARTICIPANTESGrupos auto-selecionados
METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos
PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais
Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais
Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)
24
0 20 40 60 80 100
010
2030
40
Alunos IAB
0 20 40 60 80 100
010
2030
40
Outros Alunos
notas com conceitos B ou MB
GRAacuteFICO 1
Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)
IAB(1)
Outros(2)
IAB(3)
Outros(4)
TABELA 1
As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas
O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas
Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769
As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
3
Dito isso cabe ressaltar que esses resultados soacute foram possiacuteveis graccedilas agrave decisatildeo de prefeitos e secretaacuterios de
educaccedilatildeo ao esforccedilo de gestatildeo das equipes das secretarias e ao trabalho de implementaccedilatildeo de milhares de diretores
coordenadores e professores de escolas de todo o paiacutes ndash frequentemente trabalhando em condiccedilotildees adversas A cada
um deles fica registrado o nosso reconhecimento e gratidatildeo
Os dados aqui apresentados decorrem de bases de dados de acesso puacuteblico ou dados coletados diretamente pelos
pesquisadores responsaacuteveis pelos estudos Pesquisadores interessados em aprofundar essas anaacutelises ou promover
outros estudos podem entrar em contato conosco
Haacute diversas formas de avaliar o impacto de uma instituiccedilatildeo especialmente uma instituiccedilatildeo natildeo-governamental O
compromisso do Instituto Alfa e Beto eacute estimular o debate em torno das evidecircncias ndash no sentido de promover a
adoccedilatildeo de poliacuteticas e praacuteticas com resultados comprovados Por isso se julga na obrigaccedilatildeo de documentar e divulgar
os resultados de seu trabalho Este tambeacutem eacute um convite para que instituiccedilotildees congecircneres faccedilam o mesmo
Evidecircncias satildeo sempre sujeitas a debate ndash e natildeo seraacute diferente neste caso Ao examinar evidecircncias sobre o que
funciona em educaccedilatildeo eacute importante considerar natildeo apenas as evidecircncias isoladas mas padrotildees que costumam estar
associados a resultados consistentes
Cabe ao leitor avaliar as iniciativas individuais e o conjunto da obra
Joatildeo Batista Araujo e OliveiraFundador e Presidente do Instituto Alfa e Beto
4
01 Universidade do Bebecirc ndash Boa Vista Impacto da leitura interativa nas crianccedilas
Primeira Infacircncia e Educaccedilatildeo Infantil
Universidade do Bebecirc ndash Boa Vista Impacto do niacutevel de escolaridade dos pais
Impacto de um programa de capoeira sobre o desenvolvimento de funccedilotildees executivas ndash Petrolina
Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo ndash Petrolina
Impacto global do Programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto no desenvolvimento das crianccedilas do Programa Nova Semente ndash Petrolina
Alfabetizaccedilatildeo
Impacto do Programa Alfa e Beto numa comparaccedilatildeo de 3 meacutetodos de alfabetizaccedilatildeo na Rede Estadual do Rio Grande do Sul
Impacto do Programa Alfa e Beto numa comparaccedilatildeo com municiacutepios que adotaram outras metodologias no Estado do Cearaacute (Programa SpaeceAlfa)
Avaliaccedilatildeo da implementaccedilatildeo do Ilhas do Alfabeto (jogo digital) em alunos da rede municipal do Rio de Janeiro
Seacuteries Iniciais
Impacto do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) seguido do Programa de Ensino Estruturado (2ordm ano) em escolas de municiacutepios do Piauiacute
Desempenho de alunos que participaram de programas de alfabetizaccedilatildeo e 2ordm ano do Instituto Alfa e Beto em relaccedilatildeo aos alunos dos programas regulares da rede municipal do Rio de Janeiro
Desempenho comparativo de alunos que usaram programas do Instituto Alfa e Beto em uma ou mais seacuteries escolares em 31 municiacutepios de 12 estados
Desempenho comparativo de escolas que usaram programas do Instituto Alfa e Beto em pelo menos duas seacuteries escolares em 37 municiacutepios de 13 estados
Outros
Impacto da implementaccedilatildeo do jogo digital Tabuada na Fazenda em Arcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
Efeitos da implementaccedilatildeo de um programa de Fluecircncia de Leitura nas seacuteries iniciais ndash SME-RJ
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
Sobral um caso muito especial
SUMAacuteRIO
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
INTERVENCcedilAtildeO
5
01 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)
EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira
interativa
LOCALBoa Vista (RR)
DATA
Ao longo de 9 meses em 2015
PARTICIPANTES566 famiacutelias das quais 484 foram avaliadas e 475 responderam ao teste Cloze
METODOLOGIAEstudo randomizado com clusters
PRINCIPAIS RESULTADOS Diferenccedila de impacto nos pais do grupo experimental variou de 52 a 57 de um DP em variaacuteveis como estimulaccedilatildeo
cognitiva e leitura interativa
Diferenccedila no impacto sobre as crianccedilas variou de 33 a 62 de um DP em variaacuteveis como vocabulaacuterio receptivo
memoacuteria de trabalho e leitura interativa
Impacto da leitura interativa nas crianccedilas por meio do programa Universidade do Bebecirc
6
FONTE DOS DADOSWeisleder Adriana Denise SR Mazzuchelli Aline Saacute Lopez Walfrido Duarte Neto Carolyn Brockmeyer Cates Hosana Alves Gonccedilalves Rochele Paz Fonseca Joatildeo Oliveira and Alan L Mendelsohn ldquoReading aloud and child development a clus-ter-randomized trial in Brazilrdquo Pediatrics 141 no 1 (2018) e20170723
TABELA 1 TABELA 2
Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score
OutcomeControl
Mean (SD)ordfInterventionMean (SD)ordf
pb Cohenrsquosdb
BaselinecorrectedCohenrsquos db
Mean Difference(95 CI)d
ICC(Cluster)
ICC(Center)pd
Receptive vocabulary
Expressivevocabulary
Workingmemory
IQ (StandartScore)
PhonologicalShort-Term Memory
Interactive reading
Socio-emotionalcompetence
Externalizingbehavior
Attention problems
Agressiveproblems
Baseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
761 (65)
1274 (88)
346 (41)
745 (57)
432 (40)
716 (45)9076 (132)
9339 (138)
165 (19)
321 (25)
1283 (65)
1103 (52)
5679 (91)
5898 (82)
1999 (93)
1899 (99)
412 (24)
406 (27)
1588 (78)
1494 (91)
774 (67)
1476 (99)
431 (49)
869 (66)419 (39)
935 (58)9304 (139)
9889 (145)
173 (19)
342 (24)
1383 (69)
1441 (58)
5780 (93)
5903 (82)
1963 (94)
1757 (96)
402 (26)
356 (25)1561 (78)
1401 (80)
83
02
04
03
73
lt001e
09
lt001e
64
35
11
lt001e
23
95
67
11
67
04
71
21
02
22
19
20
03
42
17
39
04
09
15
61
11
01
04
15
04
19
03
12
33
15
46
33
08
62
05
18
22
13
254 (110 397)
068 (-045 182)
220 (19 341)
558 (298 817)
025 (-021 72)
298 (191 410)
-040 (-172 34)
-097 (-260 66)
-056 (-113 01)
-075 (-208 57)
001e
24
lt001e
lt001e
29
lt001e
56
24
053
27
01
04
02
0
0
0
0
0
0
0
01
04
04
0
02
01
0
0
01
0
a Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correctionf Includes only children 25 years or older for whom standard scores could be calculated
A Tabela 1 mostra o impacto no comportamento dos pais que participaram do programa Os resultados satildeo particularmente elevados e significativos nas variaacuteveis relacionadas com a estimulaccedilatildeo cognitiva dos filhos e a intensidade de leitura interativa
A Tabela 2 mostra o impacto no comportamento das crianccedilas que participaram do programa Os resultados satildeo particularmente elevados (33 a 62 de um DP) e significativos nas variaacuteveis relacionadas ao aumento do vocabulaacuterio receptivo memoacuteria de trabalho e leitura interativa
OutcomeControl
Mean (SD)ordfInterventionMean (SD)ordf
pb Cohenrsquosdb
BaselinecorrectedCohenrsquos db
Mean Difference(95 CI)d
ICC(Cluster)
ICC(Center)pd
StimQ Total
StimQ READ
StimQ PVR
StimQ PIDA
Interactivereading (ACIRI)
Physicalpunishment
Baseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
Baseline
Follow-up
Baseline
Follow-up
Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score
2076 (74)
2304 (75)
501 (39)
610 (40)
859 (30)
889 (31)
720 (23)
806 (20)
1410 (64)
1178 (52)
430 (15)
433 (15)
2104 (77)
2576 (67)
523 (41)
812 (36)
860 (29)
955 (28)
723 (25)
822 (20)
1498 (66)
1472 (55)
437 (16)
407 (15)
70
lt001e
56
lt001e
98
01
89
38
14
lt001e
61
06
03
38
05
53
00
22
01
08
14
55
05
17
43
52
29
09
57
22
277 (021 534)
184 (076 292)
067 (-020 153)
022 (-041 083)
280 (140 419)
-033 (-065 53)
03
lt001e
13
50
lt001e
04
097
02
06
06
03
0
0097
06
06
06
03
02
Abbreviations ACIRI Adult-Child Interactive Reading Inventory CI confidence interval ICC intracluster correlation coefficientPIDA involvement in developmental advance PVR parental verbal responsivity SD standart devilationa Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correction
INTERVENCcedilAtildeO
7
02 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)
EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira
interativa
LOCALBoa Vista (RR)
DATA
Ao longo de 9 meses em 2015
PARTICIPANTES566 famiacutelias das quais 279 participaram do programa As demais compuseram o grupo de controle
METODOLOGIAEstudo randomizado com clusters
PRINCIPAIS RESULTADOSO programa UBB teve impactos semelhantes para pais com alto e baixo niacutevel de escolaridade
Melhora na qualidade da interaccedilatildeo de 05 desvio-padratildeo para ambos os grupos
Melhora na memoacuteria do trabalho de 04 desvio-padratildeo para ambos os grupos
Melhora no vocabulaacuterio receptivo de 03 desvio-padratildeo para ambos os grupos
Impacto do niacutevel de escolaridade dos pais no desempenho das crianccedilas
8
FONTE DOS DADOSRCT of a Reading aloud intervention in Brazil Do impacts differ depending on parent literacy (submetido para publicaccedilatildeo)
TABELA 1
Outcomes
Parenting
Child
Interactive reading (ACIRI)Cognitive Home Environment (StimQ)StimQ READStimQ PVRStimQ PIDAExpressive vocabulary (TIN)Receptive vocabulary (Peabody)Nonverbal intelligence (SON)Working memory (TIMT)Phonological short-term memory
53
52
71
17
13
20
31
38
42
09
51
27
32
29
08
03
27
42
44
15
High literacyLow literacyaUniversidade do Bebecirc
t
a tNote plt01 plt001 Parent literacy dichotomized by median split tendency towards statistical significance (p= 007) All analyses were adjusted for childrenrsquos sex age race (dichotomized as indigenous or not indigenous) and birth order parentrsquos age marital status family income food insecurity financial hardship and parental depressive symptoms Multilevel modeling was used to account for clustering (12 sites and 22 child care centers)
Os modelos multiniacutevel mostram efeitos comparaacuteveis da UBB nos resultados dos pais e das crianccedilas independentemente do niacutevel de alfabetizaccedilatildeo e leitura dos pais
INTERVENCcedilAtildeO
9
03 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOCapoeira
EM QUE CONSISTEImplementaccedilatildeo de um programa de capoeira para crianccedilas de 4 a 5 anos de idade do Programa Nova Semente
LOCALPetrolina (PE)
DATA
Ao longo do 2ordm semestre de 2016
PARTICIPANTESCerca de 1800 crianccedilas Houve dois grupos com intervenccedilatildeo aleacutem do grupo de controle um com aulas tradicionais de
capoeira outro com aulas de capoeira e atividades adicionais voltadas ao desenvolvimento de funccedilotildees executivas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOSExistem evidecircncias de melhora na funccedilatildeo executiva das crianccedilas
Aumento na ordem de 012 desvio-padratildeo em atenccedilatildeo e controle inibitoacuterio para os dois grupos com intervenccedilatildeo
Melhora de 015 desvio-padratildeo em memoacuteria do trabalho para crianccedilas do grupo com ecircnfase em controle executivo
Efeito maior para crianccedilas beneficiaacuterias do Bolsa-famiacutelia e filhos(as) de matildees menos escolarizadas
Impacto da capoeira no desenvolvimento de funccedilotildees de controle executivo
10
FONTE DOS DADOSHirata (2019) Impact of Capoeira on Childrenrsquos Executive Functions (em elaboraccedilatildeo)
O Graacutefico 1 mostra o efeito do programa (representado pelo ciacuterculo cheio) em atenccedilatildeocontrole inibitoacuterio e memoacuteria do trabalho para diferentes pontos (percentis) da distribuiccedilatildeo de desenvolvimento naquelas habilidades O intervalo de confianccedila de 95 eacute representado pelas hastes acima e abaixo do ciacuterculo cheio
Observa-se que o efeito (medido em desvios-padratildeo) sobre atenccedilatildeo (figura agrave esquerda) eacute maior para alunos que possuem maior niacutevel de atenccedilatildeo Jaacute o efeito para memoacuteria do trabalho eacute praticamente constante Os dois casos referem-se ao grupo exposto a aulas de capoeira com ecircnfase em controle executivo
O Graacutefico 2 mostra que o efeito do programa foi mais relevante para crianccedilas cujas matildees tinham baixa escolaridade (natildeo completaram o ensino meacutedio)
Tanto para o grupo exposto ao curso tradicional de capoeira quanto ao curso com ecircnfase em controle executivo (Capoeira + EF) o efeito sobre atenccedilatildeo e controle inibitoacuterio foi de 016 desvio-padratildeo ambos significantes a 10 Para crianccedilas cujas matildees completaram o ensino meacutedio ainda que os efeitos sejam positivos estatisticamente natildeo se pode afirmar que satildeo diferentes de zero
GRAacuteFICO 1 GRAacuteFICO 2
I I10 25 50 75 90
-4
-2
0
2
4
6
Impa
ct
Quantiles
I I I I II II I
ATTENTION
Quantiles10 25 50 75 90
-4
-2
0
2
4
6
I I II I II
WORKINGMEMORY
I I Impa
ct
Non-significant
Low schooling High Schooling
018
016
014
012
01
008
006
004
002
0
Capoeira Capoeira + EF
INTERVENCcedilAtildeO
11
04NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma Nova Semente
EM QUE CONSISTEIntervenccedilatildeo usando a metodologia My Teaching Partner com educadores do Programa Nova Semente
LOCALPetrolina (PE)
DATA
Ao longo de 2014
PARTICIPANTES2000 crianccedilas das quais 800 tiveram educadoras que passaram pelo treinamento
METODOLOGIAPareamento por escore de propensatildeo apoacutes a intervenccedilatildeo e regressatildeo com descontinuidade baseada no timing de
implementaccedilatildeo da intervenccedilatildeo
PRINCIPAIS RESULTADOS Sobre as crianccedilas Desempenho superior sobre o raciociacutenio na ordem de 02 desvio-padratildeo para crianccedilas do
maternal e da preacute-escola
Sobre as educadoras Melhoria da qualidade das interaccedilotildees com aumento de mais de 1 desvio-padratildeo
na qualidade do feedback para educadoras tanto do maternal quanto da preacute-escola e de cerca de 09
desvio-padratildeo na modelagem da linguagem
Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo em Petrolina
12
A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos
De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente
FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente
TABELA 1 TABELA 2
B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado
A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola
Maternal Preacute-escola
Coeficiente (erro-padratildeo)
016(007)
020(008)
lt 001 lt 005 lt 01
Clima Positivo
Clima Negativo
Sensibilidade do Professor
Respeito pelas Perspectivas da Crianccedila
Orientaccedilatildeo comportamental
Auxiacutelio ao Aprendizado e ao Desenvolvimento
Qualidade do Feedback
Modelagem da Linguagem
008(009)
022(006)
-010(008)
-003(008)
072(011)
018(010)
111(010)
081(010)
112(010)
-048(008)
153(008)
149(008)
103(006)
100(007)
1071(009)
069(010)
Maternal
Favoraacuteveis
Desfavoraacuteveis
Natildeo significativos
Preacute
INTERVENCcedilAtildeO
13
05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente
EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova
Semente (Petrolina PE)
LOCALPetrolina (PE)
DATA
2016
PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova
Semente A outra metade natildeo frequentava creche ou preacute-escola
METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo
agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo
quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1
PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo
em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola
Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas
14
FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary
A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)
TABELA 1
ECE
ObservationsPseudo R-squared
Robust standard errors in parentheses 1 significant 5 significant
(1)10
(2)25
(3)Median
(4)75
(5)90th th th th
0465(0074)
166
0229
0428(0128)
166
0253
0369(0176)
166
0222
0403(0169)
166
0247
0434(0279)
166
0285
INTERVENCcedilAtildeO
15
06 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees
LOCALRede puacuteblica estadual do Rio Grande do Sul
DATA
2006 e 2007
PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul
METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como
controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional
PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo
de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)
Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul
16
O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado
Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1
Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores
175
180
190
200
201120092007Ano
185
195
Not
a m
eacutedia
de
Liacuteng
ua P
ortu
gues
a
FocircnicoConstrutivistaControle II
GestatildeoControle I
GRAacuteFICO 1
Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p
InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X
Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X
lt 001 lt 005 lt 01
(1) (2) (3) (4) (5) (6)
A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo
Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa
TABELA 1
FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357
INTERVENCcedilAtildeO
17
07 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTE
Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo
LOCALRedes municipais do Estado do Cearaacute
DATA
2008 a 2012
PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias
No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)
METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute
PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados
consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos
Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste
Programa SPAECEAlfa do Estado do Cearaacute
18
FONTE DOS DADOSDados puacuteblicos do SPAECEALFA
2008 2009 2010 2011 2012
1278
1266
1284
-18
188
1338
1446
132
126
1679
1623
1666
1618
56
2034
1739
1803
1776
21
2148
1647
1832
1621
211
1976
Total
Alfa e Beto
Demais
Diferenccedila
Sobral
Municiacutepios Suficiente Desejaacutevel
123456789
10111213
2404
794
796
1493
154
104
1144
693
2058
1153
1149
704
2313
267
1340
190
187
81
13
143
239
218
200
291
16
248
5784
8307
8756
6555
9576
9805
7548
8766
5252
6714
6932
8568
5646
506
8230
698
621
814
972
760
565
533
615
529
961
645
2011 2012 2011 2012
O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral
O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis
TABELA 1 TABELA 2
INTERVENCcedilAtildeO
19
08 NIacuteVELEducaccedilatildeo Infantil
PROGRAMA AVALIADOIlhas do Alfabeto
EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto
LOCALRio de Janeiro (RJ)
DATA
Ao longo do 2ordm semestre de 2018
PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os
demais seguiram as atividades regulares programadas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano
Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)
Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo
Implementaccedilatildeo do jogo digital Ilhas do Alfabeto
20
FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)
Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano
O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos
Efeito sobre teste de alfabetizaccedilatildeo
O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos
GRAacuteFICO 1 GRAacuteFICO 2
12
1
4
1
6
18
20
Antes Depois
Esco
re
Controle Tratado
10
20
30
40
Antes Depois
Esco
re
Controle Tratado
INTERVENCcedilAtildeO
21
09 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto
LOCALMuniciacutepios do estado do Piauiacute
DATA
2011 a 2012
PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram
METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com
cluster para municiacutepios
PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo
equivalendo a mais de meio ano letivo de ganho
Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)
22
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa
Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015
2015
2013
Escolas
Observaccedilotildees
R-2
804(220)
-003(164)
832(251)
118(136)
459
1377
017
459
1377
018
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
TABELA 1
INTERVENCcedilAtildeO
23
10 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de
programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Dados coletados em 2013
PARTICIPANTESGrupos auto-selecionados
METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos
PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais
Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais
Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)
24
0 20 40 60 80 100
010
2030
40
Alunos IAB
0 20 40 60 80 100
010
2030
40
Outros Alunos
notas com conceitos B ou MB
GRAacuteFICO 1
Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)
IAB(1)
Outros(2)
IAB(3)
Outros(4)
TABELA 1
As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas
O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas
Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769
As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
4
01 Universidade do Bebecirc ndash Boa Vista Impacto da leitura interativa nas crianccedilas
Primeira Infacircncia e Educaccedilatildeo Infantil
Universidade do Bebecirc ndash Boa Vista Impacto do niacutevel de escolaridade dos pais
Impacto de um programa de capoeira sobre o desenvolvimento de funccedilotildees executivas ndash Petrolina
Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo ndash Petrolina
Impacto global do Programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto no desenvolvimento das crianccedilas do Programa Nova Semente ndash Petrolina
Alfabetizaccedilatildeo
Impacto do Programa Alfa e Beto numa comparaccedilatildeo de 3 meacutetodos de alfabetizaccedilatildeo na Rede Estadual do Rio Grande do Sul
Impacto do Programa Alfa e Beto numa comparaccedilatildeo com municiacutepios que adotaram outras metodologias no Estado do Cearaacute (Programa SpaeceAlfa)
Avaliaccedilatildeo da implementaccedilatildeo do Ilhas do Alfabeto (jogo digital) em alunos da rede municipal do Rio de Janeiro
Seacuteries Iniciais
Impacto do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) seguido do Programa de Ensino Estruturado (2ordm ano) em escolas de municiacutepios do Piauiacute
Desempenho de alunos que participaram de programas de alfabetizaccedilatildeo e 2ordm ano do Instituto Alfa e Beto em relaccedilatildeo aos alunos dos programas regulares da rede municipal do Rio de Janeiro
Desempenho comparativo de alunos que usaram programas do Instituto Alfa e Beto em uma ou mais seacuteries escolares em 31 municiacutepios de 12 estados
Desempenho comparativo de escolas que usaram programas do Instituto Alfa e Beto em pelo menos duas seacuteries escolares em 37 municiacutepios de 13 estados
Outros
Impacto da implementaccedilatildeo do jogo digital Tabuada na Fazenda em Arcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
Efeitos da implementaccedilatildeo de um programa de Fluecircncia de Leitura nas seacuteries iniciais ndash SME-RJ
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
Sobral um caso muito especial
SUMAacuteRIO
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
INTERVENCcedilAtildeO
5
01 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)
EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira
interativa
LOCALBoa Vista (RR)
DATA
Ao longo de 9 meses em 2015
PARTICIPANTES566 famiacutelias das quais 484 foram avaliadas e 475 responderam ao teste Cloze
METODOLOGIAEstudo randomizado com clusters
PRINCIPAIS RESULTADOS Diferenccedila de impacto nos pais do grupo experimental variou de 52 a 57 de um DP em variaacuteveis como estimulaccedilatildeo
cognitiva e leitura interativa
Diferenccedila no impacto sobre as crianccedilas variou de 33 a 62 de um DP em variaacuteveis como vocabulaacuterio receptivo
memoacuteria de trabalho e leitura interativa
Impacto da leitura interativa nas crianccedilas por meio do programa Universidade do Bebecirc
6
FONTE DOS DADOSWeisleder Adriana Denise SR Mazzuchelli Aline Saacute Lopez Walfrido Duarte Neto Carolyn Brockmeyer Cates Hosana Alves Gonccedilalves Rochele Paz Fonseca Joatildeo Oliveira and Alan L Mendelsohn ldquoReading aloud and child development a clus-ter-randomized trial in Brazilrdquo Pediatrics 141 no 1 (2018) e20170723
TABELA 1 TABELA 2
Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score
OutcomeControl
Mean (SD)ordfInterventionMean (SD)ordf
pb Cohenrsquosdb
BaselinecorrectedCohenrsquos db
Mean Difference(95 CI)d
ICC(Cluster)
ICC(Center)pd
Receptive vocabulary
Expressivevocabulary
Workingmemory
IQ (StandartScore)
PhonologicalShort-Term Memory
Interactive reading
Socio-emotionalcompetence
Externalizingbehavior
Attention problems
Agressiveproblems
Baseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
761 (65)
1274 (88)
346 (41)
745 (57)
432 (40)
716 (45)9076 (132)
9339 (138)
165 (19)
321 (25)
1283 (65)
1103 (52)
5679 (91)
5898 (82)
1999 (93)
1899 (99)
412 (24)
406 (27)
1588 (78)
1494 (91)
774 (67)
1476 (99)
431 (49)
869 (66)419 (39)
935 (58)9304 (139)
9889 (145)
173 (19)
342 (24)
1383 (69)
1441 (58)
5780 (93)
5903 (82)
1963 (94)
1757 (96)
402 (26)
356 (25)1561 (78)
1401 (80)
83
02
04
03
73
lt001e
09
lt001e
64
35
11
lt001e
23
95
67
11
67
04
71
21
02
22
19
20
03
42
17
39
04
09
15
61
11
01
04
15
04
19
03
12
33
15
46
33
08
62
05
18
22
13
254 (110 397)
068 (-045 182)
220 (19 341)
558 (298 817)
025 (-021 72)
298 (191 410)
-040 (-172 34)
-097 (-260 66)
-056 (-113 01)
-075 (-208 57)
001e
24
lt001e
lt001e
29
lt001e
56
24
053
27
01
04
02
0
0
0
0
0
0
0
01
04
04
0
02
01
0
0
01
0
a Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correctionf Includes only children 25 years or older for whom standard scores could be calculated
A Tabela 1 mostra o impacto no comportamento dos pais que participaram do programa Os resultados satildeo particularmente elevados e significativos nas variaacuteveis relacionadas com a estimulaccedilatildeo cognitiva dos filhos e a intensidade de leitura interativa
A Tabela 2 mostra o impacto no comportamento das crianccedilas que participaram do programa Os resultados satildeo particularmente elevados (33 a 62 de um DP) e significativos nas variaacuteveis relacionadas ao aumento do vocabulaacuterio receptivo memoacuteria de trabalho e leitura interativa
OutcomeControl
Mean (SD)ordfInterventionMean (SD)ordf
pb Cohenrsquosdb
BaselinecorrectedCohenrsquos db
Mean Difference(95 CI)d
ICC(Cluster)
ICC(Center)pd
StimQ Total
StimQ READ
StimQ PVR
StimQ PIDA
Interactivereading (ACIRI)
Physicalpunishment
Baseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
Baseline
Follow-up
Baseline
Follow-up
Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score
2076 (74)
2304 (75)
501 (39)
610 (40)
859 (30)
889 (31)
720 (23)
806 (20)
1410 (64)
1178 (52)
430 (15)
433 (15)
2104 (77)
2576 (67)
523 (41)
812 (36)
860 (29)
955 (28)
723 (25)
822 (20)
1498 (66)
1472 (55)
437 (16)
407 (15)
70
lt001e
56
lt001e
98
01
89
38
14
lt001e
61
06
03
38
05
53
00
22
01
08
14
55
05
17
43
52
29
09
57
22
277 (021 534)
184 (076 292)
067 (-020 153)
022 (-041 083)
280 (140 419)
-033 (-065 53)
03
lt001e
13
50
lt001e
04
097
02
06
06
03
0
0097
06
06
06
03
02
Abbreviations ACIRI Adult-Child Interactive Reading Inventory CI confidence interval ICC intracluster correlation coefficientPIDA involvement in developmental advance PVR parental verbal responsivity SD standart devilationa Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correction
INTERVENCcedilAtildeO
7
02 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)
EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira
interativa
LOCALBoa Vista (RR)
DATA
Ao longo de 9 meses em 2015
PARTICIPANTES566 famiacutelias das quais 279 participaram do programa As demais compuseram o grupo de controle
METODOLOGIAEstudo randomizado com clusters
PRINCIPAIS RESULTADOSO programa UBB teve impactos semelhantes para pais com alto e baixo niacutevel de escolaridade
Melhora na qualidade da interaccedilatildeo de 05 desvio-padratildeo para ambos os grupos
Melhora na memoacuteria do trabalho de 04 desvio-padratildeo para ambos os grupos
Melhora no vocabulaacuterio receptivo de 03 desvio-padratildeo para ambos os grupos
Impacto do niacutevel de escolaridade dos pais no desempenho das crianccedilas
8
FONTE DOS DADOSRCT of a Reading aloud intervention in Brazil Do impacts differ depending on parent literacy (submetido para publicaccedilatildeo)
TABELA 1
Outcomes
Parenting
Child
Interactive reading (ACIRI)Cognitive Home Environment (StimQ)StimQ READStimQ PVRStimQ PIDAExpressive vocabulary (TIN)Receptive vocabulary (Peabody)Nonverbal intelligence (SON)Working memory (TIMT)Phonological short-term memory
53
52
71
17
13
20
31
38
42
09
51
27
32
29
08
03
27
42
44
15
High literacyLow literacyaUniversidade do Bebecirc
t
a tNote plt01 plt001 Parent literacy dichotomized by median split tendency towards statistical significance (p= 007) All analyses were adjusted for childrenrsquos sex age race (dichotomized as indigenous or not indigenous) and birth order parentrsquos age marital status family income food insecurity financial hardship and parental depressive symptoms Multilevel modeling was used to account for clustering (12 sites and 22 child care centers)
Os modelos multiniacutevel mostram efeitos comparaacuteveis da UBB nos resultados dos pais e das crianccedilas independentemente do niacutevel de alfabetizaccedilatildeo e leitura dos pais
INTERVENCcedilAtildeO
9
03 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOCapoeira
EM QUE CONSISTEImplementaccedilatildeo de um programa de capoeira para crianccedilas de 4 a 5 anos de idade do Programa Nova Semente
LOCALPetrolina (PE)
DATA
Ao longo do 2ordm semestre de 2016
PARTICIPANTESCerca de 1800 crianccedilas Houve dois grupos com intervenccedilatildeo aleacutem do grupo de controle um com aulas tradicionais de
capoeira outro com aulas de capoeira e atividades adicionais voltadas ao desenvolvimento de funccedilotildees executivas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOSExistem evidecircncias de melhora na funccedilatildeo executiva das crianccedilas
Aumento na ordem de 012 desvio-padratildeo em atenccedilatildeo e controle inibitoacuterio para os dois grupos com intervenccedilatildeo
Melhora de 015 desvio-padratildeo em memoacuteria do trabalho para crianccedilas do grupo com ecircnfase em controle executivo
Efeito maior para crianccedilas beneficiaacuterias do Bolsa-famiacutelia e filhos(as) de matildees menos escolarizadas
Impacto da capoeira no desenvolvimento de funccedilotildees de controle executivo
10
FONTE DOS DADOSHirata (2019) Impact of Capoeira on Childrenrsquos Executive Functions (em elaboraccedilatildeo)
O Graacutefico 1 mostra o efeito do programa (representado pelo ciacuterculo cheio) em atenccedilatildeocontrole inibitoacuterio e memoacuteria do trabalho para diferentes pontos (percentis) da distribuiccedilatildeo de desenvolvimento naquelas habilidades O intervalo de confianccedila de 95 eacute representado pelas hastes acima e abaixo do ciacuterculo cheio
Observa-se que o efeito (medido em desvios-padratildeo) sobre atenccedilatildeo (figura agrave esquerda) eacute maior para alunos que possuem maior niacutevel de atenccedilatildeo Jaacute o efeito para memoacuteria do trabalho eacute praticamente constante Os dois casos referem-se ao grupo exposto a aulas de capoeira com ecircnfase em controle executivo
O Graacutefico 2 mostra que o efeito do programa foi mais relevante para crianccedilas cujas matildees tinham baixa escolaridade (natildeo completaram o ensino meacutedio)
Tanto para o grupo exposto ao curso tradicional de capoeira quanto ao curso com ecircnfase em controle executivo (Capoeira + EF) o efeito sobre atenccedilatildeo e controle inibitoacuterio foi de 016 desvio-padratildeo ambos significantes a 10 Para crianccedilas cujas matildees completaram o ensino meacutedio ainda que os efeitos sejam positivos estatisticamente natildeo se pode afirmar que satildeo diferentes de zero
GRAacuteFICO 1 GRAacuteFICO 2
I I10 25 50 75 90
-4
-2
0
2
4
6
Impa
ct
Quantiles
I I I I II II I
ATTENTION
Quantiles10 25 50 75 90
-4
-2
0
2
4
6
I I II I II
WORKINGMEMORY
I I Impa
ct
Non-significant
Low schooling High Schooling
018
016
014
012
01
008
006
004
002
0
Capoeira Capoeira + EF
INTERVENCcedilAtildeO
11
04NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma Nova Semente
EM QUE CONSISTEIntervenccedilatildeo usando a metodologia My Teaching Partner com educadores do Programa Nova Semente
LOCALPetrolina (PE)
DATA
Ao longo de 2014
PARTICIPANTES2000 crianccedilas das quais 800 tiveram educadoras que passaram pelo treinamento
METODOLOGIAPareamento por escore de propensatildeo apoacutes a intervenccedilatildeo e regressatildeo com descontinuidade baseada no timing de
implementaccedilatildeo da intervenccedilatildeo
PRINCIPAIS RESULTADOS Sobre as crianccedilas Desempenho superior sobre o raciociacutenio na ordem de 02 desvio-padratildeo para crianccedilas do
maternal e da preacute-escola
Sobre as educadoras Melhoria da qualidade das interaccedilotildees com aumento de mais de 1 desvio-padratildeo
na qualidade do feedback para educadoras tanto do maternal quanto da preacute-escola e de cerca de 09
desvio-padratildeo na modelagem da linguagem
Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo em Petrolina
12
A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos
De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente
FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente
TABELA 1 TABELA 2
B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado
A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola
Maternal Preacute-escola
Coeficiente (erro-padratildeo)
016(007)
020(008)
lt 001 lt 005 lt 01
Clima Positivo
Clima Negativo
Sensibilidade do Professor
Respeito pelas Perspectivas da Crianccedila
Orientaccedilatildeo comportamental
Auxiacutelio ao Aprendizado e ao Desenvolvimento
Qualidade do Feedback
Modelagem da Linguagem
008(009)
022(006)
-010(008)
-003(008)
072(011)
018(010)
111(010)
081(010)
112(010)
-048(008)
153(008)
149(008)
103(006)
100(007)
1071(009)
069(010)
Maternal
Favoraacuteveis
Desfavoraacuteveis
Natildeo significativos
Preacute
INTERVENCcedilAtildeO
13
05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente
EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova
Semente (Petrolina PE)
LOCALPetrolina (PE)
DATA
2016
PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova
Semente A outra metade natildeo frequentava creche ou preacute-escola
METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo
agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo
quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1
PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo
em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola
Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas
14
FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary
A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)
TABELA 1
ECE
ObservationsPseudo R-squared
Robust standard errors in parentheses 1 significant 5 significant
(1)10
(2)25
(3)Median
(4)75
(5)90th th th th
0465(0074)
166
0229
0428(0128)
166
0253
0369(0176)
166
0222
0403(0169)
166
0247
0434(0279)
166
0285
INTERVENCcedilAtildeO
15
06 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees
LOCALRede puacuteblica estadual do Rio Grande do Sul
DATA
2006 e 2007
PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul
METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como
controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional
PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo
de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)
Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul
16
O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado
Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1
Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores
175
180
190
200
201120092007Ano
185
195
Not
a m
eacutedia
de
Liacuteng
ua P
ortu
gues
a
FocircnicoConstrutivistaControle II
GestatildeoControle I
GRAacuteFICO 1
Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p
InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X
Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X
lt 001 lt 005 lt 01
(1) (2) (3) (4) (5) (6)
A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo
Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa
TABELA 1
FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357
INTERVENCcedilAtildeO
17
07 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTE
Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo
LOCALRedes municipais do Estado do Cearaacute
DATA
2008 a 2012
PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias
No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)
METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute
PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados
consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos
Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste
Programa SPAECEAlfa do Estado do Cearaacute
18
FONTE DOS DADOSDados puacuteblicos do SPAECEALFA
2008 2009 2010 2011 2012
1278
1266
1284
-18
188
1338
1446
132
126
1679
1623
1666
1618
56
2034
1739
1803
1776
21
2148
1647
1832
1621
211
1976
Total
Alfa e Beto
Demais
Diferenccedila
Sobral
Municiacutepios Suficiente Desejaacutevel
123456789
10111213
2404
794
796
1493
154
104
1144
693
2058
1153
1149
704
2313
267
1340
190
187
81
13
143
239
218
200
291
16
248
5784
8307
8756
6555
9576
9805
7548
8766
5252
6714
6932
8568
5646
506
8230
698
621
814
972
760
565
533
615
529
961
645
2011 2012 2011 2012
O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral
O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis
TABELA 1 TABELA 2
INTERVENCcedilAtildeO
19
08 NIacuteVELEducaccedilatildeo Infantil
PROGRAMA AVALIADOIlhas do Alfabeto
EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto
LOCALRio de Janeiro (RJ)
DATA
Ao longo do 2ordm semestre de 2018
PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os
demais seguiram as atividades regulares programadas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano
Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)
Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo
Implementaccedilatildeo do jogo digital Ilhas do Alfabeto
20
FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)
Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano
O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos
Efeito sobre teste de alfabetizaccedilatildeo
O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos
GRAacuteFICO 1 GRAacuteFICO 2
12
1
4
1
6
18
20
Antes Depois
Esco
re
Controle Tratado
10
20
30
40
Antes Depois
Esco
re
Controle Tratado
INTERVENCcedilAtildeO
21
09 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto
LOCALMuniciacutepios do estado do Piauiacute
DATA
2011 a 2012
PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram
METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com
cluster para municiacutepios
PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo
equivalendo a mais de meio ano letivo de ganho
Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)
22
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa
Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015
2015
2013
Escolas
Observaccedilotildees
R-2
804(220)
-003(164)
832(251)
118(136)
459
1377
017
459
1377
018
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
TABELA 1
INTERVENCcedilAtildeO
23
10 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de
programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Dados coletados em 2013
PARTICIPANTESGrupos auto-selecionados
METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos
PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais
Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais
Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)
24
0 20 40 60 80 100
010
2030
40
Alunos IAB
0 20 40 60 80 100
010
2030
40
Outros Alunos
notas com conceitos B ou MB
GRAacuteFICO 1
Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)
IAB(1)
Outros(2)
IAB(3)
Outros(4)
TABELA 1
As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas
O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas
Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769
As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
INTERVENCcedilAtildeO
5
01 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)
EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira
interativa
LOCALBoa Vista (RR)
DATA
Ao longo de 9 meses em 2015
PARTICIPANTES566 famiacutelias das quais 484 foram avaliadas e 475 responderam ao teste Cloze
METODOLOGIAEstudo randomizado com clusters
PRINCIPAIS RESULTADOS Diferenccedila de impacto nos pais do grupo experimental variou de 52 a 57 de um DP em variaacuteveis como estimulaccedilatildeo
cognitiva e leitura interativa
Diferenccedila no impacto sobre as crianccedilas variou de 33 a 62 de um DP em variaacuteveis como vocabulaacuterio receptivo
memoacuteria de trabalho e leitura interativa
Impacto da leitura interativa nas crianccedilas por meio do programa Universidade do Bebecirc
6
FONTE DOS DADOSWeisleder Adriana Denise SR Mazzuchelli Aline Saacute Lopez Walfrido Duarte Neto Carolyn Brockmeyer Cates Hosana Alves Gonccedilalves Rochele Paz Fonseca Joatildeo Oliveira and Alan L Mendelsohn ldquoReading aloud and child development a clus-ter-randomized trial in Brazilrdquo Pediatrics 141 no 1 (2018) e20170723
TABELA 1 TABELA 2
Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score
OutcomeControl
Mean (SD)ordfInterventionMean (SD)ordf
pb Cohenrsquosdb
BaselinecorrectedCohenrsquos db
Mean Difference(95 CI)d
ICC(Cluster)
ICC(Center)pd
Receptive vocabulary
Expressivevocabulary
Workingmemory
IQ (StandartScore)
PhonologicalShort-Term Memory
Interactive reading
Socio-emotionalcompetence
Externalizingbehavior
Attention problems
Agressiveproblems
Baseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
761 (65)
1274 (88)
346 (41)
745 (57)
432 (40)
716 (45)9076 (132)
9339 (138)
165 (19)
321 (25)
1283 (65)
1103 (52)
5679 (91)
5898 (82)
1999 (93)
1899 (99)
412 (24)
406 (27)
1588 (78)
1494 (91)
774 (67)
1476 (99)
431 (49)
869 (66)419 (39)
935 (58)9304 (139)
9889 (145)
173 (19)
342 (24)
1383 (69)
1441 (58)
5780 (93)
5903 (82)
1963 (94)
1757 (96)
402 (26)
356 (25)1561 (78)
1401 (80)
83
02
04
03
73
lt001e
09
lt001e
64
35
11
lt001e
23
95
67
11
67
04
71
21
02
22
19
20
03
42
17
39
04
09
15
61
11
01
04
15
04
19
03
12
33
15
46
33
08
62
05
18
22
13
254 (110 397)
068 (-045 182)
220 (19 341)
558 (298 817)
025 (-021 72)
298 (191 410)
-040 (-172 34)
-097 (-260 66)
-056 (-113 01)
-075 (-208 57)
001e
24
lt001e
lt001e
29
lt001e
56
24
053
27
01
04
02
0
0
0
0
0
0
0
01
04
04
0
02
01
0
0
01
0
a Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correctionf Includes only children 25 years or older for whom standard scores could be calculated
A Tabela 1 mostra o impacto no comportamento dos pais que participaram do programa Os resultados satildeo particularmente elevados e significativos nas variaacuteveis relacionadas com a estimulaccedilatildeo cognitiva dos filhos e a intensidade de leitura interativa
A Tabela 2 mostra o impacto no comportamento das crianccedilas que participaram do programa Os resultados satildeo particularmente elevados (33 a 62 de um DP) e significativos nas variaacuteveis relacionadas ao aumento do vocabulaacuterio receptivo memoacuteria de trabalho e leitura interativa
OutcomeControl
Mean (SD)ordfInterventionMean (SD)ordf
pb Cohenrsquosdb
BaselinecorrectedCohenrsquos db
Mean Difference(95 CI)d
ICC(Cluster)
ICC(Center)pd
StimQ Total
StimQ READ
StimQ PVR
StimQ PIDA
Interactivereading (ACIRI)
Physicalpunishment
Baseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
Baseline
Follow-up
Baseline
Follow-up
Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score
2076 (74)
2304 (75)
501 (39)
610 (40)
859 (30)
889 (31)
720 (23)
806 (20)
1410 (64)
1178 (52)
430 (15)
433 (15)
2104 (77)
2576 (67)
523 (41)
812 (36)
860 (29)
955 (28)
723 (25)
822 (20)
1498 (66)
1472 (55)
437 (16)
407 (15)
70
lt001e
56
lt001e
98
01
89
38
14
lt001e
61
06
03
38
05
53
00
22
01
08
14
55
05
17
43
52
29
09
57
22
277 (021 534)
184 (076 292)
067 (-020 153)
022 (-041 083)
280 (140 419)
-033 (-065 53)
03
lt001e
13
50
lt001e
04
097
02
06
06
03
0
0097
06
06
06
03
02
Abbreviations ACIRI Adult-Child Interactive Reading Inventory CI confidence interval ICC intracluster correlation coefficientPIDA involvement in developmental advance PVR parental verbal responsivity SD standart devilationa Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correction
INTERVENCcedilAtildeO
7
02 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)
EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira
interativa
LOCALBoa Vista (RR)
DATA
Ao longo de 9 meses em 2015
PARTICIPANTES566 famiacutelias das quais 279 participaram do programa As demais compuseram o grupo de controle
METODOLOGIAEstudo randomizado com clusters
PRINCIPAIS RESULTADOSO programa UBB teve impactos semelhantes para pais com alto e baixo niacutevel de escolaridade
Melhora na qualidade da interaccedilatildeo de 05 desvio-padratildeo para ambos os grupos
Melhora na memoacuteria do trabalho de 04 desvio-padratildeo para ambos os grupos
Melhora no vocabulaacuterio receptivo de 03 desvio-padratildeo para ambos os grupos
Impacto do niacutevel de escolaridade dos pais no desempenho das crianccedilas
8
FONTE DOS DADOSRCT of a Reading aloud intervention in Brazil Do impacts differ depending on parent literacy (submetido para publicaccedilatildeo)
TABELA 1
Outcomes
Parenting
Child
Interactive reading (ACIRI)Cognitive Home Environment (StimQ)StimQ READStimQ PVRStimQ PIDAExpressive vocabulary (TIN)Receptive vocabulary (Peabody)Nonverbal intelligence (SON)Working memory (TIMT)Phonological short-term memory
53
52
71
17
13
20
31
38
42
09
51
27
32
29
08
03
27
42
44
15
High literacyLow literacyaUniversidade do Bebecirc
t
a tNote plt01 plt001 Parent literacy dichotomized by median split tendency towards statistical significance (p= 007) All analyses were adjusted for childrenrsquos sex age race (dichotomized as indigenous or not indigenous) and birth order parentrsquos age marital status family income food insecurity financial hardship and parental depressive symptoms Multilevel modeling was used to account for clustering (12 sites and 22 child care centers)
Os modelos multiniacutevel mostram efeitos comparaacuteveis da UBB nos resultados dos pais e das crianccedilas independentemente do niacutevel de alfabetizaccedilatildeo e leitura dos pais
INTERVENCcedilAtildeO
9
03 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOCapoeira
EM QUE CONSISTEImplementaccedilatildeo de um programa de capoeira para crianccedilas de 4 a 5 anos de idade do Programa Nova Semente
LOCALPetrolina (PE)
DATA
Ao longo do 2ordm semestre de 2016
PARTICIPANTESCerca de 1800 crianccedilas Houve dois grupos com intervenccedilatildeo aleacutem do grupo de controle um com aulas tradicionais de
capoeira outro com aulas de capoeira e atividades adicionais voltadas ao desenvolvimento de funccedilotildees executivas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOSExistem evidecircncias de melhora na funccedilatildeo executiva das crianccedilas
Aumento na ordem de 012 desvio-padratildeo em atenccedilatildeo e controle inibitoacuterio para os dois grupos com intervenccedilatildeo
Melhora de 015 desvio-padratildeo em memoacuteria do trabalho para crianccedilas do grupo com ecircnfase em controle executivo
Efeito maior para crianccedilas beneficiaacuterias do Bolsa-famiacutelia e filhos(as) de matildees menos escolarizadas
Impacto da capoeira no desenvolvimento de funccedilotildees de controle executivo
10
FONTE DOS DADOSHirata (2019) Impact of Capoeira on Childrenrsquos Executive Functions (em elaboraccedilatildeo)
O Graacutefico 1 mostra o efeito do programa (representado pelo ciacuterculo cheio) em atenccedilatildeocontrole inibitoacuterio e memoacuteria do trabalho para diferentes pontos (percentis) da distribuiccedilatildeo de desenvolvimento naquelas habilidades O intervalo de confianccedila de 95 eacute representado pelas hastes acima e abaixo do ciacuterculo cheio
Observa-se que o efeito (medido em desvios-padratildeo) sobre atenccedilatildeo (figura agrave esquerda) eacute maior para alunos que possuem maior niacutevel de atenccedilatildeo Jaacute o efeito para memoacuteria do trabalho eacute praticamente constante Os dois casos referem-se ao grupo exposto a aulas de capoeira com ecircnfase em controle executivo
O Graacutefico 2 mostra que o efeito do programa foi mais relevante para crianccedilas cujas matildees tinham baixa escolaridade (natildeo completaram o ensino meacutedio)
Tanto para o grupo exposto ao curso tradicional de capoeira quanto ao curso com ecircnfase em controle executivo (Capoeira + EF) o efeito sobre atenccedilatildeo e controle inibitoacuterio foi de 016 desvio-padratildeo ambos significantes a 10 Para crianccedilas cujas matildees completaram o ensino meacutedio ainda que os efeitos sejam positivos estatisticamente natildeo se pode afirmar que satildeo diferentes de zero
GRAacuteFICO 1 GRAacuteFICO 2
I I10 25 50 75 90
-4
-2
0
2
4
6
Impa
ct
Quantiles
I I I I II II I
ATTENTION
Quantiles10 25 50 75 90
-4
-2
0
2
4
6
I I II I II
WORKINGMEMORY
I I Impa
ct
Non-significant
Low schooling High Schooling
018
016
014
012
01
008
006
004
002
0
Capoeira Capoeira + EF
INTERVENCcedilAtildeO
11
04NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma Nova Semente
EM QUE CONSISTEIntervenccedilatildeo usando a metodologia My Teaching Partner com educadores do Programa Nova Semente
LOCALPetrolina (PE)
DATA
Ao longo de 2014
PARTICIPANTES2000 crianccedilas das quais 800 tiveram educadoras que passaram pelo treinamento
METODOLOGIAPareamento por escore de propensatildeo apoacutes a intervenccedilatildeo e regressatildeo com descontinuidade baseada no timing de
implementaccedilatildeo da intervenccedilatildeo
PRINCIPAIS RESULTADOS Sobre as crianccedilas Desempenho superior sobre o raciociacutenio na ordem de 02 desvio-padratildeo para crianccedilas do
maternal e da preacute-escola
Sobre as educadoras Melhoria da qualidade das interaccedilotildees com aumento de mais de 1 desvio-padratildeo
na qualidade do feedback para educadoras tanto do maternal quanto da preacute-escola e de cerca de 09
desvio-padratildeo na modelagem da linguagem
Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo em Petrolina
12
A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos
De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente
FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente
TABELA 1 TABELA 2
B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado
A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola
Maternal Preacute-escola
Coeficiente (erro-padratildeo)
016(007)
020(008)
lt 001 lt 005 lt 01
Clima Positivo
Clima Negativo
Sensibilidade do Professor
Respeito pelas Perspectivas da Crianccedila
Orientaccedilatildeo comportamental
Auxiacutelio ao Aprendizado e ao Desenvolvimento
Qualidade do Feedback
Modelagem da Linguagem
008(009)
022(006)
-010(008)
-003(008)
072(011)
018(010)
111(010)
081(010)
112(010)
-048(008)
153(008)
149(008)
103(006)
100(007)
1071(009)
069(010)
Maternal
Favoraacuteveis
Desfavoraacuteveis
Natildeo significativos
Preacute
INTERVENCcedilAtildeO
13
05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente
EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova
Semente (Petrolina PE)
LOCALPetrolina (PE)
DATA
2016
PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova
Semente A outra metade natildeo frequentava creche ou preacute-escola
METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo
agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo
quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1
PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo
em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola
Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas
14
FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary
A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)
TABELA 1
ECE
ObservationsPseudo R-squared
Robust standard errors in parentheses 1 significant 5 significant
(1)10
(2)25
(3)Median
(4)75
(5)90th th th th
0465(0074)
166
0229
0428(0128)
166
0253
0369(0176)
166
0222
0403(0169)
166
0247
0434(0279)
166
0285
INTERVENCcedilAtildeO
15
06 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees
LOCALRede puacuteblica estadual do Rio Grande do Sul
DATA
2006 e 2007
PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul
METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como
controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional
PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo
de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)
Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul
16
O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado
Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1
Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores
175
180
190
200
201120092007Ano
185
195
Not
a m
eacutedia
de
Liacuteng
ua P
ortu
gues
a
FocircnicoConstrutivistaControle II
GestatildeoControle I
GRAacuteFICO 1
Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p
InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X
Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X
lt 001 lt 005 lt 01
(1) (2) (3) (4) (5) (6)
A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo
Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa
TABELA 1
FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357
INTERVENCcedilAtildeO
17
07 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTE
Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo
LOCALRedes municipais do Estado do Cearaacute
DATA
2008 a 2012
PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias
No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)
METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute
PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados
consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos
Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste
Programa SPAECEAlfa do Estado do Cearaacute
18
FONTE DOS DADOSDados puacuteblicos do SPAECEALFA
2008 2009 2010 2011 2012
1278
1266
1284
-18
188
1338
1446
132
126
1679
1623
1666
1618
56
2034
1739
1803
1776
21
2148
1647
1832
1621
211
1976
Total
Alfa e Beto
Demais
Diferenccedila
Sobral
Municiacutepios Suficiente Desejaacutevel
123456789
10111213
2404
794
796
1493
154
104
1144
693
2058
1153
1149
704
2313
267
1340
190
187
81
13
143
239
218
200
291
16
248
5784
8307
8756
6555
9576
9805
7548
8766
5252
6714
6932
8568
5646
506
8230
698
621
814
972
760
565
533
615
529
961
645
2011 2012 2011 2012
O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral
O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis
TABELA 1 TABELA 2
INTERVENCcedilAtildeO
19
08 NIacuteVELEducaccedilatildeo Infantil
PROGRAMA AVALIADOIlhas do Alfabeto
EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto
LOCALRio de Janeiro (RJ)
DATA
Ao longo do 2ordm semestre de 2018
PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os
demais seguiram as atividades regulares programadas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano
Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)
Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo
Implementaccedilatildeo do jogo digital Ilhas do Alfabeto
20
FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)
Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano
O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos
Efeito sobre teste de alfabetizaccedilatildeo
O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos
GRAacuteFICO 1 GRAacuteFICO 2
12
1
4
1
6
18
20
Antes Depois
Esco
re
Controle Tratado
10
20
30
40
Antes Depois
Esco
re
Controle Tratado
INTERVENCcedilAtildeO
21
09 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto
LOCALMuniciacutepios do estado do Piauiacute
DATA
2011 a 2012
PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram
METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com
cluster para municiacutepios
PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo
equivalendo a mais de meio ano letivo de ganho
Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)
22
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa
Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015
2015
2013
Escolas
Observaccedilotildees
R-2
804(220)
-003(164)
832(251)
118(136)
459
1377
017
459
1377
018
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
TABELA 1
INTERVENCcedilAtildeO
23
10 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de
programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Dados coletados em 2013
PARTICIPANTESGrupos auto-selecionados
METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos
PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais
Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais
Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)
24
0 20 40 60 80 100
010
2030
40
Alunos IAB
0 20 40 60 80 100
010
2030
40
Outros Alunos
notas com conceitos B ou MB
GRAacuteFICO 1
Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)
IAB(1)
Outros(2)
IAB(3)
Outros(4)
TABELA 1
As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas
O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas
Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769
As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
6
FONTE DOS DADOSWeisleder Adriana Denise SR Mazzuchelli Aline Saacute Lopez Walfrido Duarte Neto Carolyn Brockmeyer Cates Hosana Alves Gonccedilalves Rochele Paz Fonseca Joatildeo Oliveira and Alan L Mendelsohn ldquoReading aloud and child development a clus-ter-randomized trial in Brazilrdquo Pediatrics 141 no 1 (2018) e20170723
TABELA 1 TABELA 2
Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score
OutcomeControl
Mean (SD)ordfInterventionMean (SD)ordf
pb Cohenrsquosdb
BaselinecorrectedCohenrsquos db
Mean Difference(95 CI)d
ICC(Cluster)
ICC(Center)pd
Receptive vocabulary
Expressivevocabulary
Workingmemory
IQ (StandartScore)
PhonologicalShort-Term Memory
Interactive reading
Socio-emotionalcompetence
Externalizingbehavior
Attention problems
Agressiveproblems
Baseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
761 (65)
1274 (88)
346 (41)
745 (57)
432 (40)
716 (45)9076 (132)
9339 (138)
165 (19)
321 (25)
1283 (65)
1103 (52)
5679 (91)
5898 (82)
1999 (93)
1899 (99)
412 (24)
406 (27)
1588 (78)
1494 (91)
774 (67)
1476 (99)
431 (49)
869 (66)419 (39)
935 (58)9304 (139)
9889 (145)
173 (19)
342 (24)
1383 (69)
1441 (58)
5780 (93)
5903 (82)
1963 (94)
1757 (96)
402 (26)
356 (25)1561 (78)
1401 (80)
83
02
04
03
73
lt001e
09
lt001e
64
35
11
lt001e
23
95
67
11
67
04
71
21
02
22
19
20
03
42
17
39
04
09
15
61
11
01
04
15
04
19
03
12
33
15
46
33
08
62
05
18
22
13
254 (110 397)
068 (-045 182)
220 (19 341)
558 (298 817)
025 (-021 72)
298 (191 410)
-040 (-172 34)
-097 (-260 66)
-056 (-113 01)
-075 (-208 57)
001e
24
lt001e
lt001e
29
lt001e
56
24
053
27
01
04
02
0
0
0
0
0
0
0
01
04
04
0
02
01
0
0
01
0
a Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correctionf Includes only children 25 years or older for whom standard scores could be calculated
A Tabela 1 mostra o impacto no comportamento dos pais que participaram do programa Os resultados satildeo particularmente elevados e significativos nas variaacuteveis relacionadas com a estimulaccedilatildeo cognitiva dos filhos e a intensidade de leitura interativa
A Tabela 2 mostra o impacto no comportamento das crianccedilas que participaram do programa Os resultados satildeo particularmente elevados (33 a 62 de um DP) e significativos nas variaacuteveis relacionadas ao aumento do vocabulaacuterio receptivo memoacuteria de trabalho e leitura interativa
OutcomeControl
Mean (SD)ordfInterventionMean (SD)ordf
pb Cohenrsquosdb
BaselinecorrectedCohenrsquos db
Mean Difference(95 CI)d
ICC(Cluster)
ICC(Center)pd
StimQ Total
StimQ READ
StimQ PVR
StimQ PIDA
Interactivereading (ACIRI)
Physicalpunishment
Baseline
Follow-up
Baseline
Follow-up
Baseline
Follow-upBaseline
Follow-up
Baseline
Follow-up
Baseline
Follow-up
Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score
2076 (74)
2304 (75)
501 (39)
610 (40)
859 (30)
889 (31)
720 (23)
806 (20)
1410 (64)
1178 (52)
430 (15)
433 (15)
2104 (77)
2576 (67)
523 (41)
812 (36)
860 (29)
955 (28)
723 (25)
822 (20)
1498 (66)
1472 (55)
437 (16)
407 (15)
70
lt001e
56
lt001e
98
01
89
38
14
lt001e
61
06
03
38
05
53
00
22
01
08
14
55
05
17
43
52
29
09
57
22
277 (021 534)
184 (076 292)
067 (-020 153)
022 (-041 083)
280 (140 419)
-033 (-065 53)
03
lt001e
13
50
lt001e
04
097
02
06
06
03
0
0097
06
06
06
03
02
Abbreviations ACIRI Adult-Child Interactive Reading Inventory CI confidence interval ICC intracluster correlation coefficientPIDA involvement in developmental advance PVR parental verbal responsivity SD standart devilationa Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correction
INTERVENCcedilAtildeO
7
02 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)
EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira
interativa
LOCALBoa Vista (RR)
DATA
Ao longo de 9 meses em 2015
PARTICIPANTES566 famiacutelias das quais 279 participaram do programa As demais compuseram o grupo de controle
METODOLOGIAEstudo randomizado com clusters
PRINCIPAIS RESULTADOSO programa UBB teve impactos semelhantes para pais com alto e baixo niacutevel de escolaridade
Melhora na qualidade da interaccedilatildeo de 05 desvio-padratildeo para ambos os grupos
Melhora na memoacuteria do trabalho de 04 desvio-padratildeo para ambos os grupos
Melhora no vocabulaacuterio receptivo de 03 desvio-padratildeo para ambos os grupos
Impacto do niacutevel de escolaridade dos pais no desempenho das crianccedilas
8
FONTE DOS DADOSRCT of a Reading aloud intervention in Brazil Do impacts differ depending on parent literacy (submetido para publicaccedilatildeo)
TABELA 1
Outcomes
Parenting
Child
Interactive reading (ACIRI)Cognitive Home Environment (StimQ)StimQ READStimQ PVRStimQ PIDAExpressive vocabulary (TIN)Receptive vocabulary (Peabody)Nonverbal intelligence (SON)Working memory (TIMT)Phonological short-term memory
53
52
71
17
13
20
31
38
42
09
51
27
32
29
08
03
27
42
44
15
High literacyLow literacyaUniversidade do Bebecirc
t
a tNote plt01 plt001 Parent literacy dichotomized by median split tendency towards statistical significance (p= 007) All analyses were adjusted for childrenrsquos sex age race (dichotomized as indigenous or not indigenous) and birth order parentrsquos age marital status family income food insecurity financial hardship and parental depressive symptoms Multilevel modeling was used to account for clustering (12 sites and 22 child care centers)
Os modelos multiniacutevel mostram efeitos comparaacuteveis da UBB nos resultados dos pais e das crianccedilas independentemente do niacutevel de alfabetizaccedilatildeo e leitura dos pais
INTERVENCcedilAtildeO
9
03 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOCapoeira
EM QUE CONSISTEImplementaccedilatildeo de um programa de capoeira para crianccedilas de 4 a 5 anos de idade do Programa Nova Semente
LOCALPetrolina (PE)
DATA
Ao longo do 2ordm semestre de 2016
PARTICIPANTESCerca de 1800 crianccedilas Houve dois grupos com intervenccedilatildeo aleacutem do grupo de controle um com aulas tradicionais de
capoeira outro com aulas de capoeira e atividades adicionais voltadas ao desenvolvimento de funccedilotildees executivas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOSExistem evidecircncias de melhora na funccedilatildeo executiva das crianccedilas
Aumento na ordem de 012 desvio-padratildeo em atenccedilatildeo e controle inibitoacuterio para os dois grupos com intervenccedilatildeo
Melhora de 015 desvio-padratildeo em memoacuteria do trabalho para crianccedilas do grupo com ecircnfase em controle executivo
Efeito maior para crianccedilas beneficiaacuterias do Bolsa-famiacutelia e filhos(as) de matildees menos escolarizadas
Impacto da capoeira no desenvolvimento de funccedilotildees de controle executivo
10
FONTE DOS DADOSHirata (2019) Impact of Capoeira on Childrenrsquos Executive Functions (em elaboraccedilatildeo)
O Graacutefico 1 mostra o efeito do programa (representado pelo ciacuterculo cheio) em atenccedilatildeocontrole inibitoacuterio e memoacuteria do trabalho para diferentes pontos (percentis) da distribuiccedilatildeo de desenvolvimento naquelas habilidades O intervalo de confianccedila de 95 eacute representado pelas hastes acima e abaixo do ciacuterculo cheio
Observa-se que o efeito (medido em desvios-padratildeo) sobre atenccedilatildeo (figura agrave esquerda) eacute maior para alunos que possuem maior niacutevel de atenccedilatildeo Jaacute o efeito para memoacuteria do trabalho eacute praticamente constante Os dois casos referem-se ao grupo exposto a aulas de capoeira com ecircnfase em controle executivo
O Graacutefico 2 mostra que o efeito do programa foi mais relevante para crianccedilas cujas matildees tinham baixa escolaridade (natildeo completaram o ensino meacutedio)
Tanto para o grupo exposto ao curso tradicional de capoeira quanto ao curso com ecircnfase em controle executivo (Capoeira + EF) o efeito sobre atenccedilatildeo e controle inibitoacuterio foi de 016 desvio-padratildeo ambos significantes a 10 Para crianccedilas cujas matildees completaram o ensino meacutedio ainda que os efeitos sejam positivos estatisticamente natildeo se pode afirmar que satildeo diferentes de zero
GRAacuteFICO 1 GRAacuteFICO 2
I I10 25 50 75 90
-4
-2
0
2
4
6
Impa
ct
Quantiles
I I I I II II I
ATTENTION
Quantiles10 25 50 75 90
-4
-2
0
2
4
6
I I II I II
WORKINGMEMORY
I I Impa
ct
Non-significant
Low schooling High Schooling
018
016
014
012
01
008
006
004
002
0
Capoeira Capoeira + EF
INTERVENCcedilAtildeO
11
04NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma Nova Semente
EM QUE CONSISTEIntervenccedilatildeo usando a metodologia My Teaching Partner com educadores do Programa Nova Semente
LOCALPetrolina (PE)
DATA
Ao longo de 2014
PARTICIPANTES2000 crianccedilas das quais 800 tiveram educadoras que passaram pelo treinamento
METODOLOGIAPareamento por escore de propensatildeo apoacutes a intervenccedilatildeo e regressatildeo com descontinuidade baseada no timing de
implementaccedilatildeo da intervenccedilatildeo
PRINCIPAIS RESULTADOS Sobre as crianccedilas Desempenho superior sobre o raciociacutenio na ordem de 02 desvio-padratildeo para crianccedilas do
maternal e da preacute-escola
Sobre as educadoras Melhoria da qualidade das interaccedilotildees com aumento de mais de 1 desvio-padratildeo
na qualidade do feedback para educadoras tanto do maternal quanto da preacute-escola e de cerca de 09
desvio-padratildeo na modelagem da linguagem
Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo em Petrolina
12
A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos
De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente
FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente
TABELA 1 TABELA 2
B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado
A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola
Maternal Preacute-escola
Coeficiente (erro-padratildeo)
016(007)
020(008)
lt 001 lt 005 lt 01
Clima Positivo
Clima Negativo
Sensibilidade do Professor
Respeito pelas Perspectivas da Crianccedila
Orientaccedilatildeo comportamental
Auxiacutelio ao Aprendizado e ao Desenvolvimento
Qualidade do Feedback
Modelagem da Linguagem
008(009)
022(006)
-010(008)
-003(008)
072(011)
018(010)
111(010)
081(010)
112(010)
-048(008)
153(008)
149(008)
103(006)
100(007)
1071(009)
069(010)
Maternal
Favoraacuteveis
Desfavoraacuteveis
Natildeo significativos
Preacute
INTERVENCcedilAtildeO
13
05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente
EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova
Semente (Petrolina PE)
LOCALPetrolina (PE)
DATA
2016
PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova
Semente A outra metade natildeo frequentava creche ou preacute-escola
METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo
agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo
quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1
PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo
em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola
Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas
14
FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary
A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)
TABELA 1
ECE
ObservationsPseudo R-squared
Robust standard errors in parentheses 1 significant 5 significant
(1)10
(2)25
(3)Median
(4)75
(5)90th th th th
0465(0074)
166
0229
0428(0128)
166
0253
0369(0176)
166
0222
0403(0169)
166
0247
0434(0279)
166
0285
INTERVENCcedilAtildeO
15
06 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees
LOCALRede puacuteblica estadual do Rio Grande do Sul
DATA
2006 e 2007
PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul
METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como
controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional
PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo
de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)
Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul
16
O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado
Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1
Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores
175
180
190
200
201120092007Ano
185
195
Not
a m
eacutedia
de
Liacuteng
ua P
ortu
gues
a
FocircnicoConstrutivistaControle II
GestatildeoControle I
GRAacuteFICO 1
Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p
InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X
Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X
lt 001 lt 005 lt 01
(1) (2) (3) (4) (5) (6)
A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo
Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa
TABELA 1
FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357
INTERVENCcedilAtildeO
17
07 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTE
Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo
LOCALRedes municipais do Estado do Cearaacute
DATA
2008 a 2012
PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias
No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)
METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute
PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados
consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos
Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste
Programa SPAECEAlfa do Estado do Cearaacute
18
FONTE DOS DADOSDados puacuteblicos do SPAECEALFA
2008 2009 2010 2011 2012
1278
1266
1284
-18
188
1338
1446
132
126
1679
1623
1666
1618
56
2034
1739
1803
1776
21
2148
1647
1832
1621
211
1976
Total
Alfa e Beto
Demais
Diferenccedila
Sobral
Municiacutepios Suficiente Desejaacutevel
123456789
10111213
2404
794
796
1493
154
104
1144
693
2058
1153
1149
704
2313
267
1340
190
187
81
13
143
239
218
200
291
16
248
5784
8307
8756
6555
9576
9805
7548
8766
5252
6714
6932
8568
5646
506
8230
698
621
814
972
760
565
533
615
529
961
645
2011 2012 2011 2012
O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral
O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis
TABELA 1 TABELA 2
INTERVENCcedilAtildeO
19
08 NIacuteVELEducaccedilatildeo Infantil
PROGRAMA AVALIADOIlhas do Alfabeto
EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto
LOCALRio de Janeiro (RJ)
DATA
Ao longo do 2ordm semestre de 2018
PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os
demais seguiram as atividades regulares programadas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano
Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)
Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo
Implementaccedilatildeo do jogo digital Ilhas do Alfabeto
20
FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)
Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano
O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos
Efeito sobre teste de alfabetizaccedilatildeo
O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos
GRAacuteFICO 1 GRAacuteFICO 2
12
1
4
1
6
18
20
Antes Depois
Esco
re
Controle Tratado
10
20
30
40
Antes Depois
Esco
re
Controle Tratado
INTERVENCcedilAtildeO
21
09 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto
LOCALMuniciacutepios do estado do Piauiacute
DATA
2011 a 2012
PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram
METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com
cluster para municiacutepios
PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo
equivalendo a mais de meio ano letivo de ganho
Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)
22
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa
Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015
2015
2013
Escolas
Observaccedilotildees
R-2
804(220)
-003(164)
832(251)
118(136)
459
1377
017
459
1377
018
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
TABELA 1
INTERVENCcedilAtildeO
23
10 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de
programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Dados coletados em 2013
PARTICIPANTESGrupos auto-selecionados
METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos
PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais
Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais
Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)
24
0 20 40 60 80 100
010
2030
40
Alunos IAB
0 20 40 60 80 100
010
2030
40
Outros Alunos
notas com conceitos B ou MB
GRAacuteFICO 1
Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)
IAB(1)
Outros(2)
IAB(3)
Outros(4)
TABELA 1
As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas
O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas
Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769
As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
INTERVENCcedilAtildeO
7
02 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)
EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira
interativa
LOCALBoa Vista (RR)
DATA
Ao longo de 9 meses em 2015
PARTICIPANTES566 famiacutelias das quais 279 participaram do programa As demais compuseram o grupo de controle
METODOLOGIAEstudo randomizado com clusters
PRINCIPAIS RESULTADOSO programa UBB teve impactos semelhantes para pais com alto e baixo niacutevel de escolaridade
Melhora na qualidade da interaccedilatildeo de 05 desvio-padratildeo para ambos os grupos
Melhora na memoacuteria do trabalho de 04 desvio-padratildeo para ambos os grupos
Melhora no vocabulaacuterio receptivo de 03 desvio-padratildeo para ambos os grupos
Impacto do niacutevel de escolaridade dos pais no desempenho das crianccedilas
8
FONTE DOS DADOSRCT of a Reading aloud intervention in Brazil Do impacts differ depending on parent literacy (submetido para publicaccedilatildeo)
TABELA 1
Outcomes
Parenting
Child
Interactive reading (ACIRI)Cognitive Home Environment (StimQ)StimQ READStimQ PVRStimQ PIDAExpressive vocabulary (TIN)Receptive vocabulary (Peabody)Nonverbal intelligence (SON)Working memory (TIMT)Phonological short-term memory
53
52
71
17
13
20
31
38
42
09
51
27
32
29
08
03
27
42
44
15
High literacyLow literacyaUniversidade do Bebecirc
t
a tNote plt01 plt001 Parent literacy dichotomized by median split tendency towards statistical significance (p= 007) All analyses were adjusted for childrenrsquos sex age race (dichotomized as indigenous or not indigenous) and birth order parentrsquos age marital status family income food insecurity financial hardship and parental depressive symptoms Multilevel modeling was used to account for clustering (12 sites and 22 child care centers)
Os modelos multiniacutevel mostram efeitos comparaacuteveis da UBB nos resultados dos pais e das crianccedilas independentemente do niacutevel de alfabetizaccedilatildeo e leitura dos pais
INTERVENCcedilAtildeO
9
03 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOCapoeira
EM QUE CONSISTEImplementaccedilatildeo de um programa de capoeira para crianccedilas de 4 a 5 anos de idade do Programa Nova Semente
LOCALPetrolina (PE)
DATA
Ao longo do 2ordm semestre de 2016
PARTICIPANTESCerca de 1800 crianccedilas Houve dois grupos com intervenccedilatildeo aleacutem do grupo de controle um com aulas tradicionais de
capoeira outro com aulas de capoeira e atividades adicionais voltadas ao desenvolvimento de funccedilotildees executivas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOSExistem evidecircncias de melhora na funccedilatildeo executiva das crianccedilas
Aumento na ordem de 012 desvio-padratildeo em atenccedilatildeo e controle inibitoacuterio para os dois grupos com intervenccedilatildeo
Melhora de 015 desvio-padratildeo em memoacuteria do trabalho para crianccedilas do grupo com ecircnfase em controle executivo
Efeito maior para crianccedilas beneficiaacuterias do Bolsa-famiacutelia e filhos(as) de matildees menos escolarizadas
Impacto da capoeira no desenvolvimento de funccedilotildees de controle executivo
10
FONTE DOS DADOSHirata (2019) Impact of Capoeira on Childrenrsquos Executive Functions (em elaboraccedilatildeo)
O Graacutefico 1 mostra o efeito do programa (representado pelo ciacuterculo cheio) em atenccedilatildeocontrole inibitoacuterio e memoacuteria do trabalho para diferentes pontos (percentis) da distribuiccedilatildeo de desenvolvimento naquelas habilidades O intervalo de confianccedila de 95 eacute representado pelas hastes acima e abaixo do ciacuterculo cheio
Observa-se que o efeito (medido em desvios-padratildeo) sobre atenccedilatildeo (figura agrave esquerda) eacute maior para alunos que possuem maior niacutevel de atenccedilatildeo Jaacute o efeito para memoacuteria do trabalho eacute praticamente constante Os dois casos referem-se ao grupo exposto a aulas de capoeira com ecircnfase em controle executivo
O Graacutefico 2 mostra que o efeito do programa foi mais relevante para crianccedilas cujas matildees tinham baixa escolaridade (natildeo completaram o ensino meacutedio)
Tanto para o grupo exposto ao curso tradicional de capoeira quanto ao curso com ecircnfase em controle executivo (Capoeira + EF) o efeito sobre atenccedilatildeo e controle inibitoacuterio foi de 016 desvio-padratildeo ambos significantes a 10 Para crianccedilas cujas matildees completaram o ensino meacutedio ainda que os efeitos sejam positivos estatisticamente natildeo se pode afirmar que satildeo diferentes de zero
GRAacuteFICO 1 GRAacuteFICO 2
I I10 25 50 75 90
-4
-2
0
2
4
6
Impa
ct
Quantiles
I I I I II II I
ATTENTION
Quantiles10 25 50 75 90
-4
-2
0
2
4
6
I I II I II
WORKINGMEMORY
I I Impa
ct
Non-significant
Low schooling High Schooling
018
016
014
012
01
008
006
004
002
0
Capoeira Capoeira + EF
INTERVENCcedilAtildeO
11
04NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma Nova Semente
EM QUE CONSISTEIntervenccedilatildeo usando a metodologia My Teaching Partner com educadores do Programa Nova Semente
LOCALPetrolina (PE)
DATA
Ao longo de 2014
PARTICIPANTES2000 crianccedilas das quais 800 tiveram educadoras que passaram pelo treinamento
METODOLOGIAPareamento por escore de propensatildeo apoacutes a intervenccedilatildeo e regressatildeo com descontinuidade baseada no timing de
implementaccedilatildeo da intervenccedilatildeo
PRINCIPAIS RESULTADOS Sobre as crianccedilas Desempenho superior sobre o raciociacutenio na ordem de 02 desvio-padratildeo para crianccedilas do
maternal e da preacute-escola
Sobre as educadoras Melhoria da qualidade das interaccedilotildees com aumento de mais de 1 desvio-padratildeo
na qualidade do feedback para educadoras tanto do maternal quanto da preacute-escola e de cerca de 09
desvio-padratildeo na modelagem da linguagem
Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo em Petrolina
12
A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos
De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente
FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente
TABELA 1 TABELA 2
B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado
A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola
Maternal Preacute-escola
Coeficiente (erro-padratildeo)
016(007)
020(008)
lt 001 lt 005 lt 01
Clima Positivo
Clima Negativo
Sensibilidade do Professor
Respeito pelas Perspectivas da Crianccedila
Orientaccedilatildeo comportamental
Auxiacutelio ao Aprendizado e ao Desenvolvimento
Qualidade do Feedback
Modelagem da Linguagem
008(009)
022(006)
-010(008)
-003(008)
072(011)
018(010)
111(010)
081(010)
112(010)
-048(008)
153(008)
149(008)
103(006)
100(007)
1071(009)
069(010)
Maternal
Favoraacuteveis
Desfavoraacuteveis
Natildeo significativos
Preacute
INTERVENCcedilAtildeO
13
05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente
EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova
Semente (Petrolina PE)
LOCALPetrolina (PE)
DATA
2016
PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova
Semente A outra metade natildeo frequentava creche ou preacute-escola
METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo
agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo
quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1
PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo
em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola
Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas
14
FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary
A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)
TABELA 1
ECE
ObservationsPseudo R-squared
Robust standard errors in parentheses 1 significant 5 significant
(1)10
(2)25
(3)Median
(4)75
(5)90th th th th
0465(0074)
166
0229
0428(0128)
166
0253
0369(0176)
166
0222
0403(0169)
166
0247
0434(0279)
166
0285
INTERVENCcedilAtildeO
15
06 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees
LOCALRede puacuteblica estadual do Rio Grande do Sul
DATA
2006 e 2007
PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul
METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como
controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional
PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo
de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)
Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul
16
O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado
Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1
Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores
175
180
190
200
201120092007Ano
185
195
Not
a m
eacutedia
de
Liacuteng
ua P
ortu
gues
a
FocircnicoConstrutivistaControle II
GestatildeoControle I
GRAacuteFICO 1
Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p
InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X
Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X
lt 001 lt 005 lt 01
(1) (2) (3) (4) (5) (6)
A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo
Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa
TABELA 1
FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357
INTERVENCcedilAtildeO
17
07 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTE
Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo
LOCALRedes municipais do Estado do Cearaacute
DATA
2008 a 2012
PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias
No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)
METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute
PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados
consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos
Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste
Programa SPAECEAlfa do Estado do Cearaacute
18
FONTE DOS DADOSDados puacuteblicos do SPAECEALFA
2008 2009 2010 2011 2012
1278
1266
1284
-18
188
1338
1446
132
126
1679
1623
1666
1618
56
2034
1739
1803
1776
21
2148
1647
1832
1621
211
1976
Total
Alfa e Beto
Demais
Diferenccedila
Sobral
Municiacutepios Suficiente Desejaacutevel
123456789
10111213
2404
794
796
1493
154
104
1144
693
2058
1153
1149
704
2313
267
1340
190
187
81
13
143
239
218
200
291
16
248
5784
8307
8756
6555
9576
9805
7548
8766
5252
6714
6932
8568
5646
506
8230
698
621
814
972
760
565
533
615
529
961
645
2011 2012 2011 2012
O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral
O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis
TABELA 1 TABELA 2
INTERVENCcedilAtildeO
19
08 NIacuteVELEducaccedilatildeo Infantil
PROGRAMA AVALIADOIlhas do Alfabeto
EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto
LOCALRio de Janeiro (RJ)
DATA
Ao longo do 2ordm semestre de 2018
PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os
demais seguiram as atividades regulares programadas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano
Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)
Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo
Implementaccedilatildeo do jogo digital Ilhas do Alfabeto
20
FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)
Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano
O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos
Efeito sobre teste de alfabetizaccedilatildeo
O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos
GRAacuteFICO 1 GRAacuteFICO 2
12
1
4
1
6
18
20
Antes Depois
Esco
re
Controle Tratado
10
20
30
40
Antes Depois
Esco
re
Controle Tratado
INTERVENCcedilAtildeO
21
09 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto
LOCALMuniciacutepios do estado do Piauiacute
DATA
2011 a 2012
PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram
METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com
cluster para municiacutepios
PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo
equivalendo a mais de meio ano letivo de ganho
Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)
22
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa
Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015
2015
2013
Escolas
Observaccedilotildees
R-2
804(220)
-003(164)
832(251)
118(136)
459
1377
017
459
1377
018
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
TABELA 1
INTERVENCcedilAtildeO
23
10 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de
programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Dados coletados em 2013
PARTICIPANTESGrupos auto-selecionados
METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos
PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais
Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais
Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)
24
0 20 40 60 80 100
010
2030
40
Alunos IAB
0 20 40 60 80 100
010
2030
40
Outros Alunos
notas com conceitos B ou MB
GRAacuteFICO 1
Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)
IAB(1)
Outros(2)
IAB(3)
Outros(4)
TABELA 1
As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas
O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas
Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769
As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
8
FONTE DOS DADOSRCT of a Reading aloud intervention in Brazil Do impacts differ depending on parent literacy (submetido para publicaccedilatildeo)
TABELA 1
Outcomes
Parenting
Child
Interactive reading (ACIRI)Cognitive Home Environment (StimQ)StimQ READStimQ PVRStimQ PIDAExpressive vocabulary (TIN)Receptive vocabulary (Peabody)Nonverbal intelligence (SON)Working memory (TIMT)Phonological short-term memory
53
52
71
17
13
20
31
38
42
09
51
27
32
29
08
03
27
42
44
15
High literacyLow literacyaUniversidade do Bebecirc
t
a tNote plt01 plt001 Parent literacy dichotomized by median split tendency towards statistical significance (p= 007) All analyses were adjusted for childrenrsquos sex age race (dichotomized as indigenous or not indigenous) and birth order parentrsquos age marital status family income food insecurity financial hardship and parental depressive symptoms Multilevel modeling was used to account for clustering (12 sites and 22 child care centers)
Os modelos multiniacutevel mostram efeitos comparaacuteveis da UBB nos resultados dos pais e das crianccedilas independentemente do niacutevel de alfabetizaccedilatildeo e leitura dos pais
INTERVENCcedilAtildeO
9
03 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOCapoeira
EM QUE CONSISTEImplementaccedilatildeo de um programa de capoeira para crianccedilas de 4 a 5 anos de idade do Programa Nova Semente
LOCALPetrolina (PE)
DATA
Ao longo do 2ordm semestre de 2016
PARTICIPANTESCerca de 1800 crianccedilas Houve dois grupos com intervenccedilatildeo aleacutem do grupo de controle um com aulas tradicionais de
capoeira outro com aulas de capoeira e atividades adicionais voltadas ao desenvolvimento de funccedilotildees executivas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOSExistem evidecircncias de melhora na funccedilatildeo executiva das crianccedilas
Aumento na ordem de 012 desvio-padratildeo em atenccedilatildeo e controle inibitoacuterio para os dois grupos com intervenccedilatildeo
Melhora de 015 desvio-padratildeo em memoacuteria do trabalho para crianccedilas do grupo com ecircnfase em controle executivo
Efeito maior para crianccedilas beneficiaacuterias do Bolsa-famiacutelia e filhos(as) de matildees menos escolarizadas
Impacto da capoeira no desenvolvimento de funccedilotildees de controle executivo
10
FONTE DOS DADOSHirata (2019) Impact of Capoeira on Childrenrsquos Executive Functions (em elaboraccedilatildeo)
O Graacutefico 1 mostra o efeito do programa (representado pelo ciacuterculo cheio) em atenccedilatildeocontrole inibitoacuterio e memoacuteria do trabalho para diferentes pontos (percentis) da distribuiccedilatildeo de desenvolvimento naquelas habilidades O intervalo de confianccedila de 95 eacute representado pelas hastes acima e abaixo do ciacuterculo cheio
Observa-se que o efeito (medido em desvios-padratildeo) sobre atenccedilatildeo (figura agrave esquerda) eacute maior para alunos que possuem maior niacutevel de atenccedilatildeo Jaacute o efeito para memoacuteria do trabalho eacute praticamente constante Os dois casos referem-se ao grupo exposto a aulas de capoeira com ecircnfase em controle executivo
O Graacutefico 2 mostra que o efeito do programa foi mais relevante para crianccedilas cujas matildees tinham baixa escolaridade (natildeo completaram o ensino meacutedio)
Tanto para o grupo exposto ao curso tradicional de capoeira quanto ao curso com ecircnfase em controle executivo (Capoeira + EF) o efeito sobre atenccedilatildeo e controle inibitoacuterio foi de 016 desvio-padratildeo ambos significantes a 10 Para crianccedilas cujas matildees completaram o ensino meacutedio ainda que os efeitos sejam positivos estatisticamente natildeo se pode afirmar que satildeo diferentes de zero
GRAacuteFICO 1 GRAacuteFICO 2
I I10 25 50 75 90
-4
-2
0
2
4
6
Impa
ct
Quantiles
I I I I II II I
ATTENTION
Quantiles10 25 50 75 90
-4
-2
0
2
4
6
I I II I II
WORKINGMEMORY
I I Impa
ct
Non-significant
Low schooling High Schooling
018
016
014
012
01
008
006
004
002
0
Capoeira Capoeira + EF
INTERVENCcedilAtildeO
11
04NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma Nova Semente
EM QUE CONSISTEIntervenccedilatildeo usando a metodologia My Teaching Partner com educadores do Programa Nova Semente
LOCALPetrolina (PE)
DATA
Ao longo de 2014
PARTICIPANTES2000 crianccedilas das quais 800 tiveram educadoras que passaram pelo treinamento
METODOLOGIAPareamento por escore de propensatildeo apoacutes a intervenccedilatildeo e regressatildeo com descontinuidade baseada no timing de
implementaccedilatildeo da intervenccedilatildeo
PRINCIPAIS RESULTADOS Sobre as crianccedilas Desempenho superior sobre o raciociacutenio na ordem de 02 desvio-padratildeo para crianccedilas do
maternal e da preacute-escola
Sobre as educadoras Melhoria da qualidade das interaccedilotildees com aumento de mais de 1 desvio-padratildeo
na qualidade do feedback para educadoras tanto do maternal quanto da preacute-escola e de cerca de 09
desvio-padratildeo na modelagem da linguagem
Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo em Petrolina
12
A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos
De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente
FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente
TABELA 1 TABELA 2
B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado
A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola
Maternal Preacute-escola
Coeficiente (erro-padratildeo)
016(007)
020(008)
lt 001 lt 005 lt 01
Clima Positivo
Clima Negativo
Sensibilidade do Professor
Respeito pelas Perspectivas da Crianccedila
Orientaccedilatildeo comportamental
Auxiacutelio ao Aprendizado e ao Desenvolvimento
Qualidade do Feedback
Modelagem da Linguagem
008(009)
022(006)
-010(008)
-003(008)
072(011)
018(010)
111(010)
081(010)
112(010)
-048(008)
153(008)
149(008)
103(006)
100(007)
1071(009)
069(010)
Maternal
Favoraacuteveis
Desfavoraacuteveis
Natildeo significativos
Preacute
INTERVENCcedilAtildeO
13
05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente
EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova
Semente (Petrolina PE)
LOCALPetrolina (PE)
DATA
2016
PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova
Semente A outra metade natildeo frequentava creche ou preacute-escola
METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo
agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo
quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1
PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo
em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola
Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas
14
FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary
A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)
TABELA 1
ECE
ObservationsPseudo R-squared
Robust standard errors in parentheses 1 significant 5 significant
(1)10
(2)25
(3)Median
(4)75
(5)90th th th th
0465(0074)
166
0229
0428(0128)
166
0253
0369(0176)
166
0222
0403(0169)
166
0247
0434(0279)
166
0285
INTERVENCcedilAtildeO
15
06 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees
LOCALRede puacuteblica estadual do Rio Grande do Sul
DATA
2006 e 2007
PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul
METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como
controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional
PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo
de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)
Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul
16
O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado
Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1
Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores
175
180
190
200
201120092007Ano
185
195
Not
a m
eacutedia
de
Liacuteng
ua P
ortu
gues
a
FocircnicoConstrutivistaControle II
GestatildeoControle I
GRAacuteFICO 1
Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p
InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X
Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X
lt 001 lt 005 lt 01
(1) (2) (3) (4) (5) (6)
A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo
Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa
TABELA 1
FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357
INTERVENCcedilAtildeO
17
07 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTE
Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo
LOCALRedes municipais do Estado do Cearaacute
DATA
2008 a 2012
PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias
No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)
METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute
PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados
consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos
Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste
Programa SPAECEAlfa do Estado do Cearaacute
18
FONTE DOS DADOSDados puacuteblicos do SPAECEALFA
2008 2009 2010 2011 2012
1278
1266
1284
-18
188
1338
1446
132
126
1679
1623
1666
1618
56
2034
1739
1803
1776
21
2148
1647
1832
1621
211
1976
Total
Alfa e Beto
Demais
Diferenccedila
Sobral
Municiacutepios Suficiente Desejaacutevel
123456789
10111213
2404
794
796
1493
154
104
1144
693
2058
1153
1149
704
2313
267
1340
190
187
81
13
143
239
218
200
291
16
248
5784
8307
8756
6555
9576
9805
7548
8766
5252
6714
6932
8568
5646
506
8230
698
621
814
972
760
565
533
615
529
961
645
2011 2012 2011 2012
O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral
O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis
TABELA 1 TABELA 2
INTERVENCcedilAtildeO
19
08 NIacuteVELEducaccedilatildeo Infantil
PROGRAMA AVALIADOIlhas do Alfabeto
EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto
LOCALRio de Janeiro (RJ)
DATA
Ao longo do 2ordm semestre de 2018
PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os
demais seguiram as atividades regulares programadas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano
Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)
Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo
Implementaccedilatildeo do jogo digital Ilhas do Alfabeto
20
FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)
Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano
O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos
Efeito sobre teste de alfabetizaccedilatildeo
O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos
GRAacuteFICO 1 GRAacuteFICO 2
12
1
4
1
6
18
20
Antes Depois
Esco
re
Controle Tratado
10
20
30
40
Antes Depois
Esco
re
Controle Tratado
INTERVENCcedilAtildeO
21
09 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto
LOCALMuniciacutepios do estado do Piauiacute
DATA
2011 a 2012
PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram
METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com
cluster para municiacutepios
PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo
equivalendo a mais de meio ano letivo de ganho
Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)
22
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa
Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015
2015
2013
Escolas
Observaccedilotildees
R-2
804(220)
-003(164)
832(251)
118(136)
459
1377
017
459
1377
018
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
TABELA 1
INTERVENCcedilAtildeO
23
10 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de
programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Dados coletados em 2013
PARTICIPANTESGrupos auto-selecionados
METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos
PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais
Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais
Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)
24
0 20 40 60 80 100
010
2030
40
Alunos IAB
0 20 40 60 80 100
010
2030
40
Outros Alunos
notas com conceitos B ou MB
GRAacuteFICO 1
Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)
IAB(1)
Outros(2)
IAB(3)
Outros(4)
TABELA 1
As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas
O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas
Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769
As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
INTERVENCcedilAtildeO
9
03 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOCapoeira
EM QUE CONSISTEImplementaccedilatildeo de um programa de capoeira para crianccedilas de 4 a 5 anos de idade do Programa Nova Semente
LOCALPetrolina (PE)
DATA
Ao longo do 2ordm semestre de 2016
PARTICIPANTESCerca de 1800 crianccedilas Houve dois grupos com intervenccedilatildeo aleacutem do grupo de controle um com aulas tradicionais de
capoeira outro com aulas de capoeira e atividades adicionais voltadas ao desenvolvimento de funccedilotildees executivas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOSExistem evidecircncias de melhora na funccedilatildeo executiva das crianccedilas
Aumento na ordem de 012 desvio-padratildeo em atenccedilatildeo e controle inibitoacuterio para os dois grupos com intervenccedilatildeo
Melhora de 015 desvio-padratildeo em memoacuteria do trabalho para crianccedilas do grupo com ecircnfase em controle executivo
Efeito maior para crianccedilas beneficiaacuterias do Bolsa-famiacutelia e filhos(as) de matildees menos escolarizadas
Impacto da capoeira no desenvolvimento de funccedilotildees de controle executivo
10
FONTE DOS DADOSHirata (2019) Impact of Capoeira on Childrenrsquos Executive Functions (em elaboraccedilatildeo)
O Graacutefico 1 mostra o efeito do programa (representado pelo ciacuterculo cheio) em atenccedilatildeocontrole inibitoacuterio e memoacuteria do trabalho para diferentes pontos (percentis) da distribuiccedilatildeo de desenvolvimento naquelas habilidades O intervalo de confianccedila de 95 eacute representado pelas hastes acima e abaixo do ciacuterculo cheio
Observa-se que o efeito (medido em desvios-padratildeo) sobre atenccedilatildeo (figura agrave esquerda) eacute maior para alunos que possuem maior niacutevel de atenccedilatildeo Jaacute o efeito para memoacuteria do trabalho eacute praticamente constante Os dois casos referem-se ao grupo exposto a aulas de capoeira com ecircnfase em controle executivo
O Graacutefico 2 mostra que o efeito do programa foi mais relevante para crianccedilas cujas matildees tinham baixa escolaridade (natildeo completaram o ensino meacutedio)
Tanto para o grupo exposto ao curso tradicional de capoeira quanto ao curso com ecircnfase em controle executivo (Capoeira + EF) o efeito sobre atenccedilatildeo e controle inibitoacuterio foi de 016 desvio-padratildeo ambos significantes a 10 Para crianccedilas cujas matildees completaram o ensino meacutedio ainda que os efeitos sejam positivos estatisticamente natildeo se pode afirmar que satildeo diferentes de zero
GRAacuteFICO 1 GRAacuteFICO 2
I I10 25 50 75 90
-4
-2
0
2
4
6
Impa
ct
Quantiles
I I I I II II I
ATTENTION
Quantiles10 25 50 75 90
-4
-2
0
2
4
6
I I II I II
WORKINGMEMORY
I I Impa
ct
Non-significant
Low schooling High Schooling
018
016
014
012
01
008
006
004
002
0
Capoeira Capoeira + EF
INTERVENCcedilAtildeO
11
04NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma Nova Semente
EM QUE CONSISTEIntervenccedilatildeo usando a metodologia My Teaching Partner com educadores do Programa Nova Semente
LOCALPetrolina (PE)
DATA
Ao longo de 2014
PARTICIPANTES2000 crianccedilas das quais 800 tiveram educadoras que passaram pelo treinamento
METODOLOGIAPareamento por escore de propensatildeo apoacutes a intervenccedilatildeo e regressatildeo com descontinuidade baseada no timing de
implementaccedilatildeo da intervenccedilatildeo
PRINCIPAIS RESULTADOS Sobre as crianccedilas Desempenho superior sobre o raciociacutenio na ordem de 02 desvio-padratildeo para crianccedilas do
maternal e da preacute-escola
Sobre as educadoras Melhoria da qualidade das interaccedilotildees com aumento de mais de 1 desvio-padratildeo
na qualidade do feedback para educadoras tanto do maternal quanto da preacute-escola e de cerca de 09
desvio-padratildeo na modelagem da linguagem
Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo em Petrolina
12
A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos
De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente
FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente
TABELA 1 TABELA 2
B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado
A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola
Maternal Preacute-escola
Coeficiente (erro-padratildeo)
016(007)
020(008)
lt 001 lt 005 lt 01
Clima Positivo
Clima Negativo
Sensibilidade do Professor
Respeito pelas Perspectivas da Crianccedila
Orientaccedilatildeo comportamental
Auxiacutelio ao Aprendizado e ao Desenvolvimento
Qualidade do Feedback
Modelagem da Linguagem
008(009)
022(006)
-010(008)
-003(008)
072(011)
018(010)
111(010)
081(010)
112(010)
-048(008)
153(008)
149(008)
103(006)
100(007)
1071(009)
069(010)
Maternal
Favoraacuteveis
Desfavoraacuteveis
Natildeo significativos
Preacute
INTERVENCcedilAtildeO
13
05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente
EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova
Semente (Petrolina PE)
LOCALPetrolina (PE)
DATA
2016
PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova
Semente A outra metade natildeo frequentava creche ou preacute-escola
METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo
agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo
quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1
PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo
em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola
Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas
14
FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary
A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)
TABELA 1
ECE
ObservationsPseudo R-squared
Robust standard errors in parentheses 1 significant 5 significant
(1)10
(2)25
(3)Median
(4)75
(5)90th th th th
0465(0074)
166
0229
0428(0128)
166
0253
0369(0176)
166
0222
0403(0169)
166
0247
0434(0279)
166
0285
INTERVENCcedilAtildeO
15
06 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees
LOCALRede puacuteblica estadual do Rio Grande do Sul
DATA
2006 e 2007
PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul
METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como
controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional
PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo
de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)
Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul
16
O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado
Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1
Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores
175
180
190
200
201120092007Ano
185
195
Not
a m
eacutedia
de
Liacuteng
ua P
ortu
gues
a
FocircnicoConstrutivistaControle II
GestatildeoControle I
GRAacuteFICO 1
Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p
InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X
Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X
lt 001 lt 005 lt 01
(1) (2) (3) (4) (5) (6)
A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo
Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa
TABELA 1
FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357
INTERVENCcedilAtildeO
17
07 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTE
Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo
LOCALRedes municipais do Estado do Cearaacute
DATA
2008 a 2012
PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias
No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)
METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute
PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados
consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos
Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste
Programa SPAECEAlfa do Estado do Cearaacute
18
FONTE DOS DADOSDados puacuteblicos do SPAECEALFA
2008 2009 2010 2011 2012
1278
1266
1284
-18
188
1338
1446
132
126
1679
1623
1666
1618
56
2034
1739
1803
1776
21
2148
1647
1832
1621
211
1976
Total
Alfa e Beto
Demais
Diferenccedila
Sobral
Municiacutepios Suficiente Desejaacutevel
123456789
10111213
2404
794
796
1493
154
104
1144
693
2058
1153
1149
704
2313
267
1340
190
187
81
13
143
239
218
200
291
16
248
5784
8307
8756
6555
9576
9805
7548
8766
5252
6714
6932
8568
5646
506
8230
698
621
814
972
760
565
533
615
529
961
645
2011 2012 2011 2012
O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral
O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis
TABELA 1 TABELA 2
INTERVENCcedilAtildeO
19
08 NIacuteVELEducaccedilatildeo Infantil
PROGRAMA AVALIADOIlhas do Alfabeto
EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto
LOCALRio de Janeiro (RJ)
DATA
Ao longo do 2ordm semestre de 2018
PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os
demais seguiram as atividades regulares programadas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano
Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)
Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo
Implementaccedilatildeo do jogo digital Ilhas do Alfabeto
20
FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)
Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano
O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos
Efeito sobre teste de alfabetizaccedilatildeo
O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos
GRAacuteFICO 1 GRAacuteFICO 2
12
1
4
1
6
18
20
Antes Depois
Esco
re
Controle Tratado
10
20
30
40
Antes Depois
Esco
re
Controle Tratado
INTERVENCcedilAtildeO
21
09 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto
LOCALMuniciacutepios do estado do Piauiacute
DATA
2011 a 2012
PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram
METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com
cluster para municiacutepios
PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo
equivalendo a mais de meio ano letivo de ganho
Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)
22
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa
Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015
2015
2013
Escolas
Observaccedilotildees
R-2
804(220)
-003(164)
832(251)
118(136)
459
1377
017
459
1377
018
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
TABELA 1
INTERVENCcedilAtildeO
23
10 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de
programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Dados coletados em 2013
PARTICIPANTESGrupos auto-selecionados
METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos
PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais
Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais
Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)
24
0 20 40 60 80 100
010
2030
40
Alunos IAB
0 20 40 60 80 100
010
2030
40
Outros Alunos
notas com conceitos B ou MB
GRAacuteFICO 1
Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)
IAB(1)
Outros(2)
IAB(3)
Outros(4)
TABELA 1
As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas
O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas
Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769
As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
10
FONTE DOS DADOSHirata (2019) Impact of Capoeira on Childrenrsquos Executive Functions (em elaboraccedilatildeo)
O Graacutefico 1 mostra o efeito do programa (representado pelo ciacuterculo cheio) em atenccedilatildeocontrole inibitoacuterio e memoacuteria do trabalho para diferentes pontos (percentis) da distribuiccedilatildeo de desenvolvimento naquelas habilidades O intervalo de confianccedila de 95 eacute representado pelas hastes acima e abaixo do ciacuterculo cheio
Observa-se que o efeito (medido em desvios-padratildeo) sobre atenccedilatildeo (figura agrave esquerda) eacute maior para alunos que possuem maior niacutevel de atenccedilatildeo Jaacute o efeito para memoacuteria do trabalho eacute praticamente constante Os dois casos referem-se ao grupo exposto a aulas de capoeira com ecircnfase em controle executivo
O Graacutefico 2 mostra que o efeito do programa foi mais relevante para crianccedilas cujas matildees tinham baixa escolaridade (natildeo completaram o ensino meacutedio)
Tanto para o grupo exposto ao curso tradicional de capoeira quanto ao curso com ecircnfase em controle executivo (Capoeira + EF) o efeito sobre atenccedilatildeo e controle inibitoacuterio foi de 016 desvio-padratildeo ambos significantes a 10 Para crianccedilas cujas matildees completaram o ensino meacutedio ainda que os efeitos sejam positivos estatisticamente natildeo se pode afirmar que satildeo diferentes de zero
GRAacuteFICO 1 GRAacuteFICO 2
I I10 25 50 75 90
-4
-2
0
2
4
6
Impa
ct
Quantiles
I I I I II II I
ATTENTION
Quantiles10 25 50 75 90
-4
-2
0
2
4
6
I I II I II
WORKINGMEMORY
I I Impa
ct
Non-significant
Low schooling High Schooling
018
016
014
012
01
008
006
004
002
0
Capoeira Capoeira + EF
INTERVENCcedilAtildeO
11
04NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma Nova Semente
EM QUE CONSISTEIntervenccedilatildeo usando a metodologia My Teaching Partner com educadores do Programa Nova Semente
LOCALPetrolina (PE)
DATA
Ao longo de 2014
PARTICIPANTES2000 crianccedilas das quais 800 tiveram educadoras que passaram pelo treinamento
METODOLOGIAPareamento por escore de propensatildeo apoacutes a intervenccedilatildeo e regressatildeo com descontinuidade baseada no timing de
implementaccedilatildeo da intervenccedilatildeo
PRINCIPAIS RESULTADOS Sobre as crianccedilas Desempenho superior sobre o raciociacutenio na ordem de 02 desvio-padratildeo para crianccedilas do
maternal e da preacute-escola
Sobre as educadoras Melhoria da qualidade das interaccedilotildees com aumento de mais de 1 desvio-padratildeo
na qualidade do feedback para educadoras tanto do maternal quanto da preacute-escola e de cerca de 09
desvio-padratildeo na modelagem da linguagem
Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo em Petrolina
12
A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos
De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente
FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente
TABELA 1 TABELA 2
B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado
A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola
Maternal Preacute-escola
Coeficiente (erro-padratildeo)
016(007)
020(008)
lt 001 lt 005 lt 01
Clima Positivo
Clima Negativo
Sensibilidade do Professor
Respeito pelas Perspectivas da Crianccedila
Orientaccedilatildeo comportamental
Auxiacutelio ao Aprendizado e ao Desenvolvimento
Qualidade do Feedback
Modelagem da Linguagem
008(009)
022(006)
-010(008)
-003(008)
072(011)
018(010)
111(010)
081(010)
112(010)
-048(008)
153(008)
149(008)
103(006)
100(007)
1071(009)
069(010)
Maternal
Favoraacuteveis
Desfavoraacuteveis
Natildeo significativos
Preacute
INTERVENCcedilAtildeO
13
05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente
EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova
Semente (Petrolina PE)
LOCALPetrolina (PE)
DATA
2016
PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova
Semente A outra metade natildeo frequentava creche ou preacute-escola
METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo
agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo
quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1
PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo
em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola
Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas
14
FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary
A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)
TABELA 1
ECE
ObservationsPseudo R-squared
Robust standard errors in parentheses 1 significant 5 significant
(1)10
(2)25
(3)Median
(4)75
(5)90th th th th
0465(0074)
166
0229
0428(0128)
166
0253
0369(0176)
166
0222
0403(0169)
166
0247
0434(0279)
166
0285
INTERVENCcedilAtildeO
15
06 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees
LOCALRede puacuteblica estadual do Rio Grande do Sul
DATA
2006 e 2007
PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul
METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como
controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional
PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo
de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)
Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul
16
O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado
Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1
Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores
175
180
190
200
201120092007Ano
185
195
Not
a m
eacutedia
de
Liacuteng
ua P
ortu
gues
a
FocircnicoConstrutivistaControle II
GestatildeoControle I
GRAacuteFICO 1
Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p
InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X
Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X
lt 001 lt 005 lt 01
(1) (2) (3) (4) (5) (6)
A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo
Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa
TABELA 1
FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357
INTERVENCcedilAtildeO
17
07 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTE
Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo
LOCALRedes municipais do Estado do Cearaacute
DATA
2008 a 2012
PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias
No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)
METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute
PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados
consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos
Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste
Programa SPAECEAlfa do Estado do Cearaacute
18
FONTE DOS DADOSDados puacuteblicos do SPAECEALFA
2008 2009 2010 2011 2012
1278
1266
1284
-18
188
1338
1446
132
126
1679
1623
1666
1618
56
2034
1739
1803
1776
21
2148
1647
1832
1621
211
1976
Total
Alfa e Beto
Demais
Diferenccedila
Sobral
Municiacutepios Suficiente Desejaacutevel
123456789
10111213
2404
794
796
1493
154
104
1144
693
2058
1153
1149
704
2313
267
1340
190
187
81
13
143
239
218
200
291
16
248
5784
8307
8756
6555
9576
9805
7548
8766
5252
6714
6932
8568
5646
506
8230
698
621
814
972
760
565
533
615
529
961
645
2011 2012 2011 2012
O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral
O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis
TABELA 1 TABELA 2
INTERVENCcedilAtildeO
19
08 NIacuteVELEducaccedilatildeo Infantil
PROGRAMA AVALIADOIlhas do Alfabeto
EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto
LOCALRio de Janeiro (RJ)
DATA
Ao longo do 2ordm semestre de 2018
PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os
demais seguiram as atividades regulares programadas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano
Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)
Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo
Implementaccedilatildeo do jogo digital Ilhas do Alfabeto
20
FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)
Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano
O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos
Efeito sobre teste de alfabetizaccedilatildeo
O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos
GRAacuteFICO 1 GRAacuteFICO 2
12
1
4
1
6
18
20
Antes Depois
Esco
re
Controle Tratado
10
20
30
40
Antes Depois
Esco
re
Controle Tratado
INTERVENCcedilAtildeO
21
09 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto
LOCALMuniciacutepios do estado do Piauiacute
DATA
2011 a 2012
PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram
METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com
cluster para municiacutepios
PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo
equivalendo a mais de meio ano letivo de ganho
Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)
22
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa
Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015
2015
2013
Escolas
Observaccedilotildees
R-2
804(220)
-003(164)
832(251)
118(136)
459
1377
017
459
1377
018
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
TABELA 1
INTERVENCcedilAtildeO
23
10 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de
programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Dados coletados em 2013
PARTICIPANTESGrupos auto-selecionados
METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos
PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais
Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais
Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)
24
0 20 40 60 80 100
010
2030
40
Alunos IAB
0 20 40 60 80 100
010
2030
40
Outros Alunos
notas com conceitos B ou MB
GRAacuteFICO 1
Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)
IAB(1)
Outros(2)
IAB(3)
Outros(4)
TABELA 1
As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas
O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas
Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769
As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
INTERVENCcedilAtildeO
11
04NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma Nova Semente
EM QUE CONSISTEIntervenccedilatildeo usando a metodologia My Teaching Partner com educadores do Programa Nova Semente
LOCALPetrolina (PE)
DATA
Ao longo de 2014
PARTICIPANTES2000 crianccedilas das quais 800 tiveram educadoras que passaram pelo treinamento
METODOLOGIAPareamento por escore de propensatildeo apoacutes a intervenccedilatildeo e regressatildeo com descontinuidade baseada no timing de
implementaccedilatildeo da intervenccedilatildeo
PRINCIPAIS RESULTADOS Sobre as crianccedilas Desempenho superior sobre o raciociacutenio na ordem de 02 desvio-padratildeo para crianccedilas do
maternal e da preacute-escola
Sobre as educadoras Melhoria da qualidade das interaccedilotildees com aumento de mais de 1 desvio-padratildeo
na qualidade do feedback para educadoras tanto do maternal quanto da preacute-escola e de cerca de 09
desvio-padratildeo na modelagem da linguagem
Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo em Petrolina
12
A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos
De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente
FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente
TABELA 1 TABELA 2
B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado
A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola
Maternal Preacute-escola
Coeficiente (erro-padratildeo)
016(007)
020(008)
lt 001 lt 005 lt 01
Clima Positivo
Clima Negativo
Sensibilidade do Professor
Respeito pelas Perspectivas da Crianccedila
Orientaccedilatildeo comportamental
Auxiacutelio ao Aprendizado e ao Desenvolvimento
Qualidade do Feedback
Modelagem da Linguagem
008(009)
022(006)
-010(008)
-003(008)
072(011)
018(010)
111(010)
081(010)
112(010)
-048(008)
153(008)
149(008)
103(006)
100(007)
1071(009)
069(010)
Maternal
Favoraacuteveis
Desfavoraacuteveis
Natildeo significativos
Preacute
INTERVENCcedilAtildeO
13
05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente
EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova
Semente (Petrolina PE)
LOCALPetrolina (PE)
DATA
2016
PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova
Semente A outra metade natildeo frequentava creche ou preacute-escola
METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo
agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo
quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1
PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo
em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola
Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas
14
FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary
A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)
TABELA 1
ECE
ObservationsPseudo R-squared
Robust standard errors in parentheses 1 significant 5 significant
(1)10
(2)25
(3)Median
(4)75
(5)90th th th th
0465(0074)
166
0229
0428(0128)
166
0253
0369(0176)
166
0222
0403(0169)
166
0247
0434(0279)
166
0285
INTERVENCcedilAtildeO
15
06 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees
LOCALRede puacuteblica estadual do Rio Grande do Sul
DATA
2006 e 2007
PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul
METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como
controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional
PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo
de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)
Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul
16
O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado
Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1
Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores
175
180
190
200
201120092007Ano
185
195
Not
a m
eacutedia
de
Liacuteng
ua P
ortu
gues
a
FocircnicoConstrutivistaControle II
GestatildeoControle I
GRAacuteFICO 1
Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p
InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X
Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X
lt 001 lt 005 lt 01
(1) (2) (3) (4) (5) (6)
A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo
Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa
TABELA 1
FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357
INTERVENCcedilAtildeO
17
07 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTE
Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo
LOCALRedes municipais do Estado do Cearaacute
DATA
2008 a 2012
PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias
No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)
METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute
PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados
consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos
Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste
Programa SPAECEAlfa do Estado do Cearaacute
18
FONTE DOS DADOSDados puacuteblicos do SPAECEALFA
2008 2009 2010 2011 2012
1278
1266
1284
-18
188
1338
1446
132
126
1679
1623
1666
1618
56
2034
1739
1803
1776
21
2148
1647
1832
1621
211
1976
Total
Alfa e Beto
Demais
Diferenccedila
Sobral
Municiacutepios Suficiente Desejaacutevel
123456789
10111213
2404
794
796
1493
154
104
1144
693
2058
1153
1149
704
2313
267
1340
190
187
81
13
143
239
218
200
291
16
248
5784
8307
8756
6555
9576
9805
7548
8766
5252
6714
6932
8568
5646
506
8230
698
621
814
972
760
565
533
615
529
961
645
2011 2012 2011 2012
O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral
O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis
TABELA 1 TABELA 2
INTERVENCcedilAtildeO
19
08 NIacuteVELEducaccedilatildeo Infantil
PROGRAMA AVALIADOIlhas do Alfabeto
EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto
LOCALRio de Janeiro (RJ)
DATA
Ao longo do 2ordm semestre de 2018
PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os
demais seguiram as atividades regulares programadas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano
Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)
Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo
Implementaccedilatildeo do jogo digital Ilhas do Alfabeto
20
FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)
Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano
O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos
Efeito sobre teste de alfabetizaccedilatildeo
O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos
GRAacuteFICO 1 GRAacuteFICO 2
12
1
4
1
6
18
20
Antes Depois
Esco
re
Controle Tratado
10
20
30
40
Antes Depois
Esco
re
Controle Tratado
INTERVENCcedilAtildeO
21
09 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto
LOCALMuniciacutepios do estado do Piauiacute
DATA
2011 a 2012
PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram
METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com
cluster para municiacutepios
PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo
equivalendo a mais de meio ano letivo de ganho
Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)
22
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa
Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015
2015
2013
Escolas
Observaccedilotildees
R-2
804(220)
-003(164)
832(251)
118(136)
459
1377
017
459
1377
018
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
TABELA 1
INTERVENCcedilAtildeO
23
10 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de
programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Dados coletados em 2013
PARTICIPANTESGrupos auto-selecionados
METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos
PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais
Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais
Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)
24
0 20 40 60 80 100
010
2030
40
Alunos IAB
0 20 40 60 80 100
010
2030
40
Outros Alunos
notas com conceitos B ou MB
GRAacuteFICO 1
Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)
IAB(1)
Outros(2)
IAB(3)
Outros(4)
TABELA 1
As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas
O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas
Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769
As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
12
A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos
De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente
FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente
TABELA 1 TABELA 2
B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado
A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola
Maternal Preacute-escola
Coeficiente (erro-padratildeo)
016(007)
020(008)
lt 001 lt 005 lt 01
Clima Positivo
Clima Negativo
Sensibilidade do Professor
Respeito pelas Perspectivas da Crianccedila
Orientaccedilatildeo comportamental
Auxiacutelio ao Aprendizado e ao Desenvolvimento
Qualidade do Feedback
Modelagem da Linguagem
008(009)
022(006)
-010(008)
-003(008)
072(011)
018(010)
111(010)
081(010)
112(010)
-048(008)
153(008)
149(008)
103(006)
100(007)
1071(009)
069(010)
Maternal
Favoraacuteveis
Desfavoraacuteveis
Natildeo significativos
Preacute
INTERVENCcedilAtildeO
13
05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente
EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova
Semente (Petrolina PE)
LOCALPetrolina (PE)
DATA
2016
PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova
Semente A outra metade natildeo frequentava creche ou preacute-escola
METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo
agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo
quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1
PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo
em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola
Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas
14
FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary
A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)
TABELA 1
ECE
ObservationsPseudo R-squared
Robust standard errors in parentheses 1 significant 5 significant
(1)10
(2)25
(3)Median
(4)75
(5)90th th th th
0465(0074)
166
0229
0428(0128)
166
0253
0369(0176)
166
0222
0403(0169)
166
0247
0434(0279)
166
0285
INTERVENCcedilAtildeO
15
06 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees
LOCALRede puacuteblica estadual do Rio Grande do Sul
DATA
2006 e 2007
PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul
METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como
controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional
PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo
de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)
Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul
16
O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado
Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1
Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores
175
180
190
200
201120092007Ano
185
195
Not
a m
eacutedia
de
Liacuteng
ua P
ortu
gues
a
FocircnicoConstrutivistaControle II
GestatildeoControle I
GRAacuteFICO 1
Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p
InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X
Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X
lt 001 lt 005 lt 01
(1) (2) (3) (4) (5) (6)
A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo
Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa
TABELA 1
FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357
INTERVENCcedilAtildeO
17
07 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTE
Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo
LOCALRedes municipais do Estado do Cearaacute
DATA
2008 a 2012
PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias
No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)
METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute
PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados
consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos
Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste
Programa SPAECEAlfa do Estado do Cearaacute
18
FONTE DOS DADOSDados puacuteblicos do SPAECEALFA
2008 2009 2010 2011 2012
1278
1266
1284
-18
188
1338
1446
132
126
1679
1623
1666
1618
56
2034
1739
1803
1776
21
2148
1647
1832
1621
211
1976
Total
Alfa e Beto
Demais
Diferenccedila
Sobral
Municiacutepios Suficiente Desejaacutevel
123456789
10111213
2404
794
796
1493
154
104
1144
693
2058
1153
1149
704
2313
267
1340
190
187
81
13
143
239
218
200
291
16
248
5784
8307
8756
6555
9576
9805
7548
8766
5252
6714
6932
8568
5646
506
8230
698
621
814
972
760
565
533
615
529
961
645
2011 2012 2011 2012
O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral
O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis
TABELA 1 TABELA 2
INTERVENCcedilAtildeO
19
08 NIacuteVELEducaccedilatildeo Infantil
PROGRAMA AVALIADOIlhas do Alfabeto
EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto
LOCALRio de Janeiro (RJ)
DATA
Ao longo do 2ordm semestre de 2018
PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os
demais seguiram as atividades regulares programadas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano
Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)
Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo
Implementaccedilatildeo do jogo digital Ilhas do Alfabeto
20
FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)
Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano
O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos
Efeito sobre teste de alfabetizaccedilatildeo
O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos
GRAacuteFICO 1 GRAacuteFICO 2
12
1
4
1
6
18
20
Antes Depois
Esco
re
Controle Tratado
10
20
30
40
Antes Depois
Esco
re
Controle Tratado
INTERVENCcedilAtildeO
21
09 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto
LOCALMuniciacutepios do estado do Piauiacute
DATA
2011 a 2012
PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram
METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com
cluster para municiacutepios
PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo
equivalendo a mais de meio ano letivo de ganho
Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)
22
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa
Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015
2015
2013
Escolas
Observaccedilotildees
R-2
804(220)
-003(164)
832(251)
118(136)
459
1377
017
459
1377
018
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
TABELA 1
INTERVENCcedilAtildeO
23
10 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de
programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Dados coletados em 2013
PARTICIPANTESGrupos auto-selecionados
METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos
PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais
Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais
Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)
24
0 20 40 60 80 100
010
2030
40
Alunos IAB
0 20 40 60 80 100
010
2030
40
Outros Alunos
notas com conceitos B ou MB
GRAacuteFICO 1
Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)
IAB(1)
Outros(2)
IAB(3)
Outros(4)
TABELA 1
As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas
O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas
Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769
As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
INTERVENCcedilAtildeO
13
05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil
PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente
EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova
Semente (Petrolina PE)
LOCALPetrolina (PE)
DATA
2016
PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova
Semente A outra metade natildeo frequentava creche ou preacute-escola
METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo
agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo
quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1
PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo
em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola
Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas
14
FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary
A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)
TABELA 1
ECE
ObservationsPseudo R-squared
Robust standard errors in parentheses 1 significant 5 significant
(1)10
(2)25
(3)Median
(4)75
(5)90th th th th
0465(0074)
166
0229
0428(0128)
166
0253
0369(0176)
166
0222
0403(0169)
166
0247
0434(0279)
166
0285
INTERVENCcedilAtildeO
15
06 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees
LOCALRede puacuteblica estadual do Rio Grande do Sul
DATA
2006 e 2007
PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul
METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como
controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional
PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo
de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)
Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul
16
O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado
Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1
Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores
175
180
190
200
201120092007Ano
185
195
Not
a m
eacutedia
de
Liacuteng
ua P
ortu
gues
a
FocircnicoConstrutivistaControle II
GestatildeoControle I
GRAacuteFICO 1
Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p
InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X
Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X
lt 001 lt 005 lt 01
(1) (2) (3) (4) (5) (6)
A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo
Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa
TABELA 1
FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357
INTERVENCcedilAtildeO
17
07 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTE
Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo
LOCALRedes municipais do Estado do Cearaacute
DATA
2008 a 2012
PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias
No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)
METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute
PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados
consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos
Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste
Programa SPAECEAlfa do Estado do Cearaacute
18
FONTE DOS DADOSDados puacuteblicos do SPAECEALFA
2008 2009 2010 2011 2012
1278
1266
1284
-18
188
1338
1446
132
126
1679
1623
1666
1618
56
2034
1739
1803
1776
21
2148
1647
1832
1621
211
1976
Total
Alfa e Beto
Demais
Diferenccedila
Sobral
Municiacutepios Suficiente Desejaacutevel
123456789
10111213
2404
794
796
1493
154
104
1144
693
2058
1153
1149
704
2313
267
1340
190
187
81
13
143
239
218
200
291
16
248
5784
8307
8756
6555
9576
9805
7548
8766
5252
6714
6932
8568
5646
506
8230
698
621
814
972
760
565
533
615
529
961
645
2011 2012 2011 2012
O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral
O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis
TABELA 1 TABELA 2
INTERVENCcedilAtildeO
19
08 NIacuteVELEducaccedilatildeo Infantil
PROGRAMA AVALIADOIlhas do Alfabeto
EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto
LOCALRio de Janeiro (RJ)
DATA
Ao longo do 2ordm semestre de 2018
PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os
demais seguiram as atividades regulares programadas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano
Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)
Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo
Implementaccedilatildeo do jogo digital Ilhas do Alfabeto
20
FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)
Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano
O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos
Efeito sobre teste de alfabetizaccedilatildeo
O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos
GRAacuteFICO 1 GRAacuteFICO 2
12
1
4
1
6
18
20
Antes Depois
Esco
re
Controle Tratado
10
20
30
40
Antes Depois
Esco
re
Controle Tratado
INTERVENCcedilAtildeO
21
09 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto
LOCALMuniciacutepios do estado do Piauiacute
DATA
2011 a 2012
PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram
METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com
cluster para municiacutepios
PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo
equivalendo a mais de meio ano letivo de ganho
Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)
22
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa
Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015
2015
2013
Escolas
Observaccedilotildees
R-2
804(220)
-003(164)
832(251)
118(136)
459
1377
017
459
1377
018
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
TABELA 1
INTERVENCcedilAtildeO
23
10 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de
programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Dados coletados em 2013
PARTICIPANTESGrupos auto-selecionados
METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos
PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais
Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais
Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)
24
0 20 40 60 80 100
010
2030
40
Alunos IAB
0 20 40 60 80 100
010
2030
40
Outros Alunos
notas com conceitos B ou MB
GRAacuteFICO 1
Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)
IAB(1)
Outros(2)
IAB(3)
Outros(4)
TABELA 1
As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas
O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas
Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769
As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
14
FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary
A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)
TABELA 1
ECE
ObservationsPseudo R-squared
Robust standard errors in parentheses 1 significant 5 significant
(1)10
(2)25
(3)Median
(4)75
(5)90th th th th
0465(0074)
166
0229
0428(0128)
166
0253
0369(0176)
166
0222
0403(0169)
166
0247
0434(0279)
166
0285
INTERVENCcedilAtildeO
15
06 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees
LOCALRede puacuteblica estadual do Rio Grande do Sul
DATA
2006 e 2007
PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul
METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como
controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional
PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo
de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)
Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul
16
O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado
Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1
Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores
175
180
190
200
201120092007Ano
185
195
Not
a m
eacutedia
de
Liacuteng
ua P
ortu
gues
a
FocircnicoConstrutivistaControle II
GestatildeoControle I
GRAacuteFICO 1
Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p
InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X
Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X
lt 001 lt 005 lt 01
(1) (2) (3) (4) (5) (6)
A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo
Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa
TABELA 1
FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357
INTERVENCcedilAtildeO
17
07 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTE
Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo
LOCALRedes municipais do Estado do Cearaacute
DATA
2008 a 2012
PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias
No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)
METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute
PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados
consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos
Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste
Programa SPAECEAlfa do Estado do Cearaacute
18
FONTE DOS DADOSDados puacuteblicos do SPAECEALFA
2008 2009 2010 2011 2012
1278
1266
1284
-18
188
1338
1446
132
126
1679
1623
1666
1618
56
2034
1739
1803
1776
21
2148
1647
1832
1621
211
1976
Total
Alfa e Beto
Demais
Diferenccedila
Sobral
Municiacutepios Suficiente Desejaacutevel
123456789
10111213
2404
794
796
1493
154
104
1144
693
2058
1153
1149
704
2313
267
1340
190
187
81
13
143
239
218
200
291
16
248
5784
8307
8756
6555
9576
9805
7548
8766
5252
6714
6932
8568
5646
506
8230
698
621
814
972
760
565
533
615
529
961
645
2011 2012 2011 2012
O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral
O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis
TABELA 1 TABELA 2
INTERVENCcedilAtildeO
19
08 NIacuteVELEducaccedilatildeo Infantil
PROGRAMA AVALIADOIlhas do Alfabeto
EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto
LOCALRio de Janeiro (RJ)
DATA
Ao longo do 2ordm semestre de 2018
PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os
demais seguiram as atividades regulares programadas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano
Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)
Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo
Implementaccedilatildeo do jogo digital Ilhas do Alfabeto
20
FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)
Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano
O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos
Efeito sobre teste de alfabetizaccedilatildeo
O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos
GRAacuteFICO 1 GRAacuteFICO 2
12
1
4
1
6
18
20
Antes Depois
Esco
re
Controle Tratado
10
20
30
40
Antes Depois
Esco
re
Controle Tratado
INTERVENCcedilAtildeO
21
09 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto
LOCALMuniciacutepios do estado do Piauiacute
DATA
2011 a 2012
PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram
METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com
cluster para municiacutepios
PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo
equivalendo a mais de meio ano letivo de ganho
Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)
22
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa
Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015
2015
2013
Escolas
Observaccedilotildees
R-2
804(220)
-003(164)
832(251)
118(136)
459
1377
017
459
1377
018
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
TABELA 1
INTERVENCcedilAtildeO
23
10 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de
programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Dados coletados em 2013
PARTICIPANTESGrupos auto-selecionados
METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos
PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais
Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais
Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)
24
0 20 40 60 80 100
010
2030
40
Alunos IAB
0 20 40 60 80 100
010
2030
40
Outros Alunos
notas com conceitos B ou MB
GRAacuteFICO 1
Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)
IAB(1)
Outros(2)
IAB(3)
Outros(4)
TABELA 1
As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas
O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas
Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769
As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
INTERVENCcedilAtildeO
15
06 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees
LOCALRede puacuteblica estadual do Rio Grande do Sul
DATA
2006 e 2007
PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul
METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como
controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional
PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo
de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)
Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul
16
O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado
Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1
Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores
175
180
190
200
201120092007Ano
185
195
Not
a m
eacutedia
de
Liacuteng
ua P
ortu
gues
a
FocircnicoConstrutivistaControle II
GestatildeoControle I
GRAacuteFICO 1
Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p
InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X
Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X
lt 001 lt 005 lt 01
(1) (2) (3) (4) (5) (6)
A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo
Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa
TABELA 1
FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357
INTERVENCcedilAtildeO
17
07 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTE
Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo
LOCALRedes municipais do Estado do Cearaacute
DATA
2008 a 2012
PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias
No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)
METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute
PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados
consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos
Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste
Programa SPAECEAlfa do Estado do Cearaacute
18
FONTE DOS DADOSDados puacuteblicos do SPAECEALFA
2008 2009 2010 2011 2012
1278
1266
1284
-18
188
1338
1446
132
126
1679
1623
1666
1618
56
2034
1739
1803
1776
21
2148
1647
1832
1621
211
1976
Total
Alfa e Beto
Demais
Diferenccedila
Sobral
Municiacutepios Suficiente Desejaacutevel
123456789
10111213
2404
794
796
1493
154
104
1144
693
2058
1153
1149
704
2313
267
1340
190
187
81
13
143
239
218
200
291
16
248
5784
8307
8756
6555
9576
9805
7548
8766
5252
6714
6932
8568
5646
506
8230
698
621
814
972
760
565
533
615
529
961
645
2011 2012 2011 2012
O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral
O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis
TABELA 1 TABELA 2
INTERVENCcedilAtildeO
19
08 NIacuteVELEducaccedilatildeo Infantil
PROGRAMA AVALIADOIlhas do Alfabeto
EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto
LOCALRio de Janeiro (RJ)
DATA
Ao longo do 2ordm semestre de 2018
PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os
demais seguiram as atividades regulares programadas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano
Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)
Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo
Implementaccedilatildeo do jogo digital Ilhas do Alfabeto
20
FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)
Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano
O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos
Efeito sobre teste de alfabetizaccedilatildeo
O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos
GRAacuteFICO 1 GRAacuteFICO 2
12
1
4
1
6
18
20
Antes Depois
Esco
re
Controle Tratado
10
20
30
40
Antes Depois
Esco
re
Controle Tratado
INTERVENCcedilAtildeO
21
09 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto
LOCALMuniciacutepios do estado do Piauiacute
DATA
2011 a 2012
PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram
METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com
cluster para municiacutepios
PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo
equivalendo a mais de meio ano letivo de ganho
Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)
22
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa
Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015
2015
2013
Escolas
Observaccedilotildees
R-2
804(220)
-003(164)
832(251)
118(136)
459
1377
017
459
1377
018
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
TABELA 1
INTERVENCcedilAtildeO
23
10 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de
programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Dados coletados em 2013
PARTICIPANTESGrupos auto-selecionados
METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos
PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais
Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais
Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)
24
0 20 40 60 80 100
010
2030
40
Alunos IAB
0 20 40 60 80 100
010
2030
40
Outros Alunos
notas com conceitos B ou MB
GRAacuteFICO 1
Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)
IAB(1)
Outros(2)
IAB(3)
Outros(4)
TABELA 1
As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas
O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas
Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769
As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
16
O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado
Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1
Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores
175
180
190
200
201120092007Ano
185
195
Not
a m
eacutedia
de
Liacuteng
ua P
ortu
gues
a
FocircnicoConstrutivistaControle II
GestatildeoControle I
GRAacuteFICO 1
Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p
InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X
Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X
lt 001 lt 005 lt 01
(1) (2) (3) (4) (5) (6)
A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo
Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa
TABELA 1
FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357
INTERVENCcedilAtildeO
17
07 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTE
Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo
LOCALRedes municipais do Estado do Cearaacute
DATA
2008 a 2012
PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias
No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)
METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute
PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados
consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos
Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste
Programa SPAECEAlfa do Estado do Cearaacute
18
FONTE DOS DADOSDados puacuteblicos do SPAECEALFA
2008 2009 2010 2011 2012
1278
1266
1284
-18
188
1338
1446
132
126
1679
1623
1666
1618
56
2034
1739
1803
1776
21
2148
1647
1832
1621
211
1976
Total
Alfa e Beto
Demais
Diferenccedila
Sobral
Municiacutepios Suficiente Desejaacutevel
123456789
10111213
2404
794
796
1493
154
104
1144
693
2058
1153
1149
704
2313
267
1340
190
187
81
13
143
239
218
200
291
16
248
5784
8307
8756
6555
9576
9805
7548
8766
5252
6714
6932
8568
5646
506
8230
698
621
814
972
760
565
533
615
529
961
645
2011 2012 2011 2012
O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral
O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis
TABELA 1 TABELA 2
INTERVENCcedilAtildeO
19
08 NIacuteVELEducaccedilatildeo Infantil
PROGRAMA AVALIADOIlhas do Alfabeto
EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto
LOCALRio de Janeiro (RJ)
DATA
Ao longo do 2ordm semestre de 2018
PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os
demais seguiram as atividades regulares programadas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano
Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)
Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo
Implementaccedilatildeo do jogo digital Ilhas do Alfabeto
20
FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)
Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano
O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos
Efeito sobre teste de alfabetizaccedilatildeo
O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos
GRAacuteFICO 1 GRAacuteFICO 2
12
1
4
1
6
18
20
Antes Depois
Esco
re
Controle Tratado
10
20
30
40
Antes Depois
Esco
re
Controle Tratado
INTERVENCcedilAtildeO
21
09 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto
LOCALMuniciacutepios do estado do Piauiacute
DATA
2011 a 2012
PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram
METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com
cluster para municiacutepios
PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo
equivalendo a mais de meio ano letivo de ganho
Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)
22
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa
Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015
2015
2013
Escolas
Observaccedilotildees
R-2
804(220)
-003(164)
832(251)
118(136)
459
1377
017
459
1377
018
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
TABELA 1
INTERVENCcedilAtildeO
23
10 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de
programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Dados coletados em 2013
PARTICIPANTESGrupos auto-selecionados
METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos
PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais
Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais
Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)
24
0 20 40 60 80 100
010
2030
40
Alunos IAB
0 20 40 60 80 100
010
2030
40
Outros Alunos
notas com conceitos B ou MB
GRAacuteFICO 1
Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)
IAB(1)
Outros(2)
IAB(3)
Outros(4)
TABELA 1
As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas
O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas
Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769
As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
INTERVENCcedilAtildeO
17
07 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo
EM QUE CONSISTE
Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo
LOCALRedes municipais do Estado do Cearaacute
DATA
2008 a 2012
PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias
No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)
METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute
PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados
consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos
Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste
Programa SPAECEAlfa do Estado do Cearaacute
18
FONTE DOS DADOSDados puacuteblicos do SPAECEALFA
2008 2009 2010 2011 2012
1278
1266
1284
-18
188
1338
1446
132
126
1679
1623
1666
1618
56
2034
1739
1803
1776
21
2148
1647
1832
1621
211
1976
Total
Alfa e Beto
Demais
Diferenccedila
Sobral
Municiacutepios Suficiente Desejaacutevel
123456789
10111213
2404
794
796
1493
154
104
1144
693
2058
1153
1149
704
2313
267
1340
190
187
81
13
143
239
218
200
291
16
248
5784
8307
8756
6555
9576
9805
7548
8766
5252
6714
6932
8568
5646
506
8230
698
621
814
972
760
565
533
615
529
961
645
2011 2012 2011 2012
O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral
O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis
TABELA 1 TABELA 2
INTERVENCcedilAtildeO
19
08 NIacuteVELEducaccedilatildeo Infantil
PROGRAMA AVALIADOIlhas do Alfabeto
EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto
LOCALRio de Janeiro (RJ)
DATA
Ao longo do 2ordm semestre de 2018
PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os
demais seguiram as atividades regulares programadas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano
Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)
Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo
Implementaccedilatildeo do jogo digital Ilhas do Alfabeto
20
FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)
Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano
O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos
Efeito sobre teste de alfabetizaccedilatildeo
O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos
GRAacuteFICO 1 GRAacuteFICO 2
12
1
4
1
6
18
20
Antes Depois
Esco
re
Controle Tratado
10
20
30
40
Antes Depois
Esco
re
Controle Tratado
INTERVENCcedilAtildeO
21
09 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto
LOCALMuniciacutepios do estado do Piauiacute
DATA
2011 a 2012
PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram
METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com
cluster para municiacutepios
PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo
equivalendo a mais de meio ano letivo de ganho
Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)
22
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa
Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015
2015
2013
Escolas
Observaccedilotildees
R-2
804(220)
-003(164)
832(251)
118(136)
459
1377
017
459
1377
018
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
TABELA 1
INTERVENCcedilAtildeO
23
10 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de
programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Dados coletados em 2013
PARTICIPANTESGrupos auto-selecionados
METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos
PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais
Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais
Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)
24
0 20 40 60 80 100
010
2030
40
Alunos IAB
0 20 40 60 80 100
010
2030
40
Outros Alunos
notas com conceitos B ou MB
GRAacuteFICO 1
Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)
IAB(1)
Outros(2)
IAB(3)
Outros(4)
TABELA 1
As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas
O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas
Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769
As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
18
FONTE DOS DADOSDados puacuteblicos do SPAECEALFA
2008 2009 2010 2011 2012
1278
1266
1284
-18
188
1338
1446
132
126
1679
1623
1666
1618
56
2034
1739
1803
1776
21
2148
1647
1832
1621
211
1976
Total
Alfa e Beto
Demais
Diferenccedila
Sobral
Municiacutepios Suficiente Desejaacutevel
123456789
10111213
2404
794
796
1493
154
104
1144
693
2058
1153
1149
704
2313
267
1340
190
187
81
13
143
239
218
200
291
16
248
5784
8307
8756
6555
9576
9805
7548
8766
5252
6714
6932
8568
5646
506
8230
698
621
814
972
760
565
533
615
529
961
645
2011 2012 2011 2012
O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral
O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis
TABELA 1 TABELA 2
INTERVENCcedilAtildeO
19
08 NIacuteVELEducaccedilatildeo Infantil
PROGRAMA AVALIADOIlhas do Alfabeto
EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto
LOCALRio de Janeiro (RJ)
DATA
Ao longo do 2ordm semestre de 2018
PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os
demais seguiram as atividades regulares programadas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano
Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)
Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo
Implementaccedilatildeo do jogo digital Ilhas do Alfabeto
20
FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)
Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano
O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos
Efeito sobre teste de alfabetizaccedilatildeo
O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos
GRAacuteFICO 1 GRAacuteFICO 2
12
1
4
1
6
18
20
Antes Depois
Esco
re
Controle Tratado
10
20
30
40
Antes Depois
Esco
re
Controle Tratado
INTERVENCcedilAtildeO
21
09 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto
LOCALMuniciacutepios do estado do Piauiacute
DATA
2011 a 2012
PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram
METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com
cluster para municiacutepios
PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo
equivalendo a mais de meio ano letivo de ganho
Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)
22
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa
Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015
2015
2013
Escolas
Observaccedilotildees
R-2
804(220)
-003(164)
832(251)
118(136)
459
1377
017
459
1377
018
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
TABELA 1
INTERVENCcedilAtildeO
23
10 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de
programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Dados coletados em 2013
PARTICIPANTESGrupos auto-selecionados
METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos
PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais
Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais
Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)
24
0 20 40 60 80 100
010
2030
40
Alunos IAB
0 20 40 60 80 100
010
2030
40
Outros Alunos
notas com conceitos B ou MB
GRAacuteFICO 1
Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)
IAB(1)
Outros(2)
IAB(3)
Outros(4)
TABELA 1
As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas
O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas
Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769
As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
INTERVENCcedilAtildeO
19
08 NIacuteVELEducaccedilatildeo Infantil
PROGRAMA AVALIADOIlhas do Alfabeto
EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto
LOCALRio de Janeiro (RJ)
DATA
Ao longo do 2ordm semestre de 2018
PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os
demais seguiram as atividades regulares programadas
METODOLOGIAEstudo randomizado com cluster
PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano
Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)
Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo
Implementaccedilatildeo do jogo digital Ilhas do Alfabeto
20
FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)
Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano
O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos
Efeito sobre teste de alfabetizaccedilatildeo
O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos
GRAacuteFICO 1 GRAacuteFICO 2
12
1
4
1
6
18
20
Antes Depois
Esco
re
Controle Tratado
10
20
30
40
Antes Depois
Esco
re
Controle Tratado
INTERVENCcedilAtildeO
21
09 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto
LOCALMuniciacutepios do estado do Piauiacute
DATA
2011 a 2012
PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram
METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com
cluster para municiacutepios
PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo
equivalendo a mais de meio ano letivo de ganho
Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)
22
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa
Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015
2015
2013
Escolas
Observaccedilotildees
R-2
804(220)
-003(164)
832(251)
118(136)
459
1377
017
459
1377
018
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
TABELA 1
INTERVENCcedilAtildeO
23
10 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de
programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Dados coletados em 2013
PARTICIPANTESGrupos auto-selecionados
METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos
PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais
Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais
Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)
24
0 20 40 60 80 100
010
2030
40
Alunos IAB
0 20 40 60 80 100
010
2030
40
Outros Alunos
notas com conceitos B ou MB
GRAacuteFICO 1
Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)
IAB(1)
Outros(2)
IAB(3)
Outros(4)
TABELA 1
As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas
O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas
Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769
As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
20
FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)
Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano
O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos
Efeito sobre teste de alfabetizaccedilatildeo
O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos
GRAacuteFICO 1 GRAacuteFICO 2
12
1
4
1
6
18
20
Antes Depois
Esco
re
Controle Tratado
10
20
30
40
Antes Depois
Esco
re
Controle Tratado
INTERVENCcedilAtildeO
21
09 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto
LOCALMuniciacutepios do estado do Piauiacute
DATA
2011 a 2012
PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram
METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com
cluster para municiacutepios
PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo
equivalendo a mais de meio ano letivo de ganho
Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)
22
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa
Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015
2015
2013
Escolas
Observaccedilotildees
R-2
804(220)
-003(164)
832(251)
118(136)
459
1377
017
459
1377
018
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
TABELA 1
INTERVENCcedilAtildeO
23
10 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de
programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Dados coletados em 2013
PARTICIPANTESGrupos auto-selecionados
METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos
PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais
Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais
Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)
24
0 20 40 60 80 100
010
2030
40
Alunos IAB
0 20 40 60 80 100
010
2030
40
Outros Alunos
notas com conceitos B ou MB
GRAacuteFICO 1
Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)
IAB(1)
Outros(2)
IAB(3)
Outros(4)
TABELA 1
As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas
O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas
Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769
As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
INTERVENCcedilAtildeO
21
09 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto
LOCALMuniciacutepios do estado do Piauiacute
DATA
2011 a 2012
PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram
METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com
cluster para municiacutepios
PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo
equivalendo a mais de meio ano letivo de ganho
Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)
22
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa
Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015
2015
2013
Escolas
Observaccedilotildees
R-2
804(220)
-003(164)
832(251)
118(136)
459
1377
017
459
1377
018
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
TABELA 1
INTERVENCcedilAtildeO
23
10 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de
programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Dados coletados em 2013
PARTICIPANTESGrupos auto-selecionados
METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos
PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais
Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais
Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)
24
0 20 40 60 80 100
010
2030
40
Alunos IAB
0 20 40 60 80 100
010
2030
40
Outros Alunos
notas com conceitos B ou MB
GRAacuteFICO 1
Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)
IAB(1)
Outros(2)
IAB(3)
Outros(4)
TABELA 1
As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas
O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas
Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769
As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
22
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa
Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015
2015
2013
Escolas
Observaccedilotildees
R-2
804(220)
-003(164)
832(251)
118(136)
459
1377
017
459
1377
018
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
TABELA 1
INTERVENCcedilAtildeO
23
10 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de
programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Dados coletados em 2013
PARTICIPANTESGrupos auto-selecionados
METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos
PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais
Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais
Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)
24
0 20 40 60 80 100
010
2030
40
Alunos IAB
0 20 40 60 80 100
010
2030
40
Outros Alunos
notas com conceitos B ou MB
GRAacuteFICO 1
Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)
IAB(1)
Outros(2)
IAB(3)
Outros(4)
TABELA 1
As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas
O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas
Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769
As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
INTERVENCcedilAtildeO
23
10 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto
EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de
programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Dados coletados em 2013
PARTICIPANTESGrupos auto-selecionados
METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos
PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais
Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais
Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)
24
0 20 40 60 80 100
010
2030
40
Alunos IAB
0 20 40 60 80 100
010
2030
40
Outros Alunos
notas com conceitos B ou MB
GRAacuteFICO 1
Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)
IAB(1)
Outros(2)
IAB(3)
Outros(4)
TABELA 1
As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas
O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas
Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769
As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
24
0 20 40 60 80 100
010
2030
40
Alunos IAB
0 20 40 60 80 100
010
2030
40
Outros Alunos
notas com conceitos B ou MB
GRAacuteFICO 1
Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)
IAB(1)
Outros(2)
IAB(3)
Outros(4)
TABELA 1
As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas
O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas
Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769
As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos
FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
INTERVENCcedilAtildeO
25
11 NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
LOCAL31 municiacutepios de 12 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios
METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas
PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 120
A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos
demais municiacutepios brasileiros foi de 84
Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-
cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
26
QUADRO 1
O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios
Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo
O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo
Ganho Meacutedio
EscolasIAB
OutrasEscolas
Em municiacutepios IAB
Em outrosMuniciacutepios
ALBACEMAMGPAPEPIPRRRRSSE
20219320511111697
158235294108155123
15115120515083
148147141948983
118
39281401343
69114
5315
37
576228015401350215515791338461
196528
1231252
(4) (5) (7) (8)
Nuacutemero de Escolas
1700
1718
1736
1782
1828
1874
1700
1718
1736
1754
1772
1790
Com IAB Sem IAB
2005
2007
2009
2011
2013
2015
QUADRO 2
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
27
A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB
O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4
QUADRO 3
FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
2015
2013
Observaccedilotildees
R-quadrado
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150
0513
65150
0543
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438
0487
91438
0509
(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
INTERVENCcedilAtildeO
28
12
Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental
NIacuteVELEnsino Fundamental
PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto
EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino
Fundamental
LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados
DATA
Municiacutepios adotaram o programa em anos anteriores a 2015
PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o
programa em ao menos dois anos
METODOLOGIAAnaacutelise dos dados da Prova Brasil
PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados
significativamente superiores agraves demais
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
29
FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)
A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011
Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos
Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos
Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados
TABELA 1 TABELA 2
2013
2015
Observaccedilotildees
0726(1476)
4882(1540)
-1890(1654)
3687(1405)
65150 65150
Matemaacutetica Liacutengua Portuguesa
significante a 1 Erros-padratildeo entre parecircnteses
Matemaacutetica Liacutengua Portuguesa
1707(1436)
6585(1562)
-0863(1629)
5244(1403)
91438 91438
(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS
-
-
1763(2113)0843
(2360)6995(1837)
123634
0520
(1) (2)
2007
2009
2011
2013
2015
(3)
-
-0409(4410)1323
(2906)0362
(4139)6547(3837)
148887
0520
0508(0962)1102
(5116)3392
(4447)4966
(5171)9948(5371)
168498
0508
Observaccedilotildees
R-quadrado
significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses
Matemaacutetica
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
INTERVENCcedilAtildeO
30
13
Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOJogo digital Tabuada na Fazenda
EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da
matemaacutetica O uso ocorreu dentro de sala de aula
LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)
DATA
Ao longo do segundo semestre de 2016
PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou
METODOLOGIAEstudo randomizado por cluster
PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de
021 desvio-padratildeo)
No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo
Maior efeito para os alunos que tinham mais dificuldades inicialmente
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
31
A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237
TABELA 1
FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)
Nuacutemero de Dias
Observaccedilotildees
R-Quadrado
Nuacutemero de Minutos
Observaccedilotildees
R-Quadrado
00163(00042)
827
02966
00013(00003)
827
02937
00100(00043)
697
02746
00008(00004)
697
02731
Follow Up 1 Follow Up 2
lt 001 lt 005 lt 01
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
INTERVENCcedilAtildeO
32
14
Implementaccedilatildeo do programa de Fluecircncia em Leitura
NIacuteVELSeacuteries Iniciais
PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental
EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais
LOCALRede municipal de ensino do Rio de Janeiro (RJ)
DATA
Ao longo do segundo semestre de 2018
PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa
METODOLOGIAEstudo randomizado
PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)
Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
33
Efeito sobre fluecircncia em leitura
O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar
GRAacuteFICO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
60
65
70
7
5
80
Antes Depois
Pala
vras
por
Min
uto
Controle Tratado
Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037
GRAacuteFICO 2
35
Antes Depois
Prop
orccedilatilde
o
Controle Tratado
44
55
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
INTERVENCcedilAtildeO
34
15
Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto
NIacuteVELPreacute-escola e Seacuteries Finais
PROGRAMA AVALIADOTodos os programas
EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos
LOCALMuniciacutepios diversos
DATA
De 2005 a 2019
PARTICIPANTESRedes municipais de ensino
METODOLOGIAAvanccedilo na Prova Brasil
PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional
Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas
seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
35
O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas
Atualmente usam os programas do Instituto
Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos
Os programas adotados satildeo utilizados em toda a rede
Observaccedilotildees
1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo
2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional
3 Teresina tornou-se a capital com melhor desempenho
QUADRO 1
FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)
169
167
180
180
170
164
189
226
223
229
248
314
260
239
3
51
60
8
24
28
14
1
13
10
3
1
2
7
2765
2984
3626
1753
2738
3123
1107
2088
2243
1803
605
1
205
1081
2005 2017 2005 2017 2005 2017
Boa Vista
Aacutegua Branca
Bom Jesus
Teresina
Sobral
Jequiaacute da Praia
Caculeacute
Municiacutepio
Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
36
16 Sobral um caso muito especial
Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam
por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos
uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer
com que a educaccedilatildeo chegue a todas as crianccedilas
O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e
consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do
fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de
ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos
estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita
PARA SABER MAIS
Oliveira JBA (2013) O sucesso de Sobral
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto
Conheccedila mais sobre o Instituto Alfa e Beto em
wwwalfaebetoorgbr
instituto_alfaebeto
alfaebeto
instituto-alfa-e-beto