JOVEM DE FUTURO AND THE USE OF EVIDENCE FOR … de Futur… · Implementation: 2 levels –States...

JOVEM DE FUTURO AND THE

USE OF EVIDENCE FOR

CONTINUOUS IMPROVEMENT

Palo Alto 2020

2INSTITUTO UNIBANCO

INSTITUTO UNIBANCO STRATEGY

3

Criado em 1982, o Instituto Unibanco atua para a melhoria da educação pública no Brasil. É uma das

instituições responsáveis pelo investimento social privado do Itaú Unibanco.

Com foco na melhoria dos resultados e na produção de conhecimento sobre o Ensino Médio, o IU

dedica-se a elaborar e implementar soluções de gestão – na rede de ensino, na escola e em sala de

aula – comprometidas com a capacidade efetiva das escolas públicas de garantir o direito à

aprendizagem de todos os estudantes. Busca ainda a institucionalização, nas redes de ensino, de

uma visão orientada para a sustentabilidade dos resultados de aprendizagem e da equidade entre as

escolas e no interior de cada uma delas.

1 –LEADERSHIP AND MANAGEMENT SOLUTIONS

Design and implementation continuous improved

2 – DBIR

A strategy to produce and management knowledge that is really accumulative (impact the program, the states and universities)

3 – FOSTER

Incentives do civil societies organizations to produce knowledge and solutions

Continuous Improvement: 3 initiatives

4

Criado em 1982, o Instituto Unibanco atua para a melhoria da educação pública no Brasil. É uma das

instituições responsáveis pelo investimento social privado do Itaú Unibanco.

Com foco na melhoria dos resultados e na produção de conhecimento sobre o Ensino Médio, o IU

dedica-se a elaborar e implementar soluções de gestão – na rede de ensino, na escola e em sala de

aula – comprometidas com a capacidade efetiva das escolas públicas de garantir o direito à

aprendizagem de todos os estudantes. Busca ainda a institucionalização, nas redes de ensino, de

uma visão orientada para a sustentabilidade dos resultados de aprendizagem e da equidade entre as

escolas e no interior de cada uma delas.

1 – SOLUTION

Design and implementation continuous improved

2 – DBIR

A strategy to produce and management knowledge that is really accumulative (impact the program, the states and universities)

3 – FOSTER

Incentives do civil societies organizations to produce knowledge and solutions

Continuous Improvement: 3 initiatives

INSTITUTO UNIBANCOHISTORICAL AND ATTENDENCE

• 11 states• 3.6 million students• 4462 public schools• 16.000 leaders (face to

face training)• 70.000 leaders and

teachers (distance learning)

HISTORICAL

RECENT

RECENT WITH IMPACT EVALUATION

Since 2007, the Program attended:

Students: 330.023 (99%)

Schools: 649Students: 96.383 76%

Schools: 458

Students: 45.082 (43%)

Schools: 141

2019:

• 1.1 millionstudents

• 3.308 schools

2019: attended 20% of students in public secondary education

Students: 181.137 (92%)

Schools: 545

Students: 417.727 (56%)

Schools: 1.287

Students: 85.602 (85% )

Schools: 238

5

JOVEM DE

FUTURO2007 - 2019

6

What?Jovem de Futuro is a partnership with Brazilian public systems for improving

leadership and management practices at the 3 administrative levels: schools, “regionais” and central offices.

Why?Because we are convinced that leadership and good management have a significant

impact on students achievements.

BeliefsContinuous improvement mentality is important for organizations, institutions and initiatives. Requires evidences, hypothesis, frameworks that allows insights and better decision making (doing better).

7

Continuous improvement

..for schools and the program

Good ideas but

no attention to

implementation

(schools and

systems)

Lack of

capacity for

learning from

mistakes.

Always starting

over

Learning from

experiencing

requires

cognitive

flexibility and

collaboration

(learn from the

others

experience)

To be

sustainable,

transformation

must reach

behavior and

culture

Without that,

it is not

possible to

change

significantly

curriculum or

teaching

1 2 3 4 5

8INSTITUTO UNIBANCO

DBIR FOR CONTINUOUS IMPROVEMENT

INSTITUTO UNIBANCO

“Design Based Implementation Research (DBIR)”

Strategic Education Research Partnership (SERP)

Networked Improvement Communities (NIC)

Community-Based Design Research

Research Alliances

BENCHMARKS

INSTITUTO UNIBANCO

Solutions must be:

Effective

Sustainable

Scalable

To do that, it is necessary:

Connexion to real life experience

Solutions tested and improved

Partnership with universities and practitioners

VALUES ARE…

INSTITUTO UNIBANCO 1111

1. Complexity – internal organization

2. Implementation: 2 levels – States and GIP

3. The program and the cumulative knowledge attracted researchers

4. Foster this DBIR behaviour in Departments of Education

SPECIFIC FEATURES FOR UNIBANCO INSTITUTE

INSTITUTO UNIBANCO

Five permanent members

Prof. Dr. Ricardo Paes de Barros, Insper

• Impacto, Clima Escolar e Avaliação Atitudinal dos Gestores

Prof. Dr. Ricardo Madeira, Faculdade de Economia e Administração da Universidade de São Paulo

• Qualidade da Gestão e Práticas Pedagógicas

Prof. Dr. Sérgio Firpo, Insper

• Supervisores e cruzamento da Qualidade do Clima versusEstudos não-experimentais

• Cátedra Instituto UnibancoProf. Dr. Fernando Abrúcio, Fundação Getúlio Vargas

• Implementação (SEE e Reg.)

• Núcleo de Educação e Políticas Públicas em criação

Profa. Dra. Telma Vinha, Unicamp

• Avaliações responsivas (bottom-up)

Centro de conhecimento para o avanço contínuo da educação

INSTITUTO UNIBANCO

Evaluation

Implementation

DesignGroup of experts

Governance

Internal multi-area group

Scientific evidenceDesign based on

evidence from

practitioners and

science

Lessons from

practitioners

INSTITUTO UNIBANCO

Evaluation

Implementation

Design

Evaluation

Implementation

Design

Special group

to be formed

DBIR IU

DBIR in partners

states

Group of experts

Governance

Internal multi-area group

18INSTITUTO UNIBANCO

JOVEM DE FUTURO PROGRAM

19How?Cycles of continuous improvement that are iterative and produce internal coherence.

19

INSTITUTO UNIBANCO

Implementation

Correction

of Routes

Targets

Evaluation

Planning

CYCLE

MANAGEMENT

CIRCUIT

Sharing

practices

20

Management circuit – a cycle of continuous improvement

Implementation

Performance of the planned

actions, with monitoring of the

process.

Planning

Prioritization of causes

and challenges to be

faced in developing an

action plan.

Correction of Routes

Reevaluation and

adjustment of the action

plans, based upon learning

from practice, for continuity

of the Management Circuit.

Evaluation

The designated moment for

analysis of the effectiveness

of the actions developed

compared to the results

achieved.

Targets

Disseminating

the annual IDEB target (Basic

Education Development

Index)

Sharing

Practices

The designated moment for

the exchange of experiences

between schools under the

same regional office, between

regional offices within the

same state, or between

departments of education from

different states, concerning the

practices developed and the

results achieved.


MANAGEMENT

CIRCUIT

Planning

for the next year

MANAGEMENT

CIRCUIT

MANAGEMENT

CIRCUIT

MANAGEMENT

CIRCUIT

Iterative cycles

Iteration is necessary for promoting learning

by experiencing and to incentives going

deeper into causes and actions


RGI

STATE DEPARTMENT

REGIONAL OFFICES

SCHOOLS

CYCLE

MANAGEMENT

CIRCUIT

Execution

Planning

Correction of

Routes

Evaluation

of Results

Agreement

on Targets

Sharing

Practices

The cycle organizes processes, responsibilities and activities in schools, regional offices and state departments whilst helps to create internal coherence

Alignment of 3 administrative levels

INSTITUTO UNIBANCO 23Services1

Services

GOVERNANCE

MOBILIZATION

AND

ENGAGEMENT

KNOWLEDGE TRAINING

TECHNICAL

ASSISTENCE

INSTITUTO UNIBANCO

Final results

Students achievements

Focus on

students

Internal

coherence

Learning by

experiencing

Continuous

improvement

Method implemented

Cycle - management

circuit

Governance

Training

Technical

assistance

Mobilization

Knowledge

To enable transformation

Services

24Transformation2

Intermediate results


HISTORICAL

INSTITUTO UNIBANCO 26Duration

8 years of partnership

PHASE 1Implementation of the

Cycle (management

circuit)

PHASE 2Transferring know-how to the states

(sustainability step1)

PHASE 3Support for local initiatives for continuous

improvement (sustainability step 2) YEAR 7

YEAR 8

YEAR 5

YEAR 6

YEAR 3

YEAR 4

YEAR 1

YEAR 2

27

Duration of partnerships

2008

• Experimento: impacto na aprendizagem e no fluxo

2009 2010 2011 2012 2013 2014 2015 2016 20182017 2019

1st Generation: MG, RS, SP e RJ

2nd Generation: MS, PA, PI, CE e GO

3rd Generation*: ES, PI, CE, GO, RN

MG

Note: PA was in the 3rd generation between 2015-2018

2020

INSTITUTO UNIBANCO 28Rank of IDEB

3ª série

EM

3ª série

EM

3ª série

EM

3ª série

EM

3ª série

EM

3ª série

EM

3ª série

EM

2005 2007 2009 2011 2013 2015 2017

- Brasil - Rede Estadual 3,04 - Brasil - Rede Estadual 3,16 - Brasil - Rede Estadual 3,36 - Brasil - Rede Estadual 3,38 - Brasil - Rede Estadual 3,37 - Brasil - Rede Estadual 3,46 - Brasil - Rede Estadual 3,47

1º Santa Catarina 3,48 1º Santa Catarina 3,76 1º Paraná 3,92 1º Santa Catarina 3,99 1º Goiás 3,80 1º São Paulo 3,94 1º Goiás 4,28

2º Minas Gerais 3,45 2º Paraná 3,74 2º Santa Catarina 3,75 2º São Paulo 3,88 2º São Paulo 3,70 2º Pernambuco 3,89 2º Espírito Santo 4,12

3º Rio Grande do Sul 3,44 3º Minas Gerais 3,54 3º Rondônia 3,69 3º Paraná 3,68 3º Rio Grande do Sul 3,68 3º Goiás 3,82 3º Pernambuco 4,03

4º Paraná 3,29 4º São Paulo 3,41 4º Rio Grande do Sul 3,64 4º Minas Gerais 3,66 4º Rio de Janeiro 3,64 4º Espírito Santo 3,65 4º Ceará 3,84

5º São Paulo 3,29 5º Mato Grosso do Sul 3,38 5º Minas Gerais 3,64 5º Goiás 3,63 5º Santa Catarina 3,62 5º Rio de Janeiro 3,65 5º São Paulo 3,78

6º Roraima 3,25 6º Rio Grande do Sul 3,38 6º São Paulo 3,61 6º Mato Grosso do Sul 3,53 6º Pernambuco 3,59 6º Paraná 3,64 6º Rondônia 3,76

7º Espírito Santo 3,09 7º Acre 3,35 7º Mato Grosso do Sul 3,53 7º Tocantins 3,51 7º Minas Gerais 3,57 7º Minas Gerais 3,50 7º Paraná 3,66

8º Distrito Federal 2,99 8º Distrito Federal 3,20 8º Acre 3,49 8º Roraima 3,49 8º Paraná 3,44 8º Acre 3,50 8º Tocantins 3,65

9º Acre 2,98 9º Espírito Santo 3,15 9º Roraima 3,47 9º Rio Grande do Sul 3,43 9º Rondônia 3,40 9º Amazonas 3,48 9º Santa Catarina 3,64

10º Rondônia 2,96 10º Tocantins 3,12 10º Espírito Santo 3,36 10º Amazonas 3,40 10º Espírito Santo 3,38 10º Distrito Federal 3,47 10º Acre 3,61

11º Ceará 2,95 11º Ceará 3,12 11º Ceará 3,36 11º Ceará 3,38 11º Mato Grosso do Sul 3,37 11º Mato Grosso do Sul 3,46 11º Minas Gerais 3,59

12º Tocantins 2,89 12º Roraima 3,11 12º Tocantins 3,32 12º Acre 3,34 12º Ceará 3,35 12º Ceará 3,45 12º Mato Grosso do Sul 3,59

13º Goiás 2,86 13º Rondônia 3,06 13º Amazonas 3,24 13º Rondônia 3,33 13º Acre 3,27 13º Roraima 3,44 13º Distrito Federal 3,40

14º Sergipe 2,84 14º Mato Grosso 3,00 14º Distrito Federal 3,18 14º Espírito Santo 3,26 14º Distrito Federal 3,26 14º Santa Catarina 3,41 14º Maranhão 3,38

15º Mato Grosso do Sul 2,84 15º Paraíba 2,91 15º Bahia 3,08 15º Rio de Janeiro 3,19 15º Roraima 3,21 15º Rio Grande do Sul 3,34 15º Rio Grande do Sul 3,38

16º Alagoas 2,79 16º Goiás 2,82 16º Goiás 3,07 16º Pernambuco 3,14 16º Tocantins 3,19 16º Rondônia 3,30 16º Piauí 3,34

17º Rio de Janeiro 2,78 17º Amazonas 2,81 17º Pernambuco 3,04 17º Distrito Federal 3,14 17º Amazonas 3,02 17º Tocantins 3,27 17º Alagoas 3,32

18º Bahia 2,73 18º Maranhão 2,80 18º Maranhão 3,01 18º Mato Grosso 3,08 18º Piauí 2,96 18º Piauí 3,22 18º Rio de Janeiro 3,29

19º Amapá 2,69 19º Bahia 2,80 19º Paraíba 3,01 19º Amapá 2,99 19º Paraíba 2,95 19º Maranhão 3,13 19º Roraima 3,28

20º Pernambuco 2,69 20º Rio de Janeiro 2,75 20º Pará 3,01 20º Maranhão 2,97 20º Amapá 2,86 20º Paraíba 3,11 20º Amazonas 3,27

21º Pará 2,64 21º Pernambuco 2,69 21º Mato Grosso 2,92 21º Bahia 2,97 21º Maranhão 2,82 21º Amapá 3,07 21º Mato Grosso 3,20

22º Paraíba 2,63 22º Amapá 2,65 22º Sergipe 2,87 22º Piauí 2,93 22º Sergipe 2,81 22º Pará 2,98 22º Sergipe 3,07

23º Rio Grande do Norte 2,62 23º Sergipe 2,62 23º Amapá 2,84 23º Paraíba 2,92 23º Bahia 2,76 23º Mato Grosso 2,97 23º Paraíba 3,05

24º Mato Grosso 2,58 24º Rio Grande do Norte 2,58 24º Rio Grande do Norte 2,83 24º Sergipe 2,86 24º Mato Grosso 2,74 24º Bahia 2,93 24º Amapá 3,00

25º Maranhão 2,45 25º Alagoas 2,55 25º Alagoas 2,79 25º Rio Grande do Norte 2,82 25º Rio Grande do Norte 2,73 25º Alagoas 2,84 25º Rio Grande do Norte 2,86

26º Piauí 2,32 26º Piauí 2,52 26º Rio de Janeiro 2,78 26º Pará 2,76 26º Pará 2,70 26º Rio Grande do Norte 2,77 26º Pará 2,81

27º Amazonas 2,28 27º Pará 2,25 27º Piauí 2,68 27º Alagoas 2,59 27º Alagoas 2,61 27º Sergipe 2,60 27º Bahia 2,74

## Unidades da Federação # Unidades da Federação # Unidades da FederaçãoUnidades da Federação # Unidades da Federação # Unidades da Federação # Unidades da Federação

2005 2007 2009 2011 2013 2015 2017


IMPACT

30

States

Groups Schools

Total Used Treatments Controls Total

Rio Grande do Sul (RM de Porto Alegre) 25 0 0 0 0

Minas Gerais (RM de Belo Horizonte) 4 4 27 20 47

São Paulo (RM de São Paulo) 20 17 17 17 34

São Paulo (Vale do Paraíba) 20 20 20 20 40

Rio de Janeiro (RM do Rio de Janeiro) 15 12 12 12 24

Mato Grosso do Sul 25 23 99 25 124

Pará 44 15 15 15 30

Piauí 25 0 0 0 0

Ceará 26 25 125 25 150

Goiás 25 25 120 25 145

Pará 42 39 45 42 87

Piauí 134 131 139 136 275

Espírito Santo 70 70 151 70 221

Total 475 381 770 407 1.177

2n

d g

en

era

tio

n3

rd g

en

era

tio

n1

st

ge

ne

rati

on

Sample

31

Jovem de Futuro

3 years treatment

Portuguese(SAEB)

Math(SAEB)

Passing rates(p.p.)

Total 4,4 4,8 1,4

1a Geração 5,5 5,3 1,0

2a Geração 5,6 5,8 -0,8

3a Geração 3,1 3,7 2,8

Nota 1: As estimativas em cinza têm p-valor maior que 10%. Margem de erro das estimativas de proficiência total das 3 gerações é 1,5. A da taxa de aprovaçãoé 1,1. Margem de erro das diferenças em proficiência entre gerações é de 3 a 3,5. Em aprovação é 2,5.

Nota 2: As notas de LP e MAT são expressas em uma escala que permite comparar o conhecimento dos alunos no 5º e 9º anos do ensino fundamental e também na 3ª série do ensino médio. A escala de LP varia de 0 até 425 e a de matemática, de 0 a 475 pontos. Há 8 níveis de conhecimento definidos pelo MEC para o ensino médio, mas não há regra nacional de qual é mínimo a ser exigido dos alunos. A decisão cabe a cada estado. Para LP no ensino médio, os 8 níveis variam de 225 a 425 pontos, em intervalos de aproximadamente 25 pontos.Já em matemática, os níveis vão de 225 a 475 pontos, também com intervalos de aproximadamente 25 pontos.

Nota 3: A taxa de aprovação varia de 0 a 100%. A média brasileira está em 82%.

Impacts

Jovem de Futuro3 years treatment

1ª grade 2ª grade 3ª grade

3a Generation 3,6 2,1 1

Impact on passing rates – by grade

34

Jovem de Futuro

% of students in level 1 (critical level)

Portuguese(p.p)

Math(p.p.)

Total -1,0 -4,2

2a Geração -1,0 -4,3

3a Geração -2,2 -4,1

% of students in levels 3 and 4 (adequate and advanced)

Portuguese(p.p)

Math(p.p.)

2,9 0,9

3,3 1,9

1,4 0,3

Temos impacto na redução de alunos no % mais crítico e aumento nos % mais elevados.Na 3ª geração, aumentamos nosso impacto na redução de alunos no % mais crítico e o aumentonos % mais elevados se torna não significativo estatisticamente. Hipótese de que a inclusão de alunos resultante de um melhor fluxo tem levado mais pessoas para o padrão 2.

Impact on inequality within schools

35

Relevance of impact

4-5Points (SAEB)

In secondary education,

typically students learn:

• 14 points in

Portuguese. Impact

means increasing in

30%

• 9 points in Math. Impact

means increasing in

55%.

In Portuguese and

Math – 3rd grade

2,8Points (SAEB)

• IP has increased 2 p.p.

over 3 last years

• The impact more than

double this performance.

In IP (passing

rates) – all grades

36

International Benchmarks

4-5 Points (SAEB)

• 4-5 points represents 11%-12% of a standard deviation

• Very close to what FRYER 2014;2017 has found.

• Interesting point is that the program was able to sustain it´s impact over a decade.

International

Benchmarks

37

Systemic impact

IDEBES – Espírito Santo

Groups 2014 2017 Impact

Treatments (150) 3,03 3,84 0,81

Controls (70) 3,13 3,63 0,50

Impact -0,10 0,21 0,31

Evolution of IDEBES 3,2 3,9 0,7

Evolution of IDEBESImpact in schools Impact in schools of improvements in Regionais

Obs: em 2017, as escolas de tratamento respondiam por 82% das matrículas. A cobertura foi considerada na estimativa de impacto.

INSTITUTO UNIBANCO 38The great opportunity in Minas Gerais

Minas Gerais Censo Escolar 2018

Matrículas de ensino médio regular 718.778

Número de escolas de ensino médio 2.349

Número de Regionais 47

Goiás Censo Escolar 2018


Número de escolas de ensino médio 652


Espírito Santo Censo Escolar 2018


Número de escolas de ensino médio 282


INSTITUTO UNIBANCO 39Impact evaluation in Minas Gerais

1. Historical impact is sustained or increases?

2. What is the importance of Regionais to improve schools

3. What is the marginal impact of improvements in some “pedagogical practices”

compared to other school management practices?

Questions addressed to the impact evaluation

• New context

• Improvements in our solution

• New experiment


Regionais - Minas Gerais


Rede Estadual

47 Regionais

Desenho da avaliação de impacto em MG


Rede Estadual

47 Regionais

24

Me

no

res



Rede Estadual

47 Regionais

24

Me

no

res

TratamentoControle



Experimento 1

TratamentoControle

Tratamento: circuito de gestão aprimorado + pacote pedagógico

Controle: nada (ingressa em 2022)

Impacto completo: efeito das regionais + efeito do circuito aprimorado + efeito do pacote

pedagógico

13% das matrículas cobertas nesse experimento


Rede Estadual

47 Regionais

24

Me

no

res

12

Maio

res

11

Mé

dias

TratamentoControle



Rede Estadual

47 Regionais

24

Me

no

res

12

Maio

res

...

43

11

Mé

dias

TratamentoControle



Rede Estadual

47 Regionais

24

Me

no

res

12

Maio

res

...

43

11

Mé

dias

TratamentoControle

TratamentoControle



THEORY OF CHANGE

INSTITUTO UNIBANCO

TIER 5

Students achievements

Students more engaged and exposed

to better pedagogical practices

TIER 4

The classroom is transformed

Improvement in the teaching-learning process

–and relations

TIER 3

Better Schools, Regionais and Central

Offices outputs

Improvement in intermediate results of all 3

administrative levels (outputs)

53Tiers of effect considered by the Theory of Change

TIER 2


office practices

Improvement in leadership and

management practices in all 3

administrative levels

TIER 1

Cycles of continuous

improvement

Cycles of continuous improvement

are implemented

INSTITUTO UNIBANCO 54Relations of the tiers of effect of the Jovem de Futuro

Implementation of the cycle

(management circuit)

Development of skills

STATE

DEPARTMENT

SCHOOLS REGIONAL

OFFICES

TIER 3

TIER 5

TIER 2

TIER 4

TIER 1

More students completing secondary education

with better learning resultsLEARNING

Students more engaged

and better classes

Improvement in

schools 'outputs

Improvement

in management

practices

Schools supported by

regionais

Improvement in

regionais

'outputs

Improvement

in management

practices

Central offices provide

what schools really

need

Improvement in

central office

outputs

Improvement

in management

practices

Improvement

of supervision

Supervisors more

prepared

A Change in the

Organizational CultureBetter practices



Offices outputs


Students learn more

Services

in the Schools, Regionais and Central Offices

INSTITUTO UNIBANCO 55Relations of the tiers of effect of the Jovem de Futuro

Implementation of the cycle

(management circuit)

Development of skills

STATE

DEPARTMENT

SCHOOLS REGIONAL

OFFICES

TIER 3

TIER 5

TIER 2

TIER 4

TIER 1

More students completing secondary education

with better learning resultsLEARNING

Students more engaged

and better classes

Improvement in

schools 'outputs

Improvement

in management

practices

Schools supported by

regionais

Improvement in

regionais

'outputs

Improvement

in management

practices

Central offices provide

what schools really

need

Improvement in

central office

outputs

Improvement

in management

practices

Improvement

of supervision

Supervisors more

prepared

A Change in the

Organizational CultureBetter practices



Offices outputs


Students learn more

Services

in the Schools, Regionais and Central Offices

56

Questions for evaluation

1. Mmm2. Mmm3. Mmmm

JOVEM DE FUTURO AND THE USE OF EVIDENCE FOR … de Futur… · Implementation: 2 levels –States...

Documents

Transcript of JOVEM DE FUTURO AND THE USE OF EVIDENCE FOR … de Futur… · Implementation: 2 levels –States...