A relevância do monitoramento e da avaliação para a Fundação Roberto MarinhoSETEMBRO | 2013

Autoras:

Guimarães, Vilma

Pinto, Mônica Dias

Soares, Rosalina Maria

A FRM

Origem e finalidade:

Uma Fundação familiar criada em 1977 visando contribuir para a melhoria

da qualidade de vida da população brasileira por meio de projetos que

reunissem comunicação e educação

Eixo educacional em diferentes áreas:

• Educação e implementação

• Educação Profissional

• Meio Ambiente

• Patrimônio

• Canal Futura

Avaliação (M&A) anterior à

institucionalização do Núcleo de Pesquisa e

Avaliação

Não são as respostas que movem o mundo: são as perguntas

Quais os resultados e impactos dos

projetos da FRM?

Composição do Núcleo de Pesquisa e Avaliação

Para que avaliar? • Relevância dos projetos para os stakeholders das

diferentes áreas

• Aprimorar os projetos

• Comunicar e celebrar os resultados junto a

diferentes públicos

Há 10 anos atrás:

Como fazemos para

Kellogg Foundation, 2004

Modelos Lógicos

Pfeiffer, 2000

Ferramenta de gestão

• Refletir sobre as reais possibilidades de alcance de um projeto social

• Aumentar o envolvimento e a utilidade da avaliação

Como planejar avaliações relevantes?

Quem precisa

aprender com a

avaliação?

O que precisa

aprender?

Com que

propósito?

Quando?

Davidson, 2004

Chianca, 2013

• Envolvendo os interessados na definição das aprendizagens que se deseja ter

Perguntas avaliativas

O dia a dia do Núcleo de Pesquisa e Avaliação

� Licitar e contratar a partir de briefing elaborado com a área gestora do projeto

� Aproximar o avaliador com os projeto e as equipes da FRM

� Disponibilizar e refletir junto com avaliador sobre as Informações do monitoramento

� Acompanhar e sugerir melhorias do cadastro dos projetos (base de dados)

� Planejar com o avaliador a coleta de dados: acordos de datas, comunicação,

autorizações

� Validar os instrumentos (questionários, roteiros, etc)

� Planejar o formato e tamanho do relatório

� Realizar leitura e encontros para entendimento/reflexão sobre as informações

� Estimular o uso da avaliação

� Validar a qualidade do relatório

M&A

do projeto Igarité/EJA

Caso em destaque

Educação e Implementação

O projeto Igarité/EJA

Onde? Amazonas

Para quê? Oferecer a jovens e adultos a oportunidade de concluir, com qualidade, a

1ª etapa do EF em 2 anos (2º,3º,4º e 5º anos)

Parceria: Secretaria de Educação do Estado do Amazonas

Desafios: Distâncias das comunidades, escassez de professores especialistas,

comunidades indígenas de diversas etnias

Estratégias: Centro de Mídias de Educação do Amazonas + Materiais do Telecurso +

Metodologia Telessala + ações estruturantes (formação dos professores,

acompanhamento, avaliação no processo)

• Professor especialista no estúdio e interatividade com os professores e alunos das

demais salas de aula

O projeto Igarité/EJA

Metodologia Telessala

Monitoramento do Igarité/EJA

Duplo objetivo:

• Coletar informações para identificar desafios enfrentados na

implementação

• Apoiar a prática docente (formação em serviço)

Periodicidade e nº de visitas:

3x ao ano – dois dias em cada sala de aula • Diagnóstico de leitura e matemática

• Implementação da Metodologia

Planejamento

Avaliação do Igarité/EJA

Com qual finalidade? Identificar o desenvolvimento de habilidades e competências dos

estudantes

Qual metodologia ?

ENCCEJA: Exame Nacional de Certificação de Competências de Jovens e Adultos

SAEB: Sistema de Avaliação da Educação Básica

INAF: Indicador de Alfabetismo funcional

Não tínhamos acesso a itens calibrados

Mensurar habilidades e competências de estudantes do ensino regular

Medir o grau de alfabetismo funcional da população brasileira

adulta através das habilidades e práticas de leitura, escrita e de cálculo aplicadas ao cotidiano

Metodologia INAF

Teoria de Resposta ao Item (TRI)

Metodologia estatística que propõe modelos teóricos para

• Representar o comportamento dos itens

• Indicar a habilidade dos jovens e adultos

Níveis de Alfabetismo

Analfabeto Rudimentar Básico Pleno

Indivíduo que não consegue realizar

tarefas simples que envolvem a

leitura de palavras e frases, ainda que

uma parcela deste grupo consiga ler

números familiares (números de

telefone, preços, etc.)

Pessoa cujas habilidades não

mais impõem restrições para

compreender e interpretar

textos em situações usuais

Etapas da avaliação

Modelo Longitudinal

Linha de Base + Intermediária + Somativa

Linha de base + somativa: teste cognitivo e questionário contextual

Fase intermediária: qualitativa para entender a operacionalização da

metodologia

Resultados da avaliação

Número de participantes

Absolutos Matriculados

Matriculados 1.336 100%

Frequentando 904 68%

Presentes na aplicação 575 43%

Preencheram 559 42%

Distribuição dos estudantes por cor/raça

Absoluto %

Branco 46 8

Pardo 261 47

Preto 37 7

Amarelo 6 1

Indígena 199 36

Não Respondeu 9 2

Total 559 100

Resultados da avaliação

Teste cognitivo

Itens de maior acerto: apoio visual,

sem necessidade de leitura de texto

escrito

Muitos itens sem respostas: em

especial aqueles de dificuldade

mediana e mais complexos

Não foi possível usar a TRI

Abordagem qualitativa

• Cultura indígena e avaliação q

• Mediação tecnológica

(possibilidades e desafios)Teoria Clássica: acerto e erro

Lições Aprendidas

�A relevância do desenho longitudinal da avaliação: uso no processo

�É preciso “jogo de cintura” para lidar com os desafios e ainda assim fazer bons usos dos resultados

�A importância do envolvimento dos stakeholders na construção do ML e dos modelos de avaliações: são processos de amadurecimento coletivo

�As avaliações podem sim gerar aprendizagens:

�Para o projeto

�Para a própria avaliação

Obrigada!

Contatos: vilma@frm.org.br; monicap@frm.org.br; rosalina.soares@frm.org.br