VII REUNIÃO DA ABAVE Minicurso 2: A importância das...
-
Upload
truongdien -
Category
Documents
-
view
213 -
download
0
Transcript of VII REUNIÃO DA ABAVE Minicurso 2: A importância das...
0
VII REUNIÃO DA ABAVE
Minicurso 2: A importância das competências não cognitivas
para o desenvolvimento humano e o desafio
de avaliá-las em políticas públicas
Daniel Santos (FEA-RP/USP)
Tatiana Filgueiras (IAS)
Mirela de Carvalho (IAS)
Laura Pizzo (IAS)
Eduardo Silva (IAS)
Parte 1
Instrutora: Mirela de Carvalho
1
Introdução
1
• As competências não cognitivas (sócio emocionais) importam
2
• É possível desenvolvê-las em muitas idades, inclusive mais avançadas
3 • É possível ensiná-las também na escola
How children succeed. Grit, curiosity and the hidden
power of character – Paul Tough
2
Introdução
Cognitivo
Capacidade mental de adquirir
conhecimento , pensamento e
experiências
Interpretar, refletir, extrapolar baseado
no conhecimento adquirido
Habilidades básicas
Memória
Reconhecer padrões
Velocidade de processamento
Aquisição de conhecimento:
Acesso
Extração
Interpretação
Conhecimento extrapolado:
Reflexão
Raciocínio
Conceitualização
ESP - OCDE
3
Introdução
Não cognitivo
Padrões de pensamento, sentimentos
(sensações) e comportamentos que
refletem uma tendência de resposta/
reação a circunstâncias
Atingir resultados (objetivos):
Perseverança
Autocontrole
Ter objetivos
Trabalhar com os outros:
Amigável
Respeito/tolerância
Cuidado
Administrar emoções:
Calma
Otimismo
Confiança
ESP - OCDE
5
1. As competências não cognitivas importam
Recursos produtivos e incentivos
Alimentação
Livros
Vocabulário
Acesso a cultura
Etc.
Saúde física
Traumas danificam cérebro e outros órgãos – hypothalamic-pituitary-adrenal (HPA)
Adverse childhood experiences – ACE scores
Emocional, não cogs
Estresse e córtex pré-frontal
Vítima de impulsos negativos incontroláveis (ansiedade)
Autocontrole afetado e aprendizado também
Relação entre
pobreza e não
aproveitamento
de
oportunidades
7
2. É possível aprendê-las em diversas idades
• Interrupção da descarga de adrenalina
• Cuidar e aprender a interromper
Teoria da “ligação”
attachment
• Adulto: proteger e estimular
• Intervenções precoces definem o sucesso cognitivo
• Há maior flexibilidade para o não cogntivo
Primeira infância
• Sistemas neurológicos: incentive processing system e cogntive control system. + HPA choques.
• Decisão: contexto difícil, mas possibilidade turning point (diferente das crianças)
Adolescência
Como proteger o córtex pré-frontal das descargas
de adrenalina (das situações de estresse)?
8
2. É possível aprendê-las em diversas idades
• YAP – Youth Advocate Programs (Chicago), programa de “mentoria”
• Mentor estabelece a “ligação”
• Da infância e juventude sem cuidados a busca por uma vida diferente
Keitha Jones
• One goal – reforço escolar e trabalho com não cognitivas para entrar na universidade
• Mexe com Ambição, esforço
• Ansiedade na espera desencadeou pessimismo e derrotismo
• Capacidade de se auto motivar de novo, replanejar (locus de controle, auto-estima, auto-gerenciamento etc)
Kewona
Adolescentes e jovens: má decisões
e resultados avassaladores. Turning point
10
3. É possível ensiná-las na escola
• Crianças de origem pobre
• Autocontrole, atitudes para aprender, disciplina
• Garra e persistência
Kipp
• Crianças filhas da elite
• Desconforto com o excesso de disciplina
• Não fracasso Riverdale
• Bom desempenho na escola
• Saber aprender
• Escolher o caminho profissional, risco (a leveza de fracassar e recomeçar)
Exemplos (Paul Tough, Steve Jobs)
Errar, responsabilizar-se, escolher
11
3. É possível ensiná-las na escola
• “controle de tráfego de avião” – parar (controlar impulso, autocontrole cognitivo), compreender, especular (contrafactuais, flexibilidade cognitiva) e decidir o que é melhor.
Função executiva
• observar sua forma de pensar e conseguir alterá-la quando julgar necessário (pensar fora da caixinha). Ter consciência do que sabe e o que não sabe e precisa aprender(autoeficácia)
Metacognição
• Estudos sobre o bom jogador: não é cognitivo! É o “pessimismo imediato”.
• Otimismo, autoestima e locus de controle interno
Foco no erro X viés da confirmação
O jogo de xadrez – a forma de aprender
12
3. É possível ensiná-las na escola
• “controle de tráfego de avião” – parar (controlar impulso, autocontrole cognitivo), compreender, especular (contrafactuais, flexibilidade cognitiva) e decidir o que é melhor.
Função executiva
• observar sua forma de pensar e conseguir alterá-la quando julgar necessário (pensar fora da caixinha). Ter consciência do que sabe e o que não sabe e precisa aprender(autoeficácia)
Metacognição
• Estudos sobre o bom jogador: não é cognitivo! É o “pessimismo imediato”.
• Otimismo, autoestima e locus de controle interno.
Foco no erro X viés da confirmação
O jogo de xadrez – a forma de aprender
Responsabilizar o aluno – levar
seu raciocínio, suas perguntas
muito a sério
Sempre desafiá-los, levá-los
ao seu limite
Cria excesso de foco?
13
Desperdício na vida desses jovens. Se nós tivéssemos dado a eles
oportunidades melhores mais cedo...
Admiração e esperança ao ver jovens que, apesar de tudo, fizeram
escolhas por um caminho novo. Esses, trabalham mais do que muitos
de nós jamais fizemos ou faremos.
Ao Instituto Ayrton Senna não cabe só aplaudir. Esses jovens não
chegaram lá sozinhos. Alguém os ajudou nos primeiros passos.
Queremos estar lá com eles!!!
3. É possível ensiná-las na escola
Implicações
15
Plano de aula
1
• As competências não cognitivas (sócio emocionais) importam
2
• É possível desenvolvê-las em muitas idades, inclusive mais avançadas
3 • É possível ensiná-las também na escola
4 • Como são medidas as competências não cognitivas
5 • Proposta da área de avaliação do IAS
16
VII REUNIÃO DA ABAVE
Minicurso 2: A importância das competências não cognitivas
para o desenvolvimento humano e o desafio
de avaliá-las em políticas públicas
Daniel Santos (FEA-RP/USP)
Tatiana Filgueiras (IAS)
Mirela de Carvalho (IAS)
Laura Pizzo (IAS)
Eduardo Silva (IAS)
Parte 2
Instrutor: Daniel Santos
18
Capital Humano: a verdadeira riqueza das
nações
Diferenças nos indicadores econômicos tendem a
desaparecer entre países com nível educacional parecido
(Europa do pós-guerra).
Desigualdade de renda (e bem-estar) é majoritariamente
explicada pela desigualdade educacional
19
Primórdios: “saber fazer coisas”
Resultados futuros dependem de habilidades, que podem ser aprendidas.
Preferências e atributos socioemocionais tidos como fixos (inatos) e
pouco relacionados com resultados
Mischel: Capacidade de postergar recompensas prediz resultados
importantes
XXI: ênfase no desenvolvimento não cognitivo
20
Motivação: caso do GED. Comparação entre alunos formados no 2º grau, jovens que abandonaram e fizeram exame de equivalência, e jovens que abandonaram e não o fizeram
Distribuição de QI nos dois primeiros grupos é semelhante, e domina a dos que abandonaram e não fizeram o exame
Distribuição dos atributos não-cognitivos é semelhante entre os dois tipos de abandono, e é dominada pelos alunos do ensino formal
Salários são maiores entre os formados no ensino formal do que nos outros 2 grupos
Explicação deve passar por atributos não cognitivos
Benefícios da escola também passam por
canais não-cognitivos
24
Perry Preschool/ High Scope
Ypsilanti (MI), 1962 – 1967
Crianças vulneráveis (negros pobres), 3-4
Currículo High Scope (Piagetiano), professores especialmente
treinados
Período integral
Visitas aos pais para aconselhamento e acompanhamento do
desenvolvimento
28
$
3
K
$6K $9K $13K $58K $88,433
$12,356
$0 $20.000 $40.000 $60.000 $80.000 $100.000
Costs
Benefits
$7 return for every dollar invested
Welfare Special educationTaxes on earnings Justice systemCrime victims Preschool
Retorno econômico do programa Perry School
(exclui ganho salarial líquido de $20 mil)
Análise de custo-benefício – Perry School
33
Análise de custo-benefício - Abecedarian
$7K$47K $50K $6K $12K
$143,674
$44,092
(preK & college)
$0 $20.000 $40.000 $60.000 $80.000 $100.000 $120.000 $140.000
Costs
Benefits
Education Maternal Earnings
Participant Earnings Future Generations
Smoking Health Preschool
34
$5K $28K $13K $2K
$6,692
$47,759
$0 $5.000 $10.000 $15.000 $20.000 $25.000 $30.000 $35.000 $40.000 $45.000 $50.000
Costs
Benefits
Education Human Services
Participant Earnings Crime
Child Care Preschool
Análise de custo-benefício - Abecedarian
35
O que compõe o capital humano?
i. Habilidades cognitivas
Percepção de que resultados em testes eram fortemente correlacionados ao
longo da vida sugeriam que existisse Inteligência. Desenvolvimento de
filtros estatísticos permitiram detectar atributos não observáveis que
explicassem comportamentos observáveis - fator G
ii. Teorias de personalidade: Big Five
Tentativa de utilizar os mesmos métodos bem sucedidos do fator G para
detectar talentos não cognitivos
36
Abertura a novas experiências: propensão a aceitar novas experiências
estéticas, culturais ou intelectuais
Facetas:
• Fantasia (imaginativo)
• Estética (artístico)
• Sensibilidade (excitável)
• Ações (interesses amplos)
• Ideias (curioso)
• Valores (não convencional)
O que compõe o Capital Humano?
ii. Big Five
37
Consciência: Tendência a ser organizado, esforçado e responsável
Facetas:
• Competência (eficiente)
• Ordem (organizado)
• Autonomia (não espera ajuda)
• Batalha por objetivos
• Disciplina (não preguiçoso)
• Deliberação (não impulsivo)
Atributos relacionados: Firmeza de caráter, Perseverança, Postergar recompensa, Controle de impulsos, Planejar e batalhar por objetivos, Ambição, Ética no trabalho
O que compõe o Capital Humano?
ii. Big Five
38
Extroversão: Orientação de interesses e energia em direção ao mundo externo e pessoas e coisas (ao invés do mundo interno da
experiência subjetiva)
Facetas:
• Acolhimento (amigável)
• Agregador (sociável)
• Afirmação (autoconfiante)
• Atividade (energético)
• Procurar excitação (aventureiro)
• Emoções positivas (entusiasmado)
O que compõe o Capital Humano?
ii. Big Five
39
Cooperatividade: Tendência a agir de modo cooperativo e não
egoisticamente
Facetas:
• Confiança no próximo (tolerante)
• Objetividade (direto quando se dirige a alguém)
• Altruísmo
• Obedecer (não teimoso)
• Modéstia
• Docilidade (simpático)
Atributos relacionados: Empatia, Olhar diferentes ângulos dos problemas, Cooperação, Competitividade
O que compõe o Capital Humano?
ii. Big Five
40
Estabilidade emocional: Previsibilidade e consistência de reações emocionais, sem mudanças bruscas de humor
Facetas:
• Ansiedade (preocupado)
• Hostilidade (irritadiço)
• Depressão
• Introspecção (tímido)
• Impulsividade
• Vulnerabilidade a estresse (não autoconfiante)
• Otimismo
• Psicopatologias (desordens mentais) incluindo depressão e desordens de ansiedade
Atributos relacionados: Lócus de controle, Autoestima, Autoeficácia
O que compõe o Capital Humano?
ii. Big Five
41
Teoria do Capital Humano
Capital Humano:
Conjunto das características
produtivas de um indivíduo
Características
Cognitivas
Características
Físicas
Características
Sócio-emocionais
Sucesso
profissional
Estabilidade familiar,
Felicidade
Saúde, nutrição,
drogas, crime e violência
42
Como o Capital Humano se desenvolve?
i. Modelo causal (Cunha et al 2010)
• Permite que atributos dependam de componente inato e ambiente
• Confirma a existência de idades sensíveis. Cognitivos cristalizam
precocemente e não cognitivos permanecem maleáveis por mais tempo
• Investimentos parentais são mais produtivos em idades menores e
produzem complementaridades dinâmicas
• Maiores níveis iniciais não cognitivos facilitam desenvolvimento cognitivo,
mas o oposto não ocorre
43
Acumulação de Capital Humano
Fatores ontogênicos e sociogênicos
Acidentes e indução química
Investimento em capital humano
Privado Público
Direto
Indireto
44
Economia e desenvolvimento infantil
Natureza
Cognitivas
Não cognitivas
Indivíduo adulto Resultados
Cognitivas
Não cognitivas
Trabalho
Educação
Saúde
Família
Crime
Não cognitivas são ao menos tão importantes quanto as cognitivas na determinação de resultados
- Ambiente (ontogênico e sociogênico)
- Investimento em KH: f(natureza, ambiente)
45
0 a 0,2 anos de estudo por desvio-padrão
Segundo atributo em importância nas notas (magnitude pode ser
semelhante à inteligência, NY). Responsável ainda por parte do efeito de
inteligência
Cursos mais difíceis. Menor absenteísmo
Mercado de trabalho: não afeta produtividade e salários
Mulheres: menor absenteísmo e maior chance de ocupar posições de
liderança
Poder preditivo de talentos não cognitivos
i. Abertura a novas experiências
46
Domínio mais importante. Ex: marshmellow
Educação: (i) 0,2 ano a mais de estudo por desvio-padrão (maior para homens); (ii) Mesmo impacto de inteligência sobre notas. Cresce em idades maiores (ao contrário de QI e abertura); (iii) Explicação para maior preferência por faculdade entre mulheres
Trabalho: (i) impacto salarial para além da educação (50% de QI); (ii) afeta todas as ocupações (QI mais importante nas complexas)
Crime: menor envolvimento com delinquência juvenil
Família: menor chance de divórcio e maior duração do casamento
Poder preditivo de talentos não cognitivos
ii. Consciência
47
Efeitos difíceis de captar: não monotônicos e forte influência de
experiências pregressas e incentivos na hora de responder
Salários maiores em profissões administrativas, de gerência e vendas; e
menores em profissões técnicas
Pode afetar decisão de permanecer na escola por mais tempo
Menor incidência de tabaco, mas maior de álcool
Poder preditivo de talentos não cognitivos
iii. Extroversão
48
Agressividade na infância prediz conclusão do segundo grau
Contribui para desempenho educacional no primeiro grau
Homens: menor absenteísmo e maior chance de ser gerente
Principais impactos surgem em saúde, crime e família: principal
determinante de envolvimento com crime e delinquência juvenil
Maior longevidadde e menor incidência de tabagismo
Menos divórcio e casamentos mais duradouros
Poder preditivo de talentos não cognitivos
iv. Cooperatividade
49
Trabalho: menor absenteísmo e impacto semelhante à inteligência sobre
produtividade e salários. Canal pode ser a busca mais cuidadosa por um
bom emprego
Saúde: maior longevidade, mais chance de usar drogas, álcool e tabaco.
Prediz depressão e obesidade aos 30 anos
Educação: mais chance de completar o 2º grau (principalmente homens e
entre pessoas com baixo locus de controle). Impactos indiretos via
promoção da cognição
Crime e família: prediz envolvimento com crime em nível semelhante ao
QI. Mais importante preditor de estabilidade conjugal
Poder preditivo de talentos não cognitivos
v. Estabilidade emocional
51
Table 9.4 Correlations of IQ’s Measured during the Preschool Years and Middle Childhood, with IQ’s
Measured at Ages 10 and 18. SOURCE: Adapted from Honzik, MacFarlane, & Allen, 1948.
Habilidades cognitivas estabilizam cedo
Table 9.4 Correlations of IQ’s Measured during the Preschool Years and Middle Childhood, with IQ’s Measured at
Ages 10 and 18. SOURCE: Adapted from Honzik, MacFarlane, & Allen, 1948.
58
Escola pode ter papel especialmente importante
no desenvolvimento não cognitivo
Maleabilidade durante grande parte do ciclo permite modificar a
estrutura, não apenas adicionar conteúdo
Mesmo jovens com atraso cognitivo têm muito a ganhar indo para
a escola. Impacto não cognitivo pode ser especialmente importante
para vulneráveis
59
Por que medir características
socioemocionais na escola?
Características socioemocionais são ao menos tão importantes quanto “saber fazer coisas” para o sucesso na vida
Escola é capaz de modificar estas características
Características socioemocionais contribuem para o próprio aprendizado
São maleáveis em idades maiores – maior efeito em grupos vulneráveis
61
Como medir?
Poder preditivo: características associadas ao sucesso
Factibilidade: linguagem, custo, duração
Maleabilidade na idade escolar
Capacidade transformadora da escola
Estabilidade
62
VII REUNIÃO DA ABAVE
Minicurso 2: A importância das competências não cognitivas
para o desenvolvimento humano e o desafio
de avaliá-las em políticas públicas
Daniel Santos (FEA-RP/USP)
Tatiana Filgueiras (IAS)
Mirela de Carvalho (IAS)
Laura Pizzo (IAS)
Eduardo Silva (IAS)
Parte 3
Instrutora: Laura Pizzo
64
Introdução
Parceria • IAS - OCDE/CERI/ESP
Colaboração/ Participação • Secretaria Estadual da Educação do Rio de Janeiro
• Secretaria Municipal da Educação do Rio de Janeiro
O Projeto
• Elaboração de um instrumento de avaliação não cognitiva para aplicação periódica nas redes públicas de ensino para subsidiar a elaboração de políticas públicas que visem o desenvolvimento dessas competências
• Instrumento final para recomendações a outros países
65
Desenho do piloto: Amostra
Estratos: regionais e tipos de
atendimento.
6º Ano EF
10º Ano EM
Amostra estratificada por
regionais de ensino:
resultados não serão
significativos
ao nível de escolas
5º Ano
EF
9º Ano
EF
12º Ano
EM
Rede municipal
Rede estadual
55.000 ALUNOS
66
Parte 3: Desenho do piloto
Estratégia de coleta
• Questionário (60 perguntas para 5º e 6º anos e 90 perguntas para 9º, 10º e 12º anos)
• Questionário Socioeconômico
• Reteste => 3.000 alunos (1 mês depois)
Aluno
• Ambiente de aplicação
• Questionário do aluno (3.000 alunos) Professor
• Resultados da primeira e da segunda avaliações formativas
Informação adicional do aluno
67
Desenho do projeto:
Escolha do instrumento para o piloto
Definição do
Instrumento
Escolha dos instrumentos
Tradução
Pré-teste 1 tempo
Pré-Teste 2 Análise
Quali
68
1. As perguntas são adequadas para as idades de aplicação (entendimento cognitivo e emocional dado a idade)?
2. As perguntas são adequadas ao contexto escolar? São úteis para o planejamento da Secretaria?
3. As perguntas são adequadas para a realidade social das crianças (contexto de pobreza, violência, algo pode
ser traumático ou difícil de ser falado)?
4. As crianças da rede terão dificuldades cognitivas para responder independente da idade?
5. Alguma pergunta pode gerar risco de estigmatização da criança ou das turmas de forma não administrável
pela Secretaria?
6. Alguma pergunta pode gerar problemas maiores com o grupo dos professores e sindicatos?
7. Alguma pergunta pode gerar qualquer dificuldade com os pais?
8. Algum outro problema?
Perguntas orientadoras
69
Sistemática de Tradução
1 • Revisão de traduções já validadas e utilizadas no Brasil
2
• Revisão da tradução: equipe IAS e equipe das secretarias estadual e municipal; especialistas
3
• Consolidação das traduções dos itens 1 e 2 para formatação de uma tradução final única
4
• Back Translation: tradutor nativo retraduz para inglês para validação dos autores.
70
Seleção dos instrumentos para o piloto
N Instrumentos Idade Construtos
1 Big Five
Inventory
14+ Big 5
2 SDQ
(temperament)
11-17 Tradição Big 5: sintomas emocionais
(neuroticismo, problemas de conduta
(amabilidade), hiperatividade
(conscienciosidade e neuroticismo), problemas
com colegas ( extroversão) e pro-social
(amabilidade).
Habilidades
sociais
Não encontramos um instrumento adequado
até o momento.
Personalidade
N Instrumentos Idade Construtos
5 Core self-
evaluations
10+ Autoestima
5 Escala de
autoestima de
Rosemberg
10+ Autoestima
N Instrumentos Idade Construtos
3 Self-efficacy
Questionnaire for
Children
14-17 Autoeficácia
4 The resilience
scale
13+ Resiliência
4 The grit scale 10+ Garra
Self-efficacy
Questionnaire for
Children
Inteligência emocional
Auto-estima
N Instrumentos Idade Construtos
6 Norwick-
Strickland
Locus of
controle scale
9+ Locus de
controle
Lócus de controle Auto-controle e outros
71
Pré-teste 1: objetivo
Testar o tempo de resposta dos alunos para cada teste selecionado
Estratégia de minimizar risco de subestimar tempo
1) Priorizar escolas com desempenho educacional um pouco abaixo da média da rede
2) Priorizar séries mais baixas (alunos mais jovens, a princípio, tem maior dificuldade)
72
Quantidade de alunos (Total de 224 alunos)
Rede municipal: aplicação nos 5º e 6º anos na mesma escola
2 turmas de 5º ano: turnos diferentes (60 alunos)
2 turmas de 6º ano: turnos diferentes (42 alunos)
Rede estadual: aplicação no 1º ano em duas escolas distintas
4 turmas de 1º ano do EM divididos: 2 turnos (126 alunos)
Tempo de aplicação: 50 minutos.
Pré-teste 1: Desenho
73
Pré-teste 1: Aplicação
Logística
• Entrega de um questionário por vez
• Anotação da hora inicial e final
• Alunos receberam 2 canetas (azul e vermelha) Troca de canetas a cada 10 minutos
Informações Adicionais
• Folha de rosto (idade; se já repetiu; como se vê (bom aluno, mediano, com dificuldade de aprendizado)
• Ambiente de aplicação
• Perguntas sobre a escola e sobre as turmas
Dificuldade de aplicação
• Expectativa de que os alunos menores responderiam no máximo a 2 instrumentos. Muitos terminaram antes (correção no 2º dia)
74
Pré-teste 1 – análise do tempo por
instrumento
• Dado que os alunos mais velhos conseguem
responder a mais testes, a maioria (71%) da amostra
está concentrada no 1º ano do EM.
• O 5º ano responde, em média, a 3 testes
• Já o 6º ano responde a 4 testes
• O 1º ano do EM responde a 7 testes
14,5%
14,7%
70,9%
Grade 5
Grade 6
Grade 10
SÉRIE MANHÃ TARDE TOTAL
5o ANO 3,1 2,8 3,0
6o ANO 3,6 4,7 4,2
1o ANO 6,8 6,9 6,8
TOTAL 4,5 4,8 4,6
Total de testes realizados por série
Média de testes por série
75
Pré-teste 1 – análise do tempo por
instrumento
5º ano 6º ano
• O 1º ano do EM responde sempre mais rápido que o 5º e o 6º ano
• O 6º ano responde sempre mais rápido do que o 5º ano, exceto pelo Rosemberg (mede
autoestima)
• Embora Grit seja o instrumento mais curto é um dos instrumentos com maior demora por
Item (para todas as séries)
• O mesmo é verdade para os instrumentos de autoestima (Rosemberg e Core)
• BFI e BFC têm menor tempo de resposta por item para todas as séries!
TESTENúmero
de itens
N
respond
entes
MédiaMédia por
item
AUTO 24 21 8,6 0,36
BFC 65 31 20,3 0,31
BFI 44 32 15,2 0,35
GRIT 8 22 6,5 0,81
LOCUS 21 25 10,8 0,52
ROSEMBERG 10 23 5,4 0,54
SDQ 25 21 8,7 0,35
TESTENúmero
de itens
N
respond
entes
MédiaMédia por
item
AUTO 24 23 6,6 0,28
BFC 65 30 15,7 0,24
BFI 44 32 11,9 0,27
GRIT 8 25 4,6 0,57
LOCUS 21 23 6,5 0,31
ROSEMBERG 10 20 6,8 0,68
SDQ 25 24 6,5 0,26
1º ano EM
TESTENúmero
de itens
N
respond
entes
MédiaMédia por
item
AUTO 24 124 4,0 0,17
BFC 65 124 8,7 0,13
BFI 44 120 5,9 0,13
GRIT 8 123 2,2 0,27
LOCUS 21 122 5,1 0,24
CORE 10 122 2,7 0,27
SDQ 25 121 4,3 0,17
76
Pré-teste 1 – análise do tempo por
instrumento
5º ano 6º ano
• Poderia se imaginar que a demora por item observada nos instrumentos Grit, Rosemberg e
Core são explicadas por outliers
• No caso do Rosemberg, a razão máx/min indica a presença de outliers (pois são os valores
mais altos da série)
• No Grit, a razão máx/min não é das maiores!
• E no Core também não
1º ano do EM
TESTEVariabilid
ade (CV)
Razão
Max/Min
Razão
90+/25-
AUTO 4,4 6 3
BFC 4,3 10 2
BFI 4,0 7 2
GRIT 6,0 8 3
LOCUS 4,4 5 2
ROSEMBERG 4,8 13 2
SDQ 6,4 11 4
TESTEVariabilid
ade (CV)
Razão
Max/Min
Razão
90+/25-
AUTO 4,3 12 3
BFC 3,7 6 2
BFI 4,6 8 2
GRIT 3,7 4 2
LOCUS 3,4 7 2
ROSEMBERG 13,5 22 4
SDQ 2,4 3 2
TESTEVariabilid
ade (CV)
Razão
Max/Min
Razão
90+/25-
AUTO 3,5 10 2
BFC 3,6 10 2
BFI 4,0 8 2
GRIT 4,8 8 2
LOCUS 4,2 13 2
CORE 0,3 5 2
SDQ 2,6 4 2
77
Pré-teste 1 – análise do tempo por
instrumento
• Nesta tabela, corrigimos o outlier que havia na Rosemberg
• Tradicionalmente, o turno da tarde tem proficiência mais fraca que o turno da manhã
• Nossos dados mostram que no 6º ano isso não ocorreu
• Para essas séries, há certamente um viés de aplicação, pois aprendemos melhor sobre
a aplicação na parte da tarde e fizemos um rodízio da equipe aplicadora entre as séries
MANHÃ TARDE
DIF
TARDE-
MANHÃ
MANHÃ TARDE
DIF
TARDE-
MANHÃ
AUTO 07:13 09:35 02:22 05:53 07:04 01:11 07:26 00:19
BFC 19:33 20:45 01:12 19:34 14:31 05:03 18:36 00:17
BFI 15:52 14:39 01:13 12:32 11:25 01:07 13:37 00:19
GRIT 04:00 08:30 04:30 05:00 04:13 00:47 05:26 00:41
LOCUS 11:06 10:40 00:26 06:42 06:18 00:24 08:42 00:25
SDQ 08:11 08:22 00:11 06:22 06:32 00:10 07:22 00:18
ROSEMBERG 05:00 05:55 00:55 09:43 05:14 04:29 06:28 00:39
TOTAL
GERAL
5o ANO
TOTAL/
ITEMINSTRUMENTO
6o ANO
Rede Municipal
78
Pré-teste 1 – análise do tempo por
instrumento
• Na rede estadual, uma das escolas rompeu esse padrão de melhor desempenho no turno
da manhã, o que foi notado pela equipe aplicadora no momento da aplicação (conversado inclusive
com a equipe escolar)
• O interessante é que o BFC é o instrumento com maior diferença de tempo médio entre
turnos
Rede Estadual
MANHÃ TARDE
DIF
TARDE-
MANHÃ
MANHÃ TARDE
DIF
TARDE-
MANHÃ
AUTO 03:51 03:30 00:21 03:47 04:51 01:04 04:00 00:10
BFC 07:47 09:02 01:15 07:26 10:25 02:59 08:40 00:08
BFI 05:44 05:42 00:03 05:43 06:33 00:50 05:55 00:08
CORE 02:49 02:26 00:23 02:39 02:51 00:12 02:41 00:16
GRIT 02:15 02:00 00:15 02:03 02:20 00:17 02:10 00:16
LOCUS 04:32 04:54 00:21 05:04 05:45 00:41 05:04 00:14
SDQ 04:29 04:06 00:22 04:02 04:43 00:41 04:20 00:10
INSTRUMENTOTOTAL/
ITEM
CE AMARO CAVALCANTI CE PIERRE PLANCHER
TOTAL
GERAL
79
OBJETIVO
Avaliar adequação dos instrumentos: Análise quantitativa
PERFIL
Escolas com resultado na média da Rede
APLICAÇÃO
Aplicado pelos professores
Ambiente de teste
um dia de aplicação
50 minutos
Pré-teste 2: objetivo
80
Rede municipal
Número de testes
Kit TEST 1
Items
Test 1 TEST 2
Items
Test 2
Itens
Total Students
Classes
5th
Grade
Classes
6th
Grade
Classes
9th
Grade
1 BFC 65 SDQ 25 90 85
2 LOCUS 21 BFC 65 86 85
3 BFC 65 AUTO 24 89 85
4 ROSEMBERG 10 BFC 65 75 85
5 BFC 65 GRIT 8 73 85
6 BFI 44 SDQ 25 69 85
7 BFI 44 LOCUS 21 65 85
8 AUTO 24 BFI 44 68 85
9 BFI 44 ROSEMBERG 10 54 85
10 GRIT 8 BFI 44 52 85
11 SDQ 25 LOCUS 21 46 85
12 SDQ 25 AUTO 24 49 85
13 ROSEMBERG 10 SDQ 25 35 85
14 GRIT 8 SDQ 25 33 85
15 LOCUS 21 AUTO 24 45 85
16 ROSEMBERG 10 LOCUS 21 31 85
17 LOCUS 21 GRIT 8 29 85
18 GRIT 8 AUTO 24 32 85
19 AUTO 24 ROSEMBERG 10 34 85
20 ROSEMBERG 10 GRIT 8 18 85
1700 24 24 24TOTAL
6 6 6
6 6 6
6 6 6
6 6 6
AUTO 510
BFC 425
BFI 425
GRIT 510
LOCUS 510
ROSEMBERG 510
SDQ 510
5º ano 6º ano 9º ano
4 3 3
1 3 2
4 3 3
2 2 2
3 3 3
1 2 3
2 2 2
3 3 3
4 3 3
24 24 24
Quantidade de turmas escolhidas
81
Rede estadual
Número de testes
• 7 escolas considerando 2 turmas por
série
Kit TEST 1
Items
Test 1 TEST 2
Items
Test 2 TEST 3
Items
Test 3
Itens
Total Students
Classes
10th
Grade
Classes
12th
Grade
1 BFI 44 AUTO 24 CORE 10 78 120 2 2
2 AUTO 24 SDQ 25 BFC 65 114 120 2 2
3 SDQ 25 LOCUS 21 BFI 44 90 120 2 2
4 CORE 10 BFC 65 LOCUS 21 96 120 2 2
5 GRIT 8 CORE 10 SDQ 25 43 120 2 2
6 BFC 65 BFI 44 GRIT 10 119 120 2 2
7 LOCUS 21 GRIT 10 AUTO 24 55 120 2 2
840 14 14TOTAL
AUTO 360
BFC 360
BFI 360
CORE 360
GRIT 360
LOCUS 360
SDQ 360
82
1
• Testar compreensão de itens: nova redação X adaptação X exclusão
2
• Testar necessidade de exclusão do teste inteiro: conteúdo X tamanho
3 • Testar quantos itens as crianças conseguem responder
4
• Descrever estratégias mentais/emocionais utilizadas pelas crianças para responder
Quali: Objetivos
83
1
• Testar compreensão de itens: nova redação X adaptação X exclusão
Nova redação
• Compreendido porém há termos mais usuais
• Falta de vocabulário
Adaptação
• Situação não captura a atitude investigada por razões culturais
Exclusão
• Comportamento não faz sentido na cultura
• Falta de vivência
Quali: Objetivos
84
2
• Testar necessidade de exclusão do teste inteiro: conteúdo X tamanho
Conteúdo
• Quantos itens (%) inadequados inviabilizam um teste?
• Quantos itens (%) reformulados inviabilizam um teste?
Tamanho
• Testar se vale a pena aplicar pedaços de testes
Quali: Objetivos
85
3 • Testar quantos itens as crianças conseguem responder
Tamanho
• Testar a partir de recomendações do pré-teste 1 quantos itens no máximo a criança responde com atenção. Hipótese: 60
Hipótese validada!
Quali: Objetivos
86
4
• Descrever estratégias mentais/emocionais utilizadas pelas crianças para responder
Processo
• Como raciocinam para responder a uma escala Likert?
• Chegam a um comportamento médio?
• Como lidam com o depende?
Gostam?
• A dificuldade desmotiva para responder?
• Que sentimentos o teste desperta que possam afetar motivação para responder?
Quali: Objetivos
87
Priorizar itens: (a) classificados como abstratos, (b) classificados com dificuldade
de vocabulário, (c) classificados com dificuldade de maturidade. Forão testados 154 itens de 200.
• 3 construtos
• 1 turma de 5º e 1 de 9º anos por construto
Dinâmica em grupo a partir de leitura
direcionada dos itens (investigar + explicar
lógica do teste).
• 2 constutos
• 1 turma de 5º e 1 de 9º anos por construto
Observação de aplicação com
dinâmica ao final (investigar)
Total de 56 alunos
Quali: Desenho e métodos
88
Participação
• A grande maioria dos alunos teve participação ativa, mesmo os de 5º ano
• Demonstração de muito interesse por parte dos participantes
• Muitos alunos participaram de mais de um grupo (baixa presença na escola – greve geral)
Avaliação dos métodos
• Os participantes preferiram o método 1 ao método 2, facilitando em muito a obtenção de resultados no primeiro método
• Por responderem antes no método 2, os avaliadores puderam extrair informações adicionais de entendimento, não possíveis no método 1
Resultados
• Confirmação de tempo de resposta esperados
• Nova redação de diversos itens devido ao não entendimento de vocabulário e/ou inadequação à cultura e a falta de vivência, principalmente por parte dos alunos mais novos
Quali: Resultados
89
Projeto
Sistema de acompanhamento dos fatores
associados ao aprendizado
Colégio Estadual Chico Anysio
90
Introdução
A Escola
• Escola de Ensino Médio de tempo integral
• 2013: apenas 1º ano
O Currículo
• Currículo inovador que engloba ações voltadas ao desenvolvimento das não cognitivas
O Projeto (área de Avaliação)
• Sistema de acompanhamento de competências não cognitivas do aluno (instrumento pedagógico)
91
1 • Ficha de desenvolvimento Socioemocional
2 • Quem Preenche?
3 • Quantas aplicações por ano?
4 • Relatórios
5 • Plano de Ação
Desenho do projeto
92
Desenho do projeto
• Um instrumento de registro e acompanhamento do desenvolvimento de competências socioemocionais que têm impacto comprovado no processo de aprendizagem, tais como curiosidade, autocontrole, inteligência social etc.
O que é?
• Combinando a experiência dos professores em sala de aula com o resultado de estudos acadêmicos, a Kipp de Nova Iorque, em parceria com a Dra. Angela Duckworth, da Universidade da Pensilvânia, selecionou sete competências consideradas centrais para o processo formativo dos alunos e elaborou um roteiro de avaliação dessas competências por parte dos professores
Como foi desenvolvida?
1 • Ficha de Desenvolvimento socioemocional
93
COMPETÊNCIAS SOCIOEMOCIONAIS
QUAIS SÃO AS COMPETÊNCIAS SOCIOEMOCIONAIS AVALIADAS PELA FICHA DE
DESENVOLVIMENTO SOCIOEMOCIONAL?
A competência Gratidão foi
excluída do instrumento
adaptado por não se
adequar ao currículo da
Escola Chico Anysio
A ficha foi traduzida pela
equipe pedagógica do
projeto e adaptada à
realidade e ao currículo da
escola
94
AVALIAÇÃO DAS COMPETÊNCIAS SOCIOEMOCIONAIS
PADRONIZAÇÃO: A descrição das competências se refere ao ideal de comportamento esperado
para cada uma delas. Esse ideal de comportamento deve estar atrelado ao que se espera do aluno de acordo com o Projeto Político-Pedagógico da Chico Anysio
A avaliação de cada competência deve ser pautada em relação a esse ideal (quanto o aluno se parece com o ideal?)
Diferente dos instrumentos apresentados no projeto anterior, neste caso o ideal é sempre o máximo que o aluno pode alcançar (na escala o máximo é 5)
Descrição do ideal de cada comportamento da maneira mais concreta possível de modo a tornar a avaliação mais objetiva. Foram definidos critérios de observação aplicáveis a todas as situações de aprendizagem (aulas disciplinares e projetos do núcleo)
95
MODELO DE FICHA DO ALUNO (esquema
para ilustrar como se calcula a média)
Escala de resposta:
1. Muito diferente do que é o aluno
2. Diferente do que é o aluno
3. Mais ou menos como é o aluno
4. Parecido como é o aluno
5. Exatamente como é o aluno
FICHA DE DESENVOLVIMENTO SOCIOEMOCIONAL
Aluno B2 2º bimestre
Média das avaliações
4,30
port
mat
hist
geo
Ing
Energia 4,28
1 Participa ativamente 4,5 4 5 4 4 5
2 Mostra entusiasmo 4,17 5 4 3 4 4
3 Contagia os outros 4,17 3 4 5 4 5
Garra
4 Termina o que começa 4,11
5 Tenta com afinco mesmo após experimentar fracasso
6 Trabalha com independência e foco
Autocontrole – trabalho escolar 4,33
7 Vem para as aulas preparado(a)
8 Presta atenção e resiste às distrações
9 Lembra e segue instruções
10 Começa o trabalho imediatamente ao invés de adiar
Autocontrole: intrapessoal 4,54
11 Permanece calmo mesmo quando criticado ou provocado
12 Deixa os outros falar sem interrupção
13 É educado com adultos e colegas
14 Controla bem seu temperamento (não perde a cabeça)
Otimismo 4,25
15 Supera frustrações e obstáculos rapidamente
16 Acredita que o esforço vai melhorar seu futuro
Gratidão 4,25
17 Reconhece e demonstra apreço pelos outros
18 Reconhece e demonstra apreço pelas oportunidades que tem
Inteligência social 4,33
19 Consegue encontrar soluções durante conflito com os outros
20 Demonstra respeito pelos sentimentos dos outros
21 Sabe quando e como incluir os outros
Curiosidade 4,28
22 É ávido por explorar coisas novas
23 Faz e responde perguntas para aprofundar a compreensão
24 Escuta os outros com atenção
96
2 • Quem Preenche?
TODOS OS PROFESSORES
• A avaliação de todos os professores permite captar todas as nuances de comportamento dos alunos (considera afinidades, dilui problemas de conflito)
• Os professores preenchem as avaliações online, em sistema desenvolvido especificamente para este projeto
Consideração importante: Independentemente da carga horária, cada professor deverá ter
pelo menos dois meses de convivência com os alunos para estar apto a preencher a Ficha.
Além disso deverá responder à seguinte questão ao avaliar cada aluno:
Me sinto:
Nada seguro para avaliar este aluno
Pouco seguro para avaliar este aluno
Seguro para avaliar este aluno
Muito seguro para avaliar este aluno
Desenho do projeto
97
3 • Quantas Aplicações por ano?
2013
• Fase de Testagem do instrumento
• Serão realizadas 2 aplicações: setembro e novembro
• A primeira aplicação será amostral (todos os professores preencherão para poucos alunos selecionados para treinamento e ajuste da ferramenta)
• A segunda aplicação será total
Próximos anos
• 2 Aplicações anuais:
• A primeira aplicação é feita no final do primeiro bimestre e todos os professores avaliam todas as competências de todos os alunos
• A segunda aplicação ocorrerá no final do ano (novembro)
Desenho do projeto
98
4 • Relatórios: com gráficos, de fácil leitura
Aluno
• O aluno recebe um relatório com o resultado das avaliações de cada competência (média da avaliação de todos os professores)
• Junto com o professor orientador, o aluno escolherá uma competência para aprimorar durante o ano (deverá estar alinhada com o Projeto de Vida que está sendo desenvolvido)
• Ao final do ano, o aluno recebe o relatório com a evolução da competência escolhida comparada com a primeira medição
Professor
• O professor terá acesso a diversos relatórios: de cada aluno individualmente, da turma, comparativo de sua turma com as demais turmas do mesmo ano
• Futuramente poderá também comparar com as demais escolas da Regional e da Rede, sempre comparando o mesmo ano em questão
• Relatórios comparativos entre anos
Diretor/ Coordenador Pedagógico
• O Diretor/ Coordenador Pedagógico poderá acessar todos os relatórios do Professor e do Aluno e;
• Terão acesso à qualidade da aplicação: quantos professores preencheram no prazo; coerência das respostas (professores que preencheram a mesma resposta para todos os alunos; alunos com muita variabilidade)
Desenho do projeto
99
5 • Plano de Ação (aluno com professor orientador)
Definição da Competência
• Escolha da competência a melhorar (deverá estar alinhada com o Projeto de Vida)
Plano de Ação (desenvolvimento em
2014)
• Desenho do Plano de Ação
• Acompanhamento do Plano de Ação durante o ano
• Avaliação do resultado da segunda medição (comparação com meta de melhoria)
Desenho do projeto
100
Dificuldades de implementação
• Quão sensível é o instrumento no curto prazo (6 meses)?
• Adaptação ao contexto do Colégio Estadual Chico Anysio
Instrumento ainda em
desenvolvimento
• O que é uma meta aceitável para ser alcançada em poucos meses?
Definição de metas
Necessidade de
pesquisa aplicada
e continuidade dos
estudos após
aplicações iniciais
para aprimorar a
escala
101
Próximos passos
Testagem e melhoria das propriedades psicométricas
• Por meio de análise das correlações entre as respostas, testar quantas competências, de fato, a escala consegue capturar para a nossa população de alunos
• Testar o quão sensível as medidas são às ações de curto prazo da escola e propor redefinição dos comportamentos observados e melhoria nos indicadores para tornar as medidas mais sensíveis
• Correlacionar os resultados não cognitivos com outros indicadores para busca de maior robustez das estimativas (testes cognitivos, novas coletas tais como autorresposta)
Expansão do escopo para maior aderência à proposta pedagógica da escola
• Desenvolver piloto para expandir o número de competências atualmente avaliadas => adaptação ao currículo mais amplo
• Apoiar a equipe pedagógica a aprimorar o manual conceitual, sinalizando padronizações necessárias, novas definições
• Associar com maior precisão resultados cognitivos às diferentes ações previstas no currículo da escola
Escalabilidade
• Expandir o processo e o sistema para outras escolas da rede