PROGRAMA AVES AVALIAÇÃO EXTERNA DAS ESCOLAS PROGRAMA AVES AVALIAÇÃO EXTERNA DAS ESCOLAS.
Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...
Transcript of Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...
![Page 1: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/1.jpg)
Avaliação externa de escolas:
Análise dos resultados do 1º ciclo de avaliação
Carlos Barreira
Maria da Graça Bidarra
Piedade Vaz-Rebelo
Faculdade de Psicologia e de Ciências da Educação da Universidade de Coimbra
27 de Outubro de 2012
Seminário "Avaliação Externa de Escolas: Princípios,
Processos e Efeitos“ FPCEUP
![Page 2: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/2.jpg)
Objetivo geral
Divulgar alguns estudos realizados com base nos dados obtidos no 1º ciclo de avaliação externa de escolas.
![Page 3: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/3.jpg)
Questões de investigação
Qual o desempenho das escolas nos diferentes domínios do quadro de referência da AAE?
Quais as principais tendências que nos revelam os dados obtidos no processo de AAE no 1º ciclo de avaliação?
![Page 4: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/4.jpg)
Coimbra
29 de Outubro de 2009
Domínios e Factores de Avaliação
4. Liderança
1.1. Sucesso académico
1.2. Participação e desenvolvimento cívico
1.3. Comportamento e disciplina
1.4. Valorização e impacto das
aprendizagens
2. A prestação do serviço educativo
2.1. Articulação e sequencialidade
2.2. Acompanhamento da prática lectiva
em sala de aula
2.3. Diferenciação e apoios
2.4. Abrangência do currículo e valorização
dos saberes e da aprendizagem
3. A organização e gestão escolar
3.1. Concepção, planeamento e
desenvolvimento da actividade
3.2. Gestão dos recursos humanos
3.3. Gestão dos recursos materiais e financeiros
3.4. Participação dos pais e outros elementos da
comunidade educativa
3.5. Equidade e justiça
1. Resultados
4.1. Visão e estratégia
4.2. Motivação e empenho
4.3. Abertura à inovação
4.4. Parcerias, protocolos e
projectos
5. Capacidade de auto-regulação e melhoria da Escola/Agrupamento
5.1. Auto-avaliação
5.2. Sustentabilidade do progresso
![Page 5: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/5.jpg)
Níveis da escala de avaliação
As classificações dos domínios e fatores que constituem o quadro de referência são atribuídas numa escala qualitativa com quatro níveis:
Muito Bom
Bom
Suficiente
Insuficiente
A distinção entre estes níveis faz-se tendo em conta:
O balanço entre o número de pontos fortes e fracos;
O carácter mais ou menos generalizado das ações e procedimentos eficazes adotados pela unidade de gestão;
O respetivo impacte na melhoria dos resultados dos alunos.
![Page 6: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/6.jpg)
Pareceres do Conselho Nacional de Educação nº5 de 2008 e nº3 de 2010
Alertam para a existência de uma certa tensão entre as duas lógicas avaliativas presentes na AEE: a lógica formativa e a lógica sumativa.
Referem algumas redundâncias entre alguns domínios e
fatores. Apontam para o interesse de uma eventual hierarquização
dos domínios de avaliação e de uma explicitação dos indicadores de cada fator e a respetiva ponderação.
Necessidade de reforçar a centralidade dos resultados.
![Page 7: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/7.jpg)
Desempenho das escolas nos diferentes domínios Principais tendências
Estudo A
![Page 8: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/8.jpg)
Estudo A Metodologia
Questões de investigação: Qual é o desempenho das escolas nos diferentes domínios e quais são as principais tendências que se evidenciam a partir da análise das classificações por domínios das escolas avaliadas?
Base de dados Relatórios publicados pela IGE sobre a Avaliação Externa de
Escolas, relativos a quatro anos letivos, entre 2006 e 2010 (IGE, 2008, 2009, 2010, 2011).
o 2006-2007: 100 escolas o 2007-2008: 273 escolas o 2008-2009: 287 escolas o 2009-2010: 300 escolas
![Page 9: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/9.jpg)
Estudo A Metodologia
Procedimentos
Por conveniência de representação gráfica e de análise da evolução da classificação nos diferentes domínios, a escala de classificação nos quatro níveis de Insuficiente, Suficiente, Bom e Muito Bom, foi convertida numa escala de 1 a 4.
Em seguida, para cada ano letivo, foi calculada a pontuação de cada domínio pesando cada valor da escala com a respetiva percentagem com que o domínio aparece. Por exemplo, para o ano letivo 2006-2007, o domínio Liderança obtém a pontuação de (40x4+43x3+16x2+1x1)/100=3.22.
![Page 10: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/10.jpg)
Percentagens dos níveis de classificação atribuídos às escolas por ano letivo em função dos domínios do quadro de referência
![Page 11: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/11.jpg)
1
2
3
4
2006_2007 2007_2008 2008_2009 2009_2010
Cla
ssif
icaç
ão
(1-i
nsu
f 4
-M.B
om
)
Ano académico
ResultadosPrestação do serviço educativoOrganização e gestão escolarLiderançaCapacidade de auto-regulação e melhoria da escola
Evolução das pontuações obtidas nos domínios
![Page 12: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/12.jpg)
Classificação dos Domínios
Predomínio de níveis de classificação positivos em todos os domínios, correspondentes a Bom e Muito Bom, com exceção do domínio Capacidade de autorregulação e melhoria da escola.
Esta tendência não só se manteve, como se tem manifestado de forma crescente, com exceção do ano de 2007-2008.
Níveis de classificação mais elevados na Liderança e Organização e Gestão, seguidos de Prestação do Serviço Educativo e Resultados.
O domínio em que estes níveis são inferiores é o da Capacidade de autorregulação e melhoria da escola, em que se regista mesmo um decréscimo das classificações, vindo a atingir-se um valor próximo do inicial no último ano.
![Page 13: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/13.jpg)
Padrões de associação entre domínios e entre fatores e domínios
Estudo B
![Page 14: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/14.jpg)
Estudo B Metodologia
Questões da investigação: Quais os fatores mais associados ao respetivo domínio? Quais os fatores que se constituem como melhores preditores relativamente às classificações no domínio? Em que medida é possível dar conta da existência de ponderações implícitas entre os fatores dos respetivos domínios? Objetivo: Conhecer o padrão de intercorrelações entre domínios e entre fatores e domínios. Base de dados: Este estudo foi efetuado com uma base mais restrita, que compreendeu 167 escolas da zona centro dos anos letivos de 2007-2008, 2008-2009 e 2009-2010. Procedimento: Conversão da escala de 4 níveis (Insuficiente. Suficiente, Bom, Muito Bom) usada no âmbito da AEE em 1, 2, 3, 4, à semelhança do que foi feito no estudo 1. Análise estatística: Análise de correlação/regressão múltipla para cada um dos domínios, tomando como variável critério a pontuação do domínio e como variáveis preditoras as pontuações nos fatores.
![Page 15: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/15.jpg)
Correlações interdomínios
Domínios Dom 1 Dom 2 Dom 3 Dom 4 Dom 5
Domínio 1: Resultados 1.00 — — — —
Domínio 2: Prestação do Serviço Educativo .66 1.00 — — —
Domínio 3: Organização e Gestão Escolar .44 .38 1.00 — —
Domínio 4: Liderança .54 .47 .61 1.00 —
Domínio 5: Capacidade de Auto-Regulação e Melhoria da Escola .39 .48 .50 .58 1.00
• Os domínios aparecem todos positivamente correlacionados entre si. • Existem correlações mais elevadas entre os domínios Prestação do
serviço educativo e Resultados, por um lado, e Liderança e Organização e gestão, por outro, ainda que as restantes correlações sejam igualmente elevadas.
![Page 16: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/16.jpg)
Análise em Componentes Principais (Rotação VARIMAX)
Saturações
Domínios Componente 1 Componente 2
Domínio 3: Organização e Gestão Escolar .84 .18
Domínio 4: Liderança .79 .36
Domínio 5: Capacidade de Auto-Regulação e Melhoria da Escola .77 .27
Domínio 2: Prestação do Serviço Educativo .26 .88
Domínio 1: Resultados .29 .86
Valores Próprios 2.06 1.74
Percentagem de Variabilidade Explicada 41.2 34.8
Esta análise permite-nos fazer uma leitura dos padrões de associação subjacentes a esta matriz, sendo identificados dois componentes principais que explicam respetivamente 41.2% e 34.8% da variabilidade.
![Page 17: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/17.jpg)
1ºcomponente
2ºcomponente
Aspetos estruturais/
organizacionais da escola
Organização e gestão Liderança Capacidade de autorregulação e
melhoria da escola
Aspetos
funcionais/
pedagógicos
Prestação do serviço educativo
Resultados
Padrões de associação
![Page 18: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/18.jpg)
Quais são os fatores que se constituem como melhores
preditores do respetivo domínio?
Ou dito de outro modo, se se tivesse de reduzir os fatores por domínio, quais se mantinham?
Análise da correlaç ão/ r eg res s ão múltipla
• Variáv el critér io : pontuação do domínio
• Variáv eis preditor as : pontuaçõ es nos fatores
3 níveis de anál ise
• Coeficien te de correlaç ão múltipla
• Coeficien te de correlaç ão s imples
• Decompos iç ão de R 2
![Page 19: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/19.jpg)
A pontuação no domínio não pode ser integralmente derivada dos factores; caso isto acontecesse, então R = 1.00
Para cada factor, tomado isoladamente, a correlação com o domínio indica o respectivo valor preditivo.
A análise dos
contributos únicos dos
fatores permite-nos
identificar a redundância
dos diferentes factores
na classificação no
domínio
Domínio 1: Resultados R = .92 R2 = .85
Fatores r sr2
F1 – Sucesso académico .87 .23
F2 – Participação e desenvolvimento cívico .58 .03
F3 – Comportamento e disciplina .57 .02
F4 - Valorização e impacto das aprendizagens .71 .01
R2
− sr2 = .57
![Page 20: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/20.jpg)
Hipótese O quadro de referência dos avaliadores envolve uma ponderação diferencial dos fatores.
Domínio 1: Resultados R = .92 R2 = .85
Fatores r sr2
F1 – Sucesso académico .87 .23
F2 – Participação e desenvolvimento cívico .58 .03
F3 – Comportamento e disciplina .57 .02
F4 - Valorização e impacto das aprendizagens .71 .01
R2
− sr2 = .57
Domínio 2: Prestação do Serviço Educativo R = .84 R2 = .70
Fatores r sr2
F1 – Articulação e sequencialidade .75 .10
F2 – Acompanhamento da prática letiva em sala de aula .63 .01
F3 – Diferenciação e apoios .61 .05
F4 – Abrangência do currículo e valorização dos saberes .59 .03
R2
− sr2 = .51
Domínio 3: Organização e Gestão Escolar R = .89 R2 = .79
Fatores r sr2
F1 – Conceção/planeamento/desenvolvimento da atividade .76 .05
F2 – Gestão dos recursos humanos .73 .04
F3 - Gestão dos recursos materiais e financeiros .63 .03
F4 – Participação dos pais e de outros elementos da
comunidade
.55 .02
F5 – Equidade e justiça .61 .02
R2
− sr2 = .62
Domínio 4: Liderança R = .88 R2 = .78
Fatores r sr2
F1 – Visão e estratégia .77 .07
F2 – Motivação e empenho .70 .08
F3 – Abertura e inovação .63 .02
F4 – Parcerias, protocolos e projetos .66 .03
R2
− sr2 = .58
Domínio 5: Capacidade de Autorregulação e Melhoria da
Escola
R = .90 R2 = .80
Fatores r sr2
F1 - Autoavaliação .85 .17
F2 - Sustentabilidade e progresso .80 .07
R2
− sr2 = .56
![Page 21: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/21.jpg)
Domínio 1: Resultados
Fatores
F1 – Sucesso académico
F2 – Participação e desenvolvimento cívico
Domínio 2: Prestação do Serviço Educativo
Fatores
F1 – Articulação e sequencialidade
F3 – Diferenciação e apoios
Domínio 3: Organização e Gestão Escolar
Fatores
F1 – Conceção/planeamento/desenvolvimento da atividade
F2 – Gestão dos recursos humanos
Domínio 4: Liderança
Fatores
F1 – Visão e estratégia
F2 – Motivação e empenho
Domínio 5: Capacidade de Autorregulação e Melhoria da
Escola
Fatores
F1 - Autoavaliação
Hipótese O quadro de referência dos avaliadores envolve uma ponderação diferencial dos fatores.
![Page 22: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/22.jpg)
Ponderação igual para todos os factores
Ponderação 2 para o 1º
factor e 1 para os restantes.
Reproduz parcialmente as classificações atribuídas.
Reproduz de forma quase perfeita as classificações atribuídas.
Para testar a hipótese da ponderação diferencial dos fatores,
formulámos dois modelos hipotéticos de ponderação
![Page 23: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/23.jpg)
Média Aritmética (Ponderacão Igual)
dos Factores do Domínio Resultados
1 2 3 4
4
R R R RR
1 2 3 4.25 .25 .25 .25R R R R R
Conversão das Classificações
nos Factores
Insuficiente 1
Suficiente 2
Bom 3
Muito Bom 4
Média Aritmética (Ponderação Diferencial)
dos Factores do Domínio Resultados
1 2 3 42
5
R R R RR
1 2 3 4.40 .20 .20 .20R R R R R
Conversão das Médias
nos Domínios
1.00 1.50R Insuficiente
1.50 2.50R Suficiente
2.50 3.50R Bom
3.50 4.00R Muito Bom
Cruzamento das Classificações Atribuídas com as Classificações
Esperadas de Acordo com o Modelo de Ponderação Igual
Classificações Esperadas
Insuficiente Suficiente Bom Muito_Bom Total
Cla
ssif
icações
Atr
ibu
ída
s
Insuficiente 0 2 0 0 2
Suficiente 0 24 26 0 50
Bom 0 0 75 16 91
Muito Bom 0 0 0 24 24
Total 0 26 101 40 167
Classificações convergentes: 123 Escolas (73.7%)
Classificações não convergentes: 44 Escolas (26.3%)
Cruzamento das Classificações Atribuídas com as Classificações
Esperadas de Acordo com o Modelo de Ponderação Diferencial
Classificações Esperadas
Insuficiente Suficiente Bom Muito_Bom Total
Cla
ssif
icações
Atr
ibu
ída
s Insuficiente 0 2 0 0 2
Suficiente 0 49 1 0 50
Bom 0 0 89 2 91
Muito Bom 0 0 0 24 24
Total 0 51 90 26 167
Classificações convergentes: 162 Escolas (97.0%)
Classificações não convergentes: 5 Escolas (3.0%)
![Page 24: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/24.jpg)
Conclusões
Não existem ponderações explícitas dos fatores e domínios no quadro de referência da AEE, mas existem ponderações implícitas no quadro de referência dos avaliadores.
Os dados obtidos dão algum apoio ao novo quadro de referência do novo ciclo de avaliação, que envolve já uma redução de domínios e uma redução de fatores.
![Page 25: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/25.jpg)
Implicações
É possível:
reduzir os fatores aos preditores, o que em certa medida já se verifica no novo quadro de referência.
estabelecer um quadro explícito de ponderação e de cálculo das classificações dos domínios.
![Page 26: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/26.jpg)
NOVO CICLO: QUADRO DE REFERÊNCIA
DOMÍNIOS
RESULTADOS
PRESTAÇÃO DO SERVIÇO EDUCATIVO
LIDERANÇA E GESTÃO
CAMPOS DE ANÁLISE RESULTADOS ACADÉMICOS
RESULTADOS SOCIAIS
RECONHECIMENTO DA COMUNIDADE
PLANEAMENTO E ARTICULAÇÃO
PRÁTICAS DE ENSINO
MONITORIZAÇÃO E AVALIAÇÃO DAS APRENDIZAGENS
LIDERANÇA
GESTÃO
AUTO-AVALIAÇÃO E MELHORIA
![Page 27: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/27.jpg)
OBRIGADA PELA VOSSA ATENÇÃO!
• Barreira, C., Bidarra, G., & Vaz-Rebelo, M. P. (2011). Avaliação externa de escolas: Do quadro de referência aos resultados e tendências de um processo em curso. Revista Portuguesa de Pedagogia, Extra-Série, 81-94.
![Page 28: Avaliação externa de escolas: Análise dos resultados do 1º ciclo de ...](https://reader031.fdocumentos.tips/reader031/viewer/2022022000/58739fc81a28ab75208b9973/html5/thumbnails/28.jpg)
ESCALA DE AVALIAÇÃO
EXCELENTE- A acção da escola tem produzido um impacto consistente e muito acima dos valores esperados na melhoria das aprendizagens e dos resultados dos alunos e nos respectivos percursos escolares.Os pontos fortes predominam na totalidade dos campos em análise. A escola distingue-se pelas práticas exemplares em campos relevantes
MUITO BOM- A acção da escola tem produzido um impacto consistente e acima dos valores esperados na melhoria das aprendizagens e dos resultados dos alunos e nos respectivos percursos escolares.Os pontos fortes predominam na totalidade dos campos em análise, em resultado de práticas organizacionais generalizadas e eficazes.
BOM- A acção da escola tem produzido um impacto em linha com o valor esperado na melhoria das aprendizagens e dos resultados dos alunos e nos respectivos percursos escolares. A escola apresenta uma maioria de pontos fortes nos campos em análise, em resultado de práticas organizacionais eficazes.
SUFICIENTE- A acção da escola tem produzido um impacto aquém dos valores esperados na melhoria das aprendizagens e dos resultados dos alunos e nos respectivos percursos escolares. As acções de aperfeiçoamento são pouco consicstentes ao longo do tempo e envolvem áreas limitadas da escola
INSUFICIENTE- A acção da escola tem produzido um impacto muito aquém dos valores esperados na melhoria das aprendizagens e dos resultados dos alunos e nos respectivos percursos escolares.Os pontos fracos sobrepõem-se aos pontos fortes na generalidade dos campos em análise. dos campos em análise. A escola não revela uma prática coerente, positiva e coesa.