A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é...

90
[email protected] A avaliação Educacional: seus limites e possibilidades

Transcript of A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é...

Page 1: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

ristoffdilvogmailcom

A avaliaccedilatildeo Educacional seus

limites e possibilidades

A VERDADEIRA HISTOacuteRIA DO PARAIacuteSO

ldquoNo princiacutepio Deus criou os ceacuteus e a terra e ao observar o que havia feito disse

mdashVejam soacute como eacute bom o que fiz

E esta foi a manhatilde e a noite do sexto dia

No seacutetimo dia Deus descansou Foi entatildeo que o seu arcanjo veio e lhe perguntou

mdashSenhor como sabe se o que criou eacute bom Quais satildeo os seus criteacuterios Em que dados baseia o seu juiacutezo Que resultados mais precisamente o Senhor estava esperando O Senhor por acaso natildeo estaacute por demais envolvido em sua criaccedilatildeo para fazer uma avaliaccedilatildeo desinteressada

Deus passou o dia pensando sobre estas perguntas e agrave noite teve um sono bastante agitado No oitavo dia Deus falou

mdashLuacutecifer vaacute para o inferno

E assim nasceu iluminada de gloacuteria a avaliaccedilatildeo

mdashDe A Verdadeira Estoacuteria do Paraiacuteso Perdido de Halcom

(a traduccedilatildeo eacute minha)

A Estoacuteria de Patton

Como sabe se o que criou eacute bom

Em que dados baseia o seu juiacutezo

Para onde queria ir

Quais eram mesmo os seus objetivos

O Senhor natildeo estaacute envolvido demais

Art 10 A auto-avaliaccedilatildeo constitui

uma das etapas do processo avaliativo

e seraacute coordenada pela Comissatildeo

Proacutepria de Avaliaccedilatildeo (CPA)

SINAES ndash AUTO-AVALIACcedilAtildeO

Auto-conhecimento

As dez perguntas na literatura 1 Como a avaliaccedilatildeo eacute definida

2 Quais satildeo as funccedilotildees da avaliaccedilatildeo

3 Quais satildeo os objetos da avaliaccedilatildeo

4 Que tipo de informaccedilatildeo sobre o objeto deve ser reunida

5 Que criteacuterios devem ser utilizados para julgar o meacuterito e o valor de um objeto avaliado

6 A quem deve servir a avaliaccedilatildeo

7 Como eacute o processo de avaliaccedilatildeo

8 Que meacutetodos de investigaccedilatildeo devem ser utilizados na avaliaccedilatildeo

9 Quem deve fazer a avaliaccedilatildeo

10 Como avaliar a avaliaccedilatildeo

Definiccedilatildeo mais utilizada

ldquoA investigaccedilatildeo sistemaacutetica do valor e do meacuterito de algum objetordquo

(Joint Committee on Standards for Evaluation 1981)

Funccedilotildees da Avaliaccedilatildeo

melhorar

Selecionar

certificar

Motivar tomar decisotildees

formativa

somativa

administrativa

psicoloacutegica

1 Avaliar as IES os cursos de graduaccedilatildeo e o

desempenho acadecircmico de estudantes

2 Melhorar a qualidade da educaccedilatildeo superior

3 aumentar a eficaacutecia institucional da educaccedilatildeo

superior

4 Aumentar a efetividade acadecircmica e social

da educaccedilatildeo superior

5 Orientar a expansatildeo da oferta de educaccedilatildeo

superior

DOS OBJETIVOS DO SINAES Funccedilotildees do Sinaes

Art 2o

Paraacutegrafo uacutenico Os resultados da avaliaccedilatildeo constituiratildeo referencial baacutesico dos processos de regulaccedilatildeo e supervisatildeo da educaccedilatildeo superior neles compreendidos o credenciamento e a renovaccedilatildeo de credenciamento de instituiccedilotildees de educaccedilatildeo superior a autorizaccedilatildeo o reconhecimento e a renovaccedilatildeo de reconhecimento de cursos de graduaccedilatildeo

A Lei do Sinaes

Atos Regulatoacuterios para as IES

IES

CREDENCIAMENTO

RECREDENCIAMENTO

Atos regulatoacuterios para as IES

Atos Regulatoacuterios para Cursos

Curso

Autorizaccedilatildeo

Reconhecimento

Renovaccedilatildeo de Reconhecimento

Atos regulatoacuterios para os cursos

Posso entatildeo dizer que o informativo

estaacute sendo bem utilizado

Estamos na rota certa

Eis o uacuteltimo

relatoacuterio

O Projeto

Art 10 Os resultados considerados insatisfatoacuterios ensejaratildeo a celebraccedilatildeo de protocolo de compromisso a ser firmado entre a instituiccedilatildeo de educaccedilatildeo superior e o Ministeacuterio da Educaccedilatildeo que deveraacute conter

I ndash o diagnoacutestico objetivo das condiccedilotildees da instituiccedilatildeo

II ndash os encaminhamentos processos e accedilotildees a serem adotados pela instituiccedilatildeo de educaccedilatildeo superior com vistas na superaccedilatildeo das dificuldades detectadas

A Lei do Sinaes

DAS ORIGENS bull 2 Constituiccedilatildeo de 1988 bull Art 209 ldquoo ensino eacute livre agrave iniciativa

privadardquo mediante ldquoavaliaccedilatildeo de qualidade pelo poder puacuteblicordquo

bull 3 Lei 9131 (1995) ndash cria CNE e avaliaccedilatildeo perioacutedica das IES e Cursos

bull 4 LDB (1996) ndash Art 9 inciso IX cabe ao governo federal ldquoautorizar reconhecer credenciar supervisionar e avaliar cursos e instituiccedilotildees de educaccedilatildeo superiorrdquo

bull Inciso VI ndash ldquoassegurar processo nacional de avaliaccedilatildeo do rendimento escolarrdquo

As Leis da Avaliaccedilatildeo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

1 Prevecirc a criaccedilatildeo de Sistema Nacional de Avaliaccedilatildeo

bull Art 4 a Uniatildeo instituiraacute o Sistema Nacional de Avaliaccedilatildeo e estabeleceraacute os mecanismos necessaacuterios ao acompanhamento das metas constantes do PNE

bull 2 Diretriz do PNE para a regulaccedilatildeo do sistema ldquoplanejar a expansatildeo com qualidaderdquo

bull 3 Visatildeo do PNE bull ldquonenhum paiacutes pode aspirar a ser desenvolvido e

independente sem um forte sistema de educaccedilatildeo superiorrdquo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

bull Traduccedilatildeo da proposta de Estado (PNE) em proposta de governo

Missatildeo

Estrateacutegica

Naccedilatildeo Soberana

Naccedilatildeo Democraacutetica

Naccedilatildeo Inclusiva

Sociedade Emancipada

Um certo rei que gostava muito da companhia de

Mulla Nasrudim e de caccedilar ordenou que o guru o

acompanhasse numa caccedilada de ursos Nasrudim

estava apavorado Quando apoacutes a caccedilada retornou

a seu vilarejo algueacutem lhe perguntou

--Como foi a caccedilada

--Maravilhosa

--Quantos ursos viram

--Nenhum

--Como entatildeo pode ter sido uma boa caccedilada

--Quando vocecirc sai para caccedilar ursos e vocecirc eacute como

eu natildeo encontrar urso algum eacute uma experiecircncia

maravilhosa

Nasrudim e os ursos

Objetos da Avaliaccedilatildeo 1 Professor

2 Aluno

3 Teacutecnicos

4 Aula

5 Plano de Ensino

6 Programa da Disciplina

7 Curriacuteculo

8 Curso

9 PDI

10 IES

Objetos da Avaliaccedilatildeo Duas conclusotildees principais podem ser extraiacutedas

da literatura

1 qualquer coisa por assim dizer pode ser objeto de avaliaccedilatildeo e a avaliaccedilatildeo natildeo deve limitar-se aos estudantes ou aos professores e teacutecnicos

2 identificar o objeto da avaliaccedilatildeo eacute uma parte importante no desenvolvimento de um projeto avaliativo

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 2: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

A VERDADEIRA HISTOacuteRIA DO PARAIacuteSO

ldquoNo princiacutepio Deus criou os ceacuteus e a terra e ao observar o que havia feito disse

mdashVejam soacute como eacute bom o que fiz

E esta foi a manhatilde e a noite do sexto dia

No seacutetimo dia Deus descansou Foi entatildeo que o seu arcanjo veio e lhe perguntou

mdashSenhor como sabe se o que criou eacute bom Quais satildeo os seus criteacuterios Em que dados baseia o seu juiacutezo Que resultados mais precisamente o Senhor estava esperando O Senhor por acaso natildeo estaacute por demais envolvido em sua criaccedilatildeo para fazer uma avaliaccedilatildeo desinteressada

Deus passou o dia pensando sobre estas perguntas e agrave noite teve um sono bastante agitado No oitavo dia Deus falou

mdashLuacutecifer vaacute para o inferno

E assim nasceu iluminada de gloacuteria a avaliaccedilatildeo

mdashDe A Verdadeira Estoacuteria do Paraiacuteso Perdido de Halcom

(a traduccedilatildeo eacute minha)

A Estoacuteria de Patton

Como sabe se o que criou eacute bom

Em que dados baseia o seu juiacutezo

Para onde queria ir

Quais eram mesmo os seus objetivos

O Senhor natildeo estaacute envolvido demais

Art 10 A auto-avaliaccedilatildeo constitui

uma das etapas do processo avaliativo

e seraacute coordenada pela Comissatildeo

Proacutepria de Avaliaccedilatildeo (CPA)

SINAES ndash AUTO-AVALIACcedilAtildeO

Auto-conhecimento

As dez perguntas na literatura 1 Como a avaliaccedilatildeo eacute definida

2 Quais satildeo as funccedilotildees da avaliaccedilatildeo

3 Quais satildeo os objetos da avaliaccedilatildeo

4 Que tipo de informaccedilatildeo sobre o objeto deve ser reunida

5 Que criteacuterios devem ser utilizados para julgar o meacuterito e o valor de um objeto avaliado

6 A quem deve servir a avaliaccedilatildeo

7 Como eacute o processo de avaliaccedilatildeo

8 Que meacutetodos de investigaccedilatildeo devem ser utilizados na avaliaccedilatildeo

9 Quem deve fazer a avaliaccedilatildeo

10 Como avaliar a avaliaccedilatildeo

Definiccedilatildeo mais utilizada

ldquoA investigaccedilatildeo sistemaacutetica do valor e do meacuterito de algum objetordquo

(Joint Committee on Standards for Evaluation 1981)

Funccedilotildees da Avaliaccedilatildeo

melhorar

Selecionar

certificar

Motivar tomar decisotildees

formativa

somativa

administrativa

psicoloacutegica

1 Avaliar as IES os cursos de graduaccedilatildeo e o

desempenho acadecircmico de estudantes

2 Melhorar a qualidade da educaccedilatildeo superior

3 aumentar a eficaacutecia institucional da educaccedilatildeo

superior

4 Aumentar a efetividade acadecircmica e social

da educaccedilatildeo superior

5 Orientar a expansatildeo da oferta de educaccedilatildeo

superior

DOS OBJETIVOS DO SINAES Funccedilotildees do Sinaes

Art 2o

Paraacutegrafo uacutenico Os resultados da avaliaccedilatildeo constituiratildeo referencial baacutesico dos processos de regulaccedilatildeo e supervisatildeo da educaccedilatildeo superior neles compreendidos o credenciamento e a renovaccedilatildeo de credenciamento de instituiccedilotildees de educaccedilatildeo superior a autorizaccedilatildeo o reconhecimento e a renovaccedilatildeo de reconhecimento de cursos de graduaccedilatildeo

A Lei do Sinaes

Atos Regulatoacuterios para as IES

IES

CREDENCIAMENTO

RECREDENCIAMENTO

Atos regulatoacuterios para as IES

Atos Regulatoacuterios para Cursos

Curso

Autorizaccedilatildeo

Reconhecimento

Renovaccedilatildeo de Reconhecimento

Atos regulatoacuterios para os cursos

Posso entatildeo dizer que o informativo

estaacute sendo bem utilizado

Estamos na rota certa

Eis o uacuteltimo

relatoacuterio

O Projeto

Art 10 Os resultados considerados insatisfatoacuterios ensejaratildeo a celebraccedilatildeo de protocolo de compromisso a ser firmado entre a instituiccedilatildeo de educaccedilatildeo superior e o Ministeacuterio da Educaccedilatildeo que deveraacute conter

I ndash o diagnoacutestico objetivo das condiccedilotildees da instituiccedilatildeo

II ndash os encaminhamentos processos e accedilotildees a serem adotados pela instituiccedilatildeo de educaccedilatildeo superior com vistas na superaccedilatildeo das dificuldades detectadas

A Lei do Sinaes

DAS ORIGENS bull 2 Constituiccedilatildeo de 1988 bull Art 209 ldquoo ensino eacute livre agrave iniciativa

privadardquo mediante ldquoavaliaccedilatildeo de qualidade pelo poder puacuteblicordquo

bull 3 Lei 9131 (1995) ndash cria CNE e avaliaccedilatildeo perioacutedica das IES e Cursos

bull 4 LDB (1996) ndash Art 9 inciso IX cabe ao governo federal ldquoautorizar reconhecer credenciar supervisionar e avaliar cursos e instituiccedilotildees de educaccedilatildeo superiorrdquo

bull Inciso VI ndash ldquoassegurar processo nacional de avaliaccedilatildeo do rendimento escolarrdquo

As Leis da Avaliaccedilatildeo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

1 Prevecirc a criaccedilatildeo de Sistema Nacional de Avaliaccedilatildeo

bull Art 4 a Uniatildeo instituiraacute o Sistema Nacional de Avaliaccedilatildeo e estabeleceraacute os mecanismos necessaacuterios ao acompanhamento das metas constantes do PNE

bull 2 Diretriz do PNE para a regulaccedilatildeo do sistema ldquoplanejar a expansatildeo com qualidaderdquo

bull 3 Visatildeo do PNE bull ldquonenhum paiacutes pode aspirar a ser desenvolvido e

independente sem um forte sistema de educaccedilatildeo superiorrdquo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

bull Traduccedilatildeo da proposta de Estado (PNE) em proposta de governo

Missatildeo

Estrateacutegica

Naccedilatildeo Soberana

Naccedilatildeo Democraacutetica

Naccedilatildeo Inclusiva

Sociedade Emancipada

Um certo rei que gostava muito da companhia de

Mulla Nasrudim e de caccedilar ordenou que o guru o

acompanhasse numa caccedilada de ursos Nasrudim

estava apavorado Quando apoacutes a caccedilada retornou

a seu vilarejo algueacutem lhe perguntou

--Como foi a caccedilada

--Maravilhosa

--Quantos ursos viram

--Nenhum

--Como entatildeo pode ter sido uma boa caccedilada

--Quando vocecirc sai para caccedilar ursos e vocecirc eacute como

eu natildeo encontrar urso algum eacute uma experiecircncia

maravilhosa

Nasrudim e os ursos

Objetos da Avaliaccedilatildeo 1 Professor

2 Aluno

3 Teacutecnicos

4 Aula

5 Plano de Ensino

6 Programa da Disciplina

7 Curriacuteculo

8 Curso

9 PDI

10 IES

Objetos da Avaliaccedilatildeo Duas conclusotildees principais podem ser extraiacutedas

da literatura

1 qualquer coisa por assim dizer pode ser objeto de avaliaccedilatildeo e a avaliaccedilatildeo natildeo deve limitar-se aos estudantes ou aos professores e teacutecnicos

2 identificar o objeto da avaliaccedilatildeo eacute uma parte importante no desenvolvimento de um projeto avaliativo

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 3: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Como sabe se o que criou eacute bom

Em que dados baseia o seu juiacutezo

Para onde queria ir

Quais eram mesmo os seus objetivos

O Senhor natildeo estaacute envolvido demais

Art 10 A auto-avaliaccedilatildeo constitui

uma das etapas do processo avaliativo

e seraacute coordenada pela Comissatildeo

Proacutepria de Avaliaccedilatildeo (CPA)

SINAES ndash AUTO-AVALIACcedilAtildeO

Auto-conhecimento

As dez perguntas na literatura 1 Como a avaliaccedilatildeo eacute definida

2 Quais satildeo as funccedilotildees da avaliaccedilatildeo

3 Quais satildeo os objetos da avaliaccedilatildeo

4 Que tipo de informaccedilatildeo sobre o objeto deve ser reunida

5 Que criteacuterios devem ser utilizados para julgar o meacuterito e o valor de um objeto avaliado

6 A quem deve servir a avaliaccedilatildeo

7 Como eacute o processo de avaliaccedilatildeo

8 Que meacutetodos de investigaccedilatildeo devem ser utilizados na avaliaccedilatildeo

9 Quem deve fazer a avaliaccedilatildeo

10 Como avaliar a avaliaccedilatildeo

Definiccedilatildeo mais utilizada

ldquoA investigaccedilatildeo sistemaacutetica do valor e do meacuterito de algum objetordquo

(Joint Committee on Standards for Evaluation 1981)

Funccedilotildees da Avaliaccedilatildeo

melhorar

Selecionar

certificar

Motivar tomar decisotildees

formativa

somativa

administrativa

psicoloacutegica

1 Avaliar as IES os cursos de graduaccedilatildeo e o

desempenho acadecircmico de estudantes

2 Melhorar a qualidade da educaccedilatildeo superior

3 aumentar a eficaacutecia institucional da educaccedilatildeo

superior

4 Aumentar a efetividade acadecircmica e social

da educaccedilatildeo superior

5 Orientar a expansatildeo da oferta de educaccedilatildeo

superior

DOS OBJETIVOS DO SINAES Funccedilotildees do Sinaes

Art 2o

Paraacutegrafo uacutenico Os resultados da avaliaccedilatildeo constituiratildeo referencial baacutesico dos processos de regulaccedilatildeo e supervisatildeo da educaccedilatildeo superior neles compreendidos o credenciamento e a renovaccedilatildeo de credenciamento de instituiccedilotildees de educaccedilatildeo superior a autorizaccedilatildeo o reconhecimento e a renovaccedilatildeo de reconhecimento de cursos de graduaccedilatildeo

A Lei do Sinaes

Atos Regulatoacuterios para as IES

IES

CREDENCIAMENTO

RECREDENCIAMENTO

Atos regulatoacuterios para as IES

Atos Regulatoacuterios para Cursos

Curso

Autorizaccedilatildeo

Reconhecimento

Renovaccedilatildeo de Reconhecimento

Atos regulatoacuterios para os cursos

Posso entatildeo dizer que o informativo

estaacute sendo bem utilizado

Estamos na rota certa

Eis o uacuteltimo

relatoacuterio

O Projeto

Art 10 Os resultados considerados insatisfatoacuterios ensejaratildeo a celebraccedilatildeo de protocolo de compromisso a ser firmado entre a instituiccedilatildeo de educaccedilatildeo superior e o Ministeacuterio da Educaccedilatildeo que deveraacute conter

I ndash o diagnoacutestico objetivo das condiccedilotildees da instituiccedilatildeo

II ndash os encaminhamentos processos e accedilotildees a serem adotados pela instituiccedilatildeo de educaccedilatildeo superior com vistas na superaccedilatildeo das dificuldades detectadas

A Lei do Sinaes

DAS ORIGENS bull 2 Constituiccedilatildeo de 1988 bull Art 209 ldquoo ensino eacute livre agrave iniciativa

privadardquo mediante ldquoavaliaccedilatildeo de qualidade pelo poder puacuteblicordquo

bull 3 Lei 9131 (1995) ndash cria CNE e avaliaccedilatildeo perioacutedica das IES e Cursos

bull 4 LDB (1996) ndash Art 9 inciso IX cabe ao governo federal ldquoautorizar reconhecer credenciar supervisionar e avaliar cursos e instituiccedilotildees de educaccedilatildeo superiorrdquo

bull Inciso VI ndash ldquoassegurar processo nacional de avaliaccedilatildeo do rendimento escolarrdquo

As Leis da Avaliaccedilatildeo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

1 Prevecirc a criaccedilatildeo de Sistema Nacional de Avaliaccedilatildeo

bull Art 4 a Uniatildeo instituiraacute o Sistema Nacional de Avaliaccedilatildeo e estabeleceraacute os mecanismos necessaacuterios ao acompanhamento das metas constantes do PNE

bull 2 Diretriz do PNE para a regulaccedilatildeo do sistema ldquoplanejar a expansatildeo com qualidaderdquo

bull 3 Visatildeo do PNE bull ldquonenhum paiacutes pode aspirar a ser desenvolvido e

independente sem um forte sistema de educaccedilatildeo superiorrdquo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

bull Traduccedilatildeo da proposta de Estado (PNE) em proposta de governo

Missatildeo

Estrateacutegica

Naccedilatildeo Soberana

Naccedilatildeo Democraacutetica

Naccedilatildeo Inclusiva

Sociedade Emancipada

Um certo rei que gostava muito da companhia de

Mulla Nasrudim e de caccedilar ordenou que o guru o

acompanhasse numa caccedilada de ursos Nasrudim

estava apavorado Quando apoacutes a caccedilada retornou

a seu vilarejo algueacutem lhe perguntou

--Como foi a caccedilada

--Maravilhosa

--Quantos ursos viram

--Nenhum

--Como entatildeo pode ter sido uma boa caccedilada

--Quando vocecirc sai para caccedilar ursos e vocecirc eacute como

eu natildeo encontrar urso algum eacute uma experiecircncia

maravilhosa

Nasrudim e os ursos

Objetos da Avaliaccedilatildeo 1 Professor

2 Aluno

3 Teacutecnicos

4 Aula

5 Plano de Ensino

6 Programa da Disciplina

7 Curriacuteculo

8 Curso

9 PDI

10 IES

Objetos da Avaliaccedilatildeo Duas conclusotildees principais podem ser extraiacutedas

da literatura

1 qualquer coisa por assim dizer pode ser objeto de avaliaccedilatildeo e a avaliaccedilatildeo natildeo deve limitar-se aos estudantes ou aos professores e teacutecnicos

2 identificar o objeto da avaliaccedilatildeo eacute uma parte importante no desenvolvimento de um projeto avaliativo

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 4: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Em que dados baseia o seu juiacutezo

Para onde queria ir

Quais eram mesmo os seus objetivos

O Senhor natildeo estaacute envolvido demais

Art 10 A auto-avaliaccedilatildeo constitui

uma das etapas do processo avaliativo

e seraacute coordenada pela Comissatildeo

Proacutepria de Avaliaccedilatildeo (CPA)

SINAES ndash AUTO-AVALIACcedilAtildeO

Auto-conhecimento

As dez perguntas na literatura 1 Como a avaliaccedilatildeo eacute definida

2 Quais satildeo as funccedilotildees da avaliaccedilatildeo

3 Quais satildeo os objetos da avaliaccedilatildeo

4 Que tipo de informaccedilatildeo sobre o objeto deve ser reunida

5 Que criteacuterios devem ser utilizados para julgar o meacuterito e o valor de um objeto avaliado

6 A quem deve servir a avaliaccedilatildeo

7 Como eacute o processo de avaliaccedilatildeo

8 Que meacutetodos de investigaccedilatildeo devem ser utilizados na avaliaccedilatildeo

9 Quem deve fazer a avaliaccedilatildeo

10 Como avaliar a avaliaccedilatildeo

Definiccedilatildeo mais utilizada

ldquoA investigaccedilatildeo sistemaacutetica do valor e do meacuterito de algum objetordquo

(Joint Committee on Standards for Evaluation 1981)

Funccedilotildees da Avaliaccedilatildeo

melhorar

Selecionar

certificar

Motivar tomar decisotildees

formativa

somativa

administrativa

psicoloacutegica

1 Avaliar as IES os cursos de graduaccedilatildeo e o

desempenho acadecircmico de estudantes

2 Melhorar a qualidade da educaccedilatildeo superior

3 aumentar a eficaacutecia institucional da educaccedilatildeo

superior

4 Aumentar a efetividade acadecircmica e social

da educaccedilatildeo superior

5 Orientar a expansatildeo da oferta de educaccedilatildeo

superior

DOS OBJETIVOS DO SINAES Funccedilotildees do Sinaes

Art 2o

Paraacutegrafo uacutenico Os resultados da avaliaccedilatildeo constituiratildeo referencial baacutesico dos processos de regulaccedilatildeo e supervisatildeo da educaccedilatildeo superior neles compreendidos o credenciamento e a renovaccedilatildeo de credenciamento de instituiccedilotildees de educaccedilatildeo superior a autorizaccedilatildeo o reconhecimento e a renovaccedilatildeo de reconhecimento de cursos de graduaccedilatildeo

A Lei do Sinaes

Atos Regulatoacuterios para as IES

IES

CREDENCIAMENTO

RECREDENCIAMENTO

Atos regulatoacuterios para as IES

Atos Regulatoacuterios para Cursos

Curso

Autorizaccedilatildeo

Reconhecimento

Renovaccedilatildeo de Reconhecimento

Atos regulatoacuterios para os cursos

Posso entatildeo dizer que o informativo

estaacute sendo bem utilizado

Estamos na rota certa

Eis o uacuteltimo

relatoacuterio

O Projeto

Art 10 Os resultados considerados insatisfatoacuterios ensejaratildeo a celebraccedilatildeo de protocolo de compromisso a ser firmado entre a instituiccedilatildeo de educaccedilatildeo superior e o Ministeacuterio da Educaccedilatildeo que deveraacute conter

I ndash o diagnoacutestico objetivo das condiccedilotildees da instituiccedilatildeo

II ndash os encaminhamentos processos e accedilotildees a serem adotados pela instituiccedilatildeo de educaccedilatildeo superior com vistas na superaccedilatildeo das dificuldades detectadas

A Lei do Sinaes

DAS ORIGENS bull 2 Constituiccedilatildeo de 1988 bull Art 209 ldquoo ensino eacute livre agrave iniciativa

privadardquo mediante ldquoavaliaccedilatildeo de qualidade pelo poder puacuteblicordquo

bull 3 Lei 9131 (1995) ndash cria CNE e avaliaccedilatildeo perioacutedica das IES e Cursos

bull 4 LDB (1996) ndash Art 9 inciso IX cabe ao governo federal ldquoautorizar reconhecer credenciar supervisionar e avaliar cursos e instituiccedilotildees de educaccedilatildeo superiorrdquo

bull Inciso VI ndash ldquoassegurar processo nacional de avaliaccedilatildeo do rendimento escolarrdquo

As Leis da Avaliaccedilatildeo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

1 Prevecirc a criaccedilatildeo de Sistema Nacional de Avaliaccedilatildeo

bull Art 4 a Uniatildeo instituiraacute o Sistema Nacional de Avaliaccedilatildeo e estabeleceraacute os mecanismos necessaacuterios ao acompanhamento das metas constantes do PNE

bull 2 Diretriz do PNE para a regulaccedilatildeo do sistema ldquoplanejar a expansatildeo com qualidaderdquo

bull 3 Visatildeo do PNE bull ldquonenhum paiacutes pode aspirar a ser desenvolvido e

independente sem um forte sistema de educaccedilatildeo superiorrdquo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

bull Traduccedilatildeo da proposta de Estado (PNE) em proposta de governo

Missatildeo

Estrateacutegica

Naccedilatildeo Soberana

Naccedilatildeo Democraacutetica

Naccedilatildeo Inclusiva

Sociedade Emancipada

Um certo rei que gostava muito da companhia de

Mulla Nasrudim e de caccedilar ordenou que o guru o

acompanhasse numa caccedilada de ursos Nasrudim

estava apavorado Quando apoacutes a caccedilada retornou

a seu vilarejo algueacutem lhe perguntou

--Como foi a caccedilada

--Maravilhosa

--Quantos ursos viram

--Nenhum

--Como entatildeo pode ter sido uma boa caccedilada

--Quando vocecirc sai para caccedilar ursos e vocecirc eacute como

eu natildeo encontrar urso algum eacute uma experiecircncia

maravilhosa

Nasrudim e os ursos

Objetos da Avaliaccedilatildeo 1 Professor

2 Aluno

3 Teacutecnicos

4 Aula

5 Plano de Ensino

6 Programa da Disciplina

7 Curriacuteculo

8 Curso

9 PDI

10 IES

Objetos da Avaliaccedilatildeo Duas conclusotildees principais podem ser extraiacutedas

da literatura

1 qualquer coisa por assim dizer pode ser objeto de avaliaccedilatildeo e a avaliaccedilatildeo natildeo deve limitar-se aos estudantes ou aos professores e teacutecnicos

2 identificar o objeto da avaliaccedilatildeo eacute uma parte importante no desenvolvimento de um projeto avaliativo

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 5: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Para onde queria ir

Quais eram mesmo os seus objetivos

O Senhor natildeo estaacute envolvido demais

Art 10 A auto-avaliaccedilatildeo constitui

uma das etapas do processo avaliativo

e seraacute coordenada pela Comissatildeo

Proacutepria de Avaliaccedilatildeo (CPA)

SINAES ndash AUTO-AVALIACcedilAtildeO

Auto-conhecimento

As dez perguntas na literatura 1 Como a avaliaccedilatildeo eacute definida

2 Quais satildeo as funccedilotildees da avaliaccedilatildeo

3 Quais satildeo os objetos da avaliaccedilatildeo

4 Que tipo de informaccedilatildeo sobre o objeto deve ser reunida

5 Que criteacuterios devem ser utilizados para julgar o meacuterito e o valor de um objeto avaliado

6 A quem deve servir a avaliaccedilatildeo

7 Como eacute o processo de avaliaccedilatildeo

8 Que meacutetodos de investigaccedilatildeo devem ser utilizados na avaliaccedilatildeo

9 Quem deve fazer a avaliaccedilatildeo

10 Como avaliar a avaliaccedilatildeo

Definiccedilatildeo mais utilizada

ldquoA investigaccedilatildeo sistemaacutetica do valor e do meacuterito de algum objetordquo

(Joint Committee on Standards for Evaluation 1981)

Funccedilotildees da Avaliaccedilatildeo

melhorar

Selecionar

certificar

Motivar tomar decisotildees

formativa

somativa

administrativa

psicoloacutegica

1 Avaliar as IES os cursos de graduaccedilatildeo e o

desempenho acadecircmico de estudantes

2 Melhorar a qualidade da educaccedilatildeo superior

3 aumentar a eficaacutecia institucional da educaccedilatildeo

superior

4 Aumentar a efetividade acadecircmica e social

da educaccedilatildeo superior

5 Orientar a expansatildeo da oferta de educaccedilatildeo

superior

DOS OBJETIVOS DO SINAES Funccedilotildees do Sinaes

Art 2o

Paraacutegrafo uacutenico Os resultados da avaliaccedilatildeo constituiratildeo referencial baacutesico dos processos de regulaccedilatildeo e supervisatildeo da educaccedilatildeo superior neles compreendidos o credenciamento e a renovaccedilatildeo de credenciamento de instituiccedilotildees de educaccedilatildeo superior a autorizaccedilatildeo o reconhecimento e a renovaccedilatildeo de reconhecimento de cursos de graduaccedilatildeo

A Lei do Sinaes

Atos Regulatoacuterios para as IES

IES

CREDENCIAMENTO

RECREDENCIAMENTO

Atos regulatoacuterios para as IES

Atos Regulatoacuterios para Cursos

Curso

Autorizaccedilatildeo

Reconhecimento

Renovaccedilatildeo de Reconhecimento

Atos regulatoacuterios para os cursos

Posso entatildeo dizer que o informativo

estaacute sendo bem utilizado

Estamos na rota certa

Eis o uacuteltimo

relatoacuterio

O Projeto

Art 10 Os resultados considerados insatisfatoacuterios ensejaratildeo a celebraccedilatildeo de protocolo de compromisso a ser firmado entre a instituiccedilatildeo de educaccedilatildeo superior e o Ministeacuterio da Educaccedilatildeo que deveraacute conter

I ndash o diagnoacutestico objetivo das condiccedilotildees da instituiccedilatildeo

II ndash os encaminhamentos processos e accedilotildees a serem adotados pela instituiccedilatildeo de educaccedilatildeo superior com vistas na superaccedilatildeo das dificuldades detectadas

A Lei do Sinaes

DAS ORIGENS bull 2 Constituiccedilatildeo de 1988 bull Art 209 ldquoo ensino eacute livre agrave iniciativa

privadardquo mediante ldquoavaliaccedilatildeo de qualidade pelo poder puacuteblicordquo

bull 3 Lei 9131 (1995) ndash cria CNE e avaliaccedilatildeo perioacutedica das IES e Cursos

bull 4 LDB (1996) ndash Art 9 inciso IX cabe ao governo federal ldquoautorizar reconhecer credenciar supervisionar e avaliar cursos e instituiccedilotildees de educaccedilatildeo superiorrdquo

bull Inciso VI ndash ldquoassegurar processo nacional de avaliaccedilatildeo do rendimento escolarrdquo

As Leis da Avaliaccedilatildeo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

1 Prevecirc a criaccedilatildeo de Sistema Nacional de Avaliaccedilatildeo

bull Art 4 a Uniatildeo instituiraacute o Sistema Nacional de Avaliaccedilatildeo e estabeleceraacute os mecanismos necessaacuterios ao acompanhamento das metas constantes do PNE

bull 2 Diretriz do PNE para a regulaccedilatildeo do sistema ldquoplanejar a expansatildeo com qualidaderdquo

bull 3 Visatildeo do PNE bull ldquonenhum paiacutes pode aspirar a ser desenvolvido e

independente sem um forte sistema de educaccedilatildeo superiorrdquo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

bull Traduccedilatildeo da proposta de Estado (PNE) em proposta de governo

Missatildeo

Estrateacutegica

Naccedilatildeo Soberana

Naccedilatildeo Democraacutetica

Naccedilatildeo Inclusiva

Sociedade Emancipada

Um certo rei que gostava muito da companhia de

Mulla Nasrudim e de caccedilar ordenou que o guru o

acompanhasse numa caccedilada de ursos Nasrudim

estava apavorado Quando apoacutes a caccedilada retornou

a seu vilarejo algueacutem lhe perguntou

--Como foi a caccedilada

--Maravilhosa

--Quantos ursos viram

--Nenhum

--Como entatildeo pode ter sido uma boa caccedilada

--Quando vocecirc sai para caccedilar ursos e vocecirc eacute como

eu natildeo encontrar urso algum eacute uma experiecircncia

maravilhosa

Nasrudim e os ursos

Objetos da Avaliaccedilatildeo 1 Professor

2 Aluno

3 Teacutecnicos

4 Aula

5 Plano de Ensino

6 Programa da Disciplina

7 Curriacuteculo

8 Curso

9 PDI

10 IES

Objetos da Avaliaccedilatildeo Duas conclusotildees principais podem ser extraiacutedas

da literatura

1 qualquer coisa por assim dizer pode ser objeto de avaliaccedilatildeo e a avaliaccedilatildeo natildeo deve limitar-se aos estudantes ou aos professores e teacutecnicos

2 identificar o objeto da avaliaccedilatildeo eacute uma parte importante no desenvolvimento de um projeto avaliativo

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 6: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Quais eram mesmo os seus objetivos

O Senhor natildeo estaacute envolvido demais

Art 10 A auto-avaliaccedilatildeo constitui

uma das etapas do processo avaliativo

e seraacute coordenada pela Comissatildeo

Proacutepria de Avaliaccedilatildeo (CPA)

SINAES ndash AUTO-AVALIACcedilAtildeO

Auto-conhecimento

As dez perguntas na literatura 1 Como a avaliaccedilatildeo eacute definida

2 Quais satildeo as funccedilotildees da avaliaccedilatildeo

3 Quais satildeo os objetos da avaliaccedilatildeo

4 Que tipo de informaccedilatildeo sobre o objeto deve ser reunida

5 Que criteacuterios devem ser utilizados para julgar o meacuterito e o valor de um objeto avaliado

6 A quem deve servir a avaliaccedilatildeo

7 Como eacute o processo de avaliaccedilatildeo

8 Que meacutetodos de investigaccedilatildeo devem ser utilizados na avaliaccedilatildeo

9 Quem deve fazer a avaliaccedilatildeo

10 Como avaliar a avaliaccedilatildeo

Definiccedilatildeo mais utilizada

ldquoA investigaccedilatildeo sistemaacutetica do valor e do meacuterito de algum objetordquo

(Joint Committee on Standards for Evaluation 1981)

Funccedilotildees da Avaliaccedilatildeo

melhorar

Selecionar

certificar

Motivar tomar decisotildees

formativa

somativa

administrativa

psicoloacutegica

1 Avaliar as IES os cursos de graduaccedilatildeo e o

desempenho acadecircmico de estudantes

2 Melhorar a qualidade da educaccedilatildeo superior

3 aumentar a eficaacutecia institucional da educaccedilatildeo

superior

4 Aumentar a efetividade acadecircmica e social

da educaccedilatildeo superior

5 Orientar a expansatildeo da oferta de educaccedilatildeo

superior

DOS OBJETIVOS DO SINAES Funccedilotildees do Sinaes

Art 2o

Paraacutegrafo uacutenico Os resultados da avaliaccedilatildeo constituiratildeo referencial baacutesico dos processos de regulaccedilatildeo e supervisatildeo da educaccedilatildeo superior neles compreendidos o credenciamento e a renovaccedilatildeo de credenciamento de instituiccedilotildees de educaccedilatildeo superior a autorizaccedilatildeo o reconhecimento e a renovaccedilatildeo de reconhecimento de cursos de graduaccedilatildeo

A Lei do Sinaes

Atos Regulatoacuterios para as IES

IES

CREDENCIAMENTO

RECREDENCIAMENTO

Atos regulatoacuterios para as IES

Atos Regulatoacuterios para Cursos

Curso

Autorizaccedilatildeo

Reconhecimento

Renovaccedilatildeo de Reconhecimento

Atos regulatoacuterios para os cursos

Posso entatildeo dizer que o informativo

estaacute sendo bem utilizado

Estamos na rota certa

Eis o uacuteltimo

relatoacuterio

O Projeto

Art 10 Os resultados considerados insatisfatoacuterios ensejaratildeo a celebraccedilatildeo de protocolo de compromisso a ser firmado entre a instituiccedilatildeo de educaccedilatildeo superior e o Ministeacuterio da Educaccedilatildeo que deveraacute conter

I ndash o diagnoacutestico objetivo das condiccedilotildees da instituiccedilatildeo

II ndash os encaminhamentos processos e accedilotildees a serem adotados pela instituiccedilatildeo de educaccedilatildeo superior com vistas na superaccedilatildeo das dificuldades detectadas

A Lei do Sinaes

DAS ORIGENS bull 2 Constituiccedilatildeo de 1988 bull Art 209 ldquoo ensino eacute livre agrave iniciativa

privadardquo mediante ldquoavaliaccedilatildeo de qualidade pelo poder puacuteblicordquo

bull 3 Lei 9131 (1995) ndash cria CNE e avaliaccedilatildeo perioacutedica das IES e Cursos

bull 4 LDB (1996) ndash Art 9 inciso IX cabe ao governo federal ldquoautorizar reconhecer credenciar supervisionar e avaliar cursos e instituiccedilotildees de educaccedilatildeo superiorrdquo

bull Inciso VI ndash ldquoassegurar processo nacional de avaliaccedilatildeo do rendimento escolarrdquo

As Leis da Avaliaccedilatildeo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

1 Prevecirc a criaccedilatildeo de Sistema Nacional de Avaliaccedilatildeo

bull Art 4 a Uniatildeo instituiraacute o Sistema Nacional de Avaliaccedilatildeo e estabeleceraacute os mecanismos necessaacuterios ao acompanhamento das metas constantes do PNE

bull 2 Diretriz do PNE para a regulaccedilatildeo do sistema ldquoplanejar a expansatildeo com qualidaderdquo

bull 3 Visatildeo do PNE bull ldquonenhum paiacutes pode aspirar a ser desenvolvido e

independente sem um forte sistema de educaccedilatildeo superiorrdquo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

bull Traduccedilatildeo da proposta de Estado (PNE) em proposta de governo

Missatildeo

Estrateacutegica

Naccedilatildeo Soberana

Naccedilatildeo Democraacutetica

Naccedilatildeo Inclusiva

Sociedade Emancipada

Um certo rei que gostava muito da companhia de

Mulla Nasrudim e de caccedilar ordenou que o guru o

acompanhasse numa caccedilada de ursos Nasrudim

estava apavorado Quando apoacutes a caccedilada retornou

a seu vilarejo algueacutem lhe perguntou

--Como foi a caccedilada

--Maravilhosa

--Quantos ursos viram

--Nenhum

--Como entatildeo pode ter sido uma boa caccedilada

--Quando vocecirc sai para caccedilar ursos e vocecirc eacute como

eu natildeo encontrar urso algum eacute uma experiecircncia

maravilhosa

Nasrudim e os ursos

Objetos da Avaliaccedilatildeo 1 Professor

2 Aluno

3 Teacutecnicos

4 Aula

5 Plano de Ensino

6 Programa da Disciplina

7 Curriacuteculo

8 Curso

9 PDI

10 IES

Objetos da Avaliaccedilatildeo Duas conclusotildees principais podem ser extraiacutedas

da literatura

1 qualquer coisa por assim dizer pode ser objeto de avaliaccedilatildeo e a avaliaccedilatildeo natildeo deve limitar-se aos estudantes ou aos professores e teacutecnicos

2 identificar o objeto da avaliaccedilatildeo eacute uma parte importante no desenvolvimento de um projeto avaliativo

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 7: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

O Senhor natildeo estaacute envolvido demais

Art 10 A auto-avaliaccedilatildeo constitui

uma das etapas do processo avaliativo

e seraacute coordenada pela Comissatildeo

Proacutepria de Avaliaccedilatildeo (CPA)

SINAES ndash AUTO-AVALIACcedilAtildeO

Auto-conhecimento

As dez perguntas na literatura 1 Como a avaliaccedilatildeo eacute definida

2 Quais satildeo as funccedilotildees da avaliaccedilatildeo

3 Quais satildeo os objetos da avaliaccedilatildeo

4 Que tipo de informaccedilatildeo sobre o objeto deve ser reunida

5 Que criteacuterios devem ser utilizados para julgar o meacuterito e o valor de um objeto avaliado

6 A quem deve servir a avaliaccedilatildeo

7 Como eacute o processo de avaliaccedilatildeo

8 Que meacutetodos de investigaccedilatildeo devem ser utilizados na avaliaccedilatildeo

9 Quem deve fazer a avaliaccedilatildeo

10 Como avaliar a avaliaccedilatildeo

Definiccedilatildeo mais utilizada

ldquoA investigaccedilatildeo sistemaacutetica do valor e do meacuterito de algum objetordquo

(Joint Committee on Standards for Evaluation 1981)

Funccedilotildees da Avaliaccedilatildeo

melhorar

Selecionar

certificar

Motivar tomar decisotildees

formativa

somativa

administrativa

psicoloacutegica

1 Avaliar as IES os cursos de graduaccedilatildeo e o

desempenho acadecircmico de estudantes

2 Melhorar a qualidade da educaccedilatildeo superior

3 aumentar a eficaacutecia institucional da educaccedilatildeo

superior

4 Aumentar a efetividade acadecircmica e social

da educaccedilatildeo superior

5 Orientar a expansatildeo da oferta de educaccedilatildeo

superior

DOS OBJETIVOS DO SINAES Funccedilotildees do Sinaes

Art 2o

Paraacutegrafo uacutenico Os resultados da avaliaccedilatildeo constituiratildeo referencial baacutesico dos processos de regulaccedilatildeo e supervisatildeo da educaccedilatildeo superior neles compreendidos o credenciamento e a renovaccedilatildeo de credenciamento de instituiccedilotildees de educaccedilatildeo superior a autorizaccedilatildeo o reconhecimento e a renovaccedilatildeo de reconhecimento de cursos de graduaccedilatildeo

A Lei do Sinaes

Atos Regulatoacuterios para as IES

IES

CREDENCIAMENTO

RECREDENCIAMENTO

Atos regulatoacuterios para as IES

Atos Regulatoacuterios para Cursos

Curso

Autorizaccedilatildeo

Reconhecimento

Renovaccedilatildeo de Reconhecimento

Atos regulatoacuterios para os cursos

Posso entatildeo dizer que o informativo

estaacute sendo bem utilizado

Estamos na rota certa

Eis o uacuteltimo

relatoacuterio

O Projeto

Art 10 Os resultados considerados insatisfatoacuterios ensejaratildeo a celebraccedilatildeo de protocolo de compromisso a ser firmado entre a instituiccedilatildeo de educaccedilatildeo superior e o Ministeacuterio da Educaccedilatildeo que deveraacute conter

I ndash o diagnoacutestico objetivo das condiccedilotildees da instituiccedilatildeo

II ndash os encaminhamentos processos e accedilotildees a serem adotados pela instituiccedilatildeo de educaccedilatildeo superior com vistas na superaccedilatildeo das dificuldades detectadas

A Lei do Sinaes

DAS ORIGENS bull 2 Constituiccedilatildeo de 1988 bull Art 209 ldquoo ensino eacute livre agrave iniciativa

privadardquo mediante ldquoavaliaccedilatildeo de qualidade pelo poder puacuteblicordquo

bull 3 Lei 9131 (1995) ndash cria CNE e avaliaccedilatildeo perioacutedica das IES e Cursos

bull 4 LDB (1996) ndash Art 9 inciso IX cabe ao governo federal ldquoautorizar reconhecer credenciar supervisionar e avaliar cursos e instituiccedilotildees de educaccedilatildeo superiorrdquo

bull Inciso VI ndash ldquoassegurar processo nacional de avaliaccedilatildeo do rendimento escolarrdquo

As Leis da Avaliaccedilatildeo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

1 Prevecirc a criaccedilatildeo de Sistema Nacional de Avaliaccedilatildeo

bull Art 4 a Uniatildeo instituiraacute o Sistema Nacional de Avaliaccedilatildeo e estabeleceraacute os mecanismos necessaacuterios ao acompanhamento das metas constantes do PNE

bull 2 Diretriz do PNE para a regulaccedilatildeo do sistema ldquoplanejar a expansatildeo com qualidaderdquo

bull 3 Visatildeo do PNE bull ldquonenhum paiacutes pode aspirar a ser desenvolvido e

independente sem um forte sistema de educaccedilatildeo superiorrdquo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

bull Traduccedilatildeo da proposta de Estado (PNE) em proposta de governo

Missatildeo

Estrateacutegica

Naccedilatildeo Soberana

Naccedilatildeo Democraacutetica

Naccedilatildeo Inclusiva

Sociedade Emancipada

Um certo rei que gostava muito da companhia de

Mulla Nasrudim e de caccedilar ordenou que o guru o

acompanhasse numa caccedilada de ursos Nasrudim

estava apavorado Quando apoacutes a caccedilada retornou

a seu vilarejo algueacutem lhe perguntou

--Como foi a caccedilada

--Maravilhosa

--Quantos ursos viram

--Nenhum

--Como entatildeo pode ter sido uma boa caccedilada

--Quando vocecirc sai para caccedilar ursos e vocecirc eacute como

eu natildeo encontrar urso algum eacute uma experiecircncia

maravilhosa

Nasrudim e os ursos

Objetos da Avaliaccedilatildeo 1 Professor

2 Aluno

3 Teacutecnicos

4 Aula

5 Plano de Ensino

6 Programa da Disciplina

7 Curriacuteculo

8 Curso

9 PDI

10 IES

Objetos da Avaliaccedilatildeo Duas conclusotildees principais podem ser extraiacutedas

da literatura

1 qualquer coisa por assim dizer pode ser objeto de avaliaccedilatildeo e a avaliaccedilatildeo natildeo deve limitar-se aos estudantes ou aos professores e teacutecnicos

2 identificar o objeto da avaliaccedilatildeo eacute uma parte importante no desenvolvimento de um projeto avaliativo

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 8: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Art 10 A auto-avaliaccedilatildeo constitui

uma das etapas do processo avaliativo

e seraacute coordenada pela Comissatildeo

Proacutepria de Avaliaccedilatildeo (CPA)

SINAES ndash AUTO-AVALIACcedilAtildeO

Auto-conhecimento

As dez perguntas na literatura 1 Como a avaliaccedilatildeo eacute definida

2 Quais satildeo as funccedilotildees da avaliaccedilatildeo

3 Quais satildeo os objetos da avaliaccedilatildeo

4 Que tipo de informaccedilatildeo sobre o objeto deve ser reunida

5 Que criteacuterios devem ser utilizados para julgar o meacuterito e o valor de um objeto avaliado

6 A quem deve servir a avaliaccedilatildeo

7 Como eacute o processo de avaliaccedilatildeo

8 Que meacutetodos de investigaccedilatildeo devem ser utilizados na avaliaccedilatildeo

9 Quem deve fazer a avaliaccedilatildeo

10 Como avaliar a avaliaccedilatildeo

Definiccedilatildeo mais utilizada

ldquoA investigaccedilatildeo sistemaacutetica do valor e do meacuterito de algum objetordquo

(Joint Committee on Standards for Evaluation 1981)

Funccedilotildees da Avaliaccedilatildeo

melhorar

Selecionar

certificar

Motivar tomar decisotildees

formativa

somativa

administrativa

psicoloacutegica

1 Avaliar as IES os cursos de graduaccedilatildeo e o

desempenho acadecircmico de estudantes

2 Melhorar a qualidade da educaccedilatildeo superior

3 aumentar a eficaacutecia institucional da educaccedilatildeo

superior

4 Aumentar a efetividade acadecircmica e social

da educaccedilatildeo superior

5 Orientar a expansatildeo da oferta de educaccedilatildeo

superior

DOS OBJETIVOS DO SINAES Funccedilotildees do Sinaes

Art 2o

Paraacutegrafo uacutenico Os resultados da avaliaccedilatildeo constituiratildeo referencial baacutesico dos processos de regulaccedilatildeo e supervisatildeo da educaccedilatildeo superior neles compreendidos o credenciamento e a renovaccedilatildeo de credenciamento de instituiccedilotildees de educaccedilatildeo superior a autorizaccedilatildeo o reconhecimento e a renovaccedilatildeo de reconhecimento de cursos de graduaccedilatildeo

A Lei do Sinaes

Atos Regulatoacuterios para as IES

IES

CREDENCIAMENTO

RECREDENCIAMENTO

Atos regulatoacuterios para as IES

Atos Regulatoacuterios para Cursos

Curso

Autorizaccedilatildeo

Reconhecimento

Renovaccedilatildeo de Reconhecimento

Atos regulatoacuterios para os cursos

Posso entatildeo dizer que o informativo

estaacute sendo bem utilizado

Estamos na rota certa

Eis o uacuteltimo

relatoacuterio

O Projeto

Art 10 Os resultados considerados insatisfatoacuterios ensejaratildeo a celebraccedilatildeo de protocolo de compromisso a ser firmado entre a instituiccedilatildeo de educaccedilatildeo superior e o Ministeacuterio da Educaccedilatildeo que deveraacute conter

I ndash o diagnoacutestico objetivo das condiccedilotildees da instituiccedilatildeo

II ndash os encaminhamentos processos e accedilotildees a serem adotados pela instituiccedilatildeo de educaccedilatildeo superior com vistas na superaccedilatildeo das dificuldades detectadas

A Lei do Sinaes

DAS ORIGENS bull 2 Constituiccedilatildeo de 1988 bull Art 209 ldquoo ensino eacute livre agrave iniciativa

privadardquo mediante ldquoavaliaccedilatildeo de qualidade pelo poder puacuteblicordquo

bull 3 Lei 9131 (1995) ndash cria CNE e avaliaccedilatildeo perioacutedica das IES e Cursos

bull 4 LDB (1996) ndash Art 9 inciso IX cabe ao governo federal ldquoautorizar reconhecer credenciar supervisionar e avaliar cursos e instituiccedilotildees de educaccedilatildeo superiorrdquo

bull Inciso VI ndash ldquoassegurar processo nacional de avaliaccedilatildeo do rendimento escolarrdquo

As Leis da Avaliaccedilatildeo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

1 Prevecirc a criaccedilatildeo de Sistema Nacional de Avaliaccedilatildeo

bull Art 4 a Uniatildeo instituiraacute o Sistema Nacional de Avaliaccedilatildeo e estabeleceraacute os mecanismos necessaacuterios ao acompanhamento das metas constantes do PNE

bull 2 Diretriz do PNE para a regulaccedilatildeo do sistema ldquoplanejar a expansatildeo com qualidaderdquo

bull 3 Visatildeo do PNE bull ldquonenhum paiacutes pode aspirar a ser desenvolvido e

independente sem um forte sistema de educaccedilatildeo superiorrdquo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

bull Traduccedilatildeo da proposta de Estado (PNE) em proposta de governo

Missatildeo

Estrateacutegica

Naccedilatildeo Soberana

Naccedilatildeo Democraacutetica

Naccedilatildeo Inclusiva

Sociedade Emancipada

Um certo rei que gostava muito da companhia de

Mulla Nasrudim e de caccedilar ordenou que o guru o

acompanhasse numa caccedilada de ursos Nasrudim

estava apavorado Quando apoacutes a caccedilada retornou

a seu vilarejo algueacutem lhe perguntou

--Como foi a caccedilada

--Maravilhosa

--Quantos ursos viram

--Nenhum

--Como entatildeo pode ter sido uma boa caccedilada

--Quando vocecirc sai para caccedilar ursos e vocecirc eacute como

eu natildeo encontrar urso algum eacute uma experiecircncia

maravilhosa

Nasrudim e os ursos

Objetos da Avaliaccedilatildeo 1 Professor

2 Aluno

3 Teacutecnicos

4 Aula

5 Plano de Ensino

6 Programa da Disciplina

7 Curriacuteculo

8 Curso

9 PDI

10 IES

Objetos da Avaliaccedilatildeo Duas conclusotildees principais podem ser extraiacutedas

da literatura

1 qualquer coisa por assim dizer pode ser objeto de avaliaccedilatildeo e a avaliaccedilatildeo natildeo deve limitar-se aos estudantes ou aos professores e teacutecnicos

2 identificar o objeto da avaliaccedilatildeo eacute uma parte importante no desenvolvimento de um projeto avaliativo

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 9: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Auto-conhecimento

As dez perguntas na literatura 1 Como a avaliaccedilatildeo eacute definida

2 Quais satildeo as funccedilotildees da avaliaccedilatildeo

3 Quais satildeo os objetos da avaliaccedilatildeo

4 Que tipo de informaccedilatildeo sobre o objeto deve ser reunida

5 Que criteacuterios devem ser utilizados para julgar o meacuterito e o valor de um objeto avaliado

6 A quem deve servir a avaliaccedilatildeo

7 Como eacute o processo de avaliaccedilatildeo

8 Que meacutetodos de investigaccedilatildeo devem ser utilizados na avaliaccedilatildeo

9 Quem deve fazer a avaliaccedilatildeo

10 Como avaliar a avaliaccedilatildeo

Definiccedilatildeo mais utilizada

ldquoA investigaccedilatildeo sistemaacutetica do valor e do meacuterito de algum objetordquo

(Joint Committee on Standards for Evaluation 1981)

Funccedilotildees da Avaliaccedilatildeo

melhorar

Selecionar

certificar

Motivar tomar decisotildees

formativa

somativa

administrativa

psicoloacutegica

1 Avaliar as IES os cursos de graduaccedilatildeo e o

desempenho acadecircmico de estudantes

2 Melhorar a qualidade da educaccedilatildeo superior

3 aumentar a eficaacutecia institucional da educaccedilatildeo

superior

4 Aumentar a efetividade acadecircmica e social

da educaccedilatildeo superior

5 Orientar a expansatildeo da oferta de educaccedilatildeo

superior

DOS OBJETIVOS DO SINAES Funccedilotildees do Sinaes

Art 2o

Paraacutegrafo uacutenico Os resultados da avaliaccedilatildeo constituiratildeo referencial baacutesico dos processos de regulaccedilatildeo e supervisatildeo da educaccedilatildeo superior neles compreendidos o credenciamento e a renovaccedilatildeo de credenciamento de instituiccedilotildees de educaccedilatildeo superior a autorizaccedilatildeo o reconhecimento e a renovaccedilatildeo de reconhecimento de cursos de graduaccedilatildeo

A Lei do Sinaes

Atos Regulatoacuterios para as IES

IES

CREDENCIAMENTO

RECREDENCIAMENTO

Atos regulatoacuterios para as IES

Atos Regulatoacuterios para Cursos

Curso

Autorizaccedilatildeo

Reconhecimento

Renovaccedilatildeo de Reconhecimento

Atos regulatoacuterios para os cursos

Posso entatildeo dizer que o informativo

estaacute sendo bem utilizado

Estamos na rota certa

Eis o uacuteltimo

relatoacuterio

O Projeto

Art 10 Os resultados considerados insatisfatoacuterios ensejaratildeo a celebraccedilatildeo de protocolo de compromisso a ser firmado entre a instituiccedilatildeo de educaccedilatildeo superior e o Ministeacuterio da Educaccedilatildeo que deveraacute conter

I ndash o diagnoacutestico objetivo das condiccedilotildees da instituiccedilatildeo

II ndash os encaminhamentos processos e accedilotildees a serem adotados pela instituiccedilatildeo de educaccedilatildeo superior com vistas na superaccedilatildeo das dificuldades detectadas

A Lei do Sinaes

DAS ORIGENS bull 2 Constituiccedilatildeo de 1988 bull Art 209 ldquoo ensino eacute livre agrave iniciativa

privadardquo mediante ldquoavaliaccedilatildeo de qualidade pelo poder puacuteblicordquo

bull 3 Lei 9131 (1995) ndash cria CNE e avaliaccedilatildeo perioacutedica das IES e Cursos

bull 4 LDB (1996) ndash Art 9 inciso IX cabe ao governo federal ldquoautorizar reconhecer credenciar supervisionar e avaliar cursos e instituiccedilotildees de educaccedilatildeo superiorrdquo

bull Inciso VI ndash ldquoassegurar processo nacional de avaliaccedilatildeo do rendimento escolarrdquo

As Leis da Avaliaccedilatildeo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

1 Prevecirc a criaccedilatildeo de Sistema Nacional de Avaliaccedilatildeo

bull Art 4 a Uniatildeo instituiraacute o Sistema Nacional de Avaliaccedilatildeo e estabeleceraacute os mecanismos necessaacuterios ao acompanhamento das metas constantes do PNE

bull 2 Diretriz do PNE para a regulaccedilatildeo do sistema ldquoplanejar a expansatildeo com qualidaderdquo

bull 3 Visatildeo do PNE bull ldquonenhum paiacutes pode aspirar a ser desenvolvido e

independente sem um forte sistema de educaccedilatildeo superiorrdquo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

bull Traduccedilatildeo da proposta de Estado (PNE) em proposta de governo

Missatildeo

Estrateacutegica

Naccedilatildeo Soberana

Naccedilatildeo Democraacutetica

Naccedilatildeo Inclusiva

Sociedade Emancipada

Um certo rei que gostava muito da companhia de

Mulla Nasrudim e de caccedilar ordenou que o guru o

acompanhasse numa caccedilada de ursos Nasrudim

estava apavorado Quando apoacutes a caccedilada retornou

a seu vilarejo algueacutem lhe perguntou

--Como foi a caccedilada

--Maravilhosa

--Quantos ursos viram

--Nenhum

--Como entatildeo pode ter sido uma boa caccedilada

--Quando vocecirc sai para caccedilar ursos e vocecirc eacute como

eu natildeo encontrar urso algum eacute uma experiecircncia

maravilhosa

Nasrudim e os ursos

Objetos da Avaliaccedilatildeo 1 Professor

2 Aluno

3 Teacutecnicos

4 Aula

5 Plano de Ensino

6 Programa da Disciplina

7 Curriacuteculo

8 Curso

9 PDI

10 IES

Objetos da Avaliaccedilatildeo Duas conclusotildees principais podem ser extraiacutedas

da literatura

1 qualquer coisa por assim dizer pode ser objeto de avaliaccedilatildeo e a avaliaccedilatildeo natildeo deve limitar-se aos estudantes ou aos professores e teacutecnicos

2 identificar o objeto da avaliaccedilatildeo eacute uma parte importante no desenvolvimento de um projeto avaliativo

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 10: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

As dez perguntas na literatura 1 Como a avaliaccedilatildeo eacute definida

2 Quais satildeo as funccedilotildees da avaliaccedilatildeo

3 Quais satildeo os objetos da avaliaccedilatildeo

4 Que tipo de informaccedilatildeo sobre o objeto deve ser reunida

5 Que criteacuterios devem ser utilizados para julgar o meacuterito e o valor de um objeto avaliado

6 A quem deve servir a avaliaccedilatildeo

7 Como eacute o processo de avaliaccedilatildeo

8 Que meacutetodos de investigaccedilatildeo devem ser utilizados na avaliaccedilatildeo

9 Quem deve fazer a avaliaccedilatildeo

10 Como avaliar a avaliaccedilatildeo

Definiccedilatildeo mais utilizada

ldquoA investigaccedilatildeo sistemaacutetica do valor e do meacuterito de algum objetordquo

(Joint Committee on Standards for Evaluation 1981)

Funccedilotildees da Avaliaccedilatildeo

melhorar

Selecionar

certificar

Motivar tomar decisotildees

formativa

somativa

administrativa

psicoloacutegica

1 Avaliar as IES os cursos de graduaccedilatildeo e o

desempenho acadecircmico de estudantes

2 Melhorar a qualidade da educaccedilatildeo superior

3 aumentar a eficaacutecia institucional da educaccedilatildeo

superior

4 Aumentar a efetividade acadecircmica e social

da educaccedilatildeo superior

5 Orientar a expansatildeo da oferta de educaccedilatildeo

superior

DOS OBJETIVOS DO SINAES Funccedilotildees do Sinaes

Art 2o

Paraacutegrafo uacutenico Os resultados da avaliaccedilatildeo constituiratildeo referencial baacutesico dos processos de regulaccedilatildeo e supervisatildeo da educaccedilatildeo superior neles compreendidos o credenciamento e a renovaccedilatildeo de credenciamento de instituiccedilotildees de educaccedilatildeo superior a autorizaccedilatildeo o reconhecimento e a renovaccedilatildeo de reconhecimento de cursos de graduaccedilatildeo

A Lei do Sinaes

Atos Regulatoacuterios para as IES

IES

CREDENCIAMENTO

RECREDENCIAMENTO

Atos regulatoacuterios para as IES

Atos Regulatoacuterios para Cursos

Curso

Autorizaccedilatildeo

Reconhecimento

Renovaccedilatildeo de Reconhecimento

Atos regulatoacuterios para os cursos

Posso entatildeo dizer que o informativo

estaacute sendo bem utilizado

Estamos na rota certa

Eis o uacuteltimo

relatoacuterio

O Projeto

Art 10 Os resultados considerados insatisfatoacuterios ensejaratildeo a celebraccedilatildeo de protocolo de compromisso a ser firmado entre a instituiccedilatildeo de educaccedilatildeo superior e o Ministeacuterio da Educaccedilatildeo que deveraacute conter

I ndash o diagnoacutestico objetivo das condiccedilotildees da instituiccedilatildeo

II ndash os encaminhamentos processos e accedilotildees a serem adotados pela instituiccedilatildeo de educaccedilatildeo superior com vistas na superaccedilatildeo das dificuldades detectadas

A Lei do Sinaes

DAS ORIGENS bull 2 Constituiccedilatildeo de 1988 bull Art 209 ldquoo ensino eacute livre agrave iniciativa

privadardquo mediante ldquoavaliaccedilatildeo de qualidade pelo poder puacuteblicordquo

bull 3 Lei 9131 (1995) ndash cria CNE e avaliaccedilatildeo perioacutedica das IES e Cursos

bull 4 LDB (1996) ndash Art 9 inciso IX cabe ao governo federal ldquoautorizar reconhecer credenciar supervisionar e avaliar cursos e instituiccedilotildees de educaccedilatildeo superiorrdquo

bull Inciso VI ndash ldquoassegurar processo nacional de avaliaccedilatildeo do rendimento escolarrdquo

As Leis da Avaliaccedilatildeo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

1 Prevecirc a criaccedilatildeo de Sistema Nacional de Avaliaccedilatildeo

bull Art 4 a Uniatildeo instituiraacute o Sistema Nacional de Avaliaccedilatildeo e estabeleceraacute os mecanismos necessaacuterios ao acompanhamento das metas constantes do PNE

bull 2 Diretriz do PNE para a regulaccedilatildeo do sistema ldquoplanejar a expansatildeo com qualidaderdquo

bull 3 Visatildeo do PNE bull ldquonenhum paiacutes pode aspirar a ser desenvolvido e

independente sem um forte sistema de educaccedilatildeo superiorrdquo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

bull Traduccedilatildeo da proposta de Estado (PNE) em proposta de governo

Missatildeo

Estrateacutegica

Naccedilatildeo Soberana

Naccedilatildeo Democraacutetica

Naccedilatildeo Inclusiva

Sociedade Emancipada

Um certo rei que gostava muito da companhia de

Mulla Nasrudim e de caccedilar ordenou que o guru o

acompanhasse numa caccedilada de ursos Nasrudim

estava apavorado Quando apoacutes a caccedilada retornou

a seu vilarejo algueacutem lhe perguntou

--Como foi a caccedilada

--Maravilhosa

--Quantos ursos viram

--Nenhum

--Como entatildeo pode ter sido uma boa caccedilada

--Quando vocecirc sai para caccedilar ursos e vocecirc eacute como

eu natildeo encontrar urso algum eacute uma experiecircncia

maravilhosa

Nasrudim e os ursos

Objetos da Avaliaccedilatildeo 1 Professor

2 Aluno

3 Teacutecnicos

4 Aula

5 Plano de Ensino

6 Programa da Disciplina

7 Curriacuteculo

8 Curso

9 PDI

10 IES

Objetos da Avaliaccedilatildeo Duas conclusotildees principais podem ser extraiacutedas

da literatura

1 qualquer coisa por assim dizer pode ser objeto de avaliaccedilatildeo e a avaliaccedilatildeo natildeo deve limitar-se aos estudantes ou aos professores e teacutecnicos

2 identificar o objeto da avaliaccedilatildeo eacute uma parte importante no desenvolvimento de um projeto avaliativo

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 11: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Definiccedilatildeo mais utilizada

ldquoA investigaccedilatildeo sistemaacutetica do valor e do meacuterito de algum objetordquo

(Joint Committee on Standards for Evaluation 1981)

Funccedilotildees da Avaliaccedilatildeo

melhorar

Selecionar

certificar

Motivar tomar decisotildees

formativa

somativa

administrativa

psicoloacutegica

1 Avaliar as IES os cursos de graduaccedilatildeo e o

desempenho acadecircmico de estudantes

2 Melhorar a qualidade da educaccedilatildeo superior

3 aumentar a eficaacutecia institucional da educaccedilatildeo

superior

4 Aumentar a efetividade acadecircmica e social

da educaccedilatildeo superior

5 Orientar a expansatildeo da oferta de educaccedilatildeo

superior

DOS OBJETIVOS DO SINAES Funccedilotildees do Sinaes

Art 2o

Paraacutegrafo uacutenico Os resultados da avaliaccedilatildeo constituiratildeo referencial baacutesico dos processos de regulaccedilatildeo e supervisatildeo da educaccedilatildeo superior neles compreendidos o credenciamento e a renovaccedilatildeo de credenciamento de instituiccedilotildees de educaccedilatildeo superior a autorizaccedilatildeo o reconhecimento e a renovaccedilatildeo de reconhecimento de cursos de graduaccedilatildeo

A Lei do Sinaes

Atos Regulatoacuterios para as IES

IES

CREDENCIAMENTO

RECREDENCIAMENTO

Atos regulatoacuterios para as IES

Atos Regulatoacuterios para Cursos

Curso

Autorizaccedilatildeo

Reconhecimento

Renovaccedilatildeo de Reconhecimento

Atos regulatoacuterios para os cursos

Posso entatildeo dizer que o informativo

estaacute sendo bem utilizado

Estamos na rota certa

Eis o uacuteltimo

relatoacuterio

O Projeto

Art 10 Os resultados considerados insatisfatoacuterios ensejaratildeo a celebraccedilatildeo de protocolo de compromisso a ser firmado entre a instituiccedilatildeo de educaccedilatildeo superior e o Ministeacuterio da Educaccedilatildeo que deveraacute conter

I ndash o diagnoacutestico objetivo das condiccedilotildees da instituiccedilatildeo

II ndash os encaminhamentos processos e accedilotildees a serem adotados pela instituiccedilatildeo de educaccedilatildeo superior com vistas na superaccedilatildeo das dificuldades detectadas

A Lei do Sinaes

DAS ORIGENS bull 2 Constituiccedilatildeo de 1988 bull Art 209 ldquoo ensino eacute livre agrave iniciativa

privadardquo mediante ldquoavaliaccedilatildeo de qualidade pelo poder puacuteblicordquo

bull 3 Lei 9131 (1995) ndash cria CNE e avaliaccedilatildeo perioacutedica das IES e Cursos

bull 4 LDB (1996) ndash Art 9 inciso IX cabe ao governo federal ldquoautorizar reconhecer credenciar supervisionar e avaliar cursos e instituiccedilotildees de educaccedilatildeo superiorrdquo

bull Inciso VI ndash ldquoassegurar processo nacional de avaliaccedilatildeo do rendimento escolarrdquo

As Leis da Avaliaccedilatildeo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

1 Prevecirc a criaccedilatildeo de Sistema Nacional de Avaliaccedilatildeo

bull Art 4 a Uniatildeo instituiraacute o Sistema Nacional de Avaliaccedilatildeo e estabeleceraacute os mecanismos necessaacuterios ao acompanhamento das metas constantes do PNE

bull 2 Diretriz do PNE para a regulaccedilatildeo do sistema ldquoplanejar a expansatildeo com qualidaderdquo

bull 3 Visatildeo do PNE bull ldquonenhum paiacutes pode aspirar a ser desenvolvido e

independente sem um forte sistema de educaccedilatildeo superiorrdquo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

bull Traduccedilatildeo da proposta de Estado (PNE) em proposta de governo

Missatildeo

Estrateacutegica

Naccedilatildeo Soberana

Naccedilatildeo Democraacutetica

Naccedilatildeo Inclusiva

Sociedade Emancipada

Um certo rei que gostava muito da companhia de

Mulla Nasrudim e de caccedilar ordenou que o guru o

acompanhasse numa caccedilada de ursos Nasrudim

estava apavorado Quando apoacutes a caccedilada retornou

a seu vilarejo algueacutem lhe perguntou

--Como foi a caccedilada

--Maravilhosa

--Quantos ursos viram

--Nenhum

--Como entatildeo pode ter sido uma boa caccedilada

--Quando vocecirc sai para caccedilar ursos e vocecirc eacute como

eu natildeo encontrar urso algum eacute uma experiecircncia

maravilhosa

Nasrudim e os ursos

Objetos da Avaliaccedilatildeo 1 Professor

2 Aluno

3 Teacutecnicos

4 Aula

5 Plano de Ensino

6 Programa da Disciplina

7 Curriacuteculo

8 Curso

9 PDI

10 IES

Objetos da Avaliaccedilatildeo Duas conclusotildees principais podem ser extraiacutedas

da literatura

1 qualquer coisa por assim dizer pode ser objeto de avaliaccedilatildeo e a avaliaccedilatildeo natildeo deve limitar-se aos estudantes ou aos professores e teacutecnicos

2 identificar o objeto da avaliaccedilatildeo eacute uma parte importante no desenvolvimento de um projeto avaliativo

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 12: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Funccedilotildees da Avaliaccedilatildeo

melhorar

Selecionar

certificar

Motivar tomar decisotildees

formativa

somativa

administrativa

psicoloacutegica

1 Avaliar as IES os cursos de graduaccedilatildeo e o

desempenho acadecircmico de estudantes

2 Melhorar a qualidade da educaccedilatildeo superior

3 aumentar a eficaacutecia institucional da educaccedilatildeo

superior

4 Aumentar a efetividade acadecircmica e social

da educaccedilatildeo superior

5 Orientar a expansatildeo da oferta de educaccedilatildeo

superior

DOS OBJETIVOS DO SINAES Funccedilotildees do Sinaes

Art 2o

Paraacutegrafo uacutenico Os resultados da avaliaccedilatildeo constituiratildeo referencial baacutesico dos processos de regulaccedilatildeo e supervisatildeo da educaccedilatildeo superior neles compreendidos o credenciamento e a renovaccedilatildeo de credenciamento de instituiccedilotildees de educaccedilatildeo superior a autorizaccedilatildeo o reconhecimento e a renovaccedilatildeo de reconhecimento de cursos de graduaccedilatildeo

A Lei do Sinaes

Atos Regulatoacuterios para as IES

IES

CREDENCIAMENTO

RECREDENCIAMENTO

Atos regulatoacuterios para as IES

Atos Regulatoacuterios para Cursos

Curso

Autorizaccedilatildeo

Reconhecimento

Renovaccedilatildeo de Reconhecimento

Atos regulatoacuterios para os cursos

Posso entatildeo dizer que o informativo

estaacute sendo bem utilizado

Estamos na rota certa

Eis o uacuteltimo

relatoacuterio

O Projeto

Art 10 Os resultados considerados insatisfatoacuterios ensejaratildeo a celebraccedilatildeo de protocolo de compromisso a ser firmado entre a instituiccedilatildeo de educaccedilatildeo superior e o Ministeacuterio da Educaccedilatildeo que deveraacute conter

I ndash o diagnoacutestico objetivo das condiccedilotildees da instituiccedilatildeo

II ndash os encaminhamentos processos e accedilotildees a serem adotados pela instituiccedilatildeo de educaccedilatildeo superior com vistas na superaccedilatildeo das dificuldades detectadas

A Lei do Sinaes

DAS ORIGENS bull 2 Constituiccedilatildeo de 1988 bull Art 209 ldquoo ensino eacute livre agrave iniciativa

privadardquo mediante ldquoavaliaccedilatildeo de qualidade pelo poder puacuteblicordquo

bull 3 Lei 9131 (1995) ndash cria CNE e avaliaccedilatildeo perioacutedica das IES e Cursos

bull 4 LDB (1996) ndash Art 9 inciso IX cabe ao governo federal ldquoautorizar reconhecer credenciar supervisionar e avaliar cursos e instituiccedilotildees de educaccedilatildeo superiorrdquo

bull Inciso VI ndash ldquoassegurar processo nacional de avaliaccedilatildeo do rendimento escolarrdquo

As Leis da Avaliaccedilatildeo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

1 Prevecirc a criaccedilatildeo de Sistema Nacional de Avaliaccedilatildeo

bull Art 4 a Uniatildeo instituiraacute o Sistema Nacional de Avaliaccedilatildeo e estabeleceraacute os mecanismos necessaacuterios ao acompanhamento das metas constantes do PNE

bull 2 Diretriz do PNE para a regulaccedilatildeo do sistema ldquoplanejar a expansatildeo com qualidaderdquo

bull 3 Visatildeo do PNE bull ldquonenhum paiacutes pode aspirar a ser desenvolvido e

independente sem um forte sistema de educaccedilatildeo superiorrdquo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

bull Traduccedilatildeo da proposta de Estado (PNE) em proposta de governo

Missatildeo

Estrateacutegica

Naccedilatildeo Soberana

Naccedilatildeo Democraacutetica

Naccedilatildeo Inclusiva

Sociedade Emancipada

Um certo rei que gostava muito da companhia de

Mulla Nasrudim e de caccedilar ordenou que o guru o

acompanhasse numa caccedilada de ursos Nasrudim

estava apavorado Quando apoacutes a caccedilada retornou

a seu vilarejo algueacutem lhe perguntou

--Como foi a caccedilada

--Maravilhosa

--Quantos ursos viram

--Nenhum

--Como entatildeo pode ter sido uma boa caccedilada

--Quando vocecirc sai para caccedilar ursos e vocecirc eacute como

eu natildeo encontrar urso algum eacute uma experiecircncia

maravilhosa

Nasrudim e os ursos

Objetos da Avaliaccedilatildeo 1 Professor

2 Aluno

3 Teacutecnicos

4 Aula

5 Plano de Ensino

6 Programa da Disciplina

7 Curriacuteculo

8 Curso

9 PDI

10 IES

Objetos da Avaliaccedilatildeo Duas conclusotildees principais podem ser extraiacutedas

da literatura

1 qualquer coisa por assim dizer pode ser objeto de avaliaccedilatildeo e a avaliaccedilatildeo natildeo deve limitar-se aos estudantes ou aos professores e teacutecnicos

2 identificar o objeto da avaliaccedilatildeo eacute uma parte importante no desenvolvimento de um projeto avaliativo

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 13: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

1 Avaliar as IES os cursos de graduaccedilatildeo e o

desempenho acadecircmico de estudantes

2 Melhorar a qualidade da educaccedilatildeo superior

3 aumentar a eficaacutecia institucional da educaccedilatildeo

superior

4 Aumentar a efetividade acadecircmica e social

da educaccedilatildeo superior

5 Orientar a expansatildeo da oferta de educaccedilatildeo

superior

DOS OBJETIVOS DO SINAES Funccedilotildees do Sinaes

Art 2o

Paraacutegrafo uacutenico Os resultados da avaliaccedilatildeo constituiratildeo referencial baacutesico dos processos de regulaccedilatildeo e supervisatildeo da educaccedilatildeo superior neles compreendidos o credenciamento e a renovaccedilatildeo de credenciamento de instituiccedilotildees de educaccedilatildeo superior a autorizaccedilatildeo o reconhecimento e a renovaccedilatildeo de reconhecimento de cursos de graduaccedilatildeo

A Lei do Sinaes

Atos Regulatoacuterios para as IES

IES

CREDENCIAMENTO

RECREDENCIAMENTO

Atos regulatoacuterios para as IES

Atos Regulatoacuterios para Cursos

Curso

Autorizaccedilatildeo

Reconhecimento

Renovaccedilatildeo de Reconhecimento

Atos regulatoacuterios para os cursos

Posso entatildeo dizer que o informativo

estaacute sendo bem utilizado

Estamos na rota certa

Eis o uacuteltimo

relatoacuterio

O Projeto

Art 10 Os resultados considerados insatisfatoacuterios ensejaratildeo a celebraccedilatildeo de protocolo de compromisso a ser firmado entre a instituiccedilatildeo de educaccedilatildeo superior e o Ministeacuterio da Educaccedilatildeo que deveraacute conter

I ndash o diagnoacutestico objetivo das condiccedilotildees da instituiccedilatildeo

II ndash os encaminhamentos processos e accedilotildees a serem adotados pela instituiccedilatildeo de educaccedilatildeo superior com vistas na superaccedilatildeo das dificuldades detectadas

A Lei do Sinaes

DAS ORIGENS bull 2 Constituiccedilatildeo de 1988 bull Art 209 ldquoo ensino eacute livre agrave iniciativa

privadardquo mediante ldquoavaliaccedilatildeo de qualidade pelo poder puacuteblicordquo

bull 3 Lei 9131 (1995) ndash cria CNE e avaliaccedilatildeo perioacutedica das IES e Cursos

bull 4 LDB (1996) ndash Art 9 inciso IX cabe ao governo federal ldquoautorizar reconhecer credenciar supervisionar e avaliar cursos e instituiccedilotildees de educaccedilatildeo superiorrdquo

bull Inciso VI ndash ldquoassegurar processo nacional de avaliaccedilatildeo do rendimento escolarrdquo

As Leis da Avaliaccedilatildeo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

1 Prevecirc a criaccedilatildeo de Sistema Nacional de Avaliaccedilatildeo

bull Art 4 a Uniatildeo instituiraacute o Sistema Nacional de Avaliaccedilatildeo e estabeleceraacute os mecanismos necessaacuterios ao acompanhamento das metas constantes do PNE

bull 2 Diretriz do PNE para a regulaccedilatildeo do sistema ldquoplanejar a expansatildeo com qualidaderdquo

bull 3 Visatildeo do PNE bull ldquonenhum paiacutes pode aspirar a ser desenvolvido e

independente sem um forte sistema de educaccedilatildeo superiorrdquo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

bull Traduccedilatildeo da proposta de Estado (PNE) em proposta de governo

Missatildeo

Estrateacutegica

Naccedilatildeo Soberana

Naccedilatildeo Democraacutetica

Naccedilatildeo Inclusiva

Sociedade Emancipada

Um certo rei que gostava muito da companhia de

Mulla Nasrudim e de caccedilar ordenou que o guru o

acompanhasse numa caccedilada de ursos Nasrudim

estava apavorado Quando apoacutes a caccedilada retornou

a seu vilarejo algueacutem lhe perguntou

--Como foi a caccedilada

--Maravilhosa

--Quantos ursos viram

--Nenhum

--Como entatildeo pode ter sido uma boa caccedilada

--Quando vocecirc sai para caccedilar ursos e vocecirc eacute como

eu natildeo encontrar urso algum eacute uma experiecircncia

maravilhosa

Nasrudim e os ursos

Objetos da Avaliaccedilatildeo 1 Professor

2 Aluno

3 Teacutecnicos

4 Aula

5 Plano de Ensino

6 Programa da Disciplina

7 Curriacuteculo

8 Curso

9 PDI

10 IES

Objetos da Avaliaccedilatildeo Duas conclusotildees principais podem ser extraiacutedas

da literatura

1 qualquer coisa por assim dizer pode ser objeto de avaliaccedilatildeo e a avaliaccedilatildeo natildeo deve limitar-se aos estudantes ou aos professores e teacutecnicos

2 identificar o objeto da avaliaccedilatildeo eacute uma parte importante no desenvolvimento de um projeto avaliativo

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 14: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Art 2o

Paraacutegrafo uacutenico Os resultados da avaliaccedilatildeo constituiratildeo referencial baacutesico dos processos de regulaccedilatildeo e supervisatildeo da educaccedilatildeo superior neles compreendidos o credenciamento e a renovaccedilatildeo de credenciamento de instituiccedilotildees de educaccedilatildeo superior a autorizaccedilatildeo o reconhecimento e a renovaccedilatildeo de reconhecimento de cursos de graduaccedilatildeo

A Lei do Sinaes

Atos Regulatoacuterios para as IES

IES

CREDENCIAMENTO

RECREDENCIAMENTO

Atos regulatoacuterios para as IES

Atos Regulatoacuterios para Cursos

Curso

Autorizaccedilatildeo

Reconhecimento

Renovaccedilatildeo de Reconhecimento

Atos regulatoacuterios para os cursos

Posso entatildeo dizer que o informativo

estaacute sendo bem utilizado

Estamos na rota certa

Eis o uacuteltimo

relatoacuterio

O Projeto

Art 10 Os resultados considerados insatisfatoacuterios ensejaratildeo a celebraccedilatildeo de protocolo de compromisso a ser firmado entre a instituiccedilatildeo de educaccedilatildeo superior e o Ministeacuterio da Educaccedilatildeo que deveraacute conter

I ndash o diagnoacutestico objetivo das condiccedilotildees da instituiccedilatildeo

II ndash os encaminhamentos processos e accedilotildees a serem adotados pela instituiccedilatildeo de educaccedilatildeo superior com vistas na superaccedilatildeo das dificuldades detectadas

A Lei do Sinaes

DAS ORIGENS bull 2 Constituiccedilatildeo de 1988 bull Art 209 ldquoo ensino eacute livre agrave iniciativa

privadardquo mediante ldquoavaliaccedilatildeo de qualidade pelo poder puacuteblicordquo

bull 3 Lei 9131 (1995) ndash cria CNE e avaliaccedilatildeo perioacutedica das IES e Cursos

bull 4 LDB (1996) ndash Art 9 inciso IX cabe ao governo federal ldquoautorizar reconhecer credenciar supervisionar e avaliar cursos e instituiccedilotildees de educaccedilatildeo superiorrdquo

bull Inciso VI ndash ldquoassegurar processo nacional de avaliaccedilatildeo do rendimento escolarrdquo

As Leis da Avaliaccedilatildeo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

1 Prevecirc a criaccedilatildeo de Sistema Nacional de Avaliaccedilatildeo

bull Art 4 a Uniatildeo instituiraacute o Sistema Nacional de Avaliaccedilatildeo e estabeleceraacute os mecanismos necessaacuterios ao acompanhamento das metas constantes do PNE

bull 2 Diretriz do PNE para a regulaccedilatildeo do sistema ldquoplanejar a expansatildeo com qualidaderdquo

bull 3 Visatildeo do PNE bull ldquonenhum paiacutes pode aspirar a ser desenvolvido e

independente sem um forte sistema de educaccedilatildeo superiorrdquo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

bull Traduccedilatildeo da proposta de Estado (PNE) em proposta de governo

Missatildeo

Estrateacutegica

Naccedilatildeo Soberana

Naccedilatildeo Democraacutetica

Naccedilatildeo Inclusiva

Sociedade Emancipada

Um certo rei que gostava muito da companhia de

Mulla Nasrudim e de caccedilar ordenou que o guru o

acompanhasse numa caccedilada de ursos Nasrudim

estava apavorado Quando apoacutes a caccedilada retornou

a seu vilarejo algueacutem lhe perguntou

--Como foi a caccedilada

--Maravilhosa

--Quantos ursos viram

--Nenhum

--Como entatildeo pode ter sido uma boa caccedilada

--Quando vocecirc sai para caccedilar ursos e vocecirc eacute como

eu natildeo encontrar urso algum eacute uma experiecircncia

maravilhosa

Nasrudim e os ursos

Objetos da Avaliaccedilatildeo 1 Professor

2 Aluno

3 Teacutecnicos

4 Aula

5 Plano de Ensino

6 Programa da Disciplina

7 Curriacuteculo

8 Curso

9 PDI

10 IES

Objetos da Avaliaccedilatildeo Duas conclusotildees principais podem ser extraiacutedas

da literatura

1 qualquer coisa por assim dizer pode ser objeto de avaliaccedilatildeo e a avaliaccedilatildeo natildeo deve limitar-se aos estudantes ou aos professores e teacutecnicos

2 identificar o objeto da avaliaccedilatildeo eacute uma parte importante no desenvolvimento de um projeto avaliativo

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 15: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Atos Regulatoacuterios para as IES

IES

CREDENCIAMENTO

RECREDENCIAMENTO

Atos regulatoacuterios para as IES

Atos Regulatoacuterios para Cursos

Curso

Autorizaccedilatildeo

Reconhecimento

Renovaccedilatildeo de Reconhecimento

Atos regulatoacuterios para os cursos

Posso entatildeo dizer que o informativo

estaacute sendo bem utilizado

Estamos na rota certa

Eis o uacuteltimo

relatoacuterio

O Projeto

Art 10 Os resultados considerados insatisfatoacuterios ensejaratildeo a celebraccedilatildeo de protocolo de compromisso a ser firmado entre a instituiccedilatildeo de educaccedilatildeo superior e o Ministeacuterio da Educaccedilatildeo que deveraacute conter

I ndash o diagnoacutestico objetivo das condiccedilotildees da instituiccedilatildeo

II ndash os encaminhamentos processos e accedilotildees a serem adotados pela instituiccedilatildeo de educaccedilatildeo superior com vistas na superaccedilatildeo das dificuldades detectadas

A Lei do Sinaes

DAS ORIGENS bull 2 Constituiccedilatildeo de 1988 bull Art 209 ldquoo ensino eacute livre agrave iniciativa

privadardquo mediante ldquoavaliaccedilatildeo de qualidade pelo poder puacuteblicordquo

bull 3 Lei 9131 (1995) ndash cria CNE e avaliaccedilatildeo perioacutedica das IES e Cursos

bull 4 LDB (1996) ndash Art 9 inciso IX cabe ao governo federal ldquoautorizar reconhecer credenciar supervisionar e avaliar cursos e instituiccedilotildees de educaccedilatildeo superiorrdquo

bull Inciso VI ndash ldquoassegurar processo nacional de avaliaccedilatildeo do rendimento escolarrdquo

As Leis da Avaliaccedilatildeo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

1 Prevecirc a criaccedilatildeo de Sistema Nacional de Avaliaccedilatildeo

bull Art 4 a Uniatildeo instituiraacute o Sistema Nacional de Avaliaccedilatildeo e estabeleceraacute os mecanismos necessaacuterios ao acompanhamento das metas constantes do PNE

bull 2 Diretriz do PNE para a regulaccedilatildeo do sistema ldquoplanejar a expansatildeo com qualidaderdquo

bull 3 Visatildeo do PNE bull ldquonenhum paiacutes pode aspirar a ser desenvolvido e

independente sem um forte sistema de educaccedilatildeo superiorrdquo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

bull Traduccedilatildeo da proposta de Estado (PNE) em proposta de governo

Missatildeo

Estrateacutegica

Naccedilatildeo Soberana

Naccedilatildeo Democraacutetica

Naccedilatildeo Inclusiva

Sociedade Emancipada

Um certo rei que gostava muito da companhia de

Mulla Nasrudim e de caccedilar ordenou que o guru o

acompanhasse numa caccedilada de ursos Nasrudim

estava apavorado Quando apoacutes a caccedilada retornou

a seu vilarejo algueacutem lhe perguntou

--Como foi a caccedilada

--Maravilhosa

--Quantos ursos viram

--Nenhum

--Como entatildeo pode ter sido uma boa caccedilada

--Quando vocecirc sai para caccedilar ursos e vocecirc eacute como

eu natildeo encontrar urso algum eacute uma experiecircncia

maravilhosa

Nasrudim e os ursos

Objetos da Avaliaccedilatildeo 1 Professor

2 Aluno

3 Teacutecnicos

4 Aula

5 Plano de Ensino

6 Programa da Disciplina

7 Curriacuteculo

8 Curso

9 PDI

10 IES

Objetos da Avaliaccedilatildeo Duas conclusotildees principais podem ser extraiacutedas

da literatura

1 qualquer coisa por assim dizer pode ser objeto de avaliaccedilatildeo e a avaliaccedilatildeo natildeo deve limitar-se aos estudantes ou aos professores e teacutecnicos

2 identificar o objeto da avaliaccedilatildeo eacute uma parte importante no desenvolvimento de um projeto avaliativo

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 16: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Atos Regulatoacuterios para Cursos

Curso

Autorizaccedilatildeo

Reconhecimento

Renovaccedilatildeo de Reconhecimento

Atos regulatoacuterios para os cursos

Posso entatildeo dizer que o informativo

estaacute sendo bem utilizado

Estamos na rota certa

Eis o uacuteltimo

relatoacuterio

O Projeto

Art 10 Os resultados considerados insatisfatoacuterios ensejaratildeo a celebraccedilatildeo de protocolo de compromisso a ser firmado entre a instituiccedilatildeo de educaccedilatildeo superior e o Ministeacuterio da Educaccedilatildeo que deveraacute conter

I ndash o diagnoacutestico objetivo das condiccedilotildees da instituiccedilatildeo

II ndash os encaminhamentos processos e accedilotildees a serem adotados pela instituiccedilatildeo de educaccedilatildeo superior com vistas na superaccedilatildeo das dificuldades detectadas

A Lei do Sinaes

DAS ORIGENS bull 2 Constituiccedilatildeo de 1988 bull Art 209 ldquoo ensino eacute livre agrave iniciativa

privadardquo mediante ldquoavaliaccedilatildeo de qualidade pelo poder puacuteblicordquo

bull 3 Lei 9131 (1995) ndash cria CNE e avaliaccedilatildeo perioacutedica das IES e Cursos

bull 4 LDB (1996) ndash Art 9 inciso IX cabe ao governo federal ldquoautorizar reconhecer credenciar supervisionar e avaliar cursos e instituiccedilotildees de educaccedilatildeo superiorrdquo

bull Inciso VI ndash ldquoassegurar processo nacional de avaliaccedilatildeo do rendimento escolarrdquo

As Leis da Avaliaccedilatildeo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

1 Prevecirc a criaccedilatildeo de Sistema Nacional de Avaliaccedilatildeo

bull Art 4 a Uniatildeo instituiraacute o Sistema Nacional de Avaliaccedilatildeo e estabeleceraacute os mecanismos necessaacuterios ao acompanhamento das metas constantes do PNE

bull 2 Diretriz do PNE para a regulaccedilatildeo do sistema ldquoplanejar a expansatildeo com qualidaderdquo

bull 3 Visatildeo do PNE bull ldquonenhum paiacutes pode aspirar a ser desenvolvido e

independente sem um forte sistema de educaccedilatildeo superiorrdquo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

bull Traduccedilatildeo da proposta de Estado (PNE) em proposta de governo

Missatildeo

Estrateacutegica

Naccedilatildeo Soberana

Naccedilatildeo Democraacutetica

Naccedilatildeo Inclusiva

Sociedade Emancipada

Um certo rei que gostava muito da companhia de

Mulla Nasrudim e de caccedilar ordenou que o guru o

acompanhasse numa caccedilada de ursos Nasrudim

estava apavorado Quando apoacutes a caccedilada retornou

a seu vilarejo algueacutem lhe perguntou

--Como foi a caccedilada

--Maravilhosa

--Quantos ursos viram

--Nenhum

--Como entatildeo pode ter sido uma boa caccedilada

--Quando vocecirc sai para caccedilar ursos e vocecirc eacute como

eu natildeo encontrar urso algum eacute uma experiecircncia

maravilhosa

Nasrudim e os ursos

Objetos da Avaliaccedilatildeo 1 Professor

2 Aluno

3 Teacutecnicos

4 Aula

5 Plano de Ensino

6 Programa da Disciplina

7 Curriacuteculo

8 Curso

9 PDI

10 IES

Objetos da Avaliaccedilatildeo Duas conclusotildees principais podem ser extraiacutedas

da literatura

1 qualquer coisa por assim dizer pode ser objeto de avaliaccedilatildeo e a avaliaccedilatildeo natildeo deve limitar-se aos estudantes ou aos professores e teacutecnicos

2 identificar o objeto da avaliaccedilatildeo eacute uma parte importante no desenvolvimento de um projeto avaliativo

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 17: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Posso entatildeo dizer que o informativo

estaacute sendo bem utilizado

Estamos na rota certa

Eis o uacuteltimo

relatoacuterio

O Projeto

Art 10 Os resultados considerados insatisfatoacuterios ensejaratildeo a celebraccedilatildeo de protocolo de compromisso a ser firmado entre a instituiccedilatildeo de educaccedilatildeo superior e o Ministeacuterio da Educaccedilatildeo que deveraacute conter

I ndash o diagnoacutestico objetivo das condiccedilotildees da instituiccedilatildeo

II ndash os encaminhamentos processos e accedilotildees a serem adotados pela instituiccedilatildeo de educaccedilatildeo superior com vistas na superaccedilatildeo das dificuldades detectadas

A Lei do Sinaes

DAS ORIGENS bull 2 Constituiccedilatildeo de 1988 bull Art 209 ldquoo ensino eacute livre agrave iniciativa

privadardquo mediante ldquoavaliaccedilatildeo de qualidade pelo poder puacuteblicordquo

bull 3 Lei 9131 (1995) ndash cria CNE e avaliaccedilatildeo perioacutedica das IES e Cursos

bull 4 LDB (1996) ndash Art 9 inciso IX cabe ao governo federal ldquoautorizar reconhecer credenciar supervisionar e avaliar cursos e instituiccedilotildees de educaccedilatildeo superiorrdquo

bull Inciso VI ndash ldquoassegurar processo nacional de avaliaccedilatildeo do rendimento escolarrdquo

As Leis da Avaliaccedilatildeo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

1 Prevecirc a criaccedilatildeo de Sistema Nacional de Avaliaccedilatildeo

bull Art 4 a Uniatildeo instituiraacute o Sistema Nacional de Avaliaccedilatildeo e estabeleceraacute os mecanismos necessaacuterios ao acompanhamento das metas constantes do PNE

bull 2 Diretriz do PNE para a regulaccedilatildeo do sistema ldquoplanejar a expansatildeo com qualidaderdquo

bull 3 Visatildeo do PNE bull ldquonenhum paiacutes pode aspirar a ser desenvolvido e

independente sem um forte sistema de educaccedilatildeo superiorrdquo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

bull Traduccedilatildeo da proposta de Estado (PNE) em proposta de governo

Missatildeo

Estrateacutegica

Naccedilatildeo Soberana

Naccedilatildeo Democraacutetica

Naccedilatildeo Inclusiva

Sociedade Emancipada

Um certo rei que gostava muito da companhia de

Mulla Nasrudim e de caccedilar ordenou que o guru o

acompanhasse numa caccedilada de ursos Nasrudim

estava apavorado Quando apoacutes a caccedilada retornou

a seu vilarejo algueacutem lhe perguntou

--Como foi a caccedilada

--Maravilhosa

--Quantos ursos viram

--Nenhum

--Como entatildeo pode ter sido uma boa caccedilada

--Quando vocecirc sai para caccedilar ursos e vocecirc eacute como

eu natildeo encontrar urso algum eacute uma experiecircncia

maravilhosa

Nasrudim e os ursos

Objetos da Avaliaccedilatildeo 1 Professor

2 Aluno

3 Teacutecnicos

4 Aula

5 Plano de Ensino

6 Programa da Disciplina

7 Curriacuteculo

8 Curso

9 PDI

10 IES

Objetos da Avaliaccedilatildeo Duas conclusotildees principais podem ser extraiacutedas

da literatura

1 qualquer coisa por assim dizer pode ser objeto de avaliaccedilatildeo e a avaliaccedilatildeo natildeo deve limitar-se aos estudantes ou aos professores e teacutecnicos

2 identificar o objeto da avaliaccedilatildeo eacute uma parte importante no desenvolvimento de um projeto avaliativo

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 18: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Estamos na rota certa

Eis o uacuteltimo

relatoacuterio

O Projeto

Art 10 Os resultados considerados insatisfatoacuterios ensejaratildeo a celebraccedilatildeo de protocolo de compromisso a ser firmado entre a instituiccedilatildeo de educaccedilatildeo superior e o Ministeacuterio da Educaccedilatildeo que deveraacute conter

I ndash o diagnoacutestico objetivo das condiccedilotildees da instituiccedilatildeo

II ndash os encaminhamentos processos e accedilotildees a serem adotados pela instituiccedilatildeo de educaccedilatildeo superior com vistas na superaccedilatildeo das dificuldades detectadas

A Lei do Sinaes

DAS ORIGENS bull 2 Constituiccedilatildeo de 1988 bull Art 209 ldquoo ensino eacute livre agrave iniciativa

privadardquo mediante ldquoavaliaccedilatildeo de qualidade pelo poder puacuteblicordquo

bull 3 Lei 9131 (1995) ndash cria CNE e avaliaccedilatildeo perioacutedica das IES e Cursos

bull 4 LDB (1996) ndash Art 9 inciso IX cabe ao governo federal ldquoautorizar reconhecer credenciar supervisionar e avaliar cursos e instituiccedilotildees de educaccedilatildeo superiorrdquo

bull Inciso VI ndash ldquoassegurar processo nacional de avaliaccedilatildeo do rendimento escolarrdquo

As Leis da Avaliaccedilatildeo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

1 Prevecirc a criaccedilatildeo de Sistema Nacional de Avaliaccedilatildeo

bull Art 4 a Uniatildeo instituiraacute o Sistema Nacional de Avaliaccedilatildeo e estabeleceraacute os mecanismos necessaacuterios ao acompanhamento das metas constantes do PNE

bull 2 Diretriz do PNE para a regulaccedilatildeo do sistema ldquoplanejar a expansatildeo com qualidaderdquo

bull 3 Visatildeo do PNE bull ldquonenhum paiacutes pode aspirar a ser desenvolvido e

independente sem um forte sistema de educaccedilatildeo superiorrdquo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

bull Traduccedilatildeo da proposta de Estado (PNE) em proposta de governo

Missatildeo

Estrateacutegica

Naccedilatildeo Soberana

Naccedilatildeo Democraacutetica

Naccedilatildeo Inclusiva

Sociedade Emancipada

Um certo rei que gostava muito da companhia de

Mulla Nasrudim e de caccedilar ordenou que o guru o

acompanhasse numa caccedilada de ursos Nasrudim

estava apavorado Quando apoacutes a caccedilada retornou

a seu vilarejo algueacutem lhe perguntou

--Como foi a caccedilada

--Maravilhosa

--Quantos ursos viram

--Nenhum

--Como entatildeo pode ter sido uma boa caccedilada

--Quando vocecirc sai para caccedilar ursos e vocecirc eacute como

eu natildeo encontrar urso algum eacute uma experiecircncia

maravilhosa

Nasrudim e os ursos

Objetos da Avaliaccedilatildeo 1 Professor

2 Aluno

3 Teacutecnicos

4 Aula

5 Plano de Ensino

6 Programa da Disciplina

7 Curriacuteculo

8 Curso

9 PDI

10 IES

Objetos da Avaliaccedilatildeo Duas conclusotildees principais podem ser extraiacutedas

da literatura

1 qualquer coisa por assim dizer pode ser objeto de avaliaccedilatildeo e a avaliaccedilatildeo natildeo deve limitar-se aos estudantes ou aos professores e teacutecnicos

2 identificar o objeto da avaliaccedilatildeo eacute uma parte importante no desenvolvimento de um projeto avaliativo

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 19: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Art 10 Os resultados considerados insatisfatoacuterios ensejaratildeo a celebraccedilatildeo de protocolo de compromisso a ser firmado entre a instituiccedilatildeo de educaccedilatildeo superior e o Ministeacuterio da Educaccedilatildeo que deveraacute conter

I ndash o diagnoacutestico objetivo das condiccedilotildees da instituiccedilatildeo

II ndash os encaminhamentos processos e accedilotildees a serem adotados pela instituiccedilatildeo de educaccedilatildeo superior com vistas na superaccedilatildeo das dificuldades detectadas

A Lei do Sinaes

DAS ORIGENS bull 2 Constituiccedilatildeo de 1988 bull Art 209 ldquoo ensino eacute livre agrave iniciativa

privadardquo mediante ldquoavaliaccedilatildeo de qualidade pelo poder puacuteblicordquo

bull 3 Lei 9131 (1995) ndash cria CNE e avaliaccedilatildeo perioacutedica das IES e Cursos

bull 4 LDB (1996) ndash Art 9 inciso IX cabe ao governo federal ldquoautorizar reconhecer credenciar supervisionar e avaliar cursos e instituiccedilotildees de educaccedilatildeo superiorrdquo

bull Inciso VI ndash ldquoassegurar processo nacional de avaliaccedilatildeo do rendimento escolarrdquo

As Leis da Avaliaccedilatildeo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

1 Prevecirc a criaccedilatildeo de Sistema Nacional de Avaliaccedilatildeo

bull Art 4 a Uniatildeo instituiraacute o Sistema Nacional de Avaliaccedilatildeo e estabeleceraacute os mecanismos necessaacuterios ao acompanhamento das metas constantes do PNE

bull 2 Diretriz do PNE para a regulaccedilatildeo do sistema ldquoplanejar a expansatildeo com qualidaderdquo

bull 3 Visatildeo do PNE bull ldquonenhum paiacutes pode aspirar a ser desenvolvido e

independente sem um forte sistema de educaccedilatildeo superiorrdquo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

bull Traduccedilatildeo da proposta de Estado (PNE) em proposta de governo

Missatildeo

Estrateacutegica

Naccedilatildeo Soberana

Naccedilatildeo Democraacutetica

Naccedilatildeo Inclusiva

Sociedade Emancipada

Um certo rei que gostava muito da companhia de

Mulla Nasrudim e de caccedilar ordenou que o guru o

acompanhasse numa caccedilada de ursos Nasrudim

estava apavorado Quando apoacutes a caccedilada retornou

a seu vilarejo algueacutem lhe perguntou

--Como foi a caccedilada

--Maravilhosa

--Quantos ursos viram

--Nenhum

--Como entatildeo pode ter sido uma boa caccedilada

--Quando vocecirc sai para caccedilar ursos e vocecirc eacute como

eu natildeo encontrar urso algum eacute uma experiecircncia

maravilhosa

Nasrudim e os ursos

Objetos da Avaliaccedilatildeo 1 Professor

2 Aluno

3 Teacutecnicos

4 Aula

5 Plano de Ensino

6 Programa da Disciplina

7 Curriacuteculo

8 Curso

9 PDI

10 IES

Objetos da Avaliaccedilatildeo Duas conclusotildees principais podem ser extraiacutedas

da literatura

1 qualquer coisa por assim dizer pode ser objeto de avaliaccedilatildeo e a avaliaccedilatildeo natildeo deve limitar-se aos estudantes ou aos professores e teacutecnicos

2 identificar o objeto da avaliaccedilatildeo eacute uma parte importante no desenvolvimento de um projeto avaliativo

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 20: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

DAS ORIGENS bull 2 Constituiccedilatildeo de 1988 bull Art 209 ldquoo ensino eacute livre agrave iniciativa

privadardquo mediante ldquoavaliaccedilatildeo de qualidade pelo poder puacuteblicordquo

bull 3 Lei 9131 (1995) ndash cria CNE e avaliaccedilatildeo perioacutedica das IES e Cursos

bull 4 LDB (1996) ndash Art 9 inciso IX cabe ao governo federal ldquoautorizar reconhecer credenciar supervisionar e avaliar cursos e instituiccedilotildees de educaccedilatildeo superiorrdquo

bull Inciso VI ndash ldquoassegurar processo nacional de avaliaccedilatildeo do rendimento escolarrdquo

As Leis da Avaliaccedilatildeo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

1 Prevecirc a criaccedilatildeo de Sistema Nacional de Avaliaccedilatildeo

bull Art 4 a Uniatildeo instituiraacute o Sistema Nacional de Avaliaccedilatildeo e estabeleceraacute os mecanismos necessaacuterios ao acompanhamento das metas constantes do PNE

bull 2 Diretriz do PNE para a regulaccedilatildeo do sistema ldquoplanejar a expansatildeo com qualidaderdquo

bull 3 Visatildeo do PNE bull ldquonenhum paiacutes pode aspirar a ser desenvolvido e

independente sem um forte sistema de educaccedilatildeo superiorrdquo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

bull Traduccedilatildeo da proposta de Estado (PNE) em proposta de governo

Missatildeo

Estrateacutegica

Naccedilatildeo Soberana

Naccedilatildeo Democraacutetica

Naccedilatildeo Inclusiva

Sociedade Emancipada

Um certo rei que gostava muito da companhia de

Mulla Nasrudim e de caccedilar ordenou que o guru o

acompanhasse numa caccedilada de ursos Nasrudim

estava apavorado Quando apoacutes a caccedilada retornou

a seu vilarejo algueacutem lhe perguntou

--Como foi a caccedilada

--Maravilhosa

--Quantos ursos viram

--Nenhum

--Como entatildeo pode ter sido uma boa caccedilada

--Quando vocecirc sai para caccedilar ursos e vocecirc eacute como

eu natildeo encontrar urso algum eacute uma experiecircncia

maravilhosa

Nasrudim e os ursos

Objetos da Avaliaccedilatildeo 1 Professor

2 Aluno

3 Teacutecnicos

4 Aula

5 Plano de Ensino

6 Programa da Disciplina

7 Curriacuteculo

8 Curso

9 PDI

10 IES

Objetos da Avaliaccedilatildeo Duas conclusotildees principais podem ser extraiacutedas

da literatura

1 qualquer coisa por assim dizer pode ser objeto de avaliaccedilatildeo e a avaliaccedilatildeo natildeo deve limitar-se aos estudantes ou aos professores e teacutecnicos

2 identificar o objeto da avaliaccedilatildeo eacute uma parte importante no desenvolvimento de um projeto avaliativo

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 21: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Plano Nacional de Educaccedilatildeo (Lei 101722001)

1 Prevecirc a criaccedilatildeo de Sistema Nacional de Avaliaccedilatildeo

bull Art 4 a Uniatildeo instituiraacute o Sistema Nacional de Avaliaccedilatildeo e estabeleceraacute os mecanismos necessaacuterios ao acompanhamento das metas constantes do PNE

bull 2 Diretriz do PNE para a regulaccedilatildeo do sistema ldquoplanejar a expansatildeo com qualidaderdquo

bull 3 Visatildeo do PNE bull ldquonenhum paiacutes pode aspirar a ser desenvolvido e

independente sem um forte sistema de educaccedilatildeo superiorrdquo

Plano Nacional de Educaccedilatildeo (Lei 101722001)

bull Traduccedilatildeo da proposta de Estado (PNE) em proposta de governo

Missatildeo

Estrateacutegica

Naccedilatildeo Soberana

Naccedilatildeo Democraacutetica

Naccedilatildeo Inclusiva

Sociedade Emancipada

Um certo rei que gostava muito da companhia de

Mulla Nasrudim e de caccedilar ordenou que o guru o

acompanhasse numa caccedilada de ursos Nasrudim

estava apavorado Quando apoacutes a caccedilada retornou

a seu vilarejo algueacutem lhe perguntou

--Como foi a caccedilada

--Maravilhosa

--Quantos ursos viram

--Nenhum

--Como entatildeo pode ter sido uma boa caccedilada

--Quando vocecirc sai para caccedilar ursos e vocecirc eacute como

eu natildeo encontrar urso algum eacute uma experiecircncia

maravilhosa

Nasrudim e os ursos

Objetos da Avaliaccedilatildeo 1 Professor

2 Aluno

3 Teacutecnicos

4 Aula

5 Plano de Ensino

6 Programa da Disciplina

7 Curriacuteculo

8 Curso

9 PDI

10 IES

Objetos da Avaliaccedilatildeo Duas conclusotildees principais podem ser extraiacutedas

da literatura

1 qualquer coisa por assim dizer pode ser objeto de avaliaccedilatildeo e a avaliaccedilatildeo natildeo deve limitar-se aos estudantes ou aos professores e teacutecnicos

2 identificar o objeto da avaliaccedilatildeo eacute uma parte importante no desenvolvimento de um projeto avaliativo

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 22: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Plano Nacional de Educaccedilatildeo (Lei 101722001)

bull Traduccedilatildeo da proposta de Estado (PNE) em proposta de governo

Missatildeo

Estrateacutegica

Naccedilatildeo Soberana

Naccedilatildeo Democraacutetica

Naccedilatildeo Inclusiva

Sociedade Emancipada

Um certo rei que gostava muito da companhia de

Mulla Nasrudim e de caccedilar ordenou que o guru o

acompanhasse numa caccedilada de ursos Nasrudim

estava apavorado Quando apoacutes a caccedilada retornou

a seu vilarejo algueacutem lhe perguntou

--Como foi a caccedilada

--Maravilhosa

--Quantos ursos viram

--Nenhum

--Como entatildeo pode ter sido uma boa caccedilada

--Quando vocecirc sai para caccedilar ursos e vocecirc eacute como

eu natildeo encontrar urso algum eacute uma experiecircncia

maravilhosa

Nasrudim e os ursos

Objetos da Avaliaccedilatildeo 1 Professor

2 Aluno

3 Teacutecnicos

4 Aula

5 Plano de Ensino

6 Programa da Disciplina

7 Curriacuteculo

8 Curso

9 PDI

10 IES

Objetos da Avaliaccedilatildeo Duas conclusotildees principais podem ser extraiacutedas

da literatura

1 qualquer coisa por assim dizer pode ser objeto de avaliaccedilatildeo e a avaliaccedilatildeo natildeo deve limitar-se aos estudantes ou aos professores e teacutecnicos

2 identificar o objeto da avaliaccedilatildeo eacute uma parte importante no desenvolvimento de um projeto avaliativo

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 23: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Um certo rei que gostava muito da companhia de

Mulla Nasrudim e de caccedilar ordenou que o guru o

acompanhasse numa caccedilada de ursos Nasrudim

estava apavorado Quando apoacutes a caccedilada retornou

a seu vilarejo algueacutem lhe perguntou

--Como foi a caccedilada

--Maravilhosa

--Quantos ursos viram

--Nenhum

--Como entatildeo pode ter sido uma boa caccedilada

--Quando vocecirc sai para caccedilar ursos e vocecirc eacute como

eu natildeo encontrar urso algum eacute uma experiecircncia

maravilhosa

Nasrudim e os ursos

Objetos da Avaliaccedilatildeo 1 Professor

2 Aluno

3 Teacutecnicos

4 Aula

5 Plano de Ensino

6 Programa da Disciplina

7 Curriacuteculo

8 Curso

9 PDI

10 IES

Objetos da Avaliaccedilatildeo Duas conclusotildees principais podem ser extraiacutedas

da literatura

1 qualquer coisa por assim dizer pode ser objeto de avaliaccedilatildeo e a avaliaccedilatildeo natildeo deve limitar-se aos estudantes ou aos professores e teacutecnicos

2 identificar o objeto da avaliaccedilatildeo eacute uma parte importante no desenvolvimento de um projeto avaliativo

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 24: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Objetos da Avaliaccedilatildeo 1 Professor

2 Aluno

3 Teacutecnicos

4 Aula

5 Plano de Ensino

6 Programa da Disciplina

7 Curriacuteculo

8 Curso

9 PDI

10 IES

Objetos da Avaliaccedilatildeo Duas conclusotildees principais podem ser extraiacutedas

da literatura

1 qualquer coisa por assim dizer pode ser objeto de avaliaccedilatildeo e a avaliaccedilatildeo natildeo deve limitar-se aos estudantes ou aos professores e teacutecnicos

2 identificar o objeto da avaliaccedilatildeo eacute uma parte importante no desenvolvimento de um projeto avaliativo

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 25: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Objetos da Avaliaccedilatildeo Duas conclusotildees principais podem ser extraiacutedas

da literatura

1 qualquer coisa por assim dizer pode ser objeto de avaliaccedilatildeo e a avaliaccedilatildeo natildeo deve limitar-se aos estudantes ou aos professores e teacutecnicos

2 identificar o objeto da avaliaccedilatildeo eacute uma parte importante no desenvolvimento de um projeto avaliativo

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 26: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Instituiccedilatildeo

Curso

Estudante

Os 3 olhares do Sinaes

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 27: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Preacutedio

(Instituiccedilatildeo)

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 28: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

1 Missatildeo e o PDI

2 Poliacutetica de Ensino Pesquisa e Extensatildeo

3 Poliacuteticas de pessoal e condiccedilotildees de trabalho

4 Organizaccedilatildeo e gestatildeo

5 Infra-estrutura fiacutesica

6 Comunicaccedilatildeo com a sociedade

7 Poliacutetica de atendimento aos estudantes

8 Responsabilidade social da IES

9 Planejamento e avaliaccedilatildeo

10 Sustentabilidade financeira

As 10 dimensotildees do Sinaes

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 29: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Corpo

docente

Instalaccedilotildees

Fiacutesicas

Organizaccedilatildeo

Didaacutetico-

Pedagoacutegica

Dados

do

Enade

Dados

da

IES

ACG grandes dimensotildees

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 30: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Morador (estudante)

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 31: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

36

Bases para julgar o valor

Objetivos

Necessidades

dos

stakeholders

Objetos

alternativos

Pareceres de

Especialistas

Ideais ou

Valores Sociais

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 32: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Meacutetodos

ldquoNo atual estado da arte talvez seja sinal de sabedoria natildeo declarar-se um alinhado nem das metodologias quantitativas-cientiacuteficas-somativas ou das qualitativas-naturalistas-descritivasrdquo (Nevo)

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 33: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

A coordenaccedilatildeo totalmente descentralizada (CTD) tal qual praticada em nosso curso cria um clima indesejaacutevel de ansiedade entre os professores

mdashmdashmdash1 Concordo plenamente mdashmdashmdash2 Concordo mdashmdashmdash3 Discordo mdashmdashmdash4 Discordo totalmente O professor em questatildeo assinalou ldquoconcordo

plenamenterdquo

Avaliaccedilatildeo Quantitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 34: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

ldquoMedo e inseguranccedila eacute o que significa esta tal de coordenaccedilatildeo totalmente descentralizada Todos mandam Ningueacutem eacute responsaacutevel por nada

Minha forma de ensinar continua a mesma desde antes do seu surgimento Coordenaccedilatildeo descentralizada nada mais eacute do que um estratagema poliacutetico com vistas agrave manutenccedilatildeo do poder em uma estrutura onde deveria valer o meacuterito O que quer que havia de positivo e democraacutetico a seu respeito no iniacutecio foi destruiacutedo pela consciecircncia de que todo novo sistema de gestatildeo tem em sua base uma motivaccedilatildeo poliacutetica Os alunos se ferram

Medo e inseguranccedila Todos mandam

Niacutengueacutem eacute responsaacutevel

Estratagema poliacutetico meacuterito

Os alunos se ferram

Avaliaccedilatildeo Qualitativa

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 35: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Por favor acrescente comentaacuterios que gostaria de fazer sobre o sistema de coordenaccedilatildeo descentralizada do curso

Resposta do Professor

A amargura e o oacutedio entre professores e servidores em nosso curso eacute incriacutevel O que comeccedilou como ldquonobrerdquo foi destruiacutedo Eacute difiacutecil de acreditar na quantidade de comissotildees sub-comissotildees comissotildees revisoras comitecircs reuniotildees que foram criadas para manter este monstro vivo enquanto todos satildeo responsaacuteveis por tudo e ningueacutem responde por nada

Felizmente haacute cursos que rapidamente perceberam as trocas de favores e o corporativismo que sustenta esse tipo de administraccedilatildeo e se recusam a se envolver com isso Sorte deles

Desccedila e venha nos visitar no inferno qualquer dia dessesrdquo

amargura oacutedio

Quantidade de comissotildees

favores corporativismo

inferno

Avaliaccedilatildeo Qualitativa

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 36: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

ldquoNem tudo que pode ser contado

conta e nem tudo que conta pode

ser contadordquo

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 37: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Quem deve fazer a avaliaccedilatildeo

Pessoas com bull competecircncia em meacutetodos de mensuraccedilatildeo e

investigaccedilatildeo bull compreensatildeo do contexto e da substacircncia do

objeto da avaliaccedilatildeo bull habilidade em relaccedilotildees humanas bull integridade pessoal bull objetividade bull caracteriacutesticas relacionadas agrave autoridade

organizacional e bull responsabilidade

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 38: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Competecircncia em mediccedilatildeo

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 39: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

1 Se vocecirc natildeo medir resultados vocecirc natildeo conseguiraacute

distinguir sucesso de fracasso

2 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute premiaacute-lo

3 Se vocecirc natildeo conseguir premiar o sucesso vocecirc

provavelmente estaraacute premiando o fracasso

4 Se vocecirc natildeo conseguir identificar o sucesso vocecirc natildeo

conseguiraacute aprender com ele

5 Se vocecirc natildeo conseguir identificar o fracasso vocecirc natildeo

poderaacute evitaacute-lo

6 Se vocecirc natildeo conseguir demonstrar resultados vocecirc

natildeo conseguiraacute apoio puacuteblico

(Fonte Osborne e Gebler 1992 Cap 5 ldquoResults-Oriented Governmentrdquo)

PREMISSAS PARA REINVENTAR A ADMINISTRACcedilAtildeO

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 40: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Certo dia Mulaacute Nasrudim encontrou um falcatildeo no parapeito da janela Nunca haviacutea visto uma ave desta espeacutecie em toda a sua vida

Pobre criatura exclamou compadecido Como puderam te deixar chegar a este estado

Pegou uma tesoura cortou as esporas do falcatildeo podou o seu bico e aparou as suas penas

Agora sim exclamou Nasrudim satisfeito agora estaacutes com mais cara de paacutessaro

Compreensatildeo da natureza do objeto

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 41: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Compreensatildeo da natureza do objeto

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 42: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Competecircncia em pesquisa

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 43: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Habilidade em relaccedilotildees humanas

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 44: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

ldquoDiga 5rdquo

Integridade

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 45: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Clareza e objetividade

3 Encontrar x

Aqui estaacute

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 46: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Responsabilidade

Sujou Entatildeo limpe

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 47: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Quem deve fazer a avaliaccedilatildeo

1 Avaliadores internos

2 Avaliadores externos

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 48: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Paper

aceito

A maioria dos cientistas considera o processo de avaliaccedilatildeo contiacutenua pelos pares

como um ldquogrande avanccedilordquo

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 49: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

A quem deve servir a avaliaccedilatildeo

1 Grupos interessados (stakeholders)

2 Tomadores de decisatildeo

3 Formuladores de poliacuteticas

4 Solicitantes

5 Sociedade em geral

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 50: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Conselhos

Estaduais

CEE

SINDICATOS

CNE

MEC

IES e Escolas

Secretaacuterios Municipais

Principais Atores do Sistema

Secretaacuterios

Estaduais

Conselhos Municipais

Principais atores da Educaccedilatildeo

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 51: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

A QUEM DEVO SERVIR

Mulla Nasrudim tinha se tornado um favorito do Rei Comeccedilou entatildeo a usar a sua posiccedilatildeo para demonstrar o modo de agir dos cortesatildeos

Certo dia o rei chegou ao palaacutecio com muita fome Algumas beringelas que lhe foram servidas estavam tatildeo deliciosas que ele ordenou ao chefe de cozinha que as servisse todos os dias

ldquoMullardquo perguntou o Rei a Nasrudim ldquoEste eacute ou natildeo o melhor legume do mundordquo

ldquoO melhor Majestaderdquo respondeu Nasrudim

Cinco dias depois quando as beringelas haviam sido servidas pela deacutecima refeiccedilatildeo consecutiva o rei rugiu

ldquoTirem esta coisa da minha frente EU A ODEIOrdquo

ldquoEacute o pior legume que existe Majestaderdquo concordou Nasrudim

ldquoMas Mullardquo disse o Rei ldquohaacute menos de uma semana vocecirc me disse que era o melhorrdquo

ldquoEacute verdade Majestade eu de fato disse mas eu sou um suacutedito do Rei natildeo do legumerdquo

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 52: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Como avaliar a avaliaccedilatildeo

Atraveacutes dos seguintes atributos

1 Utilidade

2 viabilidade

3 Propriedade e

4 exatidatildeo

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 53: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Viabilidade

Que seja economicamente

viaacutevel

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 54: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Viabilidade

Que seja tecnicamente viaacutevel

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 55: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

O ldquoverdadeirordquo Enade

Que seja politicamente viaacutevel

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 56: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Exatidatildeo

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 57: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Dados falsos

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 58: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Justiccedila

para uma seleccedilatildeo justa

todos faratildeo a mesma

prova subir naquela

aacutervore

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 59: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Agonia da omissatildeo

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 60: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Agonia da omissatildeo

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 61: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

dados dados

Enem Enade

Prova

Brasil

Auto-

avaliaccedilatildeo

ACG

IE

Socorro

O peso dos dados

Saeb

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 62: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

O peso dos dados

um mapa natildeo deve ser tatildeo grande

quanto o territoacuterio

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 63: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Como enfrentar a Agonia da omissatildeo - prioridade

priorizar ou morrer

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 64: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Como enfrentar a agonia da omissatildeo

Uma maneira de fazecirc-lo eacute utilizar uma metodologia que permita atribuir pesos que resultam de ponderaccedilotildees coletivas sobre a importacircncia e a viabilidade operacional de cada indicador

Importante superar a agonia da omissatildeo sem simplificar demais a realidade complexa das IES

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 65: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Dados interpretados

bull dados que natildeo satildeo interpretados satildeo dados esteacutereis

bull poliacuteticas e decisotildees que natildeo satildeo sustentadas por dados satildeo ocas e estatildeo condenadas a falhar

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 66: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Dados interpretados

Juiacutezos e inferecircncias soacute se sustentam se estiverem bem ancorados em dados confiaacuteveis e verificaacuteveis

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 67: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Como melhorar a Utilizaccedilatildeo dos dados

bull Timing

Eacute inuacutetil termos bons dados se estatildeo disponiacuteveis depois que as decisotildees importantes foram tomadas

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 68: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Como melhorar a Utilizaccedilatildeo dos dados

bull respostas agraves perguntas dos stakeholders

Muitas avaliaccedilotildees escreve Patton estatildeo desenhadas de uma maneira geneacuterica Quando os tomadores de decisotildees as recebem sua reaccedilatildeo eacute Bem isso eacute interessante mas natildeo me ajuda a decidir Natildeo responde agrave minha perguntardquo

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 69: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Se importa em preencher a ficha de

avaliaccedilatildeo antes

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 70: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Participaccedilatildeo eacute empoderamento

bull A avaliaccedilatildeo deve promover e permitir que as IES assumam a responsabilidade sobre o processo e se sintam natildeo soacute participantes mas respeitadas na sua identidade

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 71: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Participaccedilatildeo eacute transparecircncia

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 72: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Participaccedilatildeo eacute sustentaccedilatildeo

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 73: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Tomada de decisotildees

bull Os tomadores de decisotildees sabem que no momento de decidir nunca teratildeo em matildeos todo o conhecimento Mesmo assim tecircm que decidir

bull Poder no entanto decidir sobre uma base de dados cuidadosamente coletados e organizados eacute o sonho de todo reitor ou proacute-reitor de todo Administrador Ter acesso agrave informaccedilatildeo confiaacutevel e oportuna permite aos dirigentes produzir inferecircncias criativas e convincentes tomar decisotildees saacutebias e demonstrar que estatildeo dispostos a aprender com os ecircxitos e a evitar os erros jaacute cometidos

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 74: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Eureka Conseguimos enfim

gerar uma cultura avaliativa

em laboratoacuterio Olhe estes caras estatildeo

formando subcomitecircs

Natildeo natildeo espere estatildeo

questionando os

resultados

Espero que consigamos bolar uma

maneira de geraacute-la no mundo real

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 75: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

Continue tentando Certifique-se de que os resultados seratildeo usados Ainda haacute esperanccedila Tente aperfeiccediloar o programa Natildeo permita que seu aacuterduo trabalho se perca

Isto eacute soacute burocracia Simplesmente envie ao Inep aquele relatoacuterio padratildeo e decirc o caso por encerrado Natildeo esquente

MUITO OBRIGADO

Page 76: A avaliação Educacional: seus limites e possibilidades§ão-educacional.pdf · nosso curso é incrível. O que começou como “nobre” foi destruído. É Quantidade de comissõesdifícil

MUITO OBRIGADO