i

!"#$% ! " #$# &'($%%%' #%( #$)""%)*+, *+( %&

#*+"*!"%( -& -. / !0 "( -& -&1 2 ( & 34& ( & 56

2 1( & 2 , +$%788!,$-.%#*+-!%9 #

:)*+# # 4! "

*+$*#+ 8

;;2$(!

"?' 2$,#

#*+

@)*+#+A' #B

( #$*+ . /'

2$,##*+>C

;:81,

iii

RESUMO

Objetiva-se compreender a produo e utilizao dos resultados derivados dos processos de Avaliao Institucional (A.I), entendendo-os como estratgia de (re)organizao dos espaos de discusso no contexto da universidade. Tomamos como referncia o processo de Avaliao desenvolvido pela Universidade do Estado de Mato Grosso (UNEMAT), cujo perodo de implementao teve incio em 1997, sustentado nos princpios do PAIUB. Atualmente, este processo est adequado s leis do SINAES. A pergunta norteadora da pesquisa : para que tem servido os resultados da A.I? Utilizamos como metodologia a abordagem quanti-qualitativa, aplicando, inicialmente, um questionrio (por amostragem) aos professores, alunos e funcionrios. Constatamos como limites no processo de A.I, a pouca divulgao, discusso e implementao de aes sugeridas pelos resultados e, como avanos, o reconhecimento da comunidade acadmica de que a avaliao importante e necessria para obteno de melhorias. Posteriormente, realizamos grupos focais com uma amostra dos sujeitos participantes, alm dos membros da CPA e Chefes de Departamento, buscando entender, aprofundar e desvendar os entraves que distanciam os resultados das tomadas de deciso. Para melhor compreenso, organizamos os resultados da pesquisa em duas grandes categorias. Na primeira, as concepes de avaliao sustentam o vis regulatrio, causando temor nos sujeitos sobre como e para que tais dados sero utilizados. Na segunda, as concepes de avaliao sustentam o vis emancipatrio, propiciando aos sujeitos conceberem os resultados como potencializadores da qualidade institucional. Desse modo, torna-se evidente que os resultados da avaliao tm sido usados, porm, em nveis insuficientes ao se considerar os fundamentos da avaliao participativa. As tomadas de deciso tambm tm se efetivado apenas no nvel das mudanas fsicas, administrativas e organizacionais. Todavia, as mudanas decorrentes so insuficientes. Tal constatao pode estar relacionada com o fato de que a participao restringe-se, mais intensamente, no preenchimento dos instrumentos para coleta de opinies. Essa forma de participao insuficiente para produzir efeitos sobre as prticas e mudanas nas concepes. Conclumos, necessrio repensar as formas de participao, enfatizando o aprender a participar, como forma de alcanar resultados confiveis nos processos de avaliao. Assim, a CPA e toda instituio poder utiliz-los como estratgia potencializadora da (re)organizao dos espaos de discusso. Esses dilogos podem gerar mudanas de concepes, engendrando novos sujeitos dispostos a usarem os princpios emancipatrios em suas prticas, rompendo com o medo instalado sobre o fim a que se destinam os resultados da avaliao. Portanto, no so os resultados da avaliao que engendraro as mudanas de concepes de qualidade ou fortalecero os processos de tomadas de deciso, mas a possibilidade de discuti-los coletivamente, devidamente, referenciados ao projeto pedaggico da instituio.

Palavras-chaves: Avaliao Institucional, Universidade, Uso dos resultados, Participao, Espaos de discusso.

v

ABSTRACT

We aim to understand the production and utilization of the results derived from the process of Institutional Evaluation (I.E.). We understand them as strategies of (Re)organization of rooms of discussion in university context. We have taken as reference the process of Institutional Evaluation developed by the State University of Mato Grosso (UNEMAT), which the period of implementation had begun in 1997 and it was based on the PAIUB principles. Nowadays this process is adequate to SINAES lows. The main question of this research is: what are the results of the I.E. for? We have used as methodology a quanti-qualitative approach. We have initially a questionnaire applied (at random) to professors, students and employees. We have attested as limits in the process of I.E. the lack of divulgation, discussion and implementation of some action suggested by the results. We have attested as a forward step the recognition of the academic community toward the importance of evaluation and its need to obtain some gains. Lately, we have made local groups with a sample of participants, members of CPA and Chefs Departments, in order to understand, get deeper and discover the problems that separate the results obtained from the decisions to be taken. In order to have a better understanding, we have organized the results of this research into two big categories. In the first one, the conceptions of evaluation sustain the regulatory point of view, which makes the subjects afraid about how and what for these dates should be used. In the second, the concepts of evaluation, sustain the emancipator point of view. It offers the subjects to understand the results as something to optimize the institutional quality. This way, it becomes evident that the results of the evaluation has been used but in insufficient levels if we consider the fundaments of participative evaluation. The decisions taken had been effectuated only in level of physical, administrative and organizational changes. Although the resulting changes had been insufficient, such conclusion can be related to the fact that participation had been restricted, more intensively, to the application of the instruments of collecting opinions, so that this form of participation is insufficient to produce effects over the praxis and changes in conception. We have concluded it is necessary to rethink the ways of participation, to emphasize the learning in participating as a way to reach trustful results in the process of evaluation. It is only this way that CPA and the Institution as a whole could utilize as an optimizer strategy of the (re) organization of the rooms of discussion. Those dialogues can generate changes in conception, putting together new subjects ready to use emancipator principles in their praxis and breaking up with the installed fear about the proposal of the results of evaluation. This way, it is not the results of the evaluation that would put together the changes in quality conception or would make stronger the decisions to be taken but the possibility of discussing them collectively and promptly attached to the pedagogical project of the Institution.

Key-words: Institutional Evaluation; University; Use of results; Participation; Discussion Spaces

vii

Minha dor perceber Que apesar de termos

Feito tudo o que fizemos Ainda somos os mesmos

E vivemos Ainda somos os mesmos

E vivemos Como Os Nossos Pais...

Mas voc Que ama o passado

E que no v voc

Que ama o passado E que no v

Que o novo sempre vem...

Elis Regina Composio: Belchior

ix

Aos educadores que lidam no campo da avaliao e que ainda no perderam o desejo de lutar por uma educao e por um mundo melhor.

Resta-nos a esperana.

xi

AGRADECIMENTOS

A DEUS - Porque Dele e por Ele, e para Ele, so todas as coisas; glria, pois, a Ele eternamente. Amm. Romanos 11:36

Ao meu esposo MESSIAS LUCAS DE LIMA pelo companheirismo, amizade e incentivo em todos os momentos, compreendendo e suprindo minhas ausncias. Voc muito especial.

Aos meus filhos LUCAS DOS SANTOS LIMA e FELIPE DOS SANTOS LIMA que cresceram no meio dos meus livros, acompanhando e vivenciando o meu sucesso e as minhas dificuldades, tentando compreend-las.

A minha filha KENIA KARLA DOS SANTOS LIMA que deixou saudades eternas e ficar para sempre nas nossas lembranas.

Aos meus pais, irmos, familiares e amigos que me acompanharam nas oraes.

A minha orientadora Profa Mara Regina Lemes de Sordi pelo comprometimento, disponibilidade, pacincia e respeito com o processo individualizado de produo do conhecimento. Mais que uma orientadora foi e continuar sendo amiga e companheira de profisso. Esse foi o comeo de muitos trabalhos que faremos juntas.

Ao Prof. Luiz Carlos de Freitas obrigada por atender aos meus pedidos de socorro.

Aos interlocutores dessa pesquisa: Gestores, membros da CPA, Professores, alunos e funcionrios da UNEMAT que participaram com opinies valiosas que me fizeram construir uma anlise crtica sobre a Avaliao Institucional.

Aos colegas do grupo LOED/UNICAMP pelo companheirismo, em especial, a Ivanete Bellucci amiga e companheira que nunca mediu esforos em me acolher e atender aos meus pedidos resolvendo os meus problemas em Campinas quando estava longe.

Aos Professores, colegas de servio e amigos(as): Ana Maria Di Renzo e Mirami dos Reis, que fez com dedicao a reviso gramatical; Helosa Salles Gentil e Irton Milanesi, que tiveram pacincia em ler os meus escritos, sugerindo e incentivando a continuidade; Jos Marcelo Pontes, estatstico e matemtico que discutiu e orientou a elaborao do plano amostral; Neuso Geraldo, licenciado em Cincias da computao que construiu o programa informatizado para tabulao e sistematizao dos dados.

Aos membros da banca, pelas sugestes e proposies significativas.

queles que no esto aqui citados, mas que torceram pelo meu sucesso.

xiii

LISTA DE QUADROS E FIGURAS

QUADROS: Quadro 01 Concepes Paradigmticas: sentidos e efeitos nas prticas avaliativas.................. 36 Quadro 02 Caracterizao das polticas de Avaliao para a educao superior a

partir da dcada de 90 do sculo passado: PROVO, PAIUB e SINAES .............. 70 Quadro 03 Regimes democrticos: tipologia conceitual segundo Barber (1997) ...................... 92 Quadro 04 Dados da comunidade acadmica do Campus de Cceres da UNEMAT

no ano 2005/1 que atendem os critrios da pesquisa .............................................. 112 Quadro 05 Clculo do percentual dos alunos, professores e funcionrios dos cursos em

relao ao total da comunidade do Campus de Cceres da UNEMAT - MT ......... 114 Quadro 06 Clculo da amostra dos alunos, professores e funcionrios dos cursos 117 Quadro 07 Resumo da amostra dos alunos, professores e funcionrios dos cursos do

Campus de Cceres da UNEMAT MT ................................................................117 Quadro 08 Nmero de questionrios distribudos e respondidos..............................................119 Quadro 09 Vantagens e Limitaes da tcnica de grupo focal..................................................124 Quadro 10 Organizao dos grupos focais na UNEMAT .........................................................125 Quadro 11 Perfil dos sujeitos que responderam o questionrio ................................................128 Quadro 12 Resultado das questes objetivas sobre a A.I da UNEMAT comuns aos

alunos, professores e funcionrios ..........................................................................131 Quadro 13 Resultado das questes objetivas especficas ..........................................................132 Quadro 14 Resultado da questo: como vem acontecendo a A.I na UNEMAT .......................133 Quadro 15 Resultado da questo: reaes da comunidade acadmica em relao

a A. I. da UNEMAT................................................................................................137 Quadro 16 Resultado da questo: pontos positivos da A.I. na UNEMAT................................140 Quadro 17 Resultado da questo: pontos negativos da A. I. na UNEMAT ..............................142 Quadro 18 Resultado da questo: Para que tem servido os resultados da A.I na UNEMAT....144 Quadro 19 Resultado da questo: sugestes para melhorar a A.I na UNEMA .........................147 Quadro 20 Resultado das categorias evidenciadas nas discusses com grupos focais

sobre o processo de A.I da UNEMAT ....................................................................157 Quadro 21 Sntese dos entraves encontrados no processo de A.I da UNEMAT.......................195

FIGURAS: Figura 01 Sntese do modelo de avaliao proposto por Tyler .................................................. 19 Figura 02 Sntese do modelo de avaliao proposto por Cronbach ........................................... 20 Figura 03 Distines entre os enfoques tcnico-burocrtico e participativo.............................. 21 Figura 04 O processo de amostragem estratificada segundo Barbeta .......................................113 Figura 05 Estratificao da amostra da comunidade acadmica do Campus

de Cceres da UNEMAT...........................................................................................115

xv

LISTA DE ABREVIATURAS E SIGLAS

A.I Avaliao Institucional A.I.P Avaliao Institucional Participativa ABRUEM Associao Brasileira de Reitores das Universidades Estaduais e Municipais ACG Avaliao dos cursos de Graduao ADUNEMAT Associao dos Docentes da UNEMAT AFESC Associao dos funcionrios da UNEMAT ANDIFES Associao Nacional dos Dirigentes das Instituies do Ensino Superior AVALIES Avaliao das Instituies de Educao Superior CAPES Coordenao de aperfeioamento de Pessoal de Nvel Superior CAs Centro Acadmico dos Cursos CEA Comisso Especial de Avaliao COAVI/UNEMAT Coordenadoria de Avaliao Institucional/UNEMAT CONAES Comisso Nacional de Avaliao da Educao Superior CONSUNI Conselho Universitrio COVEST Comisso de Vestibular CPA- Comisso Prpria de Avaliao DCE Diretrio Central dos Estudantes DIRCA Diviso de Registro e Controle Acadmico ENADE Exame Nacional de Avaliao do Desempenho dos Estudantes ENC Exame Nacional dos Cursos GERES Grupo de Estudos para a Reforma do Ensino superior IES Instituies de Educao Superior INEP Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira LDB Lei de Diretrizes e Bases da Educao Brasileira MARE Ministrio de Administrao e Reforma do Estado MEC Ministrio da Educao e Cultura OCDE Organizao de Cooperao e Desenvolvimento Econmico. PAIUB Programa de Avaliao Institucional das Universidades Brasileiras PAIUNEMAT Programa de Avaliao Institucional da UNEMAT PARU Programa de Avaliao da Reforma Universitria PROVO Prova Aplicada aos Alunos do ltimo semestre da Graduao PRPDI/UNEMAT- Pr-Reitoria de Planejamento e Desenvolvimento institucional/UNEMAT SAEB Sistema de Avaliao da Educao Bsica SECITEC Secretaria de Cincia e Tecnologia do Estado de Mato Grosso SESU Secretaria de Ensino Superior SINAES Sistema Nacional de Avaliao da Educao Superior UFMG Universidade Federal de Minas Gerais UFPA Universidade Federal do Par UFRGS Universidade Federal do Rio Grande do Sul UnB Universidade de Braslia UNEMAT Universidade do Estado de Mato Grosso UNICAMP Universidade Estadual de Campinas

xvii

SUMRIO INTRODUO ........................................................................................................................... 01

CAPTULO 1 AVALIAO: UM CAMPO EM CONSTRUO ................................... 07 1.1 Constituio do Campo da Avaliao e seus determinantes ................................................ 09

1.1.1 - A avaliao ultrapassa os espaos da sala de aula: surgimento da avaliao institucional............................................................................................................... 12

1.2 Concepes, princpios, perspectivas e enfoques tericos que sustentam os diferentes nveis de avaliao .............................................................................................. 17 1.2.1 - Enfoques de Avaliao .............................................................................................. 18 1.2.2 tica e epistemologia que sustentam os modelos de avaliao e suas derivaes

polticas, segundo House .......................................................................................... 29 1.2.3 Efeitos e Sentidos dos Enfoques de Avaliao......................................................... 33

1.3 - Delimitao Conceitual de avaliao institucional ............................................................... 36

CAPTULO 2 A UNIVERSIDADE NOS TEMPOS DE GLOBALIZAO E A EMERGNCIA DAS POLTICAS DE AVALIAO INSTITUCIONAL ......................... 43 2.1 Contextos da Universidade Brasileira no mundo globalizado e a emergncia

das polticas de avaliao..................................................................................................... 44 2.2 - Polticas de avaliao Institucional para a Educao Superior Brasileira............................. 53

2.2.1 - O Surgimento do Estado Avaliador........................................................................... 54 2.2.2 - Conceito de Qualidade como qualidade negociada: Um princpio necessrio

prtica da avaliao................................................................................................... 57 2.2.3 Polticas de Avaliao para a Educao Superior a partir dos anos de 1990:

PAIUB, PROVO E SINAES.................................................................................. 59

CAPTULO 3 AVALIAO INSTITUCIONAL PARTICIPATIVA: UMA DAS ALTERNATIVAS DE RECONSTRUO DA EMANCIPAO NOS ESPAOS UNIVERSITRIOS.................................................................................................................... 73 3.1 Espao Social na perspectiva de Bourdieu, como um campo de Relaes Complexas

necessrio ao processo de avaliao participativa ............................................................... 73 3.2 Estudando o conceito de emancipao para compreender a avaliao participativa............ 77

3.2.1 Regulao e Emancipao A Lgica da Modernidade .......................................... 77 3.2.2 Ascenso tecnolgica/regulao: A lgica que sobreviveu ...................................... 79 3.2.3 Emancipao/libertao: "Tudo que slido desmancha no ar" .............................. 82 3.2.4 Reconstruindo a emancipao/libertao.................................................................. 85

xviii

3.3 Avaliao institucional participativa: Alternativa de reconstruo das prticas emancipatrias nos espaos sociais universitrios............................................................... 91

CAPTULO 4 RECONSTITUINDO OS CAMINHOS PERCORRIDOS......................... 99 4.1 Contextualizando a UNEMAT como lcus do estudo ......................................................... 99 4.2 Contextualizando o processo de avaliao institucional da UNEMAT como proposta

participativa ........................................................................................................................101 4.3 Reconstituindo os caminhos percorridos.............................................................................107

CAPTULO 5 AS VOZES DA COMUNIDADE ACADMICA: SENTIDOS E EFEITOS DA AVALIAO INSTITUCIONAL NA UNEMAT .........................................127 5.1 Apresentao e discusso dos resultados coletados a partir do questionrio ......................127 5.2 Grupos focais: vozes da UNEMAT em conjunto buscam desvendar o curto circuito

entre resultados da avaliao institucional e as tomadas de deciso...................................151 5.2.1 CATEGORIA 1 - A concepo de avaliao est alinhada ao vis regulatrio

medo de como os resultados sero utilizados ..........................................................158 5.2.2 CATEGORIA 2 A concepo de avaliao est alinhada ao vis emancipatrio

como uma necessidade, uma conquista, uma possibilidade de superao...............179 5.3 Anlises das evidncias .......................................................................................................188

CAPTULO 6 DOS ENTRAVES S POSSIBILIDADES: O DESAFIO DA CONSTRUO .........................................................................................................................193 6.1 Anlises dos Entraves..........................................................................................................194 6.2 Possibilidades e perspectivas: repensando as formas de participao.................................206

MANTENDO O DEBATE.........................................................................................................211

REFERNCIAS BIBLIOGRFICAS .....................................................................................217 DOCUMENTOS ANALISADOS, LEIS E DECRETOS........................................................223

APNDICE A carta convite para os participantes do grupo focal...........................................225 APNDICE B demonstrao do questionrio aplicado...........................................................226 APNDICE C demonstrao dos encontros com os grupos focais .........................................229

1

INTRODUO

Vivemos o mundo da contingncia no qual as incertezas so predominantes. Os velhos e enraizados conceitos j no atendem mais ao que est emergindo. A universidade precisa responder satisfatoriamente a essas demandas externas, que so diversas e contraditrias, mas no pode abrir mo dos conceitos ticos como justia, cidadania, solidariedade e cooperao. nesse contexto incerto e conflituoso que buscamos analisar a universidade, sua funo social enquanto produtora de conhecimento tcnico sustentado na tica da humanizao e os desafios da avaliao institucional.

A sociedade hoje apresenta caractersticas marcantes de um cenrio complexo e desafiador. Algumas dessas caractersticas, marcada pela onda da globalizao, podem ser descritas como: o avano tcnico-informacional; o aumento do desemprego, da fome, da violncia, da misria, da desigualdade, da excluso social; a implementao de modelos de desenvolvimento econmico e social voltados para a competio tanto global quanto pessoal; o surgimento de novas bandeiras de lutas tais como o feminismo, a religiosidade, a luta pelos direitos dos excludos; a redefinio do papel da educao, ou seja, a educao como bem econmico e estratgia para minimizar a pobreza e o desemprego. neste contexto que est inserida a universidade contempornea.

Observamos que, se por um lado, as mudanas provocadas pelo aumento da tecnologia, da internacionalizao da economia e da informao so sedutoras, por outro, trouxeram implicaes para a escola de diferentes nveis e para a educao superior. Os conceitos, princpios e vises de um mundo globalizado, adepto de uma poltica neoliberal que prioriza o aumento do capital e incentiva a competitividade e o individualismo, precisam ser objeto de crtica da universidade. Esse um dilema vivenciado pela universidade, pois, ao mesmo tempo em que ela central para o desenvolvimento social e econmico, tambm no pode conformar com as prticas desumanas que a nova ordem impe. Como lidar com essa contradio um desafio que precisa ser enfrentado. Essas contradies criam pontos de tenso, tanto no relacionamento das universidades com o Estado e a sociedade, quanto no interior das prprias universidades.

2

No estamos defendendo a universidade presa ao passado, pois, acreditamos que ela precisa acompanhar os avanos tecnolgicos, econmicos e sociais que emergiram nos novos

tempos, sem perder de vista, porm, que os servios prestados precisam estar a favor da sociedade e de sua humanizao. necessrio, mesmo nas contradies, buscar a transformao, a qualidade de vida, a partir de um dilogo aberto entre a universidade e a sociedade. A universidade deve ser o espao de mediao entre acadmicos, sociedade e desenvolvimento cientfico e tecnolgico. Este um espao de contradies, onde no prevalece o determinismo individual.

Lembrando Bauman, reafirmamos o dever de nos libertar dessa sociedade com as amarras do neoliberalismo sustentada na globalizao, em que os princpios dominantes so os de mercado. O grande problema que enfrentamos a necessidade de nos libertarmos dessa sociedade que cumpre o que prometeu para apenas uma parte da populao. A questo levantada por Bauman : Queremos nos libertar? A sociedade quer libertar-se? Nesse sentido disse: ameaa mais sombria atormentava o corao dos filsofos: que as pessoas pudessem simplesmente no querer ser livres e rejeitassem a perspectiva da libertao pelas dificuldades que o exerccio da liberdade pode acarretar. (Bauman, 2001, p. 25).

O homem est cada vez mais prisioneiro das suas invenes. preciso construir o "eu" como um terreno de conflito e a subjetividade como um local de libertao; preciso um discurso de democracia participativa e no somente representativa. Nesse sentido, a avaliao participativa est sendo analisada como uma das alternativas para reconstruo e (re)significao dos espaos de discusso na universidade e busca da emancipao. Santos (2005, p. 11), corrobora com essa anlise, ao afirmar que, a avaliao Participativa seria uma inovao, uma forma de conhecimento e ao antiautoritria, medida que, para existir, entra em tenso com as estruturas nas quais se integram.

Discutir avaliao institucional, na perspectiva da participao, implica ressignificar os princpios de participao e de democracia; princpios que devem sustentar a avaliao institucional. Ressignificar a democracia abre possibilidade para lidar com a complexidade cultural, social e econmica. Para instaurar a democracia participativa necessrio querer se libertar dos conceitos que a nova ordem econmica impe sociedade como a competio e o individualismo, princpios fundamentados na tica do mercado.

3

A discusso dessas questes perpassa pela discusso dos paradigmas de regulao e emancipao construdos na modernidade, sendo que o primeiro tomou conta da sociedade. Entender esses conceitos como sustentadores dos enfoques de avaliao fundamental para compreenso da avaliao institucional participativa como alternativa de reconstruo da emancipao nos espaos universitrios. Os sentidos e os efeitos da avaliao dependem das escolhas feitas sobre qual o enfoque sustentar o processo avaliativo. Dessa forma, o conhecimento sobre eles fundamental no momento de fazermos escolhas.

O interesse em discutir os dilemas da avaliao institucional surgiu a partir das experincias vivenciadas na Coordenao do Programa de Avaliao Institucional da Universidade do Estado de Mato Grosso (PAIUNEMAT). No incio do ano de 1997, a Universidade do Estado de Mato Grosso (UNEMAT), instaurou um processo de Avaliao Institucional a partir da sua comunidade, com princpios participativos. O processo foi implantado atendendo a carta convite do Programa de Avaliao Institucional das Universidades Brasileiras (PAIUB), sustentando-se nos seus princpios filosficos e terico-metodolgicos. Enquanto sensibilizmos a comunidade acadmica para a importncia de desencadearmos um processo de avaliao interno ou de auto-avaliao, implantava-se obrigatoriamente, o Exame Nacional dos Cursos (ENC/PROVO). Nesse momento, iniciou nossa inquietao. Assistimos, na UNEMAT, o nascimento e o fortalecimento de uma avaliao rotuladora e punitiva e o enfraquecimento de uma avaliao que comeara a ser construda pela prpria universidade, de forma participativa.

Os conflitos paradigmticos se tornaram visveis no contexto da Universidade. Acompanhamos a deciso de alguns professores em preparar os alunos para fazer o PROVO, buscando melhorar a nota do curso. Percebemos, nessa atitude, que se curvavam frente a uma modalidade de avaliao que servia apenas para classificar, medir e ranquear. Estvamos diante de um conflito de concepes, ao mesmo tempo em que o discurso dos docentes apontava para uma avaliao emancipatria, a prtica sustentava a avaliao regulatria.

Com esses conflitos e tenses ingressamos no mestrado em educao na Universidade Federal do Rio Grande do Sul (UFRGS), iniciando nossas pesquisas sobre os processos de Avaliao Institucional, desenvolvidos nas e pelas universidades e realizamos o estudo sobre o silncio dos docentes frente ao Processo de Avaliao Institucional.

4

Os estudos que realizamos, levou-nos a entender a avaliao como produtora de sentidos e significados, o que nos motivou a questionar os efeitos dos dados produzidos. O que tem sido feito com os resultados da avaliao institucional? Quais os sentidos e os efeitos da avaliao institucional na e para a Universidade? Nesta pesquisa, debruamos-nos diante dessas questes a fim de fortalecermos a avaliao institucional construda pela universidade.

Nesse sentido, procuramos estudar o problema na realidade imediata da UNEMAT, buscando a (re)significao dos dados aos processos de tomadas de deciso. Parafraseando Vianna, 2002, levantamos questes sobre a meta-avaliao, ou seja, a avaliao da avaliao, contribuindo para o fortalecimento da avaliao institucional participativa.

Nesse contexto, este estudo tem como objetivo compreender como tem sido produzidos e utilizados, pela UNEMAT, os dados, as anlises interpretativas e os relatrios produzidos no processo de avaliao institucional, visando torn-los significativos para as tomadas de deciso.

Por essa razo, resolvemos estudar o problema a partir das vozes dos gestores, professores, funcionrios, alunos do Campus de Cceres e dos membros da Comisso Prpria de Avaliao (CPA), composta por representantes da comunidade externa e dos diversos segmentos e dos representantes dos campi da UNEMAT.

Utilizamos como metodologia a abordagem quanti-qualitativa. As informaes e os depoimentos foram coletados a partir da aplicao de um questionrio e encontros com cinco grupos focais.

O estudo est organizado em duas partes: a primeira est composta pelos trs primeiros captulos que compem os fundamentos tericos para as anlises e, a segunda, pelos captulos quatro, cinco e seis, nos quais apresentamos os resultados e as anlises da investigao desenvolvida com a comunidade acadmica do Campus de Cceres/UNEMAT. Para melhor compreenso, organizamos a discusso da seguinte forma:

Captulo 1 discusso da avaliao como um campo em construo; a constituio do campo da avaliao e seus determinantes; as concepes, princpios, enfoques tericos e a tica que sustenta os diversos nveis de avaliao, bem como, a delimitao conceitual da avaliao institucional.

Captulo 2 anlise da universidade nos tempos de globalizao e a emergncia das polticas de avaliao, mostrando o surgimento do Estado Avaliador; o conceito de qualidade nos princpios de mercado e a qualidade negociada como princpio inarredvel da avaliao

5

participativa, alm de analisarmos as Polticas de Avaliao para a educao superior a partir da dcada de 90 do sculo passado PAIUB, PROVO, SINAES.

Captulo 3 Apresentao da perspectiva da avaliao institucional participativa como alternativa para reconstruir a emancipao nos espaos universitrios. Para isso, analisamos o

conceito de espao social, na perspectiva de Bourdieu, como um campo de relaes complexas necessrio ao processo de avaliao participativa; o conceito de emancipao e regulao como conceitos construdos na modernidade e os fundamentos da avaliao participativa.

Captulo 4 Contextualizao da UNEMAT e do seu projeto de avaliao institucional como proposta participativa. Ainda, nesse captulo, reconstitumos os caminhos percorridos, detalhando a metodologia da pesquisa, a aplicao do questionrio e o uso da tcnica de grupo focal.

Captulo 5 Apresentao dos resultados da investigao, analisando o caso da A.I da UNEMAT, a partir das vozes da comunidade acadmica do Campus de Cceres evidenciando os sentidos e os efeitos produzidos por este processo.

Captulo 6 Discusso dos entraves da avaliao tanto nos aspectos polticos, metodolgicos e ticos, quanto intersubjetivos e histrico-culturais e a construo das possibilidades, emergindo a necessidade de repensar as formas de participao.

7

CAPTULO 1 AVALIAO: UM CAMPO EM CONSTRUO

Os homens fazem a sua prpria histria, mas no a fazem como querem; no a fazem sob circunstncias de sua escolha e sim sob aquelas com que se defrontam diretamente, legadas e transmitidas pelo passado. A tradio de todas as geraes mortas oprime como um pesadelo o crebro dos vivos. E justamente quando parecem empenhados em revolucionar-se a si e s coisas, em criar algo que jamais existiu, precisamente nesses perodos de crise revolucionria, os homens conjuram ansiosamente em seu auxlio os espritos do passado, tomando-lhes emprestado os nomes, os gritos de guerra e as roupagens, a fim de apresentar-se nessa linguagem emprestada. (MARX, Karl 1978, p. 17 e 18)

Contextualizar o campo da avaliao faz-se necessrio para compreendermos as prticas atuais e as roupagens que deram origem a elas. A compreenso histrica no tem o objetivo de conformar-se s prticas atuais, mas compreend-las como conseqncia de uma cultura construda historicamente. Dessa forma, pretendemos ultrapassar a mera anlise histrica utilizando-a para construirmos outras possibilidades. Parafraseando Marx, nos perguntamos: Estamos construindo a histria da avaliao como queremos, ou estamos engendrados pelos resqucios do passado? Acaso, no pegamos emprestadas as roupagens das geraes mortas? Qual a roupagem que d sentido aos processos de avaliao institudos na educao superior? Essas questes nos remetem a uma anlise sobre a constituio do campo da avaliao e seus determinantes. A nosso ver, este campo se constitui de sentidos e significados construdos a partir dos contextos histricos, sociais, econmicos e culturais.

Para alm de colocar a avaliao entre o bem e o mal ou o certo e o errado, apresentaremos alguns modelos tericos e como esses modelos tm sustentado as prticas avaliativas atuais. Analisaremos, ainda, o que escondem os processos avaliativos e como os contextos sociais, econmicos e culturais engendram, predominantemente nos sujeitos, a lgica da submisso, do silenciamento, do individualismo, da competio, da regulao, da classificao que impedem a instaurao de prticas avaliativas mais democrticas e participativas. Assim, a avaliao no um processo neutro desvinculado da realidade social.

Pensar a avaliao implica pensar a lgica econmica do capital e as mudanas sociais que ela provoca e que afeta a vida das pessoas ao construrem suas percepes, sentimentos e atitudes que sustentam suas reaes diante dos acontecimentos. Essas reaes podem ser de conformao ou transformao, dependendo das construes histricas e ideolgicas de cada

8

pessoa. Afonso (2000, p. 19), afirma que, as funes da avaliao tm que ser compreendidas no contexto das mudanas educacionais, econmicas e polticas mais amplas.

Esta discusso passa, necessariamente, pela discusso de educao. As nossas concepes de avaliao dependem das concepes e vises que temos de mundo, de sociedade e de educao. por isso, que a avaliao est mergulhada em ambigidades, tenses e conflitos e no pode produzir certezas ou respostas finais. A avaliao um caminho que deve ser construdo pelos sujeitos a partir das relaes interpessoais estabelecidas na coletividade. Parafraseando Dias Sobrinho, reafirmamos: no h um nico modelo de avaliao, uma s concepo e nem uma s prtica. Falar de avaliao , necessariamente, tratar de avaliaes.

A avaliao permeia os espaos mais elementares da vida humana e est presente em todas as aes, ainda que inconsciente. Como afirma Abramowicz (1998, p. 77), A experincia de avaliao faz parte de nossa vida. A avaliao em sentido lato parte da vida cotidiana. Mesmo sem recorrer a procedimentos formais, fazemos continuamente julgamentos avaliativos sobre vasta gama das atividades humanas, pois, como afirma Dias Sobrinho (2002b p. 17), a avaliao, em sentido amplo, uma atividade que faz parte da vida humana e est presente no cotidiano dos indivduos. O desenvolvimento de todos os aspectos da vida humana cerceado por crticas, sugestes e discusses que envolvem o outro.

Esta interao entre os homens levou s mudanas e transformaes polticas, culturais, sociais e econmicas. As aes de criticar, analisar, verificar, classificar, medir, selecionar e buscar melhorias um processo inerente ao ser humano. Dessa forma, podemos dizer que avaliar no um processo novo, tampouco est distante do homem; uma ao oriunda das relaes sociais e interpessoais como uma necessidade natural de construo e reconstruo, denominada no campo da avaliao como informal.

Este estudo, porm, focaliza a avaliao formal, planejada e sistematizada, abordando seu surgimento, tenses, concepes e enfoques que sustentam a prtica avaliativa. Para

atingirmos esse objetivo, discutimos a avaliao como um campo constitudo de sentidos e significados que se diferenciam entre si dependendo dos contextos e interesses em disputas. A avaliao, assim pensada, se sustenta na definio de Dias Sobrinho (2002b p. 15): a avaliao pluri-referencial. Ento complexa, polissmica, tem mltiplas e heterogneas referncias. No

uma simples disciplina, com contedos j delimitados e modelos independentes. (...) No sendo mono-referencial, se expressa de diferentes modos e constitui distintos modelos.

9

Desse modo, apresentaremos, de forma sucinta, a evoluo do campo da avaliao, contextualizando as dimenses de aprendizagem, de polticas, programas e projetos scio-educacionais e de avaliao institucional, refletindo sobre os diferentes nveis, suas funes e aproximaes. A seguir, estaremos apresentando os diversos enfoques tericos que sustentam a prtica avaliativa nesses diferentes nveis, os sentidos e os significados da avaliao e, por ltimo, faremos uma delimitao conceitual sobre a avaliao institucional.

1.1 Constituio do Campo da Avaliao e seus determinantes

Nos estudos realizados sobre a constituio do campo da avaliao, encontramos, como prtica de avaliao sistematizada mais antiga, os mecanismos utilizados pelos gregos ao selecionar indivduos para o servio pblico ateniense. Segundo Dias Sobrinho (2002a p. 35-36), essas avaliaes tinham carter pblico, porm, no as mesmas caractersticas dos concursos modernos, aperfeioados a partir do momento em que a educao formal comeou a se estruturar atravs da organizao escola. Ainda, encontramos como prtica antiga de avaliao, a seleo de indivduos para a guarda dos mandarins, praticada pelos chineses. Na velha Grcia praticava-se a docimasia que, segundo Dias Sobrinho (2003, p. 15), era um exame que verificava as aptides morais daqueles que se candidatavam a funes pblicas. At ento, no existia a avaliao escrita, porm, esses procedimentos avaliativos j carregavam o sentido de interesse pblico vinculado idia de medio e classificao.

No campo educacional, a avaliao do rendimento escolar ou a avaliao da aprendizagem constitui o ramo mais antigo. No encontramos uma data precisa em que emergiram os processos de medidas da aprendizagem, mas a maioria dos estudos aponta para o incio da escolarizao, com o surgimento da escola moderna. Dias Sobrinho (2002b, p.18), diz que, ao institucionalizar a educao no sc. XVIII, a avaliao comeava a ser praticada de maneira mais estruturada e constante. Para tanto, utilizavam testes escritos, especialmente, na Frana, coincidindo com a criao das escolas modernas. Como exemplo, o autor lembra os exames nacionais, o baccalaurat francs, criado em 1808, em tempos imperiais napolenicos, juntamente com outros dispositivos de concursos pblicos. Esse teste, o bac, como chamado, tem a funo de legitimar os estudos secundrios, bem como a pedagogia, os saberes, valores e privilgios que lhes correspondem e de selecionar os estudantes aptos a ingressarem no ensino superior.

10

A escolarizao acontece em um contexto marcado pela crise, momento em que o paradigma da religio (perodo medieval) desconsiderado em detrimento do paradigma da subjetivao do mundo (incio da modernidade). A concepo de escola passa, ento, a ser historicizada num clima de conflitos entre educao escolstica (medieval) e uma nova ordem que organiza e modifica o mundo (modernidade). Na modernidade, o conhecimento construdo como algo pronto e acabado e a nova ordem define, como conhecimento confivel, aquele que pode ser medido e comprovado. a era da matematizao das cincias.

O homem moderno preocupa-se com o futuro e, por isso, programa, planeja e projeta-o. Surge, ento, a necessidade da educao sistematizada - a escola, cujo objetivo era inculcar a ordem estabelecida e disciplinar os sujeitos para o trabalho, a fim de contribuir com o desenvolvimento econmico. A pedagogia moderna surge para organizar a nova ordem capitalista e industrial na educao das crianas e dos jovens, cujo objetivo era controlar os sujeitos para o trabalho. O nosso objetivo no discutir, intensamente, a origem da escolarizao, apenas destacar o contexto em que ela surgiu, j que a avaliao surge a partir desse contexto. Enguita presta grande contribuio na reflexo ao dizer que:

Os que se davam por contente com que as crianas do povo, futuros trabalhadores, no recebessem nenhuma instruo ou que esta se limitasse ao doutrinamento religioso tinham os olhos ainda postos na velha sociedade, no Antigo Regime, nas formas de produo que j estavam sendo varridas por outras novas. (...) A partir de agora, devia aceitar trabalhar para outro e faz-lo nas condies que este outro lhe impusesse. Se os meios para dobrar os adultos iam ser a fome, o internamento ou a fora, a infncia (os adultos das geraes seguintes) oferecia a vantagem de poder ser modelada desde o princpio de acordo com as necessidades da nova ordem capitalista e industrial, com as novas relaes de produo e os processos de trabalho. ENGUITA (1989, p. 113)

Na modernidade os espaos escolares so modificados: se para os antigos a escola era espao aberto, assistemtico, para os modernos um espao organizado, normatizado, detalhado; primam pela ordem em busca do progresso da humanidade. A melhoria da sociedade viria pela educao.

Nesse contexto surgiram as prticas de avaliao escolar, fundadas na noo de organizao social, de ordem e seleo, princpios que foram se tornando cada vez mais arraigados s prticas sociais. Com a Revoluo Francesa o acesso educao bsica foi ampliado, momento que teve origem o sistema de classes que, segundo Dias Sobrinho (2002a, p. 36), organizou os alunos em classes conforme as capacidades individuais e idades. Nesse sentido, a avaliao era utilizada como instrumento para classificar e organizar os alunos em classes. A

11

escola, filiada a um vis capitalista, tinha a funo de preparar servidores para os novos cargos e funes do sistema de servios pblicos. Ainda com a Revoluo Industrial, as formas de trabalho foram se organizando; estabeleceram-se os conceitos salariais e as hierarquias de poder ligadas aos cargos ocupados pelos servidores. A avaliao ganhou maior importncia para selecionar os indivduos a fim de ocupar os cargos no servio pblico, ultrapassando os espaos da escola.

Percebemos que a avaliao vai surgindo como necessidade da sociedade moderna com o sentido de medida, seleo e classificao e no como diagnstico para reconstruo das prticas. Para atingir o nvel de exatido, objetividade, eficcia e dar conta de medir atendendo aos princpios positivistas, a avaliao foi-se desenvolvendo tecnicamente criando testes escritos e o sistema de notas. Segundo Dias Sobrinho (2002b, p. 19), essa foi a primeira caracterstica dada a avaliao e, at hoje, parece ser sua essncia: formular testes escritos com fins de medida.

As universidades medievais praticavam apenas exerccios orais. Posteriormente, os jesutas utilizaram, fartamente, as competies orais como proposta pedaggica. Os testes escritos uma criao da sociedade moderna. Nesse primeiro momento da avaliao educacional, avaliar significava medir. Conceito que vm at hoje influenciando as prticas de avaliao. Vejamos o que diz Abramowicz (1998, p. 80):

O estudo da avaliao cognitiva constitui-se no ramo mais antigo da rea de medida do rendimento e teve incio em 1901, com Edward L. Thorndike, nos Estados Unidos, enfatizando medida das mudanas comportamentais. Nas primeiras dcadas do sculo XX, o campo de testes se desenvolveu com grande detalhamento e sofisticao, dominando todo o panorama bibliogrfico.

A Psicometria, ramo da Psicologia, que tem por objetivo estudar medidas de inteligncia e desempenho usando testes padronizados, dominou a avaliao desde o final do sculo XIX e ainda em boa parte do sculo XX. Estudos apontam que at 1930, esses testes mensuravam as capacidades individuais, mas, a partir de 1930, comearam a surgir testes que buscavam avaliar os programas sociais e educacionais.

12

1.1.1 - A avaliao ultrapassa os espaos da sala de aula: surgimento da avaliao institucional

Com a expanso da indstria e a utilizao da educao como meio de docilizao dos sujeitos para o trabalho e, conseqentemente, melhoria da economia, era necessrio investir na educao e na formulao de programas educacionais a fim de medir se tais objetivos eram alcanados. Os objetivos educacionais eram estabelecidos em funo do desenvolvimento industrial, cuja meta era recuperar a economia norte-americana. Nesse contexto a avaliao ganha um sentido mais amplo, pois:

(...) ela passa a averiguar at que ponto os currculos e as prticas pedaggicas esto atingindo os objetivos de levar a escola a ser eficaz e alcanar as metas de eficincia que a economia exigia. Portanto, torna-se mais evidente a sua racionalidade instrumental. Ainda que permanecesse muito centrado nas escolas e, sobretudo no eixo ensino-aprendizagem, seu campo se ampliou, na medida em que passou a articular os rendimentos dos alunos s questes de currculos e programas. Sua importncia tambm cresceu como mecanismo de controle e seleo de sua fidelidade e cientificidade, graas ao aperfeioamento dos instrumentos de testes e medidas. (DIAS SOBRINHO, 2002b, p. 21 - 22)

Segundo esse autor a mudana de foco da avaliao de indivduos para a de programas, currculos e, sobretudo, para a formulao e cumprimento dos objetivos traados, continua concebendo a medio como um procedimento experimental, cunhado na cincia positivista dominante, pois, era o nico mtodo a ter validade para a avaliao. Assim:

A expresso avaliao educacional apareceu somente em 1934, usada pela primeira vez por Tyler. Nessa altura comeam a vigorar as propostas de educao por objetivos. A tarefa bsica da educao era cumprir os objetivos que eram previamente estabelecidos, com base nos recursos e crenas da cincia positivista da poca e em funo das necessidades econmicas e sociais que, de modo especial, os Estados Unidos experimentavam. A avaliao deveria averiguar o quanto os estudantes individual e coletivamente conseguiam demonstrar, isto , segundo a concepo de educao ento dominante, que mudanas de comportamento se podiam observar ao final de um determinado processo, tendo em vista os objetivos estabelecidos. (DIAS SOBRINHO 2002b, p. 21)

Abramowicz (1998, p. 80) citando Stake (1982), afirma que, durante muito tempo avaliar significou testar a fim de medir o progresso obtido pelos alunos. Ele se baseia em testes elaborados conforme objetivos definidos previamente ou em testes padronizados que cobrem objetivos do programa (ou outro anlogos).

Desse modo, o estudo da avaliao desenvolveu-se com o uso de novas tcnicas e instrumentos, porm a idia de medida e seleo era a concepo fundante dos processos. Tyler e

13

Smith apresentam vrias tcnicas utilizadas a partir em 1930 como: testes, escalas de atitudes, inventrios, questionrios, fichas de registro de comportamento (check list) e outras medidas, cujo objetivo era colher evidncias sobre o rendimento dos alunos numa perspectiva longitudinal em relao consecuo de objetivos curriculares.

Tyler foi um dos primeiros autores a enfatizar a necessidade de definir claramente os objetivos educacionais como comportamento manifesto do aluno. O estudo dos Oito Anos de Ralph Tyler e Smith (Eight Year Study, para a Progressive Education Association), prope uma avaliao longitudinal no ensino superior com alunos egressos de escolas secundrias de vanguarda (Saul, 1988). Para Martins, 1980 apud Abramowicz (1998, p. 81): este projeto fundamentou-se na contribuio de trinta e duas escolas secundrias e de Universidades. A informao coletada, ao longo do processo educacional, permitiu a introduo de idias novas, tanto nos instrumentos como nas tcnicas de avaliao.

Citamos Tyler, para retratar a concepo de avaliao que permeava as prticas desse perodo:

A avaliao educacional descobrir o que os estudantes aprenderam na escola e quais eles esto enfrentando dificuldades de aprendizagem... Avaliao educacional importante e necessria tanto para ajudar o professor quanto para dar ao pblico uma noo melhor do rendimento educacional e de onde esto os problemas que requerem cuidadosa ateno. (TYLER, 1973, apud Abramowicz, 1998, p. 81).

Estamos observando, neste estudo, que a avaliao vai tomando uma dimenso para alm dos espaos escolares e comea a ser utilizada nos sistemas educacionais com o mesmo vis: atribuir notas, medir e classificar. Em sntese, avaliar julgar o mrito dos alunos e julgar a eficincia do sistema educacional.

Segundo Cavalcante (2002) em um estudo realizado sobre o desenvolvimento da avaliao de polticas, citando Weiss (1998), destaca que o primeiro estudo etiquetado como avaliao de polticas foi realizado em 1833 e consistia num estudo estatstico feito por A. M. Guerry, o qual mostrava que, na Inglaterra, a educao no estava reduzindo o crime. Porm, s em 1844 ocorreria o registro da primeira publicao de um estudo de avaliao (avaliao de estradas e canais), realizado por Julies Depuit, medindo o valor de um projeto de canal por meio de clculos econmicos.

Os estudos mostram que, na rea educacional, a avaliao centrou-se, primeiramente, no rendimento do aluno. Segundo Worthen (1997, apud Cavalcante 2002), a primeira avaliao realizada sobre o estudante, visando servir de base para comparar diferentes instituies de

14

ensino, aconteceu entre 1840 e 1846, realizadas em Massachusetts atravs de testes impressos concernentes a assuntos diversos. Estes testes serviram para medir objetivamente o nvel de aprendizagem do estudante e avaliar a qualidade do sistema escolar.

Embora desde o Sc. XIX existissem prticas de avaliao com utilizao de recursos tcnicos, no Sc. XX, a partir de 1930, que emergem as tenses e complexidades dos processos avaliativos e a efervescncia de seu desenvolvimento. Portanto, podemos dizer que o campo da avaliao est em pleno desenvolvimento.

Segundo Stufflebeam e Shinkfield (apud Requena, 1995), a sistematizao e origem da avaliao das instituies deu-se nos Estados Unidos. Requena, ao estudar a avaliao da Faculdade de Cincias Polticas e Sociologia da Universidade de Granada- Espanha apresenta as origens e a sistematizao da avaliao nos Estados Unidos e examina a continuidade de suas tendncias e enfoques em cinco perodos.

O primeiro perodo, demarcado at 1930, considerado a era pr-Tyler e so caracterizadas nulas ou quase nulas as atividades de avaliao. O segundo perodo destaca a era Tyler avaliao centrada nos objetivos, perodo que compreende os anos de 1930 a 1945. Esse perodo pode ser considerado o incio da histria da avaliao no setor educacional. Destaca-se a contribuio de Ralph Tyler, pela a avaliao centrada nos objetivos. O terceiro perodo, compreendido entre os anos de 1946 a 1957, considerado como a "era da inocncia", devido ao descrdito dado a avaliao e, principalmente, ao campo da educao. O quarto perodo, 1958 a 1972, denominado de "O realismo", produzindo um auge na avaliao aplicada, em funo do apoio financeiro das administraes pblicas e desenvolvendo-se como uma atividade de carter prprio. Esse perodo foi marcado pelas avaliaes de projetos e de currculos em grande escala, financiadas com fundos pblicos e com uma metodologia relacionada aos conceitos de utilidade e relevncia, o que permitiu a avaliao converter-se em uma indstria e profisso.

Em 1965 foi promulgada pelo Presidente Lyndon Johnson a Declarao de "Guerra contra a Pobreza". Isso implicou na destinao de grandes fundos para programas sociais, dando nfase aos problemas dos estudantes que chegavam escola com desvantagens sociais e educacionais, em geral, oriundos de famlias pobres e marginalizadas. Decorrente da proposta do Senador Robert Kennedy, fez-se obrigatria uma avaliao para saber se esses programas alcanaram os objetivos propostos, o que impulsionou a obrigatoriedade de avaliao dos programas sociais. Nesse perodo, segundo House (2000, p. 185), o senador Robert Kennedy

15

incluiu, nas Diretrizes da Educao Secundria e Elementar, uma clusula adicional relativa avaliao, tornando-a assim, parte obrigatria da educao. Essa deciso deveu-se ao fato de suspeitarem que a escola fosse culpada pelo baixo nvel de desempenho dos alunos. Nesse caso, a implantao da avaliao significou uma forma de prestao de contas aos pais.

Pensava que as escolas eram, em parte, culpadas pelo baixo nvel de rendimento dos alunos, e que o novo financiamento federal no se utilizava com proveito. O propsito que perseguia a obrigao de elaborar informes era dar notcia aos pais, sobretudo aos pais pobres, de como trabalhavam as escolas. (HOUSE, 2000, p. 185)

Foram utilizados, como instrumentos, os testes estandardizados. Porm, mostraram-se ineficientes para diagnosticar as necessidades e os valores dos meninos menos favorecidos. A ineficcia da metodologia da avaliao, para efeito de diagnstico, foi logo percebida. Assim, provocou a criao do "National Study Committee on Evalution". Stufflebeam fazia parte deste comit e tratou de revisar as distintas avaliaes j realizadas, recomendando o desenvolvimento de novas teorias e mtodos, ou seja, a reforma do mtodo Tyler. Recomendara testes baseados em critrios e normas e no mais em objetivos. Aos poucos a avaliao se estendeu a quase todos os programas sociais.

O quinto perodo destacado como a era do profissionalismo e compreende os anos de 1973-1993. Neste perodo, a avaliao se consolida como profisso e ganha um campo prprio de reflexo terica. H uma veiculao de comunicaes entre os partidrios dos mtodos positivistas/quantitativos e aqueles que propem mtodos fenomenolgicos/qualitativos. Neste perodo, apenas no Canad e em algumas organizaes internacionais, alm dos Estados Unidos, implantou uma avaliao sistemtica das polticas pblicas. A avaliao surgiu, tambm, nas Universidades da Espanha na perspectiva de verificao do funcionamento do sistema, visando melhor-lo. Assim, a avaliao surgiu com a funo de melhorar a qualidade dos servios que a universidade presta sociedade.

Para Dias Sobrinho (2003a, p. 22), nesse momento, os estudos em avaliao deslocam o seu centro, isto , dos objetivos para as tomadas de deciso. O paradigma positivista, da pura medio, quantificao, classificao questionado e surge um incremento dos enfoques de carter qualitativo, com nfase no valor, dotando a avaliao de uma funo ativa. Nessa perspectiva, no apenas se descreve os resultados obtidos, mas, tambm, passa a avaliar os contextos, os processos, as condies de produo e os elementos finais.

16

Tericos como Cronbach (1963), Scriven (1967), Stufflebeam (1968), Parlett e Hamilton (1972), Stake (1967 a 1984), propunham uma superao do modelo Tyler de avaliao que se baseava na idia de que os objetivos so os organizadores da avaliao. Em contraposio a idia de Tyler, estes tericos acreditam que a melhor orientao do processo de avaliao clareza do tipo de deciso que se pretende alcanar. Desse modo, as decises a serem tomadas constituem o centro da avaliao. Nesse sentido, Dias Sobrinho (2003a, p. 22 - 23) afirma que avaliar as estruturas especficas de um programa mais importante que fazer comparaes com outras unidades externas; o processo interno mais importante e as decises de mudana podem ser tomadas durante o desenvolvimento, no necessariamente depois de terminado o programa ou curso.

Saul (2000, p. 36), apresenta o enfoque de Scriven, cuja contribuio foi grande para a rea da avaliao, uma vez que, centrava-se no objetivo de determinar ou justificar o mrito ou valor de uma entidade. Para Dias Sobrinho (2003a, p. 22) essa contribuio consiste na distino entre funes e objetivos, sendo estes invariveis e as funes se referem ao emprego das informaes para as tomadas de decises. Ainda distingue avaliao formativa, a qual se realiza ao longo do processo com a introduo de modificaes e, a avaliao somativa, realizada depois de terminado o processo, a fim de verificar os resultados.

Saul (2000, p. 36 a 38), tambm apresenta o enfoque de Parlett e Hamilton, os quais concebiam a avaliao como uma descrio e interpretao da situao complexa de um programa de inovao, cujo objetivo verificar seu impacto, sua validade e sua eficincia. Stake apresenta a avaliao responsiva que tambm descreve e julga um programa educacional, identificando os seus pontos fortes e fracos.

Para Dias Sobrinho (2003a, p. 23), a avaliao passa a ser nos anos de 1970 e seguintes, alm de uma rea de muitas prticas, um importante objeto de estudo. Algumas universidades criam cursos de formao em avaliao e organizaes profissionais se constituem, momento em que proliferam seminrios e congressos na rea. A avaliao ganha importncia e visibilidade para alm das salas de aula e das instituies educacionais. Por fim, surge a necessidade de avaliar as avaliaes, o que se denominou meta-avaliao. Logo, a prpria avaliao se transforma em objeto de estudo por parte da comunidade a ela dedicada.

17

1.2 - Concepes, Princpios, Perspectivas e Enfoques Tericos que sustentam os diferentes nveis de avaliao.

Estudar as concepes, princpios, perspectivas e enfoques tericos da avaliao condio para entender a lgica que est implcita nos seus modelos. A anlise de um programa de avaliao passa pela anlise de suas concepes, princpios, perspectivas e enfoques tericos. A compreenso dessas questes nos possibilita escolher o modelo que vamos utilizar, bem como, identificar aqules j utilizados. Esse procedimento deve ser feito pelo professor, ao definir o tipo de avaliao a ser desenvolvido com seus alunos; pela instituio, ao escolher o modelo mais adequado para avaliar suas aes e, pelo Estado, ao escolher o modelo para avaliar o sistema, seja ele, municipal, estadual ou federal.

Assim, percebemos que a avaliao educacional perpassa diversos nveis: o de aprendizagem, quando desenvolvido em sala de aula na relao professor/aluno, o institucional, quando desenvolvido pela instituio para avaliar o seu projeto pedaggico; pelo Estado, quando desenvolvido para avaliar o sistema educacional com o objetivo de implementao ou elaborao das polticas pblicas. Ainda encontramos o nvel da avaliao de programas, polticas e/ou projetos, quando acontece a avaliao de um projeto e/ou programa em execuo. Vale lembrar que existe uma relao de interdependncia entre esses nveis de avaliao que mesmo acontecendo em instncias diversificadas e com objetivos especficos, mutuamente se afetam. Portanto, necessrio buscar coerncia na lgica que os sustentam, o que tem se consistido como desafios.

Nesse sentido, todas as pessoas que se propem fazer avaliaes devem tomar conhecimento dessas questes para entenderem a lgica que sustenta os diversos modelos e fazerem escolhas conscientes de suas conseqncias, uma vez que tais escolhas dizem respeito s diferentes concepes construdas ao longo de suas histrias de vida. Dias Sobrinho (2002b, p. 25), afirma que a escolha de uma metodologia resulta da aceitao de um determinado paradigma. A adeso a um paradigma e sua oposio a outros, conseqncia da forma que cada um concebe o mundo e os acontecimentos que nele se desenvolvem de modos profundamente diferentes.

Nos estudos realizados encontramos vrios tericos que apresentam diversos enfoques, modelos e/ou perspectivas da avaliao. A seguir, destacamos alguns modelos que explicitam as diversas formas de conceb-la. Quando falamos em modelo no falamos de paradigmas prontos

18

e acabados, mas dos pressupostos ticos, epistemolgicos e metodolgicos coerentes com as prticas de avaliao que vem sendo implantadas durante o sculo XX. Para Requena (1995, p. 56), as distintas classificaes que se tem realizado nos modelos de avaliao tm a inteno de clarificar a base terica de cada um para analisar semelhanas e diferenas. Esse autor, ainda afirma que, o modelo de avaliao a sntese dos conhecimentos que o avaliador emprega para conhecer a realidade de avaliar. House (2000, p. 23) trabalha com o conceito de enfoques, mas, ressalta que, alguns tericos chamam de modelos, outros de paradigma. Para ele, um enfoque um modelo ideal que configura uma avaliao real.

No pretendemos, neste trabalho, apresentar todos os enfoques de avaliao, uma vez que essa questo no est superada. Porm, trataremos daqueles que satisfazem o objetivo dessa pesquisa.

1.2.1 - Enfoques de Avaliao

Comearemos analisando, conforme Requena (1995, p. 57), os trs enfoques propostos por Popham (1976): modelos baseados na aquisio de objetivos, modelos baseados em juzo profissional e modelos orientados para as tomadas de deciso.

a) Modelos baseados na aquisio de objetivos - Esse modelo proposto por Tyler e consiste na determinao das finalidades do programa, na determinao dos objetivos condutores, na medio dos resultados em termos de rendimento e por ltimo na comparao dos resultados com os objetivos determinados. Pela avaliao, se pretende comprovar at que ponto os objetivos programados foram alcanados, pois preciso comparar os resultados obtidos, uma vez que, a avaliao entendida como um processo sistemtico no qual se determina at que ponto os objetivos tm sido alcanados. Neste modelo, o desenho da avaliao segue as seguintes etapas:

1) Especificao de metas e objetivos da instituio; 2) Estrita delimitao destes objetivos de modo hierrquico. Classificao

por prioridade institucional. 3) Seleo ou elaborao dos instrumentos adequados para medir a

execuo dos objetivos; 4) Tabulao dos dados necessrios utilizando os instrumentos de medida

selecionados no ponto trs;

19

5) Anlise comparativa dos dados, que se constata nas informaes tabuladas e no que a instituio pretendia conseguir. dizer at que ponto se tem alcanado os objetivos propostos.

A figura a seguir representa o modelo proposto por Tyler.

Figura 01. Sntese do modelo de avaliao proposto por Tyler

OBJETIVOS INSTITUCION

APLICACION OBJETIVOS

RESULTADOS APLICACION

EVALUACION

Comparar resultados com objetivos

Fonte: Requena, 1995 p. 62

b) Modelo baseado em juzo profissional Tem como caracterstica comum embasar-se em juzo de profissionais, no em medio objetiva de resultados. So avaliaes com sustentao nos juzos de expert em avaliao. Requena, citando Pophan (1976) apresenta dois grupos: aqueles que acreditam que estes juzos se baseiam em critrios intrnsecos, processual, de coerncia interna. Destaca o modelo denominado de acreditao, em que um grupo de expert examina o programa e/ou instituio e determina se seu funcionamento e resultados se adequam ou no aos padres previamente elaborados. Incluem-se aqui os modelos de Parlett e Hamilton. O segundo grupo representado por aqueles que acreditam que estes juzos se baseiam em critrios extrnsecos de utilidade e eficcia. Incluem-se aqui os modelos de Stake e Scriven.

c) Modelos orientados para as tomadas de decises Sua caracterstica dominante consiste em proporcionar informaes adequadas para as tomadas de decises, evitando a elaborao de juzos de valor por parte do avaliador, o qual no pertence s instncias decisrias. Este modelo leva em conta as variveis mais representativas das diferentes fases do desenvolvimento do programa, destacando como seus representantes Stufflebean e Cronbach. Esse modelo abre as portas para a avaliao qualitativa; deixa de lado a orientao positivista de avaliao e passa avaliao que contribui para fomentar a reflexo acerca dos problemas de um determinado meio social e assim gerar novas idias e sentimentos a partir dos quais aparecem possveis reas de mudanas e mtodos de apoio. Elaborar um plano de investigao dirigido

20

avaliao de instituies educativas, neste caso, uma arte complexa que requer do avaliador uma mentalidade aberta, uma conscincia poltica e uma boa comunicao entre as etapas de planejamento e implementao da investigao avaliativa.

A figura que segue apresenta a diagramao do modelo orientado para as tomadas de deciso.

Figura 02. Sntese do modelo de avaliao proposto por Cronbach

EVALUACION

1 PLANIFICACION 2 - IMPLEMENTACION

OBJETIVOS INSTITUCION

RESULTADOS APLICACION

Fonte: Requena, 1995 p. 69

Em reviso aos escritos de Dias Sobrinho (2003a, p. 29 a 52), encontramos um estudo sobre os enfoques de avaliao que, tambm, atende s necessidades desta pesquisa. Esse autor apresenta a classificao elaborada por De Ketele, o qual classifica a avaliao a partir de onze paradigmas. Vejamos sinteticamente as perspectivas paradigmticas apresentadas:

Paradigma da Intuio Pragmtica Procura responder interrogaes dos pais e da comunidade, avaliao somativa com funo de gesto social.

Paradigma docimolgico utiliza-se bastante da estatstica e se preocupa com a coerncia das notas, assemelhando-se medida e avaliao.

Paradigma sociolgico apia-se na sociologia da escola. Evidencia certas diferenas mais que outras e parte de desigualdades reais idnticas, no fabrica hierarquias formais.

Paradigma da avaliao centrada nos objetivos elaborada sob a forma de objetivos a serem atingidos.

Paradigma da avaliao formativa no ensino diferenciado centra-se no princpio da regulao das aprendizagens e respeita a individualidade dos estudantes para aprender.

Paradigma a servio da deciso Proposta de Stufflebeam, cuja avaliao global e no indivividual. Mede as diferenas entre as performances e objetivos a atingir e possibilita informaes sobre os julgamentos dos autores quanto aos resultados.

21

Paradigma da avaliao centrada no consumidor segundo Scriven Julgamento de valor sobre dois consumidores: os professores (sobre sua prtica) e os estudantes.

Paradigma da avaliao centrada no cliente ou Paradigma da avaliao respondente (ou responsiva) segundo Stake - busca produzir informaes objetivas e subjetivas para os diferentes clientes implicados.

Paradigma econmico apia-se nos conceitos de eficcia (fazer progredir as aquisies dos estudantes) e de equidade (no aumentar a distncia entre os fortes e os fracos).

Paradigma de avaliao como processo de regulao Este paradigma articula quase todos os modelos e prticas de avaliao atuais.

Dias Sobrinho (2003a, p. 38), ainda apresenta a classificao feita por MacDonald, a qual estabelece distines entre os enfoques tcnico-burocrtico e participativo que, na nossa anlise, sintetiza os paradigmas de avaliao. Veja a figura a seguir:

Figura 03 - Distines entre os enfoques tcnico-burocrtico e participativo

Enfoque de avaliao Tcnico-burocrtica Participativa

Fonte de valores Autoridades administrativas Comunidade universitria

Destinatrio Agncias / governo Universidade

Papel do avaliador Controlador Educador

Tcnica de apresentao dos dados

Crveis s autoridades Acessveis a todos

Propriedade da avaliao Administrao central Comunidade

Conceitos-chave Eficincia,utilidade, competitividade Participao, democracia, cooperao

Objetivos Controlar, hierarquizar, instrumentalizar a distribuio de recursos, credenciamento (acreditation), prestao (contbil) de contas

Conhecer a instituio, melhorar a qualidade, prestar conta sociedade

Mtodos e instrumentos Quantitativos, testes objetivos Quantitativos e qualitativos, combinados

Fonte: Dias Sobrinho (2003a p. 38)

Buscamos, ainda, em House (2000, p. 23 a 44), os principais enfoques de avaliao por ele apresentados, sendo: O enfoque da anlise de sistemas, o enfoque de objetivos condutores (ou baseados em metas); o enfoque da deciso; o enfoque que prescinde dos objetivos; o enfoque do estilo da crtica de arte; o enfoque da reviso profissional (acreditao); o enfoque quase jurdico

22

(de contra-prova) e o enfoque de estudo de casos (ou negociao). A seguir passaremos ao estudo de cada um desses enfoques.

a) O enfoque da anlise de sistemas Este enfoque se define nas medidas de resultados, como as pontuaes de testes em educao, tratando de relacionar as diferenas entre os programas com as variaes que se descobrem nos indicadores. Os dados so quantitativos e as medidas de resultados se relacionam com os programas mediante anlises de correlao ou outras tcnicas estatsticas.

Este enfoque de avaliao utiliza como medida de xito as pontuaes nos testes. Apesar de, tambm, analisar a durao semanal dos servios, os indicadores entre professores e alunos, os gastos por cada aluno e a quantidade total de participantes, a preocupao centra-se na mxima consecuo de xitos e na integrao de resultados, no na distribuio dos resultados. Estes so comunicados em equivalente de curva normal em nvel estadual ou nacional.

Para Rivlin (1971) apud House (2000, p.26), o problema fundamental desse enfoque consiste em como poderia o governo tomar decises melhores. Essa autora considera que as questes-chave so:

1) Como definimos os problemas sociais e como se distribuem? 2) A quem e quanto ajudaria nas solues propostas? 3) O que seria mais benfico e como poderiam comparar-se os benefcios de

modo mais eficaz? 4) Como podem proporcionar-se os servios de modo mais eficaz?

As idias-chave do enfoque de Rivlin (1971) eram as seguintes: - As decises devem ser tomadas no nvel governamental. - O fim da avaliao a eficincia na produo de servios sociais. - O nico conhecimento verdadeiro consiste na funo de produo que

especifique relaes estveis entre inputs e outputs educativos. - Somente pode conseguir esse conhecimento mediante os mtodos

experimentais e as tcnicas estatsticas. - possvel alcanar o acordo entre objetivos e sobre umas poucas medidas

de resultados. - Existe um paralelismo direto entre a produo de servios sociais e artigos

manufaturados. Se aplicam as mesmas tcnicas de anlises. (HOUSE, 2000, p. 52)

No enfoque da anlise de sistemas as avaliaes se efetuam com fins de gesto, planejamento, desenvolvimento normativo e efeitos fiscais.

23

b) O enfoque dos objetivos comportamentais (baseados em metas) O enfoque dos objetivos condutores resolve de outra maneira o dilema do avaliador moderno. Toma as metas do programa tal como esto formuladas e recolhe provas para comprovar se esto sendo alcanadas. Os objetivos so a nica fonte de normas e critrios. As discrepncias entre os objetivos formulados e os resultados obtidos constituem a medida de xito do programa.

Na educao, o modelo baseado em objetivos, foi promovido por Tyler (1950) que defendia a definio dos objetivos educativos em funo da conduta dos estudantes. A avaliao de um programa deveria definir seus resultados e seus objetivos como condutas individuais especficas.

Os meios empregados para medir a conduta dos alunos consistiam em variveis para obter dados quantificveis, sobretudo, os testes de rendimento em educao. Bloom (1956) e outros elaboraram taxonomias de objetivos educativos apropriados.

Nos ltimos anos, o centro de ateno da tcnica tem-se preocupado desde a adequada formulao dos objetivos preocupao pelo modo de medi-los. Os testes de rendimento tradicionais consistem de itens de prova que no se baseiam em objetivos especificados de antemo. Tem surgido um interesse pela elaborao de testes referidos a um critrio. Invariavelmente, referem-se aos objetivos, ou seja, os elaboradores dos testes estabelecem um conjunto de objetivos e baseiam-se neles para elaborar os itens do teste.

O enfoque dos objetivos comportamentais pode ser contrastado com o primeiro enfoque, o de anlise de sistema, este se limita a aplicar os testes quantitativos para medir o nvel de um programa e divulgar as pontuaes. O enfoque dos objetivos condutores tambm trabalha com os objetivos e as metas, mas teria que elaborar vrios critrios a partir dos objetivos e das metas de um programa e determinar se cada uma est alcanada a partir da reduo das metas e objetivos a um conjunto mensurvel. Os objetivos aqui funcionam como uma hiptese de trabalho.

c) O enfoque da deciso - Todos os enfoques modernos de avaliao tm conexo com as tomadas de deciso, entretanto variam de acordo com os responsveis pela deciso e o modo em que estas se levam a efeito. O enfoque da deciso sustenta que a avaliao tem que ser estruturada a partir das decises reais a serem tomadas, o que por regra geral, depende do responsvel mximo, o diretor ou administrador.

No campo da educao, o principal expoente deste enfoque tem sido Stufflebeam que defende a concepo de que a avaliao um processo de delimitar, obter e proporcionar

24

informao til para possveis decises alternativas. (Stufflebeam, 1973 apud House, 2000, p. 30). Este autor define trs mbitos de deciso (homeostasia, incrementalismo e neomovilismo), quatro tipos de deciso (planejamento, estruturao, implementao e reciclagem), trs fases no processo (delimitao, obteno e comunicao) e quatro tipos de avaliao (de contexto, de entrada (input), de processo e de produto).

Independente do tipo de avaliao que se trate, seu desenho se estabelece mediante a identificao do nvel de deciso a que se dirige, projetando a situao da deciso, definindo os critrios de cada situao e as normas para o avaliador, que coleta, organiza, analisa e transmite as informaes teis.

Esse enfoque exige que se definam as dimenses pertinentes de valor e que o responsvel pela deciso classifique as entidades que sero avaliadas em relao s escalas de valor, que se baseiam em juzos subjetivos dos responsveis pelas decises.

Para Requena (1995, p. 30), o primeiro passo para esse tipo de avaliao a identificao e organizao pelos responsveis da deciso sobre as informaes que sero necessrias na avaliao; o segundo identificar e centrar nas questes pertinentes e por ltimo os responsveis pelas decises podem especificar como utilizaro os resultados em questo.

A metodologia utilizada nessa perspectiva se sustenta na pesquisa de opinio como questionrios ou entrevistas e o avaliador trabalha mais sobre as variaes naturais do meio onde se desenvolve o programa que est sendo avaliado.

d) O enfoque que prescinde dos objetivos - Este enfoque constitui uma reao aos modelos de avaliao determinados pelos objetivos. House (2000, p. 31) cita Scriven (1973), o qual sustenta que o avaliador no pode ancorar sua avaliao nos objetivos do programa, mas deve procurar evitar deliberadamente informar-se sobre eles, com o fim de que no leve para a avaliao resultados tendenciosos. A avaliao sem objetivos deve contemplar-se, no contexto da preocupao mais geral de Scriven, pela reduo dos efeitos das tendncias na avaliao, uma vez que os objetivos produzem tendncias no avaliador.

Os modelos sem objetivos reduzem a tendncia de buscar somente as intenes dos responsveis pelo programa, especificados a priori. O avaliador deve investigar todos os resultados.

Para House (idem, p. 32), de todos os enfoques de avaliao, esse o que tem sido menos utilizado, havendo at questionamento se este enfoque deve pertencer aos enfoques

25

principais. No campo dos servios sociais difcil imaginar onde pode o avaliador encontrar critrios de avaliao fora dos objetivos dos responsveis pelo programa. O pressuposto de que o avaliador se limita a construir critrios a partir dos objetivos formulados pelos responsveis pelo programa. Contudo, House apresenta a experincia de avaliao desenvolvida nesse enfoque pela la Consumers Union que avalia produtos de consumo com regularidade sem perguntar aos produtores quais so suas metas. A avaliao sem objetivos toma como destinatrios, o grupo de referncia, os beneficirios dos programas sociais, em vez dos responsveis pelo programa.

Sriven define a concepo de necessidades como fundamento da avaliao. Assim, a avaliao independe dos objetivos e se baseia na anlise das necessidades do usurio e no nos objetivos dos produtores.

A metodologia no to clara como em outros enfoques. Em geral, Sriven partidrio de um enfoque sem tendncias para garantir a objetividade. Para Dias Sobrinho (2003, p. 33), esse enfoque tem a vantagem de deslocar o foco da destinao: das autoridades para os diretamente concernidos.

e) O enfoque do estilo da crtica da arte - As pessoas que desenvolvem a crtica da arte, a crtica literria, a crtica teatral e a crtica de cinema so bem conhecidas e constituem formas valiosas de julgar a qualidade das obras de arte. Segundo House (idem, p.33), foi Eisner e outros estudiosos que adaptaram esse modelo crtica educativa ou curricular para julgar os programas educativos.

Na concepo de Eisner, a crtica qualitativa por natureza. O crtico enfrenta a difcil tarefa de traduzir as qualidades essencialmente inefveis que constituem as obras em uma linguagem que ajude aos demais a perceber a obra com maior profundidade. A prova da crtica est nos efeitos instrumentais que produz em seu destinatrio.

A crtica a arte de revelar as qualidades dos fatos ou objetos que percebe. A crtica trata de traduzir uma situao de tal maneira que se coloquem em evidncia os aspectos significativos, da situao, objeto ou programa. A crtica realizada de maneira adequada aumenta o conhecimento e a apreciao. A funo da crtica consiste em aplicar critrios de maneira que os juzos sobre os fatos possam levar s consideraes importantes.

No existe uma metodologia normalizada, salvo a reviso crtica, que pode ser feita de diversos modos. A imerso e a familiaridade com o objeto ou programa costumam

26

considerarem-se fundamentais. Para o crtico so essenciais uma experincia reforada, uma melhora dos nveis e uma atuao perfeccionada.

f) O Enfoque da Reviso Profissional (Acreditao) Para House (2000, p. 35), durante mais de cinqenta anos, as associaes profissionais tm constitudo as avaliaes da preparao profissional. Trata-se de avaliar mdicos, advogados, trabalhadores sociais, professores, a reviso profissional dos centros de formao, tal como a realizada pela North Central Association nas escolas secundrias. A reviso profissional supe que os cirurgies, professores, advogados ou outros profissionais julguem o trabalho de seus colegas. Assim, a avaliao se d pelos companheiros de profisso.

Este enfoque est pensado para avaliar os profissionais na auto-avaliao. Antes que uma comisso externa efetue uma visita, os profissionais se dividem em vrias subcomisses que se encarregam de pontuar itens para comprovao, cujos resultados sero comunicados a todos os profissionais. Aps essa auto-avaliao, o organismo externo encarregado da certificao manda uma comisso externa para validar a auto-avaliao. Os centros de profissionais tm direito a vetar os membros desta comisso.

A comisso externa divide-se em subcomisses por reas e cada uma delas comprova as pontuaes da auto-avaliao, modificando-as se no esto de acordo com elas. Tanto as comisses como subcomisses elaboram informes escritos. Antes de abandonar o centro feito um breve informe oral aos profissionais, a comisso indica os principais aspectos positivos e negativos e faz as correspondentes recomendaes. Dependendo dos informes se concede ou no a certificao para a escola e/ou centro.

House, (2000, p. 36) registra que o rpido crescimento do enfoque de acreditao consiste na avaliao de departamentos ou unidades de uma universidade, patrocinada em regra geral pela administrao universitria. Uma das primeiras avaliaes deste tipo foi a Council on Program Evaluation (COPE) da universidade de lllinois. Desde 1972 at 1979 foram avaliadas todas as unidades acadmicas do Campus de Urbana.

Para operacionalizar este processo, instituiu-se um conselho de nove professores, presidido por um administrador do reitorado. Mais tarde, entraram para este conselho dois alunos graduados e dois no graduados. O conselho tinha a autoridade para avaliar os departamentos de acordo com seis critrios:

27

1- qualidade do programa docente 2- qualidade da investigao, da atividade criativa ou do trabalho acadmico; 3- Qualidade dos servios da universidade e da profisso; 4- Contribuio prestada pela unidade a outras do campus ou importncia

daquela no mesmo; 5- Valor do programa para a sociedade ou singularidade do mesmo no estado

e, 6- Possibilidades e previses de futuro. (HOUSE, idem, p. 37)

De incio, o Conselho nomeava grupos de trabalho de cinco a dez professores para que estudassem um departamento. Estes grupos faziam amplas entrevistas com os membros do departamento avaliado, relatando mais tarde, em um informe confidencial de avaliao que encaminhavam ao Conselho, o qual revisava e elaborava sua prpria avaliao. Normalmente, em forma de carta, enviava ao vice-reitor e ao departamento.

Depois de um tempo com esta experincia, verificou-se que ela exigia uma grande quantidade de tempo e por isso decidiu-se pela aplicao de formulrios.

Existem variaes de profisso para outras. Por exemplo, a avaliao dos mdicos est regida por um Conselho de profissionais, mas o mdico se submete a um exame escrito e outro oral a cargo de especialistas. Os procedimentos variam, mas a avaliao culmina em uma valorao global de um programa profissional a cargo de outros pares.

Para Dias Sobrinho (2000b, p. 32), a acreditao um processo voluntrio que segue as seguintes etapas: auto-avaliao, avaliao externa feita por pares universitrios, resposta da instituio ao relatrio da comisso externa, parecer final da agncia, concedendo, renovando ou negando a acreditao. Estes processos promovidos pelas agncias de avaliao j esto consolidados na cultura universitria norte-americana. A partir dos anos de 1980 esse processo de avaliao foi largamente estendido para outros pases.

g) O Enfoque Quase Judicial (de Contraprovas) Este enfoque tem sido utilizado desde h muito tempo com a finalidade de avaliao e de elaborao de normativas. Recentemente no campo da avaliao se vem prestando ateno simulao de juzos ou outros procedimentos de contraprova, sobretudo diante da agressiva ao dos tribunais de justia na determinao de problemas dos programas sociais.

O avaliador baseia-se nos procedimentos quase judiciais que prestam a avaliao autoridade da justia. bem recente a utilizao de procedimentos judiciais de contraprova para avaliar programas. A contraprova baseia-se no pressuposto de que os fatos de um caso podem

28

comprovar-se melhor se cada parte se empenhar e fizer todo o possvel, apresentando as provas mais favorveis em apoio de sua tese ante o tribunal.

House (idem, p. 39), citando Wolf, considera o processo constitudo por quatro fases: planejamento do problema, seleo do mesmo, apresentao de argumentos e audincia. Na primeira fase, faz-se uma srie de entrevistas para descobrir trinta problemas. Na segunda, utilizam-se pesquisas dirigidas a professores, estudantes e administradores a fim de reduzir o nmero de problemas. Na terceira, prepara-se a defesa por escrito e por ltimo d-se lugar s sees de apresentao anterior a audincia e a realizao da audincia.

h) Enfoque de Estudo de Casos (ou negociao) A questo central tratada neste enfoque centra-se nos processos e na viso que as pessoas tm sobre um programa. O que parece o programa aos sujeitos que tm contato habitual com ele? A metodologia consiste em entrevistas com muitas pessoas, observaes in loco e apresentao de dados em forma de estudos de casos. No estudo qualitativo de casos fundamental que se utiliza para este enfoque a expresso negociao.

O objetivo deste enfoque melhorar a compreenso que o leitor ou o destinatrio tenha de avaliao, mostrando como os outros percebem o programa submetido a avaliao. A metodologia utilizada etnogrfica e constitui um enfoque classificado como naturalista. Baseia-se mais na compreenso, na explicao e no conhecimento dos fatos. Para Stake, citado por House (2000 p. 41), os estudos de casos apresentam descries complexas, holsticas e implicam grande quantidade de variveis interativas. Os dados se obtm mediante a observao pessoal e a redao informal, narrativa e utilizam-se entrevistas, ilustraes, aluses e metforas. As comparaes so mais implcitas do que explcitas. Em experincias de avaliao, citadas por House, foram utilizadas observaes participantes por meio de notas de campo, entrevistas informais e anlises de documentos.

Dias Sobrinho (2003a, p. 35) discutindo esse modelo, afirma: No enfoque naturalista, da negociao, democrtico (MacDonald), de

avaliao iluminativa (Parlett e Hamilton), responsiva ou ainda respondente (Stake), o poder distribudo de forma democrtica entre os participantes ou distintos grupos, partindo do princpio de que a participao fundamental e que toda informao deve ser levada em conta. No se trata de um processo tranqilo e sem contradies. (...)

Esse processo centra-se mais na percepo e no conhecimento como processo de negociao. Na avaliao responsiva o avaliador costuma negociar com o cliente sobre o que fazer e responde ao que querem saber os destinatrios. Quem emprega o estudo de casos se

29

fundamenta tanto nas percepes de outros como nas suas, emitindo seus juzos de valor sobre o programa. Esse enfoque tem muita semelhana com o enfoque crtico e tem sido bastante utilizado. Segundo House (2000, p. 43), muitas avaliaes tm sido desenvolvidas mediante estudo de casos, considerado antes como muito subjetivo e j existe uma ampla bibliografia sobre o tema.

House (2000 p. 45 - 60), ainda, apresenta uma tima contribuio na anlise dos modelos de avaliao. Para este terico, uma maneira de compreender a avaliao consiste em comparar os numerosos enfoques ou modelos entre si. Vrias so as possibilidades de comparao, mas para ele as mais significativas so as que acontecem entre as premissas tericas que fundamentam os modelos. Ainda, para este autor, uma das questes fundamentais para a compreenso dos modelos entender que todos os modelos de avaliao esto sustentados pelas variaes das premissas do liberalismo, ou seja, nas concepes da democracia liberal. Premissas so os elementos que se tem enquanto verdadeiro num determinado modelo. Os elementos principais para a compreenso dos modelos de avaliao so a tica, a epistemologia e suas derivaes polticas.

1.2.2 tica e epistemologia que sustentam os modelos de avaliao e suas derivaes polticas, segundo House

House afirma que a filosofia do liberalismo tem sustentado os modelos de avaliao nas ltimas dcadas. No temos aqui, a pretenso de analisar em profundidade o liberalismo, mas faremos uma rpida incurso com House (2000 p. 46), o qual afirma que a filosofia do liberalismo"1, que sustenta os modelos de avaliao vigentes, surgiu do intento de racionalizar e justificar a sociedade de mercado, organizada sob as bases da eleio (escolha livre) e do individualismo (competio).

1 Segundo House (2000, p. 56) as origens primitivas da filosofia liberal se situam em Thomas Hobbes, empirista

britnico. Hobbes elaborou uma filosofia mecanicista da mente, que se baseava na idia de que as sensaes se produzem na mente a causa dos movimentos de corpos externos. As palavras s tm significado quando associam com estas sensaes e a verdade consiste no correto ordenamento de nomes e sensaes. As definies claras so fundamentais (...). Causa e efeito constituem um reflexo direto do mundo. Locke, Berkeley e Hume reformularam esta epistemologia. Duzentos anos depois, apareceu o ltimo dos empiristas britnicos: John Stuart Mill, segundo este a mente um feixe de impresses. As leis psicolgicas da associao constituram o fundamento da cincia e da sociedade. Tudo provm da experincia e tem que ser comprovado. O saber consistia em suma das observaes individuais.

30

House identifica, para analisar os modelos de avaliao, uma tica subjetivista sustentada pela epistemologia objetivista liberal e pela epistemologia subjetivista e na poltica apresenta as premissas (valores) dos modelos de avaliao a partir da viso dos utilitaristas e dos pluralistas.

A tica subjetivista considera que a finalidade da conduta tica a realizao de algum tipo de experincia subjetiva, entendendo-se que o conhecimento se d na intersubjetividade, ou seja, nas relaes entre o sujeito e o outro. Essas relaes contribuem para uma auto-anlise, chegando realizao da experincia subjetiva ou individual. A tica subjetivista pode estar presente nos modelos utilitaristas, mas tambm nos modelos pluralistas de avaliao, o que vai dife