1

MECMinistério da Educação

INEPInstituto Nacional de Estudos e Pesquisas Educacionais

Provão: como entender o que dizem os números

Claudio de Moura Castro*

* Ph.D em Economia pela Universidade de Vanderbilt (EUA); presidente do Conselho Consultivoda Faculdade Pitágoras; articulista da revista Veja.

Brasília-DF2001

2

DIRETORIA DE DISSEMINAÇÃO DE INFORMAÇÕES EDUCACIONAISSolange Maria de Fátima Gomes Paiva Castro

COORDENADOR-GERAL DE DIFUSÃO DE INFORMAÇÕES EDUCACIONAISAntonio Danilo Morais Barbosa

COORDENADORA DE PRODUÇÃO EDITORIALRosa dos Anjos Oliveira

COORDENADOR DE PROGRAMAÇÃO VISUALAntonio Fernandes Secchin

EDITORJair Santana Moraes

REVISÃOEveline Silva de Assis

NORMALIZAÇÃO BIBLIOGRÁFICARegina Helena Azevedo de Mello

ARTE-FINALCeli Rosalia Soares de Melo

TIRAGEM: 1.000 exemplares

EDITORIAInep/MEC – Instituto Nacional de Estudos e Pesquisas EducacionaisEsplanada dos Ministérios, Bloco L, Anexo I, 4º Andar, Sala 416CEP 70047-900 – Brasília-DF – BrasilFones: (61) 224-7092, (61) 321-7376Fax: (61) 224-4167e-mail: editoria@inep.gov.br

DISTRIBUIÇÃOCibec/Inep – Centro de Informações e Biblioteca em EducaçãoEsplanada dos Ministérios, Bloco L, TérreoCEP 70047-900 – Brasília-DF – BrasilFone: (61) 323-3500e-mail: cibec@inep.gov.br http://www.inep.gov.br

A exatidão das informações e os conceitos e opiniões emitidos são de exclusiva responsabilidade do autor.

Dados Internacionais de Catalogação na Publicação (CIP)Instituto Nacional de Estudos e Pesquisas Educacionais

Castro, Claudio de Moura.

Provão : como entender o que dizem os números / Claudio de Moura Castro. – Brasília :Instituto Nacional de Estudos e Pesquisas Educacionais, 2001.

23 p. - (Série Documental. Textos para Discussão, ISSN 1414-0640; 10)

1. Ensino superior. 2. Avaliação de cursos. 3. Exame Nacional de Cursos – Provão. I.Instituto Nacional de Estudos e Pesquisas Educacionais. II. Título. III. Série.

CDU 378.4

3

SUMÁRIO

Provão: como entender o que dizem os números

APRESENTAÇÃO ............................................................................................................................ 5

INTRODUÇÃO ................................................................................................................................. 7

A LÓGICA DE CONSTRUÇÃO DAS PROVAS ................................................................................ 7Como se preparam as perguntas a serem incluídas nas provas ............................................... 7E se os alunos forem preparados para fazer o Provão? ............................................................ 8Padrões mínimos de desempenho? Limite entre o bom e o mau ensino? ................................. 8O Provão estabelece competências mínimas profissionais em cada área? .............................. 10Competências profissionais para profissões genéricas?............................................................ 11

AS INTERPRETAÇÕES POSSÍVEIS E AS ASNEIRAS ................................................................... 12Bom ou melhor? Mau ou pior? ................................................................................................... 12A impossibilidade de comparar áreas ......................................................................................... 15Os cursos estão melhorando? Ou não se pode dizer nada? ..................................................... 15As comparações equivocadas entre instituições privadas e públicas ........................................ 16

O VALOR ADICIONADO DAS ESCOLAS ........................................................................................ 20

O PROVÃO DEVE DESCREDENCIAR CURSOS? ......................................................................... 21

AVALIAÇÃO ÚNICA OU PARTE DE UM PROCESSO MAIOR? ...................................................... 22

4

5

����������

Criado em 1995 e aplicado pela primeira vez em 1996, por iniciativa do Ministro da Educação(MEC), Paulo Renato Souza, pode-se dizer que o Exame Nacional de Cursos, o Provão, mudou opanorama do ensino superior no Brasil. De fato, dirigentes, professores e estudantes de instituições deensino superior já incorporaram o Exame como componente indispensável ao dia-a-dia da Academia.

O objetivo do Provão é ser uma ferramenta para a melhoria da qualidade desse nível de ensino,e vários indicadores mostram que isso tem efetivamente acontecido. De modo geral, as instituições têmhoje, se compararmos com os primeiros resultados, melhorado a qualificação do seu corpo docente ede sua infra-estrutura, para ficarmos apenas com alguns exemplos.

O economista e consultor em educação, Claudio de Moura Castro, se propõe, neste estudo, ajogar uma luz sobre o Provão. Numa linguagem que lhe é característica, pela clareza e pelo estiloeloqüente, ele explica o que vem a ser a prova aplicada pelo MEC.

O texto envereda por um caminho pouco examinado na imprensa brasileira, que é o dainterpretação, algumas vezes equivocada, que ainda pontilha a cobertura de notícias especializadas. Apartir de trechos recolhidos em reportagens publicadas em vários jornais do País, o autor critica, deforma construtiva, a produção jornalística, mas vai além ao esmiuçar, de maneira simples e com exemploselucidativos, os principais conceitos e a metodologia empregada pelo Provão para diferenciar os cursossubmetidos ao exame.

Este trabalho traz uma nova contribuição à análise do funcionamento do Exame Nacional deCursos e de sua importância, como parte integrante do sistema nacional de avaliação do ensino superiorno Brasil.

����������������� ���������������������������

6

7

Provão: como entender o que dizem os números*

Claudio de Moura Castro

INTRODUÇÃO

O Provão (Exame Nacional de Cursos) éum dos principais instrumentos de avaliação doensino superior. Mais ainda, tornou-se um assuntodo cotidiano de educadores, estudantes e pais,sendo seu resultado amplamente divulgado namídia. Daí a grande importância de que seja corre-tamente interpretado e que sejam extraídas deleas lições apropriadas. Espera-se que, pelo me-nos, não se tirem conclusões equivocadas.

Levar o público a interpretar corretamen-te o Provão vem se revelando um grande desa-fio. Em parte, há a má vontade de muitos, cujosinteresses pessoais conflitam ou têm visões demundo antagônicas. O principal problema é a di-ficuldade técnica de ler resultados baseados emconceitos estatísticos pouco próximos do cotidi-ano da maioria das pessoas. Esse não é um as-sunto do qual a opinião pública, mesmo a melhoreducada, tenha experiência prévia e conhecimen-to mínimo de como interpretar os resultados.Conceitos como Produto Interno Bruto (PIB), in-flação, índice Bovespa e juros compostos nãosão teoricamente mais simples. Contudo, o pú-blico lida com eles há mais tempo, já havendodigerido a sua complexidade e aprendido a evi-tar erros grosseiros de interpretação.

Somando-se a ignorância natural, diantedo Provão, com a profunda vontade de não en-tender o que não interessa entender, por parte deoutros, cria-se uma bruma espessa na qual pros-peram os equívocos, os boatos e a ignorância.

O objetivo da presente nota é esclarecero que significam as estatísticas geradas peloProvão e demarcar o limite das conclusões pos-síveis com tais instrumentos.

A LÓGICA DE CONSTRUÇÃO DAS PROVAS

Descrevemos brevemente as caracterís-ticas do exame. Grande parte do que se pode edo que não se pode dizer dos resultados do

Provão resulta da natureza da prova e de suaspropriedades.

Como se preparam as perguntas a seremincluídas nas provas

A responsabilidade pela elaboração doexame está com a instituição contratada, via lici-tação. As bancas elaboradoras de itens e res-ponsáveis pela correção das provas têm o perfiltraçado e recebem as diretrizes das comissõesde curso nomeadas pelo Instituto Nacional deEstudos e Pesquisas Educacionais (Inep). Ade-mais, as provas são sistematicamente examina-das pelos coordenadores dos cursos avaliados.

Inicialmente, é importante entender comose formam as comissões, que perfis de professo-res participam e que instruções recebem, pois aprova está sob a sua responsabilidade. É justoregistrar o esforço do Inep de identificar professo-res respeitados em cada área do conhecimento.Para a sua escolha são consultadas as Comis-sões de Especialistas da Secretaria de EnsinoSuperior (SESu), o Conselho de Reitores dasUniversidades Brasileiras (Crub), os conselhosfederais e as associações nacionais de ensino deprofissões regulamentadas.

As comissões são formadas por sete pro-fessores representativos do setor educacional edas regiões do País, que se reúnem durante 40dias, em seis jornadas de trabalho, para definir operfil do graduando, os conteúdos e as especifi-cações da prova. Durante esse período, mantêmpermanente contato com o Inep e entre si, alémde participarem de seminários sobre o Provãoem vários Estados. Os membros das comissõestêm mandato de dois anos, e sua substituição éprogressiva, isto é, não são substituídos todosao mesmo tempo.

Os professores examinadores vêm rece-bendo, do MEC, bastante liberdade de ação aoformular as questões das provas. Em alguns ca-sos, isso significa que as peculiaridades das

* Apesar de este texto haver sido escrito a pedido do Inep, as posições e interpretações apresentadas são apenas do autor, não refletindotampouco a posição oficial do MEC.

8

profissões são corretamente captadas. Em outros,pode levar à introdução de exames muito teóricosou puristas em excesso na sua formulação. Nes-te caso, mede-se mais a educação específica doque a geral, o que nem sempre será uma boa idéia.Além disso, devemos nos lembrar que, sendo in-dicados por grupos de interesses, os professorespodem ter uma agenda própria que não é neces-sariamente a mesma do MEC. Isto absolve o MECde suspeitas tais como a manipulação das pro-vas para servir aos interesses deste ou daquelegrupo, mas a custo de perder um naco da suaautoridade e espaço de política – o que pode serconsiderado um aspecto negativo.

O que quer que se possa dizer de casosparticulares, de equívocos ocasionais ou de ha-ver abdicado de parte de sua autoridade, aindaassim, é razoável admitir que terminamos comuma prova bem feita. Dado o currículo dos pro-fessores e o tempo dedicado, é difícil imaginar quenão seja um exame muito melhor formulado do queaqueles que tipicamente um aluno faz ao longo deum curso superior. Nenhuma disciplina ou cursotem recursos para mobilizar equipes deste naipepara preparar uma prova semelhante. Sobretudo,é um teste cuja formulação reflete uma indagaçãoséria acerca do que o graduado do curso devesaber ao se formar.

E se os alunos forem preparados para fazero Provão?

A qualidade intrínseca da prova é de par-ticular importância, diante do que vem se ob-servando como conseqüência da sua existên-cia e peso na opinião pública. Alguns críticosdenunciam uma distorção criada pelo Provão:

as escolas passaram a preparar seus alunospara fazer o exame. Tudo indica que, de fato, al-gumas escolas privadas estão fazendo isso.Devemos, então, perguntar se esta prática é boaou má. Parece razoável admitir que a maioriaavassaladora dos alunos estuda para os testesque terá de fazer, estuda para o que e como vaicair nas provas. Considerando que não são oscursos da mais superlativa qualidade os que es-tão preparando os alunos para o Provão, é bas-tante razoável supor que suas próprias provasinternas sejam mal formuladas, menos centra-das nos conceitos e conhecimentos mais impor-tantes e menos focalizadas em conhecimentosde ordem superior (análise e síntese, em con-traste com memorização). Portanto, para os alu-nos dessas escolas, estudar para o Provão, doponto de vista de sua educação, é melhor do queestudar para os exames que rotineiramente pres-tam a seus professores.

Se é correto o raciocínio de que os alu-nos estudam mesmo para as provas que vãofazer, não procede a crítica de que o Provão estácriando uma distorção no ensino superior, porestarem os alunos se preparando para ele. Istoporque o Provão é um exame de melhor qualida-de do que os rotineiramente aplicados pelas es-colas. De fato, no caso dos cursos mais frágeis,justamente os que vêm preparando seus alunospara o Provão, se há mudança, deve ser paramelhor.

Padrões mínimos de desempenho?Limite entre o bom e o mau ensino?

O grau de dificuldade das provas re-sulta de algum tipo de percepção coletiva dos

Quadro 1 – A imprensa reprovada no Provão: exemplos de erros de interpretação1

CURSINHOS PARA O PROVÃO?

"Temos assistido às empresas de ensino superior construírem mecanismos para burlar o exame. Sãocursinhos preparatórios para o Provão, são empresas que realizam sua ''provinha'' com antecedência."

"Os cursinhos preparatórios para o Provão, ministrados nas próprias universidades como aulas de reforço,estão se propagando. A preocupação é pontual, visa a tirar um A no exame e não melhorar, de fato, aqualidade de ensino da instituição."

1 Este quadro e os seguintes contêm excertos de matérias publicadas nos jornais Correio Braziliense, O Dia, Estado de Minas, O Estado deS. Paulo, Jornal do Brasil e Jornal da Tarde, na semana seguinte à publicação dos resultados do Provão. Os itálicos foram introduzidospelo autor, com o fim de destacar os equívocos.

9

professores redatores acerca do que os alunosdevem saber. Esta percepção tem que sertraduzida em itens, com a introdução de técnicasde escolha múltipla, respostas discursivas, ensai-os, etc. Com a experiência adquirida ao longo dotempo, podem evoluir noções e expectativas acer-ca do que um aluno deve saber, mas não há e nãopode haver um umbral de conhecimento que nãoseja arbitrário e subjetivo. Portanto, definir esse mí-nimo não pertence ao campo das proposições ci-entíficas no sentido clássico de proposiçõesverificáveis pelo teste empírico, mas sim de crité-rios criados por decisões normativas. Portanto,tais critérios não são falsos ou verdadeiros, masrazoáveis ou não, segundo a opinião de cada um.

O Provão é um exame que pode ser inte-ligente, corretamente formulado e refletir o quese espera que os graduandos do curso corres-pondente saibam. Todavia, jamais tentou demar-car uma fronteira entre o que é suficiente e o queestá abaixo do requerido, pois este é um procedi-mento diferente de medir ou observar. Trata-sede algo distinto. Nem melhor e nem pior. O MEC,dentro de sua autoridade normativa, pode deci-dir o quanto os alunos devem saber para que umaescola seja considerada boa ou aceitável. Even-tualmente, com a experiência adquirida, imagi-na-se que será possível chegar a critériossatisfatórios e convenientes acerca do que é umaqualidade aceitável para o ensino superior, emcada carreira. No momento, isso não foi feito enão está sendo feito, pois não há intimidade econhecimento suficientes da realidade para jus-tificar o salto de definir o bom e o mau ensino.Quando isto vier a ser feito, será sempre umadecisão subjetiva. Sem entender esse ponto, nãoé possível uma compreensão correta do que sepode e do que não se pode concluir do examedos resultados.

Não havia, e ainda não há, experiência noBrasil para determinar o que os alunos devemsaber. Mais ainda, não foram definidos os critériospara decidir se os graduados desta ou daquelacarreira devem ser capazes de responder corre-tamente a um determinado conjunto de pergun-tas. Não fez parte até hoje da sua missão decidiro que é e o que não é rendimento adequado.

É possível que alguém, por sua altarecreação ou representando uma vontade co-letiva, venha examinar as questões e estabeleça

padrões mínimos por área. Por exemplo, es-tabelecendo que, para ser considerado um pro-fissional da área, seria minimamente necessárioacertar, digamos, 35% das questões (e por quenão 68,586%?). Ou então, poderiam ser selecio-nadas algumas perguntas consideradas maiscríticas e definido que quem não sabe tais ques-tões não deve merecer o diploma. Igualmente,alguém pode escolher perguntas muito fáceis,mas centrais na carreira, e afirmar que uma es-cola na qual os alunos não tenham sido capazesde responder a essas perguntas não é uma es-cola séria e, portanto, não deveria ter a licençapara operar. Todas estas alternativas são possí-veis. Todas podem ser transformadas em políti-cas oficiais. Através delas, diríamos se essaescola é boa ou má, se merece o credenciamen-to ou não. Mas tais regras de decisão seriam fun-damentalmente diferentes das que hoje aplica oMEC/Inep. De fato, houve uma decisão do MECde não seguir por esse caminho, pelo menos porenquanto. Todas as distribuições estatísticas pu-blicadas são baseadas na comparação de umcurso com o outro, como explicado acima. Por-tanto, todos os julgamentos que poderiam serfeitos com os procedimentos descritos neste pa-rágrafo não têm qualquer proximidade com oscritérios efetivamente adotados – estes últimosmostram apenas quem obteve nota maior oumenor, sem dizer se essa nota é boa ou má.

A proporção de questões acertadas pe-los alunos de uma escola é uma medida escalarou absoluta do seu conhecimento do que foi in-cluído na prova. Mas houve uma decisão inicialda equipe do Inep de não analisar ou divulgarresultados do Provão nesses termos. O critériopara as notas do Provão foi baseado em medi-das que são inteiramente relativas, isto é, com-parando uma escola com a outra. Como a dificul-dade das questões que compõem as provasmeramente reflete um julgamento subjetivo e ar-bitrário dos seus formuladores, essa parece ha-ver sido uma decisão acertada.

Em suma, é possível definir linhas de de-marcação entre o bom e o fraco, mas houve umadecisão do MEC de não tentar estabelecê-las.De resto, as razões para não fazê-lo são bastantepersuasivas nestes anos iniciais de aperfeiçoa-mento das provas. Portanto, o Provão apenasestabelece quem é melhor e quem é pior. Nãodefine se pior é ruim ou se melhor é bom.

10

Quadro 2 – A imprensa reprovada no Provão: exemplos de erros de interpretação

PIOR NÃO É MAU

"Pela terceira vez consecutiva, 103 cursos foram reprovados no teste – e, agora, estão sob a ameaça de serfechados (…). Conclusão: sem punir as instituições ruins, o teste tem servido apenas como uma indicaçãodo que há de melhor e pior no ensino superior no País – o que, em si, já é um dado positivo."

"Conferindo-se os resultados, constata-se que o ensino superior é majoritariamente mediano…"

"… já tomou providências para melhorar as poucas notas que não alcançaram o resultado esperado".. Noano passado, o teste apontou 131 cursos no vermelho e, no exame de agora, metade deles, ou 52%, teveum desempenho melhor."

"O Exame Nacional de Cursos (Provão), deste ano, revelou que 173 cursos universitários têm maudesempenho…"

"As faculdades e universidades reprovadas no Provão do Ministério da Educação terão uma segunda chancepara melhorar a qualidade de seus cursos."

"A que está levando esta avaliação que todos os anos se repete, quando se percebem só os resultados e osefeitos negativos?"

"De cada 100 formandos do ensino superior, 84 receberam avaliação ruim."

"O Exame Nacional de Cursos, o Provão, cujo resultado o Ministério da Educação (MEC) divulgará hoje,reprovou 175 cursos de graduação em todo o País."

depender de geografia ou da qualidade do ensi-no recebido no 1º e 2º graus. Contudo, no mo-mento, não existe ainda uma tal definição de pa-drões mínimos.

Por outro lado, na maioria das carreiras,em que não há perigos tão formidáveis para osclientes ou empresas empregando os graduados,não se pode dizer que seja estritamente neces-sário estabelecer um padrão mínimo de desem-penho. O que deve saber um economista paramerecer um diploma não é alguma coisa que sepossa responder com clareza e há problemas emfazê-lo num país continental, onde os níveis decompetência ao entrar em um curso superiorvariam de forma extraordinária. Um critério queofereça um incentivo pífio em São Paulo ou noRio de Janeiro, para que as escolas se esfor-cem por fazer mais, pode se revelar uma barrei-ra intransponível para quase todos os gradua-dos de cursos em regiões mais pobres. Esta éuma questão que permanece em aberto. OProvão apenas mede resultados, não toma posi-ção nesse assunto.

O Provão permite saber quais escolasde Economia estão produzindo os melhores

O Provão estabelece competências mínimasprofissionais em cada área?

Competências mínimas para uma profis-são é algo que ainda não foi definido no MEC e,certamente, o Provão não o fez. Se e quandoisso vai acontecer, tem que ser entendido comouma decisão normativa e definida por lei, decre-to ou portaria. Repetindo o que foi dito acima, oque é preciso saber para ser um profissional emuma dada carreira não é alguma coisa que pos-sa ser definida cientificamente (embora os métodosde análise ocupacional sejam parte de uma tra-dição científica já consolidada).

As carreiras que envolvem questões desegurança para os clientes e, sobretudo, aquelasnas quais o cliente não tem condições de avaliara qualidade dos serviços oferecidos são candida-tas imediatas para um futuro estabelecimento depadrões mínimos de competência profissional.Espera-se que médicos e enfermeiros sejamcapazes de realizar certas tarefas e não incor-rer em erros conhecidos. Há boas razões paraestabelecer quais são esses mínimos, uma vezque os profissionais da saúde têm em suas mãosa vida das pessoas, e o valor destas não pode

11

graduados. Esta é uma informação preciosa. Osalto para decidir qual o mínimo que um econo-mista tem que saber para ser considerado bom(ou merecer o diploma) corresponde a algo quepoderia ser feito. Mas ainda não foi feito e a con-veniência de fazê-lo ainda é objeto de discussão.

Em suma, o Provão não estabelece com-petências mínimas, apenas discrimina os desem-penhos observados, agrupando-os em faixas deconceitos.

Competências profissionais para profissõesgenéricas?

Em carreiras nas quais os graduados têmalta probabilidade de encontrar emprego corres-pondente ao diploma, faz sentido ter exames quevalorizem os conhecimentos específicos da pro-fissão. Esse é o caso da Medicina, Odontologia eVeterinária, por exemplo. No entanto, aquelas emque a maioria dos graduados vai para ocupaçõesque não requerem um conhecimento específicoou uma linguagem científica própria deveriam terexames nos quais se capturassem melhor ashabilidades gerais ou genéricas, do tipo compre-ensão de leitura, redação, resolução de problemas,aprender a aprender, etc. Ou seja, tais carreirasdeveriam ter provas mais gerais.

Para ilustrar, pesquisas a partir dos da-dos da Relação Anual de Informações Sociais(Rais) mostram que, nas áreas sociais e huma-nas, mais de 70% dos graduados (dependendoda carreira específica) não exercem a ocupaçãocom o mesmo nome do diploma (Direito, Econo-mia, Sociologia, Ciências Sociais, etc.). De fato,há muitas áreas em que a proporção de gradua-dos trabalhando na ocupação fica abaixo de 10%.

Não devemos entender essa "distorçãoocupacional" como uma patologia econômica oueducacional. É assim em todos os países ondehouve um crescimento acelerado do ensino su-perior. Simplesmente, as posições com o mesmonome do diploma não crescem e não podem cres-cer nas mesmas taxas em que se expande o en-sino superior. Daí a sobra de graduados que nãoencontram emprego nas profissões de mesmonome. Mas ao mesmo tempo, nas economias quese modernizam, há um crescimento extraordiná-rio das ocupações para as quais se requer genteeducada no nível superior, mas pouco importa em

que se formaram. Essas ocupações existem aosmilhões no setor terciário, na administração, com-pra, venda, gerência, nas comunicações e numainfinidade de outras áreas nas quais alguém como diploma superior facilmente aprende o neces-sário para um desempenho adequado, após umcurto período de adaptação.

Tome-se, como exemplo, o caixa de ban-co que progressivamente é substituído por má-quinas e transforma-se em um vendedor de ser-viços financeiros. Para exercer essas novas fun-ções, precisa-se de gente com mais capacidadeconceptual, mais capacidade para continuaraprendendo ao longo da sua vida profissional.Não há um curso que prepare para tal posição (ese houvesse, perderia sua utilidade muito rá-pido, devido à alta rotatividade profissional hojeexistente) e nem é necessário que exista, poispessoas com diploma superior aprendem rapi-damente tudo que é preciso saber.

Portanto, quem prepara os exames doProvão deve levar em conta as característicasdas áreas. Onde a educação especializada dodiploma vai desembocar em ocupações nas quaiso que interessa é a "educação geral" ou "genéri-ca" que está embutida nos quatro anos (por exem-plo, de Economia ou Direito), o exame deve privi-legiar mais as habilidades genéricas do que asprofissionais. Neste particular, o Provão aindapadece da falta de uma orientação geral. Cadacomissão de redação toma decisões mais oumenos autônomas com respeito ao grau deespecificidade das provas. Claramente, este éum assunto que espera maior presença do MECpara definir critérios gerais.

Outro corolário desse raciocínio é a in-conveniência de fundir os exames do Provãocom exames de ordens ou associações profis-sionais, cujo objetivo é o acesso à profissão.Em particular, chama atenção o caso do Direi-to. Trata-se de uma área na qual, tipicamente, ograduado não exercerá a profissão. As escolasde Direito produzem mais pessoas educadasque se ocuparão de trabalhos variados do queadvogados exercendo a profissão. É um méritoda carreira – e não é um defeito – ser tão atrati-va como formação geral. Daí que o objetivo doProvão seja legitimamente percebido pelos seusformuladores como uma prova para calibrar oresultado de cada faculdade através de uma pro-va bastante genérica.

12

Mais ainda, essa é uma área em que nãohá razões para se definir um mínimo de compe-tência, uma vez que não se define um tal mínimopara as ocupações genéricas que serãoexercidas pela maioria dos graduados de Direito.Não há um limiar de conhecimentos para bacha-réis em Direito que vendem terrenos ou que tra-balham em bancos.

Com um outro objetivo, o exame da Or-dem dos Advogados do Brasil (OAB) visa sele-cionar aqueles que serão autorizados a exercera profissão formalmente. São objetivos diferen-tes requerendo provas diferentes. O Provão e oexame da OAB têm, cada um, a necessidade deautonomia do outro.

Mas é interessante registrar a alta corre-lação observada entre os exames da OAB e osresultados do Provão.2 De fato, os melhores cur-sos no exame da OAB são praticamente os mes-mos que obtêm as notas mais altas no Provão.

Voltando ao quadro geral das profissõescobertas pelo Provão, é importante notar que osexames ainda estão sofrendo um processo pro-gressivo de ajustamento. Algumas áreas já avan-çaram mais nesta direção, como o Direito. Ou-tras, como Economia, deverão tornar-se maisgenéricas, pois a versão presente da prova éconsiderada especializada demais.

AS INTERPRETAÇÕES POSSÍVEISE AS ASNEIRAS

Cada vez que são anunciados os resul-tados do último Provão, a única coisa previsívelé que serão mal interpretados. Alguém irá fazeruma afirmativa tecnicamente incorreta ou tirarconclusões equivocadas. Neste item, esmiuça-mos o que pode e o que não pode ser concluídoa partir dos resultados. Os quadros que o ilus-tram mostram exemplos dos erros cometidos pelaimprensa ou veiculados por ela.

Bom ou melhor? Mau ou pior?

Agora, vamos discutir o aspecto mais con-trovertido e menos entendido do Provão. Aqui es-tão os erros técnicos mais flagrantes e nocivos.

Uma vez corrigidas as provas e geradosos escores brutos, obtidos pela regra simples desomar os pontos de cada questão, o processonão está concluído. As notas do Provão são cal-culadas a partir desses escores brutos, mas nãosão os próprios. Pelo contrário, são derivadas deum procedimento muito menos intuitivo.

As pontuações obtidas pelos cursos sãoagrupadas, em uma distribuição de freqüência.Então, é feita a hipótese de que a curva obtida seaproxima de uma curva de Gauss – ou Normal.As notas são dadas pela posição relativa de cadaescola nessa distribuição. Assim, as escolas queobtêm mais pontuação recebem a nota A e aspiores, a nota E.

Simplificando o raciocínio estatístico portrás do critério, ficou definido que os cursos quecorrespondem aos 12% de mais alta pontuaçãorecebem médias A. Os que correspondem aos12% de menor pontuação recebem nota E. Os18% abaixo dos cursos de nota A recebem notaB. Simetricamente, os 18% acima dos cursos Erecebem nota C. Sobra portanto, no centro dadistribuição, 40% dos cursos, aos quais uma notaC é atribuída. Comparados com os demais, oscursos C são os cursos médios, ou sejam, es-tão no centro da distribuição.

Assim sendo, atribuem-se as notas deforma totalmente atrelada às comparações entrecada escola e o restante da distribuição de es-colas. Portanto, as notas apenas dizem quem sesitua em que ponto de uma distribuição, cujamédia é derivada da própria distribuição. Esse éum procedimento usual em estatística, sempre equando não há uma métrica pré-definida para atri-buir resultados.

Nesse particular, o Provão é parente dovestibular, em que não há uma nota mínima parapassar. As vagas são preenchidas pelos queobtêm mais pontuação. A freqüência de corte(passa/não passa) não é fixada. Entram os me-lhores até que terminem as vagas. Quem obser-var as distribuições de pontuação dentro de umagrande universidade verá que, em certas carrei-ras menos procuradas, há alunos cuja pontua-ção na prova pouco difere daquela de alguém quejogasse os dados e respondesse de acordo comos resultados. Ao mesmo tempo, o pior aluno

2 Maria Beatriz e Roberto Lobo. O Provão passa no vestibular.Carta Capital, São Paulo, 22 nov. 2000.

13

aceito para Medicina tem uma pontuação muitoalta na média geral. Fazendo uma analogia, po-deríamos tomar as pontuações no vestibular dosaprovados em cada carreira e transformá-las emconceitos A, B, C, D e E. Tal como no Provão, osmelhores alunos dessas carreiras pouco com-petitivas obteriam A e os piores de Medicina ob-teriam E – pela mecânica de atribuição de con-ceitos. No entanto, o pior aluno de Medicina temescores amplamente superiores ao do melhoraluno dessa carreira. Ou seja, o A na carreirapouco competitiva significa um aluno muito maisfraco do que o E da Medicina. Nada de errado,apenas o resultado de um critério de medida.

Em contraste, no exame da OAB é defi-nido um ponto de corte na distribuição dos esco-res brutos. Quem está abaixo não passa. As no-tas dadas durante um curso superior têm tam-bém uma freqüência de corte, quem não atingir anota mínima não passa na disciplina. Examespara seleção de professores também estabele-cem uma nota mínima de aprovação. São proce-dimentos diferentes que se justificam pela dife-rença de objetivos em cada caso.

Dado o método escolhido, o Provão temrelação com o desempenho melhor ou pior, nãobom ou mau. Entenda-se: suponhamos que es-colhemos as cem melhores escolas de Econo-mia em todo o mundo e aplicamos o Provão aosseus alunos. Haverá apenas 12 escolas comnota A, apesar de todas as cem serem excelen-tes. Pela mesma razão, 12 escolas obterão no-tas E, ainda que possam ser estas doze melho-res do que qualquer escola brasileira. Por essasmesmas razões, uma carreira em que todas asescolas são medíocres obterá os mesmos 12%de escolas com nota A. E como foi dito acima,uma área de esplêndidas escolas também terá12% com nota E. A implicação dessa forma deatribuição de notas é muito clara e forte: não sepode dizer que uma área é bem ou mal servida.As afirmativas de que esta ou aquela carreira estámal ou que suas escolas são incompetentes sãototalmente equivocadas, apesar de freqüentes. Asnotas do Provão não permitem esse tipo de con-clusão, já que meramente comparam pontuaçõesde diferentes escolas. Ainda mais absurdo é de-nunciar o grande número de escolas com nota C,pois este número é fixo e definido a priori como40%. O Quadro 3 mostra com que freqüência sedeixa de entender o que significam as notas doProvão.

Infelizmente, o Provão é vítima de umainterpretação estatística ainda mais primitiva emais rudemente equivocada. Há os que dizem:"Vejam só, é um vexame, metade dos cursos estácom pontuação abaixo da média!" Isto é equiva-lente a dizer que metade dos jogadores de umtime de basquete tem a estatura abaixo da mé-dia do time. Em ambos os casos, a média é ofruto do somatório dos mais fortes e dos maisfracos, dos mais altos e dos mais baixos. Emdistribuições simétricas, como notas em provase estatura, a metade dos membros está abaixoda média, como resultado trivial da própria defi-nição de média. Não poderia ser diferente, sejaem um time de jogadores de basquete ou entreos pigmeus da África: metade sempre estariaabaixo da média.

Outra conseqüência dessa forma de darnotas é que a distância da pontuação entre umaescola de nível E e a média é totalmenteirrelevante. Suponhamos uma área onde os cur-sos são muito heterogêneos. Digamos que umadas piores escolas tem uma pontuação bruta de102 pontos e que a média é de 260. Essa escolavai receber E. Agora tomemos uma área muitohomogênea, na qual as piores são muito pareci-das com as escolas que estão na média. Supo-nhamos que uma das piores escolas tem umapontuação bruta de 251 pontos e, por coincidên-cia, a média é também 260. Essa escola de 251pontos vai receber a nota E, apesar de ser quasenada pior do que a escola média. Tecnicamente,isso acontece porque a medida usada para atri-buir a nota é a própria distribuição, e esta encolheou espicha de acordo com a distribuição. Em umadistribuição muito dispersa, os melhores têm pon-tuações muito diferentes dos piores, gerando umdesvio-padrão maior do que uma outra distribui-ção muito unida, na qual todas as pontuações seencontram próximas uma das outras. Mas nadadisso é refletido na nota. Portanto, as notas nadadizem sobre as distâncias da pontuação brutaentre cada escola e a média. Quando todas asescolas são muito parecidas, recebem A as ligei-ramente melhores e E as ligeiramente piores.

É possível voltar às pontuações brutas,isto é, às contagens de perguntas corretamenterespondidas. Isso permite dizer, por exemplo,que, em média, os candidatos não conseguiramacertar sequer a metade das perguntas. Tal pos-sibilidade tem gerado interpretações marginal-mente incorretas na grande imprensa.

14

O que significa dizer que somente 35%dos candidatos conseguiram acertar metade dasquestões? Uma interpretação usual, mas equi-vocada, é que os cursos estão fracos, pois so-mente 35% dos seus alunos acertam, pelo me-nos, a metade das questões. O problema é quea prova não foi construída com um critérionormativo. Não fez parte dos termos de referên-cia dos seus formuladores determinar o quantoos alunos deveriam saber – como já foi ampla-mente discutido.

A boa técnica de formulação de uma pro-va desse tipo consiste em gerar um conjunto deperguntas que permitam discriminar variações nagama mais ampla possível de níveis de conheci-mento dos candidatos. Em outras palavras, bus-ca-se formular uma prova que seja capaz de di-zer qual aluno sabe mais dentre os que sabemmuito, dentre os que sabem muito pouco e den-tre os que sabem mais ou menos. Busca-se uma

prova com capacidade de triar tanto os alunosmais fortes quanto os mais fracos. Dado essedesafio técnico, a melhor prova é aquela na qual,em média, os alunos acertam a metade das per-guntas. Dessa forma, há um número suficientede perguntas fáceis, discriminando os mais fra-cos; médias, discriminando diferenças entre osmais ou menos; e difíceis, discriminando os me-lhores. Na prática, isso se traduz em uma regrasimples: a melhor prova é aquela na qual a mé-dia de acertos é da ordem de 50%. Em tal prova,metade das perguntas é mais difícil e metademais fácil.

Visto de outro ângulo, a dificuldade da pro-va é calibrada pela expectativa dos professoresacerca do que os alunos sabem. Ou seja, a me-cânica de construção da prova requer adivinharo que os alunos sabem e não o critériodiametralmente oposto de definir o que deveriamsaber.

Quadro 3 – A imprensa reprovada no Provão: exemplos de erros de interpretação

O PROVÃO NÃO REPROVA

"O resultado do Exame Nacional de Cursos, o Provão, divulgado ontem pelo Ministério da Educa-ção, mostra que 13 das 18 áreas avaliadas neste ano não conseguiram média acima de 40, numa escala de1 a 100. A pior colocação foi Matemática, em que a média das notas dos formandos foi 16. Traduzindo paraas notas escolares, isso significaria uma nota de 1,6 ponto – reprovação garantida."

"Uma divisão das médias, feita pela primeira vez, mostra que os cursos públicos têm melhoresnotas – mesmo que ainda sejam baixas – que os particulares."

"Se as provas das 18 áreas analisadas foram condizentes com o que se ensina, os graduandos nãoaprenderam metade do que deveriam…"

"Não resta dúvida de que o Provão é uma iniciativa válida. É uma tentativa de impor padrõesmínimos de qualidade no mercado do ensino superior. Sendo, porém, essencialmente uma ferramenta esta-tística, a avaliação do MEC tem limitações. A julgar pelas médias obtidas, a universidade ensina de formamuito precária. Das 18 áreas avaliadas pelo MEC, apenas a de Odontologia foi "aprovada", obtendo umdesempenho médio superior a 50% da prova."

Se somente 35% dos candidatos conse-guiram acertar pelo menos a metade, a interpre-tação correta dessa afirmativa é que a prova temum ligeiro defeito técnico: foi formulada difícil de-mais. Não se pode dizer se esse conhecimentoé muito ou pouco, se é bom ou insuficiente.A mesma impossibilidade de falar de bom ou mau,com as notas formuladas em letras (A, B, C, Dou E), reaparece aqui quando tomamos os

resultados brutos. Não há mágica estatística quepermita tirar dos resultados atributos que não pos-suem. Os próprios funcionários do MEC, às ve-zes, "escorregam" ao falar em uma expectativade que os alunos, em média, deveriam acertar ametade das perguntas. Há uma tal expectativa,mas ela resulta da tentativa de gerar uma provade dificuldade média, muito mais do que a pre-sença de uma norma – que, como dissemos,

15

exorbita os termos de referência dos construtoresda prova.

Naturalmente, qualquer um pode tomarperguntas específicas e afirmar que os gradua-dos de tal ou tal área deveriam ser capazes derespondê-las corretamente para merecerem umdiploma. Cabe ao leitor concordar ou não com aafirmativa. Mas dizer que o ensino é lamentável,pois sequer 35% conseguiu responder correta-mente metade das perguntas, é inapropriado, poiso leitor não tem diante de si as perguntas parajulgar, ele mesmo, se são difíceis ou fáceis e,mesmo se as tivesse, não teria com o que com-parar. Quando dois times jogam, o escore finalapenas nos diz quem se saiu melhor. O time davárzea pode ganhar de 10 x 0 e virar campeãona várzea, mas a contagem de gols não permitecompará-lo com um time da primeira divisão queperdeu de 1 x 0.

Em suma, o Provão nada diz sobre a qua-lidade do ensino, apenas sobre quem tem os alu-nos melhores e quem tem os piores. Como osformuladores da prova não entraram no méritodo que é um desempenho bom ou mau, tais afir-mativas são gratuitas e desinformativas.

A impossibilidade de comparar áreas

Tendo em vista que as notas são dadaspela comparação de uma escola com outra, istosignifica que o Provão não permite comparar cur-sos de áreas diferentes. De fato, todas as áreastêm a mesma proporção de escolas com notas A,B, C, D e E, e as escolas E de um grupo podemser muito piores do que as E de outro.

O Brasil tem carreiras com longa tradi-ção de qualidade. São, em geral, de áreas cujasprofissões tem grande prestígio, os cursos têmvisibilidade e atraem alunos com pontuaçõessuperiores nos vestibulares. Em compensação,há outras que são o oposto. Recrutam mal, omercado de trabalho é pouco atraente e o ensinopouco inspirado – em que pesem os valoresindividuais e os esforços de muitos professores.

Não obstante, nada disso pode ser verifi-cado pelo Provão. Em ambos os casos, a mesmaproporção de 12% receberá E e 12% receberá A.As notas do Provão somente comparam escolasdentro da mesma área e fazendo o mesmo exa-me. Nada dizem sobre a excelência de uma área,comparada com a fragilidade de outra.

Os cursos estão melhorando?Ou não se pode dizer nada?

Pelas mesmas razões que as compara-ções entre as áreas não são possíveis, compa-rações entre duas provas aplicadas em momen-tos diferentes para grupos diferentes não mos-tram qualquer tipo de evolução ou involução doensino como um todo. Se todos melhorarem aomesmo tempo, as notas permanecerão as mes-mas. Isso porque, as provas não são repetidasde ano a ano, e ainda não há uma padronizaçãodas perguntas, que permita gerar um banco deperguntas no qual são conhecidas aquelas quemedem a mesma coisa com o mesmo grau dedificuldade.

Para melhor entender o assunto, contras-temos as notas do Provão com as notas da pós-graduação atribuídas pela avaliação da FundaçãoCoordenação de Aperfeiçoamento de Pessoalde Nível Superior (Capes). Estas últimas sem-pre foram baseadas em critérios absolutos e nãorelativos. A Capes examinava a proporção de dou-tores, o número de publicações e assim por di-ante e, a partir daí, dava o conceito. Como con-seqüência, ao longo do tempo, houve uma ten-dência ascendente das notas, pois cada vez maisapareciam cursos satisfazendo as exigênciasrequeridas para obter esta ou aquela nota. Poressa mesma razão, a Capes se viu obrigada amudar os seus critérios de avaliação, criados nosúltimos anos da década de 70. Simplesmente,diante das melhorias ocorridas na pós-graduação,os critérios haviam se tornado fáceis demais, comdemasiados cursos obtendo nota A, não permi-tindo distinguir um curso A frágil de outro A muitomelhor.

Isso jamais acontecerá com o Provão,enquanto as notas forem atribuídas pelo atualmétodo de distribuição de conceitos. Quandotodos melhoram, sobe a média e as notas per-manecem as mesmas. Por exemplo, quando ces-sou o boicote por parte de algumas engenhariaspúblicas, as pontuações médias subiram, ficoumais difícil para uma escola que nem melhorou enem piorou obter a mesma nota. De fato, uma talescola que estivesse próxima da freqüência decorte entre notas poderia baixar de nível, apesarde não haver piorado. Mas essa afirmativa é puraconjectura, pois as provas não são comparáveis.

Voltando ao ponto mais crucial de todos osprocedimentos metodológicos do Provão, houve

16

uma decisão de dar as notas por critériosendógenos de distribuição, isto é, a nota resulta deuma comparação entre a média de cada área e apontuação do curso. Portanto, as notas simplesmen-te comparam um curso com o outro, para a mesmaprova. As provas aplicadas em cada ano são dife-rentes e, portanto, não são comparáveis entre si.

Não obstante, há um tipo de comparaçãono tempo que é legítimo fazer. Podemos compa-rar a posição relativa de uma escola com a mé-dia, em dois momentos diferentes. Isso não é pou-co. Podemos dizer que a escola "x" melhorou oupiorou seu desempenho, vis-à-vis com a evolu-ção das outras, uma vez que podemos compa-rar o seu desvio da média em um período com odesvio da média em outra ocasião na qual oProvão foi aplicado nessa área (ambos medidosem unidades de desvio-padrão). As comparaçõespermitem dizer se, diante do grupo, uma escola es-pecífica melhorou ou piorou – embora não diga seem termos absolutos a escola ficou melhor ou pior.

Outra comparação procedente é verificarcomo se situam os cursos recém-credenciados.Ao verificar que estão acima das médias, é razoá-vel registrar uma evolução positiva do sistema deeducação superior.

Mas, repetimos, as comparações entre amesma carreira em provas aplicadas em momen-tos diferentes não são possíveis. Nada ficamossabendo sobre a evolução do conhecimento dosalunos daquela área. Todos os anos, pela mecâ-nica criada para a atribuição de notas baseadasem uma distribuição normalizada, haverá sem-pre os mesmos 12% de A e E, os mesmos 18%de B e D e a mesma participação (40%) de no-tas C (que correspondem ao centro da distribui-ção, o desempenho mais freqüente, se a distri-buição for razoavelmente simétrica).

Se as provas fossem as mesmas ano aano, poderíamos examinar os escores absolutos

de cada escola. Estes são valores que não de-pendem do desempenho dos outros cursos. Nes-te caso, seria possível comparar a evolução notempo. Acontece que as provas de um ano sãodiferentes das provas de outro, não apenas asquestões não são exatamente as mesmas, mashá uma mutação no que se pede dos alunos, su-postamente fruto do que se aprende examinandoa prova do ano anterior. Em outras palavras, o Inepprefere abrir mão de comparações no tempo emprol de permitir que as provas evoluam e melho-rem, como resultado do aprendizado coletivo dosformuladores das provas. Perde-se em informa-ção, mas ganha-se na qualidade da prova. Pare-ce uma decisão acertada.

Caberia, contudo, perguntar se uma análi-se comparativa das provas revelaria algumas per-guntas que se pudessem considerar como de di-ficuldades equivalentes. Se isso acontecer, pode-ríamos pensar em comparações cautelosas en-tre duas aplicações. Esse é um exercício que oInep poderia fazer em um futuro próximo. No pre-sente, é total e completa a impossibilidade de com-parações na mesma área entre anos diferentes.

Em suma, o Provão não permite dizer seo ensino de alguma área está melhorando ou pio-rando. Sempre haverá 12% de cursos de nível E,mesmo que a área melhore em disparada. E sem-pre haverá 12% de cursos A, mesmo que a áreacomo um todo despenque.

As comparações equivocadas entreinstituições privadas e públicas

Uma categoria de comparações degrande interesse no mundo da educação superiorse dá entre as instituições privadas e as públicas.O Inep não tem divulgado diretamente osnúmeros que medem as médias de instituiçõespúblicas e privadas. Não obstante, o website doInep (www.inep.gov.br) mostra o formato das

Quadro 4 – A imprensa reprovada no Provão: exemplos de erros de interpretação

COMPARAR PROVAS EM MOMENTOS DIFERENTES?

"Os resultados do Exame Nacional de Cursos deste ano (Provão 2000), em relação aos anteriores,comprovam a melhoria significativa do sistema de ensino superior do Brasil."

17

distribuições. Para cada nota, estão tabuladas asfreqüências das instituições federais, estaduais,municipais e privadas e, também, é mostrado ográfico com as mesmas distribuições.

A primeira característica que chama aatenção é que as distribuições se sobrepõem.Quando examinamos cada um dos gráficos, ve-rificamos que no centro da distribuição (B, C e D)há pouquíssima diferença entre os cursos privados

e os cursos públicos. É só nas pontas que exis-tem diferenças consideráveis.

Como os conceitos B, C e D contêm 76%dos cursos, é razoável afirmar que, para mais detrês quartos dos cursos, as diferenças entre asInstituição de Ensino Superior (IES) públicas e asIES privadas são muito pequenas. Este é umresultado de grande importância, desqualificandoas afirmativas simplórias de que as IES públicas

Gráfico 1 – Exame Nacional de Cursos 2000 – Distribuição de notas dos graduandos por dependênciaadministrativa (pública e privada) – Curso de Direito

Gráfico 2 – Exame Nacional de Cursos 2000 – Distribuição de notas dos graduandos por dependênciaadministrativa (pública e privada) – Curso de Engenharia Civil

18

Gráfico 3 – Exame Nacional de Cursos 2000 – Distribuição de notas dos graduandos por dependênciaadministrativa (pública e privada) – Curso de Letras

Gráfico 4 – Exame Nacional de Cursos 2000 – Distribuição de notas dos graduandos por dependênciaadministrativa (pública e privada) – Curso de Economia

Gráfico 5 – Exame Nacional de Cursos 2000 – Distribuição de notas dos graduandos por dependênciaadministrativa (pública e privada) – Curso de Medicina

19

e as IES privadas são muito pequenas. Este éum resultado de grande importância, desqualifi-cando as afirmativas simplórias de que as IESpúblicas são amplamente melhores do que asprivadas. Simplesmente, não é verdade, sãomuito parecidas.

As diferenças significativas só aparecemnas duas caudas da distribuição (cursos A e E).Nesses dois extremos, realmente, há uma dife-rença que merece discussão. No nível A, a van-tagem das públicas é enorme. Nos piores casos(Engenharia Elétrica, Agronomia e Química), nãohá cursos privados com nota A. No melhor caso(Letras), o número de IES privadas com A é pra-ticamente igual ao das IES públicas. Portanto, ficaclaramente caracterizado que, dentre a minoria(12%) dos cursos com nota A, o setor público éamplamente superior.

Também é interessante notar a distribui-ção das notas E. Dos 15 cursos para os quaisos resultados estão disponíveis, há dez casosem que há mais IES públicas do que privadas.Ou seja, os piores cursos são públicos com trêsvezes mais freqüência do que os cursos privados.Este, certamente, é um resultado bastante sur-preendente. É muito comum denunciar os cur-sos privados pela sua ausência nos níveis A.Fala-se ainda, com freqüência, dos abusos e dasarapucas das IES privadas, mas pouco se falada presença dos cursos públicos, três vezesmais numerosa nos cursos E. Considerando queos cursos públicos operam com recursos docontribuinte, esse é um resultado que deveria

preocupar aqueles que se interessam por políti-cas de educação superior.

É errado dizer que as IES públicas sãomelhores, por haver mais cursos públicos com A,tanto quanto é errado dizer que as IES privadassão melhores do que as públicas, pois têm muitomenos cursos de nível E. As caudas da distribui-ção têm poucas observações (12% em cima e12% embaixo) e não podem servir para tirar con-clusões acerca da distribuição como um todo.

Fica bastante claro pelo perfil das curvasque as comparações entre escolas privadas epúblicas não podem ser resumidas em duas outrês palavras. Talvez a descrição mais econômicaque se possa fazer seja a seguinte:

1. Chama mais a atenção a semelhançadas duas distribuições do que suas diferenças. Oensino público é mais parecido do que diferentedo ensino privado.

2. Nos cursos A (os 12% superiores), háforte predomínio das escolas públicas.

3. Na maioria dos casos, no miolo da dis-tribuição (B, C e D), públicas e privadas estãomuito próximas.

4. No extremo inferior da distribuição, hátrês vezes mais públicas do que privadas, mos-trando que as piores são as públicas.

5. Há diferenças consideráveis de áreapara área. Em algumas, as escolas públicas têmuma clara superioridade, em outras, não chegama ser melhores do que as escolas privadas.

Quadro 5 – A imprensa reprovada no Provão: exemplos de erros de interpretação

PRIVADO VERSUS PÚBLICO

"… o que comprova, pela enésima vez, a supremacia do ensino superior público sobre o privado. Para essasfaculdades de alta qualidade…"

"O desempenho das instituições no Provão também confirma a excelência do ensino superior públicobrasileiro…"

"… qualquer leitor, com o mínimo conhecimento do assunto e diante novamente das justificativas doministro em querer salvar para proclamar o óbvio ululante: que o ensino superior público está a anos luzmelhor que o ensino privado…"

"… a universidade pública apresenta melhores resultados, quando comparada com as escolas particulares,que detêm mais de 70% dos alunos matriculados. O que mostra um quadro sombrio: a mercantilização ea partidarização do ensino superior."

20

a influência das habilidades individuais exibidaspelos alunos ao chegar.3 Obviamente, é neces-sário que se tenha dados completos e razoáveispara que se possa aplicar com confiança o mo-delo. O Provão é a variável dependente natural.As medidas da qualidade da matéria-prima sãomais complicadas. Em termos ideais, é neces-sário ter medidas do conhecimento exibido peloaluno ao entrar no curso superior. Como aproxi-mação, o seu nível socioeconômico pode serusado como "proxy", mas há uma perda na qua-lidade da análise.

Até recentemente, a única medida de en-trada eram as pontuações no vestibular. Apesarde ser uma medida, em geral, de boa qualidade,não permite análises além do alcance de cadavestibular. O aparecimento do Exame Nacional doEnsino Médio (Enem) muda o panorama. Quandoas primeiras turmas que fizeram o Enem chega-rem ao Provão, será possível estimar o valor adi-cionado em cada escola, em nível nacional.

Antecipando esse exercício, o Inep pro-moveu uma estimativa do valor adicionado pelaescola, usando amostras de pesquisas referenteao vestibular da Universidade Federal de MinasGerais (UFMG), que tem grande abrangência.4

A pesquisa trata de um assunto que se tornou crí-tico após o aparecimento do Provão: em que me-dida a excelência dos resultados de uma escolasão devidos ao próprio esforço da escola ou aomero fato de que recebe alunos melhores? Vistopor outro ângulo, uma escola de resultados lamen-táveis é culpada por tal performance ou, simples-mente, está condenada a ser assim, diante dosalunos mais fracos que recebe?

Do ponto de vista de quem maneja aspolíticas educativas, há questões de justiça eeqüidade. São merecidos os elogios aos melho-res figurantes? São justas as críticas aos desem-penhos mais lamentáveis?

A pesquisa beneficia-se de um potencialde análise criado pelo vestibular da UFMG, umadas IES mais cobiçadas do Estado, realizado porum número de alunos dez vezes maior que o nú-mero de vagas existentes naquela universidade.

O VALOR ADICIONADO DAS ESCOLAS

Há consenso entre observadores qualifi-cados do Provão, com relação ao que ele nãomede. Esse exame se propõe a medir o resultadodo conjunto aluno/escola e não o valor adicionadopela escola. O Provão é ostensivamente umamedida do resultado dos alunos de uma escola,isto é, da interação do aluno com a sua escola.Na prática, o Provão acaba sendo interpretadocomo uma medida da excelência do ensino ofere-cido pela escola. Ora, esta é uma interpretaçãoimprópria e equivocada do que mede o Provão.A escola trabalha com a matéria-prima que rece-be: o aluno em carne e osso, com suas forças efraquezas. Uma escola que recebe alunos que sa-bem mais antes de nela entrar vai adicionar co-nhecimentos em uma matéria-prima de melhorqualidade. Portanto, é bem mais fácil obter resul-tados melhores. Já uma escola que recebe alu-nos fracos, transformá-los em alunos tão bons oumelhores do que os das outras escolas é umatarefa mais árdua ou talvez impossível. Portanto,o Provão não nos permite dizer se os bons resul-tados são fruto de um ensino melhor ou se, sim-plesmente, alunos mais capazes se saem bem,qualquer que seja o ensino oferecido. Esse é umproblema clássico da avaliação da qualidade daeducação oferecida, quando esta é medida peloque aprenderam os alunos. Afirma-se – sem mui-ta evidência empírica – que algumas das melho-res escolas quase nada oferecem aos seus alu-nos. Estes aprendem sozinhos ou aprenderiamsozinhos se o ensino fosse ainda pior.

Há implicações práticas dessa limitaçãodo Provão. As notas A são obtidas por escolasque recebem os melhores alunos. O mero exa-me dos cursos secundários de origem dos seusalunos (os mais caros e os mais prestigiados) eo seu status socioeconômico mais elevado su-gerem que a mágica de obter um A não é só oresultado da excelência do ensino, mas o privilé-gio de recrutar os melhores alunos. E os cursosmais fracos podem ser apenas vítimas da quali-dade acadêmica mais fraca dos seus alunos.

Felizmente, há maneiras estatísticas deestimar o valor agregado pela escola, eliminando

3 Do ponto de vista das ferramentas estatísticas, a análise de regressão linear com modelos hierárquicos é uma das mais úteis e reputadas.Trata-se de uma variante das análises de regressão múltipla com dummies. Resultados interessantes têm sido obtidos na França e naInglaterra com a aplicação destes métodos.

4 José Francisco Soares, Claudio de Moura Castro, Leandro Molhano Ribeiro. O Provão : os cursos A são os que mais oferecem aos alunos?Texto inédito.

21

De cada dez candidatos, os nove reprovados seencaminham para outras instituições de ensinosuperior. Portanto, cada uma destas outras insti-tuições abriga alunos que fizeram o vestibular daUFMG. Cruzando a pontuação recebida no vesti-bular por esses alunos com os seus resultadosno Provão, temos uma amostra suficientementegrande para analisar a qualidade na entrada e nasaída de alunos de todas as instituições impor-tantes do Estado (onde a medida de entrada é amédia dos escores no vestibular da UFMG). Fo-ram escolhidos os cursos de Direito, Administra-ção e Engenharia Civil, por terem sido os primei-ros a entrarem na avaliação do Provão.

O primeiro resultado verdadeiramentenovo da análise em Minas Gerais é a medida davariância explicada pela escola em oposição aoque é explicado pelo que já sabia o aluno ao en-trar no ensino superior (medido pelo vestibular).Surpresa ou não, a diferença que pode ser atri-buída às escolas corresponde a apenas 15% davariância. A maior parte do resultado é devidaaos méritos próprios dos alunos.

Não é possível subestimar a importân-cia de tal resultado. Por muito boa ou por muitofraca que seja a faculdade cursada, os méritosindividuais do aluno pesam seis vezes mais nosresultados do Provão. Isso, de certa maneira,mostra um peso atenuado da diferenciação en-tre as escolas de ensino superior na determina-ção dos resultados finais do Provão. Os alunosque tiram boas notas, o fazem mais por serembons alunos do que por serem alunos de boasescolas (não obstante o fato de que os bonsalunos estão, predominantemente, nas boas es-colas).

O resultado anterior é o primeiro passopara calcular o valor adicionado pelas escolas.O ajuste do modelo nos mostra um resultado sur-preendente e tranqüilizador. Ao contrário do quese poderia temer, as escolas cujas pontuaçõessão maiores no vestibular são justamente aque-las que produzem os maiores valores adiciona-dos. Quando hierarquizamos as escolas pela suapontuação no Provão, temos uma ordem que émuito aproximada daquela obtida quando ashierarquizamos pelo valor adicionado.

Em outras palavras, ao louvarmos a ex-celência de algumas escolas no Provão, comoacaba sendo feito pela imprensa ao anunciar osseus resultados, grosso modo, não estamos

cometendo injustiças sérias. À parte algumas no-táveis exceções, estamos justamente premian-do as escolas que oferecem o melhor ensino. Ouseja, não são escolas que mostram bons resul-tados simplesmente por receber alunos melho-res do que os das outras.

Naturalmente, os resultados permitemidentificar alguns desvios, como boas escolascom alunos fracos e escolas cujo único mérito éreceber bons alunos. Mostrar esses casos foradas tendências principais de equivalência entrevalor adicionado e pontuação absoluta é de gran-de importância para a política educativa, poispermite valorizar os enormes méritos de quemconsegue oferecer melhor ensino, ao arrepio dastendências usuais, ditando que o ensino é me-lhor onde são também melhores os alunos.

À guisa de conclusão, o exercício deestimar o valor adicionado em Minas Gerais mos-tra dois resultados de grande importância, masque ainda não sabemos se seriam válidos forada área que os circunscrevem:

1. A excelência do ensino oferecido emcada curso individualmente é importante. Toda-via, ainda mais decisivo é o esforço e o talento decada aluno.

2. As escolas que obtêm os melhores re-sultados no Provão são também aquelas queoferecem o melhor ensino, isto é, o maior valor adicio-nados aos seus alunos. Portanto, merecem ser fes-tejadas aquelas que obtêm notas boas, pois sãoas mesmas que oferecem o melhor ensino.

O PROVÃO DEVE DESCREDENCIARCURSOS?

Os argumentos apresentados anterior-mente militam em favor de não tomar o Provãocomo um critério para cassar o credenciamento decursos. Se um curso foi classificado como E, podeser que não esteja oferecendo um ensino minima-mente sério ou pode ser que seja apenas, por re-ceber os alunos mais fracos. Pode ser, também, omenos bom em uma área em que todos são bons.

Se o curso está fazendo tudoaceitavelmente bem, não há argumentos fortespara perder o seu credenciamento. De fato, nãoé possível afirmar, a priori, que o valor agregadonão seja bastante razoável. Isto é, um curso que

22

atende alunos muito despreparados pode estaroferecendo a eles um salto de conhecimento muitoconsiderável. E no fundo, ao julgar um curso, apergunta mais relevante é saber o que se agregaao que o aluno já sabia antes. Se o aluno sabiapouco, o curso pode ser E no Provão, mas poderia,ao mesmo tempo, merecer todo o respeito por estaroferecendo um adicional amplo de conhecimentosaos seus alunos. A verificação, portanto, temsimplesmente que olhar o outro lado da questão,que é o processo de ensino. Se a escola estácumprindo com os procedimentos que caracterizamum ensino sério, não haveria porque perder seucredenciamento.

De fato, os procedimentos adotados peloMEC são congruentes com este princípio. O Pro-vão não descredencia cursos. Simplesmente, umE ou vários Ds são tomados como sinais de alar-me. Ao detectar escores que merecem a nota Eou D, o Provão está identificando cursos que po-dem estar faltando com os critérios mínimos doensino superior. Esse alarme, por sua vez, de-sencadeia um processo de visita por comissõesde especialistas. Cabe a estas verificar se os cur-sos estão oferecendo o que se supõe que umcurso deva oferecer (professores qualificados,bibliotecas, laboratórios, computadores, etc.). Seo curso está cumprindo com o que determinam alei e as expectativas das comissões, ser classifi-cado como E não é fatal. Pode ser apenas o re-sultado de receber alunos fracos. Nesse caso,exceto nas áreas onde há riscos para os clientes(tipicamente na área médica), não há razões parafechar o curso.

É uma questão aberta e controvertida, efora está dos objetivos deste trabalho decidir see como o MEC ou o Conselho Nacional de Edu-cação (CNE) devem ou podem fechar cursos.Mas é preciso ficar claro que o critério não podeser o Provão. O Provão é um sinal de alarme.Quem pode decidir sobre o fechamento dos cur-sos é o laudo da comissão de visita.

Em suma, dado o caráter puramentecomparativo das notas no Provão, receber Esignifica apenas que o curso produz alunos maisfracos do que os outros. Não significa que estejamabaixo de algum limiar de qualidade que o MECdeva automaticamente recusar. Ou seja, omesmo MEC que cria uma prova cujos resultadossão apenas comparativos, não poderia usar estaprova para passar um julgamento absoluto sobrea sua qualidade.

AVALIAÇÃO ÚNICA OU PARTE DE UMPROCESSO MAIOR?

Uma das críticas mais duras ao Provão –na imprensa e nos encontros de educadores – éque não se pode avaliar um curso por via apenasde uma prova aplicada em um momento único.Mais ainda, a avaliação é um processomultidimensional e há qualidades importantes quenem são captadas pelo Provão e nem porquaisquer outras provas desse tipo.

A primeira parte da crítica é fácil refutar.De fato, há algum grau de volatilidade em resul-tados capturados em um curto instante de tem-po, como é o caso desse exame. Fatores aleató-rios poderiam estar introduzindo uma margem deerro inaceitável. Todavia, devemos considerar adiferença entre a possível flutuação no desem-penho de alunos individualmente (um pode estarresfriado, outro de ressaca) com a reconhecidae maior estabilidade nos resultados que agregammuitos alunos. De fato, os mesmos cursos, con-siderados melhores por outros critérios, saem-se com notas altas, ano após ano. E vice-versapara os piores. Mais ainda, quando há mudan-ças de nota observadas para algumas institui-ções, em geral, correspondem a eventos bemdocumentados ocorridos dentro delas. Por exem-plo, reformas radicais, contratações de profes-sores. Em suma, há uma forte estabilidade nasnotas de cada instituição e os saltos tendem acorresponder a mudanças internas na instituição.

O segundo ponto é mais complexo. É ver-dade que uma prova escrita não capta tudo queocorre de bom e de mau dentro de uma institui-ção. Não capta o ambiente, os valores professa-dos pela instituição, sua capacidade de relacio-namento com a comunidade e seu engajamentosocial, nem mede a criatividade dos seus alunose professores.

Mas, para esse argumento, há uma pon-deração cabível. A observação, em primeira mão,das instituições e suas notas não parece sugerirque todos esses atributos desejados e que nãosão mensuráveis pelo Provão pudessem estarocorrendo com maior intensidade nos cursos queobtiveram conceitos baixos. Se pedíssemos aobservadores qualificados para que dessem no-tas às instituições pela sua excelência nos crité-rios não captados pelo Provão, possivelmenteterminaríamos com uma distribuição muito pare-cida com aquela gerada pelo Provão. Mas sãoapenas conjecturas...

23

Parece-nos que há razões excelentespara existirem outras formas de avaliação, para-lelas ao Provão, e grandes ganhos para a edu-cação nessa riqueza de visões e métodos. Nãoobstante, há que reconhecer o que se pode ounão fazer com cada modalidade de avaliação.

As avaliações das condições de ofertacorrespondem a uma segunda alternativa deavaliação. Tradicionalmente, o então CFE, atual CNE,fazia tais avaliações, como pré-condição para aautorização de funcionamento de cursos, mas haviaduas falhas cruciais nesse processo. Primeiramente,a avaliação era feita no momento da abertura docurso, quando tudo estava ensaiado e preparadopara receber os visitadores oficiais. Depois da visita,até as bibliotecas eram retiradas, pois estavam láde aluguel. Em seguida, eram focalizadas asdimensões das salas, o que permitia umaquantificação precisa, mas o resultado tinha poucarelação com a qualidade do ensino. A correlaçãoentre centímetros quadrados de sala de aula e nívelde aprendizado é, na melhor das hipóteses, muitobaixa. Essas limitações desmoralizaram muito estescritérios de condições de oferta.

Recentemente, houve uma melhoria con-siderável. Os cursos estão sendo visitados du-rante o seu funcionamento regular e os critériosnão são tolos, mas ainda há dificuldades e limita-ções no processo. Há um viés academicista naavaliação dos professores, valorizando-se ex-cessivamente os seus diplomas, sem conside-rar a excelência de sua prática em sala de aula ea sua experiência profissional em empresas –quando isso é relevante. Há forte relutância emintroduzir critérios qualitativos – como, por exem-plo, o desempenho dos professores em sala deaula. Nota-se, igualmente, uma presença muitogrande de interesses corporativos na escolha doscritérios de avaliação.

Mas, finalmente, a discussão sobre ascondições de oferta recai na pergunta inevitável:quais são aqueles insumos que conduzem a umaboa educação? E a única resposta confiável vemdas tentativas de medir a excelência do que foiaprendido e de relacioná-las com as condiçõesde oferta. Em outras palavras, dá-se uma gran-de volta e termina-se por tentar validar a escolhados critérios justamente pela forma de avaliaçãocom a qual compete: o Provão. Se não secorrelaciona com o Provão, não deve ser rele-vante. Quando o Provão mostra pouca correla-ção com construção civil, perde-se a fé na im-portância de medir edifícios.

Portanto, sem querer tirar os méritos ouas justificativas para se prestar atenção nas con-dições de oferta, é preciso não perder de vistaos limites da sua contribuição para medir a qua-lidade do processo de ensino.

Finalmente, há as avaliações (ou auto-avaliações) institucionais que lidam mais pro-fundamente com dados qualitativos e com ofuncionamento das instituições. São instrumen-tos preciosos para aperfeiçoá-las e para identificarbloqueios no seu funcionamento, e não apenasisso, pois criam um momento propício para ne-gociar internamente mudanças, para eliminararestas e conflitos. Desde a década de 80, o MECvem patrocinando iniciativas nessa direção, umasmais bem-sucedidas do que outras, mas comobjetivos muito diferentes do Provão, complemen-tares, por certo.

Trata-se de uma dinâmica de foro interno,visando desbloquear processos, melhorar o fun-cionamento, definir rumos. Pode ser de extremautilidade para as instituições, mas não informase os alunos aprenderam a lição, se aprenderammais ou menos do que em outras instituições.De fato, os processos de avaliação institucionalnão geram quaisquer resultados que permitamcomparações. Eles são particularmente úteispara as próprias instituições que estão sendoavaliadas e, no caso das instituições públicas,para a Secretaria de Ensino Superior (SESu) quepoderia tirar conclusões úteis para suas políti-cas a partir deles.

Ora, esse não é o único objetivo de umaavaliação. Do ponto de vista do aluno que de-seja decidir onde estudar, é o Provão que dá aresposta desejada, permitindo identificar quaisas instituições melhores e quais as menosboas. Quem examinar os resultados das avali-ações do Programa de Avaliação Institucionaldas Universidades Brasileiras (Paiub) não teráboas orientações para escolher um curso. Por-tanto, a avaliação institucional cumpre um pa-pel diferente.

Em suma, há diferentes modalidades deavaliação, cada uma com os seus objetivos, méri-tos e limitações. O Provão é uma delas, ao mos-trar como os alunos de um curso se comparamcom os de outros, em matéria de aprendizado docurrículo oficial da carreira. É diferente e comple-mentar às avaliações institucionais e à avaliaçãodas condições de oferta.

24