FUNDAÇÃO INSTITUTO CAPIXABA DE PESQUISAS EM …E7%E3o%20... · de uma análise do resultado do...

FUNDAÇÃO INSTITUTO CAPIXABA DE PESQUISAS EM CONTABILIDADE, ECONOMIA E FINANÇAS – FUCAPE

SILVANA CRISTINA DOS SANTOS

A ABORDAGEM DO VALOR ADICIONADO NA AVALIAÇÃO DO ENSINO: uma análise dos cursos de Ciências Contábeis

VITÓRIA 2013



Dissertação apresentada ao Programa de Pós-Graduação em Ciências Contábeis, Fundação Instituto Capixaba de Pesquisas em Contabilidade, Economia e Finanças (FUCAPE), como requisito parcial para obtenção do título de Mestre em Ciências Contábeis- Nível Profissionalizante.

Orientador: Prof. Dr. Cristiano Machado Costa

VITÓRIA 2013



Dissertação apresentada ao Programa de Pós-Graduação em Ciências Contábeis

da Fundação Instituto Capixaba de Pesquisas em Contabilidade, Economia e

Finanças (FUCAPE), como requisito parcial para obtenção do título de Mestre em

Ciências Contábeis na área de concentração Contabilidade Gerencial.

Aprovada em 09 de dezembro de 2013.

COMISSÃO EXAMINADORA

___________________________________________ Orientador: Prof. Dr. Cristiano Machado Costa (Fundação Instituto Capixaba de Pesquisa em Contabilidade, Economia

e Finanças – FUCAPE)

___________________________________________ Convidado: Profa. Dra. Arilda Teixeira (Fundação Instituto Capixaba de Pesquisa em Contabilidade, Economia


___________________________________________ Orientador: Prof. Dr. Fábio Moraes da Costa (Fundação Instituto Capixaba de Pesquisa em Contabilidade, Economia


Dedico este trabalho a Deus e

à minha família, alicerces

principais da minha vida.

AGRADECIMENTOS

A DEUS, meu grande Pai, Amigo e Ajudador. Aquele que acredita e realiza,

quando nós desacreditamos e que em meio a tantos impossíveis tem o poder de

fazer mais do que nós pensamos ou pedimos.

Aos meus pais, irmãs e sobrinho, que diante de um momento de realização e

simultaneamente de adversidade, foram compreensivos, ajudando-me de tantas

formas e de uma maneira muito especial. Sem esse apoio dificilmente eu teria

chegado até aqui.

Às amigas: Joana, Helenice e família, que desde o início deste curso, se

colocaram a disposição para me ajudar. Helenice, Flávio (in memoriam) e toda a

família que tão bondosamente me recebiam em seu lar durante o curso. E que com

tanto zelo, cuidado, preocupação não mediram esforços para me apoiar. Agradecer

é muito pouco e torna-se até difícil encontrar ações que recompensem tudo isso.

Que Deus possa retribuir a vocês tudo o que fizeram por mim.

A todas as amigas e amigos que me incentivaram e torceram por mim, e que

em suas orações sempre se lembraram de mim, em especial, amiga Raquel.

Ao meu orientador Prof. Dr. Cristiano M. Costa, por ter acreditado em mim,

pela sua disponibilidade e apoio de tantas formas. Prosseguir com esse tema, e,

chegar aos resultados, foi possível, principalmente pela sua competência e valiosas

contribuições. Muito obrigada pela dedicação junto comigo ao longo da realização

deste trabalho.

A todos os professores do curso e colegas pelo convívio. Em especial, não

poderia deixar de citar a amiga Vanessa, pelos auxílios durante o curso, por me

receber tão bem por diversas vezes em sua casa, assim como seu esposo

Anderson. Conhecer pessoas como vocês é um privilégio, pois com tanta humildade,

estão sempre dispostos a ajudar. Muito obrigada por tudo e também pela

contribuição de vocês na consecução deste trabalho.

Ao Prof. Dr. Valcemiro Nossa e Profa. Dra. Luciana de Andrade Costa pelas

considerações e sugestões na ocasião do exame de qualificação.

À Fucape e parceiros promotores do prêmio Excelência Acadêmica. Pois, em

uma situação rara e especial, pude ser contemplada com uma bolsa parcial, o que

viabilizou realizar o sonho do Mestrado em Contabilidade.

À secretaria de pesquisa, na pessoa da Lorene, pela compreensão na

realização das atividades de pesquisa e pelo esclarecimento de dúvidas ao longo

deste trabalho.

Por fim, a todos que direta ou indiretamente contribuíram para essa

realização, meus sinceros agradecimentos.

“ Confie no Senhor de todo o seu coração, e

não se apoie em seu próprio entendimento.

Reconheça o Senhor em todos os seus

caminhos, e ele endireitará as suas veredas”.

(Provérbios 3:5-6)

RESUMO

Este trabalho investiga o valor adicionado nos cursos de ciências contábeis a partir

de uma análise do resultado do Exame Nacional de Desempenho dos Estudantes

(Enade) do ano de 2009. O objetivo foi identificar os fatores que explicam o valor

adicionado pelas Instituições de Ensino Superior (IES) aos alunos do curso de

ciências contábeis em relação aos conhecimentos específicos da área. Para tanto,

realizou-se uma pesquisa empírica, tendo como amostra o total de 251 cursos de

ciências contábeis da região Sudeste do Brasil. Os dados foram coletados por meio

de relatórios disponibilizados pelo Instituto Nacional de Estudos e Pesquisas

Educacionais Anísio Teixeira (Inep). Para análise dos dados foram utilizados os

procedimentos de estatística descritiva e regressão linear. Com base no método de

avaliação de ensino conhecido como valor adicionado (Value- Added), aplicou-se

uma das abordagens indicada, a da teoria da função de produção, controlando-se as

características individuais e socioeconômicas dos alunos. Os resultados sugerem

que os principais determinantes do valor adicionado foram: plano de ensino,

quantidade de alunos que utilizam bolsa de estudos e tamanho do corpo discente.

Desta forma, os achados indicam que enquanto variáveis relacionadas com o corpo

docente e infraestrutura pareceram não influenciar o desempenho da instituição,

ressalta-se a relevância e importância da organização didático-pedagógica que,

conforme verificado neste trabalho, pode motivar ganhos nos resultados da

instituição de ensino.

Palavras-chave: Valor adicionado; Ensino Superior; Ciências Contábeis; Brasil.

ABSTRACT

This dissertation uses the value-added approach to investigate the outcomes from

accounting sciences courses on the National Examination Performance of Students

(Enade) in 2009. The goal was to identify the determinants of the value added by

higher education institutions (HEIs) to students of accounting courses. The sample

consists of 251 accounting courses in the Southeast region of Brazil. The data was

obtained from different reports made available by the National Institute of Educational

Studies and Research Anísio Teixeira (Inep). The value-added model of evaluation

was applied to the data based on the theory of the production function, and controlled

for individual and socioeconomic characteristics of the students. The results suggest

that the main determinants of value added were: teaching planning, percentage of

students receiving scholarships and student body size. These findings indicate that

variables like teaching staff and infrastructure seemed to not influence the

performance of the institution and emphasize the relevance and importance of

didactic and pedagogic organization.

Key-words : Value-Added; Higher education; Accounting; Brazil.

LISTA DE TABELAS

Tabela 1: Evolução do Curso de Ciências Contábeis ............................................... 20

Tabela 2: Número de Cursos Participantes do Enade/2009 ..................................... 56

Tabela 3: Amostra da Pesquisa ................................................................................ 57

Tabela 4: Sumário Estatístico Descritivo das Variáveis ............................................ 63

Tabela 5: Sumário Estatístico Descritivo das Notas dos Alunos ............................... 64

Tabela 6: Sumário Estatístico da Regressão Linear ................................................. 67



Tabela 9: Sumário Estatístico Descritivo do Valor Adicionado Estimado .................. 71

Tabela 10: Sumário Estatístico da Regressão Linear ............................................... 73

Tabela 11: Sumário Estatístico da Regressão Linear ............................................... 73

Tabela 12: Classificação das IES pelo IDD e pelo Valor Adicionado ........................ 76

LISTA DE SIGLAS

ACT — American College Testing

CPC — Conceito Preliminar de Cursos

Enade — Exame Nacional de Desempenho dos Estudantes

ENC — Exame Nacional de Cursos

Enem — Exame Nacional do Ensino Médio

ES — Espírito Santo

HISD — Houston Independent School District

HLM — Modelagem Linear Hierárquica

IDD — Indicador de Diferença entre os Desempenhos Observado e Esperado

IES — Instituições de Ensino Superior

IFRS — International Financial Reporting Standards

IGC — Índice Geral de Cursos

Inep — Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira

LDB — Lei de Diretrizes e Bases da Educação Nacional

MEC — Ministério da Educação

MG — Minas Gerais

MQO — Mínimos Quadrados Ordinários

NIDD — Nota Padronizada do IDD

PISA — Programme for International Student Assessment

RJ — Rio de Janeiro

SAT — Scholastic Assessment Test

SINAES — Sistema Nacional de Avaliação da Educação Superior

SP — São Paulo

VAM — Modelos de valor adicionado

VSA —Voluntary System of Accountability

SUMÁRIO

Capítulo 1 ........................................ ......................................................................... 13

1 INTRODUÇÃO ....................................................................................................... 13

Capítulo 2 ........................................ ......................................................................... 19

2 REFERENCIAL TEÓRICO E EMPÍRICO................... ............................................ 19

2.1 A EVOLUÇÃO DO CURSO DE CIÊNCIAS CONTÁBEIS ................................ 19

2.2 AVALIAÇÃO DA EDUCAÇÃO SUPERIOR NO BRASIL .................................. 21

2.3 MÉTODO DO VALOR ADICIONADO .............................................................. 25

2.3.1 Contextualização ............................ ......................................................... 25

2.3.2 Modelos de valor adicionado ................. ................................................. 27

2.3.2.1 Alguns requisitos metodológicos ................................................... 28

2.3.2.2 Abordagens metodológicas ........................................................... 31

2.3.3 Aplicação prática ........................... .......................................................... 33

2.3.4 Críticas e Limitações ....................... ........................................................ 37

2.4 INDICADOR DE DIFERENÇA DE DESEMPENHO- IDD ................................. 39

2.5 ESTUDOS ANTERIORES ............................................................................... 43

2.5.1 Estudos Internacionais ...................... ..................................................... 43

2.5.2 Estudos Brasileiros relacionados com desempen ho na área de

ciências contábeis ................................ ............................................................ 51

Capítulo 3 ........................................ ......................................................................... 54

3 METODOLOGIA ..................................... ............................................................... 54

3.1 COLETA DE DADOS ....................................................................................... 54

3.2 UNIVERSO E AMOSTRA DA PESQUISA ....................................................... 55

3.3 MÉTODO DE ESTIMAÇÃO ............................................................................. 57

3.4 ESTATÍSTICAS DESCRITIVAS ....................................................................... 62

Capítulo 4 ........................................ ......................................................................... 67

4 ANÁLISE DOS RESULTADOS .......................... ................................................... 67

4.1 DETERMINANTES DO DESEMPENHO DOS ALUNOS ................................. 67

4.2 VALOR ADICIONADO E SEUS DETERMINANTES ........................................ 70

4.3 ESTIMATIVA DO VALOR ADICIONADO E O IDD .......................................... 75

4.4 DISCUSSÃO DOS RESULTADOS .................................................................. 77

Capítulo 5 ........................................ ......................................................................... 85

5 CONSIDERAÇÕES FINAIS ............................ ....................................................... 85

5.1 CONCLUSÕES ................................................................................................ 85

5.2 SUGESTÕES PARA FUTURAS PESQUISAS E LIMITAÇÕES DO ESTUDO 89

REFERÊNCIAS ......................................................................................................... 91

13

Capítulo 1

1 INTRODUÇÃO

A profissão contábil vem evoluindo sob a influência de mudanças

econômicas, sociais e tecnológicas (DOMINGUES; SCHLINDWEIN, 2007, BYRNE;

FLOOD, 2008). Dentre elas, destacam-se: o avanço tecnológico e informacional, a

implantação do Sistema Público de Escrituração Digital e alterações na própria

estrutura contábil. Mudanças que, nacionalmente e internacionalmente têm sido

adotadas, sobretudo, para se alinhar aos padrões internacionais (MIRANDA; CASA

NOVA; CORNACCHIONE JÚNIOR, 2012) por meio da adoção das International

Financial Reporting Standards (IFRS) (CARDOSO et al., 2009).

Nesse cenário, a profissão contábil tem ocupado posição de destaque,

resultando em crescimento de oportunidades para o profissional da área (BYRNE;

FLOOD, 2008, PARISOTO; GRANDE; FERNANDES, 2006). Como consequência é

requerido desse profissional um perfil adequado à grandeza das mudanças do

mercado atual, que tem se mostrado cada vez mais dinâmico e competitivo

(DOMINGUES; SCHLINDWEIN, 2007, PARISOTO; GRANDE; FERNANDES, 2006).

Essas mudanças afetam de formas diversas o ensino da contabilidade no

Brasil (MIRANDA; CASA NOVA; CORNACCHIONE JÚNIOR, 2012). Como

responsáveis pela formação dos profissionais da área, as Instituições de Ensino

Superior (IES) desempenham o papel de ser o instrumento condutor da ciência

contábil a atender as novas expectativas da sociedade (PARISOTO; GRANDE;

FERNANDES, 2006). Dessa forma, espera-se por parte dessas IES a viabilização do

aprimoramento e desenvolvimento das competências, das habilidades e dos

14

conhecimentos requeridos para que esse profissional possa desempenhar suas

atividades de maneira adequada (PIRES; OTT, 2008, DOMINGUES;

SCHLINDWEIN, 2007).

Sabe-se que o ensino superior tem se destacado por uma grande expansão

em diversas áreas do conhecimento (SOUZA; MACHADO, 2011, DIAS SOBRINHO,

2010). Neste ambiente, o curso de ciências contábeis vem apresentando um

expressivo aumento da quantidade de cursos e de vagas tanto em IES públicas

quanto nas privadas (ARAÚJO; CAMARGOS; CAMARGOS, 2011). De acordo com o

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), a

quantidade de cursos de ciências contábeis passou de 494 em 2000 para 1.074 em

2011, apresentando crescimento de 117,41%. Ademais, verificou-se um aumento de

40,5% no número de matrículas entre 2005 e 2011 que de 170.437 avançou para

239.488 (INEP, 2013a).

De acordo com Araújo, Camargos e Camargos (2011, p.1), um problema que

se acentuou com a expansão rápida do ensino superior foi “[...] a qualidade do

ensino e o resultado final do processo de aprendizagem, o desempenho discente,

que surge como uma questão crucial na pauta de discussão da educação brasileira.”

A preocupação com a qualidade do ensino superior é também expressa em outros

países, como Estados Unidos, Inglaterra, Arábia Saudita, Irlanda, Colômbia

(ZHANG, 2009, LIU, 2011a, LIU, 2011b, YUNKER, 2005, RODGERS, 2007, AL-

TWAIJRY, 2010, BYRNE; FLOOD, 2008, SAAVEDRA; SAAVEDRA, 2011), que

relatam a mesma necessidade crescente e iminente de se conhecer a qualidade do

ensino que tem sido ofertado e que tipo de profissional tem sido formado.

A fim de avaliar e aprimorar todo esse processo e traçar políticas que

objetivam melhorar o ensino, órgãos governamentais implantam diferentes

15

metodologias de avaliação do ensino superior (ARAÚJO; CAMARGOS;

CAMARGOS, 2011). Uma delas, que vem sendo implantada e utilizada em vários

países, é a do valor adicionado (Value- Added). O termo Valor Adicionado origina-se

da economia e na educação, passou a ser compreendido, em termos gerais, como a

contribuição da escola, ao aluno (FINCHER, 1985). Assim, esse método busca medir

a contribuição pura da escola e o efeito de suas políticas e práticas para o

desempenho do aluno (DORAN, IZUMI, 2004, ASTIN, 1982). Ou seja, a contribuição

livre de todas as outras fontes de realização de um aluno (MEYER, 1997,

MCCAFFREY, 2010).

No Brasil, Soares, Ribeiro e Castro (2001) estimaram o valor adicionado de

IES em Minas Gerais para alunos dos cursos de direito, administração e engenharia

Civil. Contudo, tendo em vista a limitação de dados que existia na época, os

resultados do estudo foram inconclusivos.

Santos (2012) analisou o efeito de características individuais e institucionais

sobre o desempenho de estudantes de ciências contábeis que participaram do

Exame Nacional de Cursos (ENC), conhecido como Provão, de 2002 e 2003 e do

Exame Nacional de Desempenho dos Estudantes (Enade) de 2006. Entretanto, sua

análise limitou-se ao uso de microdados desses exames, além de utilizar somente

dados de alunos concluintes.

Outros trabalhos na área de ciências contábeis, relacionados com

desempenho têm se concentrado principalmente em analisar possíveis variáveis que

influenciam o desempenho da nota obtida pelos alunos concluintes no Enade

(CRUZ; TEIXEIRA, 2012, SOUZA; MACHADO, 2011, ARAÚJO; CAMARGOS;

CAMARGOS, 2011, SANTOS; CUNHA; CORNACHIONE JR., 2009).

16

Neste contexto surgiu o interesse pelo presente estudo, que foi orientado pela

seguinte questão de pesquisa: Quais os fatores determinantes do valor adicionado

pelas instituições de ensino superior aos alunos dos cursos de ciências contábeis,

em termos de conhecimentos específicos da área?

O tema valor adicionado na educação pode ser visto amplamente como

objeto de pesquisas e estudos em outros países. No Brasil, especialmente no ensino

superior, foram verificados poucos trabalhos relacionados com essa temática. Assim,

o presente trabalho buscou preencher essa lacuna, além de se estender às

contribuições anteriores de trabalhos internacionais, apresentando o resultado de

novas variáveis relacionadas com o desempenho do aluno e das IES. Isso foi

possível, principalmente, pela riqueza de dados disponibilizados atualmente pelo

sistema de avaliação da educação superior do Brasil. O que pode ser considerado

ainda, como uma vantagem que contribui para os resultados alcançados neste

trabalho, já que as dificuldades na obtenção de dados em pesquisas dessa área é

uma limitação comum relatada em outros estudos como Zhang (2009), Jakubowski

(2008), Liu (2011a) e Meyer (1997).

Nesta perspectiva foram utilizados os dados do Sistema Nacional de

Avaliação da Educação Superior (SINAES) mais especificamente do Enade, que é

um dos instrumentos do sistema, que avalia o desempenho acadêmico dos

estudantes em termos de conhecimentos gerais e específicos. Assim, a partir da

questão de pesquisa, o objetivo geral deste estudo foi investigar os fatores que

explicam o valor adicionado pelas IES aos alunos do curso de ciências contábeis em

relação aos conhecimentos específicos1 da área, que são avaliados no Enade.

1O foco foi nos conhecimentos específicos, já que as questões do Enade de formação geral tratam de temas extrínsecos ao âmbito específico da profissão, o que se torna irrelevante, de acordo com intenção da pesquisa contextualizada nos parágrafos acima.

17

O perfil de estudantes ingressantes em uma instituição de ensino superior é

muito heterogêneo e as diferenças de desempenho são consequências não apenas

do efeito da instituição de ensino, mas também de outros fatores2. Assim sendo,

para se mensurar o efeito puro de uma instituição de ensino sobre o desempenho de

um aluno é necessário que se adote um método que considere todos esses fatores

(HANUSHEK; TAYLOR, 1990, MEYER, 1997, MCDONNELL et al., 2013).

A metodologia do valor adicionado tem sido considerada apropriada e

promissora para tal fim (HANUSHEK; TAYLOR, 1990, MEYER, 1997, DORAN,

IZUMI, 2004, MCDONNELL et al., 2013), já utilizada por vários países e vem sendo

tema de vários estudos. Nesse âmbito, justifica-se a importância e relevância deste

trabalho, haja vista ainda, ser voltado para educação e estar inserido no contexto da

avaliação da qualidade do sistema de ensino. Especificamente no ensino de nível

superior, em que a prestação de contas é cada vez mais necessária e requerida por

vários interessados (MIRANDA; CASA NOVA; CORNACCHIONE JÚNIOR, 2012,

DOMINGUES; SCHLINDWEIN, 2007, LIU, 2011a).

Os resultados deste estudo demonstraram que os principais determinantes do

valor adicionado em termos de conhecimentos específicos aos alunos do curso de

ciências no ano de 2009 foram: plano de ensino, quantidade de alunos que utilizam

bolsa de estudos e tamanho do corpo discente. Dessa maneira, enquanto variáveis

relacionadas com o corpo docente e infraestrutura pareceram não influenciar o

desempenho da instituição, ressalta-se a relevância e importância da organização

didático-pedagógica que, conforme verificado neste trabalho, pode motivar ganhos

2 Estudos sobre os fatores que influenciam o desempenho acadêmico mostram que, além da instituição, o ambiente cultural oferecido aos estudantes por sua família, o envolvimento dos pais no processo de aprendizagem, sua posição socioeconômica, seu desempenho prévio e as características individuais dos alunos, são fatores explicativos importantes do desempenho acadêmico (CLARK, 1983; LAREAU, 1987).

18

nos resultados da instituição de ensino. O conjunto de resultados encontrados

podem contribuir para despertar reflexões e ações por parte das instituições de

ensino. Em especial, concernente à implicação de políticas e práticas adotadas que

podem maximizar sua eficácia (independentemente de alterações ao longo do tempo

nas características dos alunos que servem), com o propósito de melhorar o

desempenho acadêmico do estudante. Como, por exemplo: investimento em

recursos didático-pedagógicos, maximizar programas de concessão de bolsas de

estudos, e elaborar planos para controle da quantidade de alunos admitidos.

Além das instituições, esses resultados podem ser úteis também para o Inep,

responsável pela avaliação das IES. Na elaboração deste estudo verificou-se que o

Indicador de Diferença entre os Desempenhos Observado e Esperado (IDD), uma

das medidas de qualidade adotadas pelo Inep, apresenta semelhanças com os

indicadores de valor adicionado, e foram correlacionados. No entanto, diferenças

significativas entre eles também foram observadas. Logo, algumas reflexões são

levantadas, fundamentando-se na literatura, com a finalidade de contribuir para a

produção de medidas de avaliação da qualidade do ensino mais justas e adequadas,

que venham atender melhor a finalidade para a qual são empregadas.

Esta dissertação está estruturada da seguinte forma: além desta introdução,

há mais quatro capítulos. O segundo capítulo apresenta o referencial teórico,

abordando a evolução do curso de ciências contábeis, a avaliação da educação

superior no Brasil, o método do valor adicionado, o IDD e estudos anteriores. No

terceiro capítulo é apresentado o método de pesquisa. Os resultados são

apresentados e discutidos no quarto capítulo. Por fim, são evidenciadas as

considerações finais, com as conclusões, contribuições, limitações da pesquisa e

sugestões para novos estudos.

19

Capítulo 2

2 REFERENCIAL TEÓRICO E EMPÍRICO

2.1 A EVOLUÇÃO DO CURSO DE CIÊNCIAS CONTÁBEIS

A criação do curso de Ciências Contábeis no Brasil se deu por meio do

Decreto Lei nº 7.988, de 22/09/1945. Em seu processo histórico, o curso de ciências

contábeis passou por vários acontecimentos importantes.

De acordo com Silva e Moura (2002, p.2):

No decênio de 60, ocorreram profundas modificações no Ensino Superior Brasileiro que repercutiram no Curso de Ciências Contábeis. Essas mudanças foram em função da Lei 4.024/1961, que fixou as Diretrizes e Bases da Educação Nacional e criou o CFE - Conselho Federal de Educação, com atribuições de fixar os currículos mínimos e a duração dos cursos superiores destinados à formação para as profissões regulamentadas em lei.

Em 1992, o curso de ciências contábeis passou por outra reforma pela

Resolução nº3/1992, que fixou um currículo mínimo e tempo de duração dos cursos

(PELEIAS et al., 2007).

Ainda na década de 90, a Lei de Diretrizes e Bases da Educação Nacional

(LDB) de nº. 9.394, emitida em dezembro de 1996, trouxe profundas mudanças no

ensino superior para todas as áreas. De acordo com Peleias et al. (2007), as

mudanças estariam relacionadas com qualificação docente, a produção intelectual,

docentes com regime de tempo integral, dentre outras.

Atualmente as Diretrizes Curriculares Nacionais para o curso de ciências

contábeis estão definidas na Resolução CNE/CES n. 10, de 16 de dezembro de

2004. Seus princípios norteadores gerais tratam da formação do perfil profissional

desejado, relacionado principalmente a: habilidades e competências; conteúdos

curriculares dos cursos; sistema de avaliação do estudante e do curso; e demais

20

temas ligados ao estágio supervisionado, projetos e atividades complementares

(PIRES; OTT, 2008).

O curso de ciências contábeis se expandiu de forma rápida, conforme se

observa na Tabela 1, onde é apresentado esse crescimento em relação ao número

de cursos, alunos ingressantes e concluintes no âmbito das ciências contábeis nos

períodos de 2002, 2006, 2009 e 2011.

Tabela 1: EVOLUÇÃO DO CURSO DE CIÊNCIAS CONTÁBEIS

Fonte: INEP (2002, 2006, 2009, 2011). *Legenda: Pres.= Presencial; Dist.=Distância; Ing. = Ingressantes; Con.= Concluintes.

Pode-se observar o crescimento contínuo da quantidade de cursos em cada

período analisado. Verifica-se, ainda, o crescimento do número de alunos

ingressantes e concluintes na mesma intensidade. Ressalta-se que em 2006 surge a

oferta dos cursos na modalidade à distância, e da mesma forma observa-se a

expansão de cursos e alunos.

Neste contexto Silva e Moura (2002, p.14) afirmam que: “esse crescimento

remete a uma constante reflexão da qualidade que deverá ser exigida nesses cursos

para que os mesmos possam atender a demanda atual dos profissionais de

contabilidade”.

Períodos 2002 2006 2009 2011

Tipo Curso:

Quant

Alunos

Quant

Alunos

Quant

Alunos

Quant

Alunos

*Ing. *Con. *Ing. *Con. *Ing. *Con. *Ing. *Con.

*Pres. 641 46.759 20.886 879 56.867 28.931 1.028 61.431 32.300 1.074 69.644 34.305

*Dist. - - - 11 6.381 - 24 11.661 2.257 30 20.252 4.079

Total 641 46.759 20.886 890 63.248 28.931 1.052 73. 092 34.557 1.104 89.896 38.384

21

2.2 AVALIAÇÃO DA EDUCAÇÃO SUPERIOR NO BRASIL

Vários países vêm adotando ao longo das últimas décadas metodologias

próprias de avaliação de seu sistema de ensino superior (MARCHELLI, 2007, LIU,

2011a). No Brasil existiram vários projetos e programas antes do atual sistema

nacional de avaliação do ensino superior.

Na década de 1980 algumas universidades já realizavam um tipo de

autoavaliação. No período de 1996 a 2003 utilizou-se do Exame Nacional de Cursos

(ENC) conhecido também como Provão e, em 2004 foi implantando o Sistema

Nacional de Avaliação da Educação Superior (SINAES) (POLIDORI; ARAÚJO;

BARREYRO, 2006).

O SINAES é operacionalizado pelo Instituto Nacional de Estudos e Pesquisas

Educacionais Anísio Teixeira (Inep), representante do Ministério da Educação

(MEC), e é formado por três componentes, chamados de principais: avaliação das

instituições, dos cursos e do desempenho dos estudantes. O processo de avaliação

envolve todos os aspectos que giram em torno desses componentes, como: o

ensino, a pesquisa, a extensão, a responsabilidade social, o desempenho dos

alunos, a gestão da instituição, o corpo docente, as instalações, dentre outros (INEP,

2013b). Todo esse processo de avaliação “[...] apresenta uma trajetória bastante rica

e, inclusive, inovadora no que diz respeito à sua proposta de considerar o processo

na sua totalidade” (POLIDORI, 2009, p. 439).

Através dos resultados das avaliações são gerados os indicadores de

qualidade dos cursos, sendo eles: Conceito Enade, Conceito Preliminar de Cursos

(CPC), Índice Geral de Cursos (IGC) e Indicador de Diferença de Desempenho (IDD)

(INEP, 2013c). Ressalta-se que neste trabalho será abordado nas páginas seguintes

22

somente sobre o IDD, o qual tem relação com a temática do presente estudo. E

ainda a expressão Enade que está sendo utilizada se difere do Conceito Enade,

esse é obtido a partir dos resultados dos exames aplicados. Ao longo do texto,

Enade se refere ao exame de desempenho dos estudantes.

A avaliação de desempenho do corpo discente de todos os cursos de

graduação é realizada por intermédio do Enade. Conforme Verhine, Dantas e

Soares (2006), o Brasil é o único país a aplicar um exame nacional escrito por área

de conhecimento no ensino superior. E ainda “[...] o único país a aplicar um exame

nacional de cunho obrigatório aos estudantes como um dos principais instrumentos

que compõem o sistema de avaliação da educação superior” (LEITÃO et al., 2010,

p.22).

Os objetivos do Enade estão definidos no parágrafo primeiro, artigo quinto da

Lei 10.861/04:

§ 1º O ENADE aferirá o desempenho dos estudantes em relação aos conteúdos programáticos previstos nas diretrizes curriculares do respectivo curso de graduação, suas habilidades para ajustamento às exigências decorrentes da evolução do conhecimento e suas competências para compreender temas exteriores ao âmbito específico de sua profissão, ligados à realidade brasileira e mundial e a outras áreas do conhecimento.

Ainda de acordo com o artigo quinto, parágrafos terceiro e quinto da referida

lei, o Enade é componente curricular obrigatório dos cursos de graduação, aplicado

com periodicidade máxima trienal. No caso específico dos cursos de ciências

contábeis, estes foram avaliados no ciclo de 2006, 2009 e 2012.

O Enade é constituído de quatro instrumentos: a prova, o questionário de

impressões dos estudantes sobre a prova, o questionário do estudante e o

questionário do coordenador (a) do curso (INEP, 2013d).

23

A prova do Enade até o ano de 2009 era realizada por amostragem. O Inep

selecionava uma amostra de acordo com as informações fornecidas pela própria

instituição de ensino superior, através da inscrição dos alunos habilitados a fazer a

prova (LEITÃO et al. 2010, INEP, 2013j). A partir de 2010 foi extinto esse processo

de amostragem para realização do Enade, passando a ser caracterizado como de

realização obrigatória a todos os alunos habilitados que fazem parte dos cursos

avaliados pelo exame em seus respectivos períodos (INEP, 2013j). Compõem essa

prova questões referentes à formação geral e específica. Dez questões fazem parte

da formação geral, com peso de 25% e comum aos estudantes de todos os cursos

selecionados. Trinta questões fazendo parte da formação específica, com peso de

75% e diferenciada para cada um dos cursos de graduação. Ambas as provas

contêm questões discursivas e de múltipla escolha nas duas partes (INEP, 2013d).

O objetivo da inclusão de questões referente a conhecimentos gerais é

investigar competências, habilidades e conhecimentos gerais que os estudantes já

tenham desenvolvido e que possibilite a compreensão de temas extrínsecos ao

âmbito específico de sua profissão e à realidade brasileira e mundial. A parte dos

componentes específicos abrange a especificidade de cada curso no domínio dos

conhecimentos, das habilidades e competências esperadas para o perfil profissional,

que se baseiam nas diretrizes curriculares nacionais de cada curso avaliado

(POLIDORI; ARAÚJO; BARREYRO, 2006, SANTOS; AFONSO, 2012).

Até o ano de 2010 participavam da prova dois grupos de estudantes, os quais

se encontravam em momentos diferentes de sua graduação e eram submetidos à

mesma prova: um grupo, considerado ingressante, cursando o final do primeiro ano

e outro grupo tido como concluinte que se encontra no final do último ano do curso

(INEP, 2013e). A intenção do Inep ao aplicar as provas aos estudantes ingressantes

24

e concluintes é a possibilidade de reunir informações para comparação desses dois

grupos como forma de medir o conhecimento agregado durante a trajetória

acadêmica vivenciada durante o curso (VERHINE; DANTAS; SOARES, 2006,

SANTOS; AFONSO, 2012, POLIDORI; ARAUJO; BARREYRO, 2006, SANTOS;

CUNHA; CORNACHIONE JR, 2009).

Contudo, a partir de 2011, o Inep tomou a decisão de dispensar os estudantes

ingressantes de realizar a prova do Enade e em substituição3 utilizar o resultado do

desempenho dos estudantes no Exame Nacional do Ensino Médio (Enem). Desse

modo, a partir do ano de 2011, somente estudantes concluintes realizaram a prova

do Enade, e no cálculo dos indicadores de qualidade onde era utilizada a nota dos

estudantes ingressantes, passou-se a utilizar a nota dos estudantes no Enem.

O questionário do estudante, também conhecido como questionário

socioeconômico, permite o conhecimento e a análise do perfil socioeconômico dos

ingressantes e concluintes e dos fatores que podem estar relacionados ao

desempenho desses estudantes. E fornecem também dados de percepção dos

estudantes sobre o ambiente de ensino aprendizagem (INEP, 2009).

O questionário de impressões da prova tem o objetivo de colher informações

referente à opinião dos estudantes sobre a prova e, quanto ao questionário do

coordenador objetiva conhecer a posição do coordenador sobre a prova, projeto

pedagógico e as condições de ensino do seu curso (VERHINE; DANTAS; SOARES,

2006, POLIDORI; ARAUJO; BARREYRO, 2006).

3Para maiores explicações sobre essa substituição ver nota técnica em Inep (2013i).

25

Os resultados do Enade são apresentados por meio dos seguintes relatórios:

boletim de desempenho do aluno, relatório do curso, relatório da área, relatório da

instituição, resumo técnico (INEP, 2013f).

As informações obtidas com esse sistema de avaliação são utilizadas:

Pelas IES, para orientação da sua eficácia institucional e efetividade acadêmica e social; pelos órgãos governamentais para orientar políticas públicas e pelos estudantes, pais de alunos, instituições acadêmicas e público em geral, para orientar suas decisões quanto à realidade dos cursos e das instituições. Deverão assim, contribuir para o aperfeiçoamento dos processos de ensino-aprendizagem e das condições de ensino e do próprio sistema de avaliação dos cursos de graduação (INEP, 2013b).

2.3 MÉTODO DO VALOR ADICIONADO

2.3.1 Contextualização

O termo Valor Adicionado (Value- Added) segundo Malach e Malčík (2010)

provavelmente surgiu no meio da década de 1970, no âmbito da idéia de

responsabilização das escolas. E sob a perspectiva de linha de tempo, “ [...] muitos

pesquisadores consideram o conceito de valor adicionado na educação como a

ferramenta analítica mais importante que surgiu em ciências pedagógicas nos

últimos 20 anos” [Tradução nossa] (MALACH; MALČÍK, 2010, p.125).

Goldstein e Thomas (1996) definiu valor adicionado como o quantitativo

acrescentado por uma instituição de ensino, por via de suas políticas, práticas e

processos internos, ao desempenho acadêmico dos alunos.

Astin (1982) é considerado como o proponente da prática da metodologia do

valor adicionado no ensino superior e quem descreveu pela primeira vez, na

literatura da educação, essa prática aplicada no ensino superior (CORNELL, 1985,

TAYLOR, 1985). Já em um contexto de preocupação com a qualidade da educação

superior, Astin (1982) expressou a necessidade imediata de uma nova concepção

26

para medir a qualidade do ensino e concluiu em seu estudo que, apesar de algumas

dificuldades, a metodologia do valor adicionado poderia ser aplicada na prática.

Outros pesquisadores da área começaram a expor as mesmas

preocupações, já que os indicadores de resultados educacionais passaram a ser

cada vez mais utilizados para avaliar a eficácia da educação (MEYER, 1997). Esse

uso progressivo deve-se em grande parte por uma demanda crescente interessada

em conhecer o resultado real do desempenho produzido pelas escolas (MEYER,

1997, RODGERS, 2007, LIU, 2011a, HANUSHEK; TAYLOR, 1990). Dessa forma,

muitos estudiosos e pesquisadores, sobretudo os americanos, passaram a

questionar os indicadores até então, comumente utilizados na educação americana.

Baseados apenas em resultados de avaliações, como médias e medianas de

testes padronizados, proporção de estudantes com pontuação acima ou abaixo de

um determinado limite, esses indicadores teriam deficiências graves, sendo

considerados fracos e improdutivos instrumentos de responsabilidade pública

(GOLDSTEIN; SPIEGELHALTER, 1996, MEYER, 1997, DORAN, IZUMI, 2004,

HANUSHEK; TAYLOR, 1990). Em outro estudo Meyer (1994), demonstrou que

mesmo que esses indicadores sejam originados de avaliações altamente válidas,

eles são grandemente falhos como medidas de desempenho escolar. Sobretudo, por

que tendem a favorecer instituições que admitem os alunos mais bem preparados.

Isso se deve a uma das grandes fraquezas deste tipo de indicador, já que

eles não levam em consideração a realização prévia do aluno (GOLDSTEIN;

THOMAS, 1996), ou seja, as características já existentes no perfil de um aluno, além

de fatores socioeconômicos de sua família, que exercem influências sobre o

desempenho (CLARK, 1983; LAREAU, 1987, TAYLOR; NGUYEN, 2006). Meyer

(1997) elenca as principais deficiências desse tipo de indicador: são incapazes de

27

identificar o desempenho escolar da sala de aula ou do nível de ensino;

acrescentam informações sobre o desempenho escolar, que podem ser

desatualizadas; é corrompido pela mobilidade estudantil; além de não diferenciar a

contribuição do valor adicionado das escolas (para crescimento no desempenho

estudantil) da contribuição de fatores próprios do estudante e de sua família.

Neste contexto, o método do valor adicionado ganhou ainda mais força como

objeto de investigação, sendo considerado um indicador apropriado para medir e

atribuir maior responsabilidade no que se refere ao ganho educacional (MEYER,

1997, LADD; WALSH, 2002, RODGERS, 2007, MEYER; DOKUMACI, 2009). .

2.3.2 Modelos de valor adicionado

Os modelos de valor adicionado, conhecidos internacionalmente pelo termo

VAM, são um conjunto de procedimentos estatísticos que utilizam dados

longitudinais, com a finalidade de medir a contribuição da escola e/ou professores

para o desempenho do estudante, separada de outras contribuições (DORAN;

IZUMI, 2004, MEYER; DOKUMACI, 2009, MCCAFFREY, 2010). Sanders, Saxton e

Horn (1997) consideram que o motivo pelo qual o interesse pelos VAM aumentou

está centrado na crença de que eles podem determinar de forma apropriada como

um estudante está progredindo ao longo do tempo e estatisticamente atribuir o

ganho às escolas e/ou professores.

Segundo Meyer (1997) uma particularidade comum dos VAM é que eles

medem o desempenho escolar ou o efeito das políticas e insumos escolares, através

de um modelo estatístico de regressão, que é composto de todos os fatores que

contribuem para o progresso no desempenho do aluno. A intenção principal é isolar

estatisticamente a contribuição das escolas, livre da influência de todas as outras

28

fontes de realização do estudante (MEYER, 1997). E um dos objetivos principais

“[...] é facilitar comparações válidas e justas dos resultados dos alunos entre

escolas, uma vez que as escolas podem servir populações estudantis muito

diferentes” [Tradução nossa] (MEYER; DOKUMACI, 2009, p.3). Para tanto, diversos

tratamentos tem sido adotados. Todavia, de uma forma consensual, alguns

requisitos metodológicos para a estimativa do valor adicionado são indicados pela

maioria da literatura, os quais serão descritos na seção seguinte.

2.3.2.1 Alguns requisitos metodológicos

Em geral, estudos têm incluído dados de dois resultados de realização

longitudinal para os estudantes, como um pré-teste e pós-teste (MEYER;

DOKUMACI, 2009). A medida de desempenho prévio busca verificar o nível de

conhecimento do aluno quando deu entrada na escola ou no início do período do

tempo em avaliação. Frequentemente na literatura, em estudos sobre o ensino

superior, tem sido utilizada a média de notas obtidas pelo resultado do grau de

ensino médio, através de testes padronizados (MCDONNELL et al., 2013).

Conforme Roderick, Coca e Nagaoka (2011) e Strayer (2002) qualidade do ensino

médio também mostrou- se ser significativamente associada com o desempenho

universitário dos alunos. Portanto, é uma das razões que fundamentam determinar

os níveis de competência dos alunos quando entram.

O pós-teste é um resultado dos alunos no final de um determinado período de

escolaridade e objetiva fazer uma comparação com o desempenho médio do aluno

alcançado no teste anterior (pré-teste) para verificar se houve crescimento do

29

desempenho ou ganhos alcançados4 (CUNHA; MILLER, 2009). Neste sentido,

Meyer e Dokumaci (2009) ressaltam a importância da correspondência dos alunos a

serem testados nas duas fases, ou seja, que o desempenho seja medido em relação

ao mesmo grupo de alunos. Quanto às métricas quantitativas usadas para avaliar o

desempenho, testes padronizados são verificados na maioria dos trabalhos.

Abordando sobre o assunto, Cunha e Miller (2009) afirmam que:

Embora à primeira vista os testes padronizados podem parecer ser a proxy mais apropriada para realização, seu uso coloca barreiras práticas e metodológicas significativas decorrentes da diferença entre habilidades específicas e gerais [Tradução nossa] (CUNHA; MILLER, 2009, p.8).

Esses autores explicam que nenhum tipo de exame sozinho pode medir todos

os conhecimentos e habilidades (gerais e específicos) transmitidos para alunos.

Logo, se a intenção é medir conhecimentos e habilidades específicas, para que isso

ocorra com a maior exatidão possível, segundo Cunha e Miller (2009) é preciso que

se adote um exame para cada curso específico das instituições de ensino, que irão

avaliar disciplinas específicas. E esse procedimento normalmente requer grandes

investimentos de recursos (CUNHA; MILLER, 2009).

Outra proxy de realização que tem sido aplicada em alguns trabalhos trata-se

do salário. Um argumento teórico para a utilização dos salários como proxy para o

capital humano, segundo Cunha e Miller (2009) é que salário é sinal de

produtividade, e essa é o subproduto econômico do conhecimento e habilidades

adquiridas na escola. E, além disso, salários combinam os efeitos das habilidades

específicas e gerais de forma adequada e significativa, o que normalmente não

ocorrerá com os testes, segundo Cunha e Miller (2009). Todavia, salários podem

não refletir corretamente a produtividade e outros aspectos não acadêmicos de

4 Crescimento do desempenho ou realização de ganhos pode ser definido como o acréscimo em algum componente de habilidades e conhecimentos acadêmicos (CUNHA; MILLER, 2009).

30

realização (CUNHA; MILLER, 2009). Os trabalhos de Zhang (2009), Wright et al.

(2012), Cunha e Miller (2012) incluíram salários como proxy de realização.

Dados de características particulares, familiares e socioeconômicas dos

estudantes também são requeridos. A relação dessas características com o

desempenho dos alunos está bem documentada na literatura (CLARK, 1983,

LAREAU, 1987, AITKIN; LONGFORD, 1986, GOLDSTEIN; SPIEGELHALTER, 1996,

MEYER, 1997). Estudos têm relatado a inclusão de diversas variáveis, como:

localização de moradia, nível de renda, gênero, raça, escolaridade dos pais, estado

civil, em meio a outras (TAYLOR; NGUYEN, 2006, BACOLOD; TOBIAS, 2006,

ZHANG, 2009, SAAVEDRA; SAAVEDRA, 2011).

Segundo Meyer e Dokumaci (2009) um dos propósitos da inclusão dessas

características em um modelo de valor adicionado é controlar as diferenças na

composição estudantil entre escolas, para que as estimativas de desempenho

educacional considerem diferenças na produtividade escolar, em vez de diferenças

na composição da escola. Assim essas características muitas vezes são usadas

nos modelos estatísticos para controlar os fatores de enviesamento, como relata

Doran e Izumi (2004). Ressaltam ainda Meyer e Dokumaci (2009) que modelos em

que não são incluídas variáveis no nível do aluno, certamente produzirão resultados

tendenciosos contra as escolas e educadores que atendem estudantes

desproporcionalmente em seus perfis.

A inclusão de variáveis de controle relacionadas com a escola também pode

ser observada em alguns trabalhos. Pesquisas anteriores, dentre outras, Bradley et

al. (2000) e Bradley e Taylor (1998), sugeriram que fatores relacionados com a

escola têm impacto na determinação do desempenho dos alunos de uma escola.

Variáveis representando: categoria administrativa, localização, especialização do

31

ensino, tamanho da classe, tamanho da escola, instalações, número de professores,

formação dos professores, experiência dos professores, salário dos professores,

despesas com alunos, foram incluídas nos trabalhos de Taylor e Nguyen (2006),

Bacolod e Tobias (2006), Zhang (2009), Jakubowski (2008), Yunker (2005),

Mcdonnell et al. (2013), Saavedra e Saavedra (2011). De acordo com Taylor e

Nguyen (2006, p. 211), essas variáveis são incluídas, inclusive para “[...] identificar

os determinantes do valor adicionado aos alunos, de modo que a influência da

própria escola possa ser verificada” [Tradução nossa].

Neste cenário ainda, Meyer (1997) ressalta que a qualidade das medidas de

valor adicionado é determinada por cinco fatores, sendo eles:

A frequência com que os alunos são testados; a qualidade e a adequação dos testes que fundamentam os indicadores; a adequação das variáveis de controle incluídas nos modelos estatísticos adequados; a validade técnica dos modelos estatísticos utilizados para construir os indicadores e o número de alunos e escolas disponíveis para estimar os parâmetros de inclinação dos modelos de valor adicionado [Tradução nossa] (MEYER, 1997, p.298).

2.3.2.2 Abordagens metodológicas

As principais abordagens para VAM segundo Mccaffrey (2010) foram

desenvolvidas a partir de três perspectivas distintas: modelagem econométrica,

modelagem estatística e procedimentos ad hoc. E de acordo ainda com esse autor

não há consenso sobre qual VAM seria o melhor. Neste sentido autores orientam

que a escolha do modelo leva em consideração, principalmente: o tamanho da

amostra a ser analisada, o conjunto de variáveis contextuais disponíveis para serem

incluídas no modelo e a frequência em que os alunos foram avaliados (o número de

anos letivos entre a avaliação do desempenho prévio e da avaliação do resultado

escolar final do aluno) (MEYER, 1997, DORAN; IZUMI, 2004, MEYER; DOKUMACI,

32

2009). Dessa forma, várias abordagens metodológicas podem ser encontradas5,

sendo comum verificar na maioria dos trabalhos o uso de modelos de regressão por

Mínimos Quadrados Ordinários (MQO) ou Modelagem Linear Hierárquica (HLM).

Neste contexto uma abordagem comum que tem sido utilizada para medir o

valor adicionado trata-se da teoria da função de produção, em que a educação pode

ser tratada como um processo de produção em que o nível educacional

(desempenho) de um indivíduo é determinado pelas suas características pessoais,

antecedentes familiares e insumos escolares (HANUSHEK, 1979, 1986, 1992,

HANUSHEK; TAYLOR, 1990). Nessa fundamentação, é proposto um modelo de

regressão (TAYLOR; NGUYEN, 2006, MEYER, 1997) para explicar essa relação:

��,�� ,� � �� (1)

Em que:

A�,� é o resultado educacional dos alunos de uma escola no final de um determinado

período de escolaridade; B�,� é o resultado prévio de um determinado período de

escolaridade; X� representa um conjunto de características individuais dos alunos,

familiares e socioeconômicas; N� são variáveis relacionadas com a escola e ε� é o

termo de erro estocástico do modelo.

A partir desse modelo, a estimativa do valor adicionado é realizada. Na

literatura verifica- se várias formas de estimação, já que dependerá, sobretudo, do

método adotado e das variáveis disponíveis para serem estimadas. Em muitos

casos, estima–se o resultado esperado da instituição através da Equação 1, e a

5 Para aprofundamento sobre modelagens e estimação do valor adicionado, consultar: SAUNDERS, 1999, DORAN; IZUMI, 2004, MCCAFFREY, 2004, TEKWE et al., 2004, THOMAS; MORTIMORE, 2006, CUNHA; MILLER, 2012, MCCAFFREY, 2010, MCDONNELL et al., 2013, LIU, 2011a, RAUDENBUSH, 2004, MARTINEAU, 2006.

33

diferença entre o resultado previsto e o real, conhecido como resíduo, é a estimativa

do valor adicionado (MCDONNELL et al., 2013, YUNKER, 2005).

Meyer (1997) cita ainda que essa estimativa pode ser realizada a dois níveis

de modelos. O primeiro nível do modelo capta as influências do aluno (como

caracteristicas do seu perfil, características familiares e socioeconômicas) no

crescimento de seu desempenho. Já o segundo nível capta o efeito das

características a nível da escola no crescimento do desempenho do aluno (MEYER,

1997). Neste sentido, segundo Taylor e Nguyen (2006), essa é uma vantagem da

abordagem da função de produção para explicar valor adicionado, por permitir que a

influência de fatores relacionados com o aluno e com a escola, no valor adicionado,

sejam estimados separadamente.

2.3.3 Aplicação prática

Os benefícios do uso de modelos de valor adicionado, segundo Papay (2012),

Doran e Izumi (2004) e Meyer (1997), quando realizado corretamente, mesmo com

as limitações metodológicas, são muito superiores em relação às outras abordagens

que são utilizadas para avaliar o desempenho escolar.

Segundo Ladd e Walsh (2002), como instrumento de responsabilidade

educacional, a abordagem do valor adicionado é promissora para incentivar o

empenho por parte dos estados em se concentrar na produção de ganhos para o

desempenho dos alunos. E ainda motivam as escolas e suas equipes para focar sua

atenção na aprendizagem do aluno, estimulando assim, mudanças no sistema

escolar (LADD; WALSH, 2002). Abordando sobre esse assunto Meyer (1997) relata

que modelos de valor adicionado foram amplamente usados ao longo das últimas

três décadas por avaliadores e outros pesquisadores da área de ensino. E ainda

34

segundo Meyer (1997) distritos e estados nos EUA, incluindo Dallas, Carolina do Sul

e Tennessee têm implementado com sucesso sistemas de indicadores de valor

adicionado. Amrein-Beardsley e Collins (2012) relatam que no Texas, o Houston

Independent School District (HISD) utiliza um sistema de avaliação de valor

adicionado educacional que, com mais de 20 anos de desenvolvimento, tem sido

considerado pelos seus idealizadores como sendo o maior e mais completo pacote

de relatórios de métricas de valor adicionado disponíveis no mercado educacional e

mais utilizado no país. Esse sistema, altamente utilizado para avaliação de

desempenho dos professores, promete fornecer diagnóstico sobre práticas

instrucionais, ajudar os educadores a tornar-se mais pró-ativos e a usarem recursos

mais estrategicamente, para garantir que cada aluno tenha a chance de ter sucesso

(AMREIN-BEARDSLEY; COLLINS, 2012).

Para Papay (2012) uma das principais vantagens dessas medidas é se

concentrar diretamente nos resultados educacionais ao invés do processo em si, e

também uma de suas grandes contribuições foi despertar a atenção para eficácia do

professor.

Logo, escolas podem obter grandes benefícios se um sistema de valor

adicionado proporcionar análises próprias baseadas na metodologia de valor

adicionado e seus dados (JAKUBOWSKI, 2008). Neste sentido Meyer e Dokumaci

(2009) consideram que um sistema de valor adicionado, bem desenvolvido e

alinhado, pode ser utilizado para impulsionar a melhoria das escolas e instituições

de ensino de várias formas, inclusive quando ele pode:

Facilitar a triagem, identificando e prestando assistência às escolas ou professores com baixo desempenho; ser incorporado dentro de um sistema de gestão de desempenho; manter os intervenientes educacionais responsáveis pelo desempenho e fornecer bônus para professores de alto desempenho, as equipes de professores e escolas [Tradução nossa] (MEYER; DOKUMACI, 2009, p.5).

35

Assim, vários países já adotaram esse método de avaliação de desempenho

educacional tanto em nível de ensino superior como em outros níveis. Experiências

práticas foram relatadas na Inglaterra, Polônia, República Checa, Filipinas, Austrália,

Taiwan e em destaque nos Estados Unidos, onde se encontra uma quantidade

crescente de estudos relacionados (TAYLOR; NGUYEN, 2006, RODGERS, 2007,

JAKUBOWSKI, 2008, BACOLOD; TOBIAS, 2006, KEEVES; HUNGI; AFRASSA,

2005, KONG; FU, 2012, YUNKER, 2005, LADD; WALSH, 2002, ZHANG, 2009, LIU,

2011a, LIU, 2011b, MALACH; MALČÍK, 2010).

De acordo com Everson, Feinauer e Sudweeks (2013) nos Estados Unidos

vinculam-se cada vez mais as avaliações dos professores com as notas dos alunos.

Políticos, economistas e teóricos da educação desse país argumentam que a

reforma do ensino e os esforços de aprimoramento devem incluir a identificação,

remoção ou remediação dos professores que motivam baixas pontuações aos

alunos e incentivar ou recompensar aqueles que produzem maiores resultados aos

alunos (EVERSON; FEINAUER; SUDWEEKS, 2013). Muitos estados, por exemplo,

passaram a exigir por meio de legislação,que uma parcela significativa, em torno de

30 ou 50 por cento da avaliação de um professor esteja associada com os

resultados dos alunos (EVERSON; FEINAUER; SUDWEEKS, 2013). Nesse

ambiente, as estimativas estatísticas se destacam como método para a avaliação

dos efeitos dos professores, e os modelos de valor adicionado cresceram em

popularidade, sendo amplamente utilizado para esse fim (EVERSON; FEINAUER;

SUDWEEKS, 2013, PAPAY, 2012, DORAN; IZUMI, 2004). Deste modo, estudos

relatam que escolas e instituições de ensino têm adotado políticas de incentivos

financeiros, pagamentos de bônus e aplicações de sanções para professores e

36

funcionários, de acordo com o ganho adicionado ao aluno (LADD; WALSH, 2002,

JAKUBOWSKI, 2008, MALACH; MALČÍK, 2010).

Outros estudos ainda têm demonstrado como as informações produzidas pelo

uso dos métodos de valor adicionado têm sido e podem ser utilizadas pelos

destinatários interessados. Como: pais e alunos fazem uso das informações de valor

adicionado na busca de uma escola apropriada (MEYER, 1997, CUNHA; MILLER,

2009, JAKUBOWSKI, 2008). Escolas e instituições de ensino podem adotar essa

metodologia para prestações de contas, para avaliarem seu desempenho,

monitorando seu próprio progresso e fazendo comparações com seus concorrentes

locais e com os seus próprios desempenhos do passado (CUNHA; MILLER, 2009,

LIU, 2011a, MALACH; MALČÍK, 2010). Isso facilita ainda a adoção de políticas

escolares destinadas a aumentar a realização dos alunos academicamente mais

desfavorecidos, bem como dos academicamente favorecidos (MEYER, 1997).

Governos, administradores e formuladores de políticas públicas têm sido

grandes adeptos e usuários dessa ferramenta (TAYLOR; NGUYEN, 2006,

RODGERS, 2007, MEYER; DOKUMACI, 2009). Em forma de feedback, as

informações são utilizadas para apresentação ao público e transparência do

investimento público no ensino (ZHANG, 2009). Além de servir de base para

intervenção no processo de ensino para melhorar a eficiência institucional. Fixação

de metas e recompensas, financiamento público e aplicações de penalidades têm

sido vinculados ao nível de realização de ganhos dentro de uma escola (CUNHA;

MILLER, 2009).

Meyer e Dokumaci (2009) orientam que é essencial utilizar informações de

valor adicionado juntamente com outras fontes de informação, tais como dados

37

observacionais ou ainda informações de valor adicionado baseadas em vários

resultados dos alunos.

Enfim, Jakubowski (2008) ressalta que o exercício estatístico do valor

adicionado não é uma execução completamente científica. “Deve ser conduzido com

uma ideia clara de como ele poderia ser usado e seu valor depende de como ele

interage com os seus principais destinatários finais: pais, professores e decisores

políticos” [Tradução nossa] (JAKUBOWSKI, 2008, p. 21).

2.3.4 Críticas e Limitações

Críticas, limitações e desafios são apontados para o método do valor

adicionado. Como mencionado por Meyer (1997), estimar o efeito das escolas sobre

os resultados educacionais não é uma tarefa fácil, devido a deficiências

metodológicas e falta de dados adequados. Neste sentido, um grande obstáculo, em

geral, para o desenvolvimento dessas medidas é a adequação das variáveis de

controle, sobretudo as características dos alunos e familiares usadas nos modelos,

principalmente devido à dificuldade de coleta desses dados (MEYER, 1997, ZHANG

2009, LIU 2011a, JAKUBOWSKI, 2008). Apontam esses autores que a falta dessas

características ou a limitação delas podem gerar indicadores tendenciosos que não

refletem a realidade das escolas.

Ladd e Walsh (2002) citam que medir o valor adicionado das escolas é um

esforço compensativo, porém traz muitos desafios, tais como: consentimento sobre

missão das escolas; encontrar medidas válidas e confiáveis do currículo do

estudante e garantir a segurança dos dados da pontuação dos testes dos alunos

que são acompanhados por aluno de um ano para o outro (LADD; WALSH, 2002).

Dessa forma, é preciso cuidado no desenvolvimento, na interpretação e utilização de

38

medidas de valor adicionado da eficácia da escola (HANUSHEK; RIVKIN, 2010,

LADD; WALSH, 2002, YUNKER, 2005, BACOLOD; TOBIAS, 2006).

Para Everson, Feinauer e Sudweeks (2013) medir a qualidade do professor

através das pontuações do aluno apresenta sérios desafios. Os autores consideram

que ainda existem muitas dúvidas sobre o uso dos modelos de valor adicionado para

avaliar e decidir sobre retenção e promoção de professores nos Estados Unidos.

Eles sugerem a não utilização de medidas de valor adicionado para a avaliação e

classificação de professores. Papay (2012) também contribuiu neste assunto,

afirmando que modelos de valor adicionado que incluem apenas pontuações dos

alunos em testes para medir desempenho, podem estar sujeitos a limitações, como:

possibilidades das pontuações dos testes não refletirem a real aprendizagem e não

capturarem outras aprendizagens que não são refletidas em testes padronizados.

Amrein-Beardsley e Collins (2012) ao analisarem criticamente o sistema de

avaliação de valor adicionado educacional utilizado pelo HISD sugerem problemas

de confiabilidade, viés, efeitos intencionais e não intencionais com o uso desse

sistema. E em acordo com outros autores, Amrein-Beardsley e Collins (2012)

consideram que na avaliação e responsabilização de professores, as decisões de

alto risco não devem ser feitas baseando-se apenas nos indicadores de valor

adicionado.

Kelly e Downey (2010), ao discutirem as proveniências e deficiências da

medição de valor adicionado relatam que na Inglaterra, cada vez mais, modelos

complexos tem sido desenvolvidos, e as complexidades não são totalmente

compreendidas pelos praticantes. E relatam ainda que apesar das métricas serem

importantes para investigações da eficiência escolar, elas não capturam a eficiência

diferencial de escolas em sua totalidade (KELLY; DOWNEY, 2010).

39

2.4 INDICADOR DE DIFERENÇA DE DESEMPENHO- IDD

O IDD faz parte dos indicadores de qualidade do Sistema Nacional de

Avaliação da Educação Superior. Também conhecido por Indicador de Diferença

entre os Desempenhos Observado e Esperado, o IDD:

É uma estimativa de “valor adicionado”, ou seja, de quanto o curso contribuiu para o desenvolvimento das habilidades acadêmicas, das competências profissionais e do conhecimento específico do aluno, levando-se em consideração o perfil do estudante que ingressa no curso (INEP, 2013g, p.1).

O IDD foi criado como uma resposta às críticas feitas por instituições privadas

quanto à igualdade de tratamento em relação às instituições públicas no processo

avaliativo do ensino superior. Isso por que principalmente as instituições federais

possuem maiores exigências no ingresso, logo, tenderia a receber alunos mais bem

preparados (BITTENCOURT et al., 2008).

Em nota técnica o Inep reconhece que as diferenças prévias em relação ao

perfil dos alunos ao ingressar no ensino superior também influenciam as diferenças

no desempenho, não dependendo este, somente da qualidade dos cursos (INEP,

2013c, 2009a). Desse modo, ainda de acordo com o Inep (2013c, 2013n, 2009a), o

IDD busca conceder às instituições informações dos resultados dos estudantes

concluintes em referência ao desempenho alcançado por concluintes de outras

instituições, em que o perfil dos estudantes ingressantes possa ser comparado entre

si. “Entende-se que essas informações são boas aproximações do que seria

considerado efeito do curso” (INEP, 2007, p.1).

Assim, considerando a obtenção das informações do perfil dos estudantes

ingressantes de um curso, o IDD “é resultante da diferença entre o desempenho

médio obtido no Enade pelos estudantes concluintes de um curso e o desempenho

40

médio que era esperado para esses mesmos estudantes” (INEP, 2013c, p.19,

2013n, p.18). Para isso, de acordo com Inep (2007), identifica-se o desempenho dos

estudantes ingressantes da instituição e compara-se o seu perfil com o dos

estudantes concluintes do mesmo curso. Pode-se obter assim uma estimação do

resultado que seria esperado dos estudantes na conclusão do curso, quando o seu

desempenho é avaliado.

Sendo assim,

O desempenho médio estimado do concluinte representa o resultado que seria esperado ao final de um curso, para um perfil conhecido de estudantes, caso eles frequentassem um curso hipotético de qualidade média. O IDD é a diferença entre o desempenho médio do concluinte de um curso e o desempenho médio estimado para os concluintes desse mesmo curso e representa, portanto, quanto cada curso se destaca da média, podendo ficar acima ou abaixo do que seria esperado para ele, considerando o perfil de seus estudantes (INEP, 2007, p.2).

O IDD é calculado para cada instituição. Considerando a relação verificada

entre a sua aplicação e a abordagem do valor adicionado, entende-se ser importante

neste contexto, descrever a metodologia utilizada para cálculo do IDD.

Em nota técnica, o Inep relata os fatores que considera, hipoteticamente,

determinar o desempenho dos estudantes concluintes de um curso, quais sejam:

“características de ingresso destes estudantes concluintes em termos de

aprendizagem; [...] qualidade da formação oferecida pelo curso e, [...] um termo de

erro que capta os outros elementos que afetam o desempenho do estudante” (INEP,

2013c, p.19, 2013n, p.19, 2009a, p.6). Assim, para um determinado curso, considera

que:

� � �� (2)

As letras minúsculas mostram que as variáveis estão apresentadas em forma de

desvios da média, isto é:

41

A ‘variável original observada para cada curso i’ menos ‘a média da respectiva variável observada para a área j a qual o curso pertence’. Assim, � é o desempenho dos alunos concluintes do curso i medido em desvios da nota média de concluintes da área j; �� é o desempenho dos alunos concluintes do curso i no momento de ingresso medido em desvios da media da área j; � é a qualidade do curso i medida em desvios da média da área j (INEP, 2013n, p.20, 2009a, p.7).

Em relação ao desempenho dos alunos no momento de ingresso, o Inep

explica que:

Não é possível observar exatamente o desempenho dos concluintes no momento do ingresso (��). Isto porque não dá para garantir que todos aqueles que tenham participado da prova como ingressantes, participem como concluintes três anos depois, já que há cursos com mais ou menos de quatro anos de duração, os alunos podem se atrasar, trancar o curso e voltar, entre outras razões. Porém, podemos ter uma estimativa desta variável – o desempenho dos concluintes no ingresso6 (��), visto que o Enade aplica provas para alunos ingressantes e concluintes do mesmo curso. A ideia é, para cada curso i, utilizar o desempenho dos alunos ingressantes como proxy para o desempenho dos alunos concluintes no momento de ingresso (INEP, 2013c, p.20, 2013n, p.19, 2009a, p.7).

Desta forma de acordo com o Inep (2013c, 2013n, 2009a,) considera-se que:

idd=q =�-c I (3)

Onde c I é o desempenho previsto dos estudantes concluintes no seu momento de

ingresso. Logo, ainda de acordo com Inep (2013c, p. 21, 2013n, p.20, 2009a, pp.7,8)

para cálculo do IDD utiliza-se a seguinte especificação:

� � β. # � γ. $ � δ. % � φ. &' � λ. &( � η. &) � ρ. * � υ. + � , (4)

Em que:

�: média ponderada das notas de conteúdo específico (0,75) e de formação geral (0,25) no Enade dos concluintes do curso i; #: média ponderada das notas de conteúdo específico (0,75) e de formação geral (0,25) no Enade dos ingressantes do curso i; $: proporção de estudantes ingressantes do curso i cujo pai e/ou a mãe tem nível superior de escolaridade; %: razão entre o número de concluintes e o número de ingressantes no curso i; &': a proporção de docentes no curso i com título mínimo de doutor; &(:

6 Salienta-se que essa estimativa foi substituída a partir de 2011 pelo desempenho médio dos ingressantes no Enem, conforme substituição relatada e referenciada na seção 2.2. Todavia, no ano de 2009 (ano base dos dados desse presente trabalho), bem como nos outros anos anteriores a 2011, esse era o procedimento adotado pelo Inep, conforme referências explicitadas.

42

proporção de docentes no curso i com título mínimo de mestre; &): proporção de docentes no curso i com regime de trabalho integral ou parcial; *: proporção de alunos do curso i que avaliaram positivamente um aspecto da infraestrutura do curso; +: proporção de alunos do curso i que avaliaram positivamente um aspecto da organização didático-pedagógica do curso; β, γ, δ,φ, λ, η,ρ, υ: parâmetros a serem estimados (INEP, 2013c, p. 21, 2013n, p.20, 2009a, pp.7-8).

Cabe citar ainda a explicação do Inep para inclusão de algumas dessas

variáveis:

Para a estimativa de c I– desempenho dos concluintes de um curso i no momento de ingresso – são utilizadas as seguintes variáveis: a nota dos ingressantes do curso, o nível de escolaridade dos pais dos estudantes ingressantes e razão entre o numero de ingressantes e o de concluintes. Esta ultima variável é incluída como forma de contornar possível viés de estimação devido à evasão dos estudantes ao longo do curso. As variáveis relativas à qualidade do curso i presentes na equação– especificamente, qualidade do corpo docente e características da infraestrutura e organização pedagógica do curso i – foram inseridas apenas para diminuir o viés de estimativa dos coeficientes associados às variáveis características dos ingressantes. Provavelmente, o desempenho dos ingressantes é positivamente correlacionado com a qualidade dos cursos, já que alunos com boa formação prévia têm maiores chances de ingressar em cursos de melhor qualidade (INEP, 2013n, pp.20-21, 2009a, p.8).

Logo após a obtenção do IDD, é feita sua padronização para transformá-lo

em Nota Padronizada do IDD7 (NIDD), um índice entre 0 e 5. Como nessa

padronização é subtraída a média dos cursos e dividida pelo desvio padrão das

médias dos cursos por área, esse índice tem como unidade de medida o desvio

padrão (INEP, 2007). E é interpretado da seguinte maneira:

[...] se um curso possui IDD positivo como, por exemplo, IDD=+1,5, isso significa que o desempenho médio dos concluintes desse curso está acima (1,5 unidades de desvios padrão da escala do IDD) do valor médio esperado para cursos cujos ingressantes tenham perfil de desempenho similares. Valores negativos, por exemplo, IDD=- 1,7 indicam o contrário, isto é, que o desempenho médio dos concluintes está abaixo do que seria esperado para cursos com alunos com o mesmo perfil de desempenho dos ingressantes. É importante enfatizar que valores negativos não significam que o desempenho médio dos concluintes é menor do que o dos ingressantes, isto é, não significam decréscimos na pontuação do concluinte. Significam, somente, que o desempenho médio dos concluintes está abaixo do desempenho médio esperado, tomando-se como base o perfil dos ingressantes (INEP, 2007, p.2).

7 Para maiores detalhes, ver Nota Técnica em Inep (2013n, 2009a, 2007).

43

2.5 ESTUDOS ANTERIORES

2.5.1 Estudos Internacionais

Taylor e Nguyen (2006) fizeram uma análise do valor adicionado em escolas

secundárias na Inglaterra, contestando a confiabilidade dos indicadores de valor

adicionado publicado anualmente pelo país para todas as escolas públicas. Os

autores apontam que os resultados do exame aplicado têm deficiências graves,

principalmente por não levar em conta fatores fora do controle da escola, como

características dos alunos e de suas famílias. Incluindo tais fatores em modelos de

regressão, os autores concluem que as características dos alunos e familiares

contribuem substancialmente para explicar as diferenças observadas no valor

adicionado entre escolas. Dessa forma, sugerem que as pontuações de valor

adicionado publicadas anualmente para as escolas são insuficientes como

indicadores de desempenho. E ainda são apresentadas como principais conclusões:

As escolas especializadas em áreas específicas, como por exemplo, tecnologia,

ciências ou idiomas, possuem uma pontuação maior de valor adicionado; da mesma

forma, a proporção entre professores que trabalham meio expediente ou tempo

integral é positivamente associada com aumento do valor adicionado. Já em escolas

com maior quantidade de alunos de famílias pobres e maiores taxas de ausência

autorizada, encontram-se pontuações mais baixas do valor adicionado.

Com o propósito de fornecer um método alternativo para cálculo de valor

adicionado, Liu (2011a) calculou índices de valor adicionado para 23 instituições de

ensino superior nos Estados Unidos. Para tanto, foi utilizado um modelo de

regressão linear que inclui pontuações de 6.196 alunos do primeiro e do quarto ano

44

da faculdade, no exame ETS Proficiency Profile8, na área de escrita e pensamento

crítico. Como controle são utilizadas as pontuações dos alunos no exame Scholastic

Assessment Test9 (SAT). Os índices de valor adicionado obtidos são comparados

com os que são calculados e divulgados pelo Voluntary System of Accountability10

(VSA). A autora encontra diferenças significativas entre os dois rankings de valor

adicionado para algumas instituições, apontando que esses resultados devem ser

considerados para fins de prestação de contas. E ainda a autora enfatiza a

importância de se incluir fatores individuais dos alunos e fatores institucionais em

modelos de valor adicionado, para se determinar de forma mais precisa a eficiência

institucional.

Procurando avaliar o desempenho escolar nas Filipinas, Bacolod e Tobias

(2006), utilizaram dois modelos de regressão, usando as especificações tradicionais

encontradas na literatura sobre valor adicionado. Os dados foram obtidos através de

resultados de testes de matemática aplicados em Cebu (segunda maior cidade das

Filipinas), para crianças, inicialmente em 1994-1995, e posteriormente em 1996-

1997, totalizando 2.136 crianças. Os resultados, para a amostra analisada, apontam

que a maioria da variação no desempenho decorre de características a nível

individual, sendo a educação dos pais e recursos familiares as variáveis que

apresentaram maiores coeficientes positivo. Os autores encontraram evidências de

que as escolas do estudo tem importância sobre o desempenho do aluno, embora

8 O ETS Proficiency Profile é um teste de proficiência que mede as habilidades acadêmicas gerais desenvolvidas por meio do ensino superior em pensamento crítico, leitura, escrita e matemática (LIU, 2011a). 9O SAT é um exame educacional padronizado nos Estados Unidos aplicado a estudantes do ensino médio, que serve como um dos critérios para admissão nas universidades norte-americanas (LIU, 2011a). 10 VSA é conhecido como sistema voluntário de prestação de contas, iniciado por duas organizações principais no ensino superior dos EUA, com o objetivo de medir os resultados educacionais fundamentais na faculdade usando testes padronizados, como o ETS Proficiency Profile (LIU, 2011a).

45

apenas 4,4 % a 5,3% da variação no resultado das pontuações puderam ser

explicadas pela variação de desempenho entre escolas. A variável instalações

básicas mostrou-se mais importante do que o tamanho da classe ou programas de

formação de professores; já a idade média do professor, representando a

experiência do mesmo, revelou um efeito negativo sobre o desempenho.

Objetivando examinar a utilidade potencial do conceito de valor adicionado

em contabilidade no ensino superior, Yunker (2005) utilizou como fonte de dados

principais os resultados do exame para CPA, que habilita um contador público nos

EUA. Para uma amostra de 548 faculdades e universidades norte-americanas, foram

calculados índices de aprovação previstos, relacionando índices de aprovação

observados com variáveis institucionais que podem ter influência sobre as

aprovações, inclusive a pontuação do aluno ao ingressar na faculdade. A diferença

entre o índice de aprovação observado de cada instituição e seu índice de

aprovação previsto, dividido pelo desvio padrão do erro de previsão, é a medida de

valor adicionado do índice de aprovação ajustado. Devido ao baixo poder explicativo

das equações de regressão que vinculam os índices de aprovação no exame CPA

com o conjunto de características institucionais, os resultados da amostra

pesquisada sugeriram a utilidade duvidosa de medidas de valor adicionado para fins

de avaliação de desempenho das instituições de ensino superior em contabilidade.

Também nos EUA, Wright et al. (2012) apresentam um estudo baseado no

novo sistema de financiamento de instituições públicas de ensino superior no estado

de Tennessee11. Objetivando avaliar se a qualidade universitária é apenas uma

11 Por intermédio de lei, passou-se a adotar uma forma de remuneração por desempenho que incentiva a progressão e a graduação e que leva em conta algumas características dos estudantes, a missão e a classificação de instituições de ensino superior nos EUA, conhecida como Classificação Carnegie (WRIGHT et al., 2012).

46

função do resultado da capacidade dos alunos ou se as instituições são importantes

também, os autores utilizaram funções de produção, que incluíram novas

características dos estudantes, bem como, as que já eram consideradas nas

fórmulas para o financiamento das instituições. A amostra incluiu todos os calouros

que entraram pela primeira vez no outono de 2002 em faculdades comunitárias

públicas de dois anos e em faculdades e universidades de quatro anos no

Tennessee. A análise considerou além dos resultados da graduação, a progressão,

a transferência e a participação no mercado de trabalho abrangendo desde 2002 a

2010. Os resultados mostraram que a eficiência das instituições foi individualmente

variada, o que segundo os autores justifica sistemas de incentivos baseados em

resultados que recompensa e incentiva a qualidade da faculdade. No entanto, os

autores chamam a atenção para os resultados encontrados no estudo e que se

considerados nos modelos para financiamento, poderiam contribuir para a melhora

dos mesmos. Como principais conclusões obtidas têm-se que: estudantes do sexo

feminino, aqueles com maiores pontuações nos exames de admissão na faculdade

— SAT e no American College Testing (ACT) — e os considerados adultos (que

tinham 25 anos ou mais no momento da inscrição na faculdade) foram associados

com a conclusão da graduação mais oportuna, enquanto os de condição de baixa

renda atrasaram a conclusão e também os estudantes negros atrasaram o

progresso na conclusão da faculdade de dois anos. Estudantes mulheres e os de

maior pontuação no exame de entrada foram também associados com maiores

salários nos anos imediatamente seguintes a faculdade, e uma significativa

diferença salarial entre negros e brancos, favoreceu estudantes brancos. E ainda

condicionado ao recebimento do diploma, semestres adicionais na faculdade reduziu

os ganhos do estudante mais tarde.

47

Malach e Malčík (2010) abordam sobre a fase de ensaios piloto e análises

teóricas na República Checa para inclusão de medidas de valor adicionado no

sistema nacional da educação. A fim de comparar os resultados educacionais de

três tipos de escolas secundárias, o valor adicionado foi determinado utilizando

dados do PISA12 e de um exame aplicado no final do período secundário estudantil,

para o total de 64 escolas em Praga, capital da República Checa. Os autores

ressaltam que é preciso levar em conta a baixa representatividade da amostra

pesquisada, não devendo os dados serem superestimados em termos de

significado. Entretanto, a conclusão obtida é de que é possível realizar

nacionalmente estimativas de valor adicionado na educação. E sua implementação e

seus resultados podem ser aceitos sob a condição de que, fazendo parte de um

sistema de reformas educacionais, deve-se observar a alta qualidade de educação e

a sua eficácia ao mesmo tempo.

Ladd e Walsh (2002) avaliaram as medidas de valor adicionado utilizadas

pelos estados da Carolina do Norte e Carolina do Sul nos EUA. Foi utilizado um

grande conjunto de dados longitudinalmente combinados de 37.000 estudantes,

acompanhando-os no terceiro, quarto e quinto grau na Carolina do Norte ao longo

do período de 1993 a 1995. Analisando as medidas de valor adicionado publicadas,

os autores apresentam que, na prática, elas tendem a favorecer escolas que

atendem alunos de origens mais favorecidas. Através de análises estatísticas eles

concluem que o principal problema é devido a um viés estatístico proveniente de um

erro de medida nas pontuações dos alunos que foram avaliados. Os autores citam

que prováveis fontes desse tipo de erro são fatores associados ao desempenho de

12 O Pisa- Programme for International Student Assessment- Programa Internacional de Avaliação de Estudantes - é uma iniciativa internacional de avaliação comparada, aplicada a estudantes. Em cada país participante há uma coordenação nacional. No Brasil, o Pisa é coordenado pelo Inep (INEP, 2013l).

48

um aluno em particular em um determinado dia, tais como flutuações no humor ou

no foco do aluno na data dos testes. Os autores utilizaram procedimentos

estatísticos para corrigirem o erro, e corrigindo, verificam mudanças significativas

nos rankings relativos das escolas. Concluem assim, que as medidas de

desempenho escolar, usadas pela Carolina do Norte e Carolina do Sul são

potencialmente problemáticas para a principal finalidade para a qual elas estão

sendo utilizadas, isto é, como a base de recompensas e sanções para funcionários

das escolas.

Cunha e Miller (2012), em seu trabalho empírico desenvolveram estimativas

de valor adicionado para cada uma das 30 universidades públicas tradicionais do

estado do Texas. Foram usados dados dos alunos que se formaram em qualquer

escola pública no Texas entre 1998 e 2002 e, posteriormente, se matricularam em

uma universidade pública em sistemas de cursos de quatro anos. Os modelos de

regressão incluíram: os resultados do ensino médio cursado, um resultado de pré-

inscrição (pontuações no exame SAT), algumas características dos alunos (gênero,

raça, etnia, um indicador de pertencer a uma família de baixa renda, um indicador

para estar em risco de não graduar), e como medida de resultado final do aluno foi

incluído o logaritmo do salário do aluno em 2010, oito após se formar no ensino

médio e já graduado na faculdade. Os autores concluíram que é provável que exista

uma correlação entre a graduação e os salários, em que os anos na faculdade têm

um retorno positivo no mercado de trabalho, pelo menos marginalmente. Contudo,

verificou- se grandes diferenças de médias nos resultados em todas as

universidades públicas antes de incluir como controle as características pré-

existentes dos alunos. Quando essas caracteristicas são controladas, as diferenças

diminuem substancialmente.

49

Com o objetivo de estimar a qualidade média de faculdades públicas de

estados norte americanos, Zhang (2009) utiliza a abordagem do valor adicionado,

considerando como medida de resultado final do aluno o valor de seu salário após

se formar. A amostra utilizada para a análise inclui cerca de 4000 estudantes de

universidades públicas, que concluíram o bacharelado em 1992-1993, e trabalhou

nos 51 estados dos Estados Unidos, e tiveram rendimentos anuais superiores a $

5000. O modelo de regressão incluiu: logaritmo natural do salário anual do indivíduo

(variável dependente), e variáveis independentes: um vetor de características

individuais incluindo a pontuação do teste de admissão na faculdade (SAT),

antecedentes familiares, pontuações finais da faculdade e ainda variáveis dummy

para os estados onde o aluno se formou e variáveis dummy para as regiões onde o

aluno se encontrava no mercado de trabalho. Também foram acrescentadas

especificações que incluíam variáveis relacionadas com as faculdades. Como

principais conclusões obtidas, destaca-se: alunos com maiores pontuações no SAT

e maiores pontuações finais na faculdade, ser de famílias mais ricas e ter pais mais

educados, são fatores que pareceram estar associados com salários mais elevados;

diplomados do sexo feminino ganham significativamente menos; características da

escola como relação aluno-professor, a despesa por aluno, e salário médio dos

professores foram insignificantes; encontrou-se associação positiva entre qualidade

e percentual de professores Ph.D, e ainda os estados com melhor qualidade do

corpo docente tendem a produzir maior valor adicionado aos ganhos do estudante.

Saavedra e Saavedra (2011) utilizaram dados de testes padronizados

administrados a uma amostra de estudantes, para estimar o valor adicionado de

uma educação universitária na Colômbia. O teste avaliava o pensamento crítico dos

estudantes, resolução de problemas e habilidades interpessoais e capacidade

50

argumentativa e sintética. Os dados foram do ano de 2009, para 17 instituições e

2025 alunos das áreas de administração, economia e contabilidade; educação;

engenharia e arquitetura e especialidades de saúde. Os autores utilizaram um

modelo de regressão linear que incluiu: resultados de um teste aplicado para

estudantes no primeiro e último ano da faculdade, conjunto de características do

estudante incluindo o resultado do teste de admissão na faculdade e efeitos fixos da

universidade. Seus resultados sugerem que o ensino superior da Colômbia aumenta

novas competências essenciais para o estudante. E os maiores ganhos estão

relacionados com o aluno estudar em uma universidade privada, ser do sexo

feminino, ser de um fundo sócio- econômico mais alto, ter uma mãe mais educada,

estudar em tempo integral e que obtiveram maiores notas em seus testes de entrada

na faculdade. Concluiu-se ainda que: a pontuação de entrada dos estudantes na

faculdade é o mais forte preditor de seu resultado final; as métricas como: percentual

de professores credenciados com doutorado, percentual de professores trabalhando

em tempo integral, seletividade (vagas/candidatos) e gastos por aluno— não foram

correlacionadas com maiores ganhos em pensamento crítico, resolução de

problemas, habilidades interpessoais e de comunicação.

Medidas de valor adicionado também foram adotadas na Polônia. O estudo

de Jakubowski (2008) discute a implementação de estimativas de valor adicionado

para escolas no ensino secundário. Regressões foram estimadas para uma amostra

de 483.692 estudantes de 6.256 escolas. Os modelos incluíram: pontuação no

exame final do ensino secundário, uma pontuação no exame final do ensino

primário, características dos alunos (sexo, se estudou em escola pública ou privada,

logaritmo de renda), além de um logaritmo do tamanho da escola e despesas por

estudante. O autor conclui que apesar de alguns problemas metodológicos, modelos

51

de valor adicionado são confiáveis e pode trazer benefícios para vários destinatários.

E ainda pôde-se verificar que o aumento de despesas por estudante diminui a

qualidade do ensino e escolas não públicas adicionou mais valor ao estudante.

2.5.2 Estudos Brasileiros relacionados com desempen ho na área de ciências contábeis

Santos, Cunha e Cornachione Jr. (2009), investigaram possíveis variáveis que

influenciaram a nota obtida no Enade ano de 2006, nos cursos de Ciências

Contábeis das IES do estado de Minas Gerais. Os autores concluíram que a

qualidade técnica do professor (professores com titulação de especialização) e do

seu próprio esforço interfere no desempenho dos estudantes dos cursos analisados.

Seguindo a mesma abordagem Souza e Machado (2011), procuraram

identificar alguns fatores determinantes do desempenho dos cursos de ciências

contábeis no Enade 2006, tendo como base os 772 cursos que foram avaliados. Os

resultados apontaram as seguintes variáveis como mais influentes do modelo

econométrico desenvolvido: o nível de conhecimento do aluno anterior ao seu

ingresso em uma IES e em ordem decrescente, a escolaridade do pai, o esforço

pessoal no curso e a renda familiar.

Santos e Afonso (2012), buscaram verificar se as provas da área de ciências

contábeis do ENC- Provão de 2002/2003 e do Enade/2006 incluíram os itens que

representem de forma adequada o domínio de conteúdo da área. E desenvolveram

também uma análise crítica acerca desses testes. Dentre outras, destaca-se como

conclusões principais: os exames podem ser considerados uma aproximação do

nível de conhecimento cognitivo da área, porque os principais conteúdos foram

52

avaliados pelos testes; e medidas de qualidade do professor podem estar

associadas ao desempenho dos estudantes.

Baseando-se nos dados do Enade 2009, Cruz e Teixeira (2012) verificaram a

possível relação entre os conteúdos curriculares classificados em formação básica,

profissional e teórico- prática e o desempenho dos alunos dos cursos de ciências

contábeis no Enade do ano de 2009. Os resultados encontrados não permitiram

afirmar que há relação entre os conteúdos curriculares classificados como formação

básica, profissional e teórico- prática com as notas dos alunos no exame. O estudo

permitiu também concluir que: a qualidade da organização pedagógica, cursos com

maior número de docentes mestres e o tipo de instituição (pública ou privada)

podem ter potencial relação com o desempenho dos alunos.

Araújo, Camargos e Camargos (2011), objetivaram identificar se o

desempenho acadêmico (nota final na disciplina) dos alunos do curso de ciências

contábeis de uma IES privada de Belo Horizonte em Minas Gerais pode ser

explicado por variáveis como: frequência às aulas, sexo, idade, campus da IES, tipo

de disciplina (básica ou específica), natureza da disciplina (qualitativa ou

quantitativa), período letivo, situação ao final da disciplina. Os dados foram

coletados no período de 2001 a 2009, totalizando 7.878 observações. Utilizando-se

de um modelo de regressão múltipla, os resultados encontrados apontaram que em

média, os estudantes do curso de ciências contábeis da IES pesquisada que

obtiveram maiores notas finais nas disciplinas, apresentaram as seguintes

características: são alunas e de idades mais elevadas, cursando períodos letivos

mais avançados, com melhor desempenho nas disciplinas qualitativas e, também

nas específicas e, contraditoriamente, com um número de faltas maior.

53

Santos (2012) analisou o efeito de características individuais e institucionais

sobre o desempenho de estudantes de ciências contábeis por meio dos resultados

obtidos no ENC- Provão de 2002 e 2003 e do Enade de 2006. Usando microdados

desses exames, foram realizadas estimativas da função de produção educacional

com base nas especificações de um modelo hierárquico linear. Os principais

achados do estudo podem ser resumidos como: aspectos pessoais, como etnia,

gênero e idade dos estudantes foram relacionados ao seu desempenho acadêmico;

os coeficientes estimados de renda familiar foram positivos e significativos para

explicar desempenho, além do efeito de o estudante ter cursado o ensino médio na

escola pública, que foi positivo no seu desempenho em todos os anos analisados;

verificou-se relação negativa significativa entre o desempenho e o fato do estudante

ser solteiro; e IES com maior proporção de docentes com titulação de mestrado ou

de doutorado e com jornada integral, de 40 horas, ou com dedicação exclusiva ao

ensino, produziram impactos positivos no desempenho acadêmico dos estudantes.

54

Capítulo 3

3 METODOLOGIA

3.1 COLETA DE DADOS

Para se atingir os objetivos propostos foram utilizados os resultados do Enade

2009. Esses são os últimos resultados do curso de ciências contábeis, para os quais

o Inep já disponibilizou todos os relatórios13. Dessa forma, os dados foram coletados

por meio da base de dados disponível no portal do Inep, através dos seguintes

relatórios: Resultado do Enade 2009, Relatório do curso, Relatório da instituição,

Relatório síntese.

Salienta-se que de acordo com Santos (2012, p.17) exames como o Enade

servem como instrumento de medida de padrão educacional “[...] cujos objetos ou

fenômenos que se pretende medir são os conhecimentos, as aptidões e o

achievements14 individuais”.

Desta forma, presume-se que os resultados obtidos pelos estudantes no

Enade são medidas que representam os seus desempenhos. É preciso reconhecer,

todavia, que os resultados obtidos neste tipo de teste são apenas mensurações

aproximadas ou proxies desse fenômeno (SANTOS, 2012). Contudo, de acordo

com Hanushek (1979), testes semelhantes ao Enade são amplamente utilizados nas

pesquisas como medida representativa do resultado, especialmente em estudos

cujos princípios teóricos empregados são a função de produção educacional.

13 Há de se ressaltar também que, pelo fato do Enade de 2012, o mais recente da área, não ter aplicação da prova para alunos ingressantes, torna-se inviável a utilização dos resultados de 2012. Pois, um dos requisitos metodológicos mais importantes do método que se pretende aplicar neste estudo, é ter uma medida que represente o desempenho inicial escolar e que tenha testado conhecimentos específicos do curso. 14 O termo achievements tem sido traduzido como desempenho (SANTOS, 2012, SANTOS; AFONSO, 2012) e pode ser definido segundo Helmke e Schrader (2001) como o resultado da aprendizagem cognoscente produzida pelo processo de instrução.

55

3.2 UNIVERSO E AMOSTRA DA PESQUISA

Conforme Inep (2009) participaram da avaliação do Enade em 2009 o total de

902 cursos de Ciências Contábeis.

Inicialmente pretendia-se aplicar o estudo nos 902 cursos distribuídos nas

regiões brasileiras. Contudo, ao iniciar o processo de coleta dos dados, verificou-se

que os dados estavam organizados de forma desagregada. Parte dos dados

necessários estavam separados em dois relatórios (curso e instituição) na forma de

arquivo PDF, sendo necessário fazer downloads individuais de cada um deles para

cada instituição, e posteriormente extrair os dados desses relatórios para preparar a

tabulação dos mesmos. Como a quantidade de dados que se extraiu desses

relatórios é bem expressiva, esse processo por si só, exigiu meses de trabalho.

Assim, tornou-se inviável pesquisar o universo total, principalmente pelo tempo

aprazado para a realização da pesquisa, a qual, dada a sua natureza, possui tempo

regulamentar para a conclusão.

Dessa forma, foi selecionado como amostra dessa pesquisa o total de cursos

avaliados na região Sudeste. A justificativa para tal escolha se deve principalmente

por ser a região Sudeste a que concentra o maior número de instituições de ensino

superior na área contábil (E-MEC, 2013). Especificamente em 2009, dois estados da

região Sudeste se destacaram por ter o maior número de cursos de Ciências

Contábeis do Brasil: São Paulo, representando 22,8%, seguido de Minas Gerais com

10,5% (INEP, 2009). Assim, justifica-se ainda a seleção dessa amostra, pelo fato de

que a Região Sudeste foi a de maior representação no Enade 2009, concentrando

39,6% do total nacional, conforme detalhado na Tabela 2 abaixo:

56

Tabela 2: NÚMERO DE CURSOS PARTICIPANTES DO ENADE/2 009

Fonte: INEP (2009)

Dados os objetivos da pesquisa, tornou-se necessário excluir da amostra

algumas instituições que não possuíam os dados necessários para composição da

base de dados deste estudo, assim foram excluídas no total 106 instituições,

conforme explicação a seguir: 03 instituições constavam nos relatórios como sendo

da região Sudeste, porém eram de outras regiões, possivelmente um erro na

divulgação; 95 instituições (03 do estado do Espírito Santo, 30 de Minas Gerais,10

do Rio de Janeiro e 52 de São Paulo) não possuíam dados dos alunos concluintes

ou ingressantes, pelo fato desses alunos não terem participado do Enade 2009; 01

do Espírito Santo e 06 de São Paulo constavam nos relatórios como tendo número

de participantes ingressantes e concluintes, porém os dados nos relatórios estavam

incompletos ora para ingressantes, ora para concluintes; e ainda 01 do Espírito

Santo estava com os dados dos docentes completamente zerados. Logo, a amostra

ficou constituída com 25115 cursos, conforme se apresenta na Tabela 3:

15 Nesse total de cursos estão incluídos 14.467 alunos ingressantes e 11.796 concluintes.

Região

Número de Cursos

Quantidade %

Norte 67 7,4

Nordeste 168 18,6

Sudeste 357 39,6

Sul 197 21,9

Centro-Oeste 113 12,5

TOTAL 902 100

57

Tabela 3: AMOSTRA DA PESQUISA

Fonte: Elaboração Própria

Ressalta-se que na amostra estão incluídas instituições de ensino superior de

diferentes categorias administrativas (Federal, Estadual, Municipal e Particular) e

organizações acadêmicas (Universidade, Centro Universitário, Faculdade).

3.3 MÉTODO DE ESTIMAÇÃO

Para tratamento dos dados foi realizada uma análise econométrica, por meio

de regressão múltipla. A análise de regressão consiste em uma tentativa de explicar

os movimentos de uma variável como consequência dos movimentos de alguma(s)

outra(s) (GUJARATI, 2006, BROOKS, 2008).

Para descrever e melhor compreender o valor adicionado pelas instituições

aos alunos e seus determinantes, bem como estudar as relações entre o

desempenho do aluno e as demais variáveis explicativas, foi utilizada a abordagem

da teoria da função de produção, proposta por pesquisadores da área em estudo

(HANUSHEK, 1979, 1986, 1992, 1996, HANUSHEK; TAYLOR, 1990, TAYLOR;

NGUYEN, 2006, MEYER, 1997), já abordada no referencial teórico. As variáveis do

modelo de regressão foram estabelecidas apoiando-se na literatura apresentada.

Estado

Número de Cursos

Quantidade %

Espírito Santo 19 7,6

Minas Gerais 65 25,9

Rio de Janeiro 38 15,1

São Paulo 129 51,4

TOTAL 251 100

58

Como variáveis dependentes têm-se: o desempenho dos alunos e o valor

adicionado. Já as independentes são: um grupo de características relacionadas com

o aluno e outro de características relacionadas com a instituição. O Quadro 1

descreve mais detalhadamente as variáveis utilizadas na análise dos dados:

Variáveis d ependentes: Descrição

ME_CE_CONC Nota média dos alunos concluintes na área de componentes específicos.

VALORADIC Estimativa do valor adicionado pelas instituições aos alunos, medido em pontos, com relação ao valor médio (centrado em

zero). Variáveis independentes:

Relacionadas com o Aluno:

ME_CE_ING Nota média dos alunos ingressantes na área de componentes específicos.

SOLT_CONC Percentual de alunos concluintes solteiros.

BRAN_CONC Percentual de alunos concluintes brancos.

NEG_CONC Percentual de alunos concluintes negros.

ATREP_CONC Percentual de alunos concluintes em cuja casa mora acima de três pessoas.

AC10SAL_CONC Percentual de alunos concluintes que possuem renda familiar acima de 10 salários mínimos.

TRABM40_CONC Percentual de alunos concluintes que trabalham 40 horas semanais ou mais.

Relacionadas com a Instituição :

PROP_DOCD Proporção de docentes no mínimo doutores.

PROP_DOCM Proporção de docentes no mínimo mestres.

PROP_REG_PARC Proporção de docentes que trabalham regime parcial ou integral.

PROP_EQUIP_SUF Proporção de alunos que avaliaram positivamente os equipamentos disponibilizados pela instituição.

PROP_PLAN_ENSI Proporção de alunos que avaliaram positivamente os planos de ensino dos professores

SIM_CONC Percentual de alunos concluintes que possuiu algum tipo de bolsa de estudos para custear o curso.

NUM_CONC Número de alunos participantes como concluintes.

N_DOCENT Número de docentes de cada instituição de ensino.

Quadro 1: Sumário das variáveis utilizadas na análi se dos dados. Fonte: Elaborado pela autora.

59

Ressalta-se que a fonte de dados para obter as variáveis foram os relatórios

disponibilizados pelo Inep, conforme já especificado no tópico 3.2. A partir da

abordagem adotada e das variáveis estabelecidas, os modelos empíricos foram

assim definidos:

Primeiro Estágio:

ME_CE_CONC¡ � β4

� β5

ME_CE_ING¡

�β8

SOLT_CONC¡ �β<

BRAN_CONC¡ �β>

NEG_CONC¡ �β?

ATREP_CONC¡

� βA

AC10SAL_CONC¡ � βD

TRABM40_CONC¡

� ε¡ (5)

Segundo Estágio:

VALORADIC¡ � γ4

� γ5

PROP_DOCD¡ �γ8

PROP_DOCM¡ �γ<

PROP_REG_PARC¡

� �>PROP_EQUIP_SUF¡ � γ?

PROP_PLAN_ENSI¡ �γA

SIM_CON¡ � γD

NUM_CONC¡ �γK

N_DOCENT¡

� u¡ (6)

Em um primeiro estágio, estima-se o nível educacional (desempenho) de um

indivíduo determinado pelo desempenho dos alunos ingressantes no Enade 2009

em conhecimentos específicos e as características pessoais e familiares dos alunos

concluintes. A variável dependente deste primeiro estágio trata-se da nota do aluno

concluinte no Enade 2009, em conhecimentos específicos.

Uma vez estimado o primeiro estágio, utiliza-se o resíduo como uma medida

de valor adicionado (VALORADIC). Ou seja, todo o desempenho do aluno concluinte

que não pode ser explicado por suas características individuais e desempenho dos

ingressantes pode ser considerado o valor adicionado pela instituição. Em seguida,

estima-se o efeito das características da instituição (corpo docente, regime de

60

trabalho, plano de ensino, infraestrutura e demais características) sobre o valor

adicionado.

Deve-se ressaltar que o termo de erro estocástico da primeira regressão Mε¡N é

a medida de valor adicionado estimado levando-se em conta somente as

características dos alunos. No segundo estágio, é feita a regressão do valor

adicionado estimado nas características da instituição de ensino. Esta abordagem

permite verificar quanto do valor adicionado se deve às características da escola.

Conforme Bailey e Xu (2012) o método mais comum usado para estimar o

impacto de uma IES no desempenho dos alunos é calcular o resíduo a partir de um

modelo de regressão linear16 controlando fatores fora da influência da faculdade.

Assim essa abordagem se baseia em um modelo de regressão que inclui apenas

aquelas variáveis independentes referente aos fatores que estão expressamente

fora do alcance da faculdade, sem levar em conta toda a variação no resultado,

como é comum em análises de regressão (MCDONNELL et al., 2013). A respeito

disso, explica Bailey (2012):

Se o objetivo do estudo é comparar ou avaliar o desempenho institucional, então algumas variáveis devem ser incluídas, enquanto os efeitos de algumas variáveis devem ser deixados no resíduo. Por exemplo, se uma faculdade usa uma estratégia pedagógica particular ou estratégia curricular, não faz sentido ajustar os resultados para isso, visto que uma estratégia pedagógica pode levar a melhores resultados. Controlando para uma prática bem sucedida irá reduzir o resíduo e abaixar a classificação de uma faculdade ainda que tenha encontrado uma estratégia bem sucedida. Mas note que este é exatamente o tipo de prática que gostaríamos de incluir se o objetivo é explicar variação nos resultados [Tradução nossa] (BAILEY, 2012, p. 10).

16 Para estimar o valor adicionado de instituições existem abordagens metodológicas alternativas que podem ser usadas. A abordagem de Modelagem Linear Hierárquica (HLM) através da análise da relação entre as variáveis explicativas e os resultados entre essas no nível do indivíduo e da faculdade, permite melhor entendimento da influência que uma faculdade individual pode exercer sobre os resultados, como também das características mais específicas do estudante (MCDONNELL et al., 2013, BAILEY, 2012).

61

Neste contexto, Kelchen e Harris (2012) comentam que as instituições

podem, por exemplo, tomar decisões sobre alocação de recursos que irão refletir a

eficiência no que está se tentando medir. Assim se esses recursos são incluídos na

regressão poderia haver riscos de resultados tendenciosos serem obtidos, já que o

objetivo é medir o quão bem as instituições utilizam seus recursos (KELCHEN;

HARRIS, 2012). À vista disso e apoiando-se no entendimento relatado acima de

Bailey e Xu (2012), Bailey (2012) e Mcdonnell et al. (2013), os fatores sob o controle

da instituição foram propositadamente excluídos na estimação do valor adicionado.

(Equação 5).

Torna-se importante apresentar aqui algumas observações quanto à variável

independente do modelo que mede o resultado prévio de um determinado período

de escolaridade. A indicação apontada pela maioria dos autores que tratam sobre o

tema é a de que os alunos que irão compor a estimativa do valor adicionado (com

suas pontuações nos testes) sejam os mesmos que foram testados previamente. E

após um determinado período são avaliados novamente, em busca de uma medida

que expresse os resultados alcançados durante o período estudantil. Aplicar esse

procedimento neste trabalho, inicialmente, até seria possível diante do atual sistema

nacional de avaliação do ensino superior que realiza o teste de avaliação (Enade)

para alunos ingressantes e concluintes. Entretanto, a complexidade e os obstáculos

para esse procedimento se devem principalmente pelo fato de que o teste do Enade

até o ano de 2010 não era aplicado a todos os alunos. O processo se dava por

amostragem, e não havia nenhum critério que incluísse na seleção os mesmos

alunos avaliados como ingressantes e que após três anos eram avaliados como

concluintes, como explica o Inep:

Não é possível observar exatamente o desempenho dos concluintes no momento do ingresso. Isto porque não dá para garantir que todos aqueles

62

que tenham participado da prova como ingressantes, participem como concluintes três anos depois, já que há cursos com mais ou menos de quatro anos de duração, os alunos podem se atrasar, trancar o curso e voltar, entre outras razões (INEP, 2013c, p.20, INEP, 2009, p.7).

Posto isso, uma alternativa para que tal situação não prejudicasse os

resultados dessa pesquisa está fundamentada na prática da estimativa, conforme

era utilizado pelo Inep até 2011, com a seguinte explicação:

[...] podemos ter uma estimativa desta variável – o desempenho dos concluintes no ingresso, visto que o Enade aplica provas para alunos ingressantes e concluintes do mesmo curso. A ideia é, para cada curso, utilizar o desempenho dos alunos ingressantes como proxy para o desempenho dos alunos concluintes no momento de ingresso (INEP, 2013c, p.20, 2009, p.7).

Como neste trabalho, a variável em questão — resultado prévio de um

determinado período de escolaridade — foi representada pela nota dos alunos

ingressantes no Enade, o tratamento dado para tal, foi o mesmo que era empregado

pelo Inep no cálculo do IDD. Utilizou-se a nota dos alunos ingressantes nos

conhecimentos específicos obtidas no Enade 2009, como proxy para o desempenho

dos alunos concluintes no momento de ingresso.

3.4 ESTATÍSTICAS DESCRITIVAS

O sumário estatístico descritivo das variáveis utilizadas é apresentado na

Tabela 4.

O número de ingressantes, ou seja, aqueles que tiveram suas notas incluídas

no modelo como uma medida de desempenho em fase inicial do curso de graduação

em contabilidade, foram em média 57 alunos. Caindo para a média de 46 alunos,

estão os concluintes, aqueles que valeram- se com suas notas para completar os

dados como medida de desempenho final, próximo ao fim de sua graduação. Desse

grupo, uma média de 65% são alunos solteiros, 68% (em média) são brancos e

63

6,1% são negros. Em termos de composição dos dados socioeconômicos, 30,2%

dos alunos concluintes (da amostra pesquisada) moram com mais de três pessoas

em casa, e ainda uma média de 12,9 % e 78%, respectivamente: tem renda familiar

acima de 10 salários mínimos e trabalham 40 horas semanais ou mais.

Tabela 4: SUMÁRIO ESTATÍSTICO DESCRITIVO DAS VARIÁV EIS

Variáveis Observações Média Mínimo Máximo Desvio Padrão

NUM_ING 251 57,637 2 850 80,079

NUM_CONC 251 46,996 3 279 39,891

SOLT_CONC 251 0,651 0 1 0,165

BRAN_CONC 251 0,681 0 1 0,173

NEG_CONC 251 0,061 0 0,5 0,067

ATREP_CONC 251 0,302 0 1 0,133

AC10SAL_CONC 251 0,129 0 1 0,143

TRABM40_CONC 251 0,780 0 1 0,130

SIM_CONC 251 0,414 0 1 0,241

PROP_DOCD 251 0,108 0 0,8 0,138

PROP_DOCM 251 0,512 0 1 0,213

PROP_REG_PARC 251 0,448 0 1 0,301

PROP_EQUIP_SUF 251 0,735 0,264 1 0,171

PROP_PLAN_ENSI 251 0,499 0 1 0,188

N_DOCENT 251 28,410 5 203 22,803

Fonte: dados da pesquisa Variáveis: NUM_ING= número de alunos ingressantes; NUM_CONC= número de alunos concluintes; SOLT_CONC= percentual de alunos concluintes solteiros; BRAN_CONC= percentual de alunos concluintes brancos; NEG_CONC= percentual de alunos concluintes negros; ATREP_CONC= percentual de alunos concluintes em cuja casa mora acima de três pessoas; AC10SAL_CONC= percentual de alunos concluintes que possuem renda familiar acima de 10 salários mínimos; TRABM40_CONC= percentual de alunos concluintes que trabalham 40 horas semanais ou mais; SIM_CONC= percentual de alunos concluintes que possuiu algum tipo de bolsa de estudos para custear o curso; PROP_DOCD= proporção de docentes no mínimo doutores; PROP_DOCM= proporção de docentes no mínimo mestres; PROP_REG_PARC= proporção de docentes que trabalham regime parcial ou integral; PROP_EQUIP_SUF= proporção de alunos que avaliaram positivamente os equipamentos disponibilizados pela instituição; PROP_PLAN_ENSI= proporção de alunos que avaliaram positivamente os planos de ensino dos professores; N_DOCENT= número de docentes das instituições de ensino.

Ainda conforme indicado na Tabela 4, quanto aos insumos das instituições

que participam da amostra têm-se: (I) número médio de 28 docentes, dentre os

64

quais, 10,8% são doutores; (II) a proporção de docentes no mínimo mestres

representou 51,2% médio do total; (III) a proporção de docentes que trabalham em

regime parcial ou integral em média é de 44,8%; (IV) 41,4% dos alunos concluintes

possuíram bolsa de estudos para custear o curso; (V) 73,5% dos alunos avaliaram

positivamente os equipamentos disponibilizados pela instituição; (VI) 49,9% dos

alunos avaliaram positivamente os planos de ensino dos professores.

Apresenta-se a seguir o sumário estatístico descritivo das notas dos alunos

ingressantes e concluintes na avaliação do Enade 2009, em relação aos

conhecimentos específicos da área de contabilidade. Demonstra-se o total de cursos

pesquisados na região Sudeste e cada um de seus estados:

Tabela 5: SUMÁRIO ESTATÍSTICO DESCRITIVO DAS NOTAS DOS ALUNOS

Variáveis Observações Média Mínimo Máximo Desvio

Padrão

REGIÃO SUDESTE

ME_CE_ING 251 23,819 11,948 40,787 3,629

ME_CE_CONC 251 33,111 20,493 60,491 5,801

ESPÍRITO SANTO

ME_CE_ING 19 24,167 18,067 28,575 2,811

ME_CE_CONC 19 32,965 24,425 46,900 6,721

MINAS GERAIS

ME_CE_ING 65 24,544 16,829 40,787 4,297

ME_CE_CONC 65 33,454 23,272 48,452 5,346

RIO DE JANEIRO

ME_CE_ING 38 24,364 16,950 33,861 4,347

ME_CE_CONC 38 34,371 22,133 60,491 7,153

SÃO PAULO

ME_CE_ING 129 23,242 11,948 31,939 3,035

ME_CE_CONC 129 32,588 20,493 51,150 5,430

Fonte: dados da pesquisa Variáveis: ME_CE_ING= nota média dos alunos ingressantes na área de componentes específicos; ME_CE_CONC= nota média dos alunos concluintes na área de componentes específicos.

65

Como pode ser observado na Tabela 5, na região Sudeste os alunos

concluintes obtiveram desempenho superior, com uma média de 33,111 pontos, em

relação aos alunos ingressantes com uma média de 23,819 pontos. Os desvios-

padrão indicaram que a variabilidade entre os concluintes foi superior (5,801) do que

entre os ingressantes (3,629). Percebe-se que os alunos em fase final de curso

tiveram notas médias maiores do que na fase inicial do curso. Esses resultados

permitem inferir que os alunos do curso de ciências contábeis da região Sudeste

avaliados no Enade 2009, durante o período de sua formação, melhoraram seu

desempenho no que tange aos conhecimentos específicos da área, em média de

9,292 pontos.

Com relação a cada um dos estados, percebe-se que as médias dos alunos

ingressantes e concluintes, variaram em pequenas proporções, destacando-se

apenas o desvio-padrão do estado do Espírito Santo que indicaram uma

variabilidade bem maior entre os ingressantes (2,811) e concluintes (6,721). De

acordo com os resultados, os alunos dos cursos de ciências contábeis da região

Sudeste em seus estados: Espírito Santo (ES), Minas Gerais (MG), Rio de Janeiro

(RJ) e São Paulo (SP), ao concluírem o curso, obtiveram um desempenho melhor,

em relação aos conhecimentos da área contábil, do que quando ingressaram nas

instituições. O aumento estimado no desempenho foi em média: no estado do ES

em 8,8 pontos, em MG 8,91 pontos, 10 pontos no RJ e em SP foi de 9,34 pontos em

média.

Deve-se destacar que a diferença de nota média entre os ingressantes e

concluintes para a região Sudeste como um todo, bem como para cada um dos

estados estudados, é estatisticamente diferente a um nível de significância de 1%.

66

Os valores t- calculados foram -21,51, -5,26, -10,47 e -7,37, para Sudeste, ES, MG,

RJ e SP, respectivamente.

Para se compreender alguns dos fatores que determinam o aumento

verificado no desempenho dos alunos, foi realizada uma análise econométrica, por

meio da regressão múltipla e esses resultados, assim como os da estimativa do

valor adicionado, são apresentados na seção seguinte.

67

Capítulo 4

4 ANÁLISE DOS RESULTADOS

Neste capítulo são apresentados os resultados do estudo. Inicialmente serão

analisados os determinantes do desempenho dos alunos, onde são apresentadas

algumas das possíveis variáveis que explicam o desempenho dos alunos

alcançados nesta pesquisa. Posteriormente, analisa-se o valor adicionado estimado

das instituições e seus determinantes.

4.1 DETERMINANTES DO DESEMPENHO DOS ALUNOS

Os sumários estatísticos da regressão linear do primeiro estágio são

apresentados nas Tabelas 6 a 8:

Tabela 6: SUMÁRIO ESTATÍSTICO DA REGRESSÃO LINEAR

me_ce_conc Coeficiente Desvio Padrão t P>|t| [95% Intervalo de Confiança]

Robusto

me_ce_ing 0,690 0,094 7,36 0,000 0,506 0,875

_cons 16,669 2,175 7,67 0,000 12,387 20,952

Número de Observações = 251

R² = 0,1865

Estatística F (1,249) = 54,24 (0,0000) Fonte: dados da pesquisa Variável: me_ce_ing= nota média dos alunos ingressantes na área de componentes específicos.

Uma das variáveis do modelo de regressão aplicado nesta pesquisa trata-se

do resultado prévio de um determinado período de escolaridade, que foi

representada pela nota média dos alunos ingressantes que participaram do Enade

2009. Nota-se que relação positiva significativa é verificada entre a nota dos alunos

ingressantes e as notas dos alunos concluintes, quanto aos conhecimentos

específicos, uma vez que o valor-p apresentou-se menor que 0,05. Ressalta-se que

68

neste trabalho o desempenho dos alunos ingressantes está sendo utilizado como

proxy para o desempenho dos alunos concluintes no momento de ingresso. Logo, os

resultados indicam que os conhecimentos prévios já trazidos pelo aluno no momento

de ingresso em uma instituição de ensino, contribuem de forma significativa em seu

desempenho. Cabe ressaltar que a inclusão de apenas esta variável no modelo

resulta em um R2 de 0,186. Ou seja, as variações da nota média do aluno quando

ingressa conseguem explicar cerca de 18,6% da variabilidade das notas médias dos

concluintes, no término do curso.

Em seguida, foi incluído no modelo de regressão um conjunto de

características individuais do aluno, familiares e socioeconômicas, como variáveis de

controle. Na Tabela 7 demonstram-se os resultados de algumas dessas variáveis:



Robusto

me_ce_ing 0,617 0,092 6,73 0,000 0,437 0,798

solt_conc 4,674 2,188 2,14 0,034 0,363 8,984

bran_conc -4,276 2,519 -1,70 0,091 -9,238 0,687

neg_conc -16,047 5,770 -2,78 0,006 -27,413 -4,682

atrep_conc -5,250 2,362 -2,22 0,027 -9,903 -0,597

_cons 20,846 2,841 7,34 0,000 15,250 26,442


R² = 0,2410

Estatística F (5, 245) = 14,07 (0,0000) Fonte: dados da pesquisa Variáveis: me_ce_ing= nota média dos alunos ingressantes na área de componentes específicos; solt_conc= percentual de alunos concluintes solteiros; bran_conc= percentual de alunos concluintes brancos; neg_conc= percentual de alunos concluintes negros; atrep_conc= percentual de alunos concluintes em cuja casa mora acima de três pessoas.

Ao serem inseridas essas variáveis de controle relacionadas com o aluno,

verifica-se na Tabela 7 que os coeficientes que se mostraram significativos para um

nível de significância de 5%, foram:

69

a) solt_conc (t=2,14; p-valor=0,034), indicando que um aumento de 10 pontos

percentuais na proporção de alunos concluintes solteiros eleva o

desempenho em média em 0,4674 pontos;

b) neg_conc (t=-2,78; p-valor=0,006), para esta variável observa-se relação

negativa com o desempenho do aluno, estimando-se que um aumento de 10

pontos percentuais na proporção de alunos concluintes negros reduz em

média 0,16047 pontos no desempenho de um aluno negro;

c) atrep_conc (t=-2,22; p-valor= 0,027), a relação negativa neste caso indica que

o aluno morar com mais de três pessoas em casa piora o seu desempenho.

Nessa primeira especificação nota-se que o percentual de alunos brancos

(bran_conc) não se mostrou significativo ao nível de 5% de significância.

Em uma nova especificação incluiu-se ainda duas novas variáveis de controle

relacionadas com o aluno: a renda familiar e a situação do trabalho, cujos resultados

são apresentados abaixo na Tabela 8:



Robusto

me_ce_ing 0,450 0,092 4,90 0,000 0,269 0,631

solt_conc 5,592 2,164 2,58 0,010 1,329 9,855

bran_conc -5,306 2,655 -2,00 0,047 -10,535 -0,077

neg_conc -14,931 5,690 -2,62 0,009 -26,139 -3,722

atrep_conc -9,288 2,631 -3,53 0,000 -14,470 -4,106

ac10sal_conc 13,646 2,990 4,56 0,000 7,757 19,536

trabm40_conc -4,994 3,158 -1,58 0,115 -11,214 1,226

_cons 28,211 3,996 7,06 0,000 20,339 36,083


R² = 0,3396

Estatística F (7, 243) = 13,42 (0,0000) Fonte: dados da pesquisa Variáveis: me_ce_ing= nota média dos alunos ingressantes na área de componentes específicos; solt_conc= percentual de alunos concluintes solteiros; bran_conc= percentual de alunos concluintes brancos; neg_conc= percentual de alunos concluintes negros; atrep_conc= percentual de alunos concluintes em cuja casa mora acima de três pessoas; ac10sal_conc= percentual de alunos

70

concluintes que possuem renda familiar acima de 10 salários mínimos; trabm40_conc= percentual de alunos concluintes que trabalham 40 horas semanais ou mais;

A variável renda familiar mostrou-se significante a 5% e positivamente

correlacionada com o desempenho. De acordo com os resultados desta pesquisa,

estima-se que um aluno que tenha renda familiar acima de 10 salários mínimos

possui um melhor desempenho, em média de 13,646 pontos. Já o fato do aluno

trabalhar em tempo integral (40 horas semanais ou mais) não demonstrou relação

significativa (p-valor=0,115) com as notas obtidas pelo aluno, para os dados desta

pesquisa.

Ressalta-se que a adição de novas variáveis no modelo não acarretou

alterações relevantes nos coeficientes das outras variáveis, sendo que as que se

apresentaram significativas permaneceram significativas. Apenas a variável

bran_conc que passou a ser significativa a 5%, indicando uma possível relação

negativa entre percentual de alunos brancos e seu desempenho.

Em suma, nota-se que a inclusão das variáveis de características individuais

e familiares resultou em um R2 de 0,33, sugerindo que o modelo explica

aproximadamente um terço da variabilidade das notas médias dos concluintes.

4.2 VALOR ADICIONADO E SEUS DETERMINANTES

Nesta seção apresenta- se os resultados relacionados com a estimativa de

valor adicionado pelas instituições de nível superior aos alunos. Inicialmente

demonstra-se na Tabela 9 o sumário estatístico descritivo do valor adicionado

estimado:

71

Tabela 9: SUMÁRIO ESTATÍSTICO DESCRITIVO DO VALOR A DICIONADO ESTIMADO

Variáveis Observações Média Mínimo Máximo Desvio Padrão

Valoradic 251 -9,17e-09 -9,523 16,513 4,714

Fonte: dados da pesquisa Variável: Valoradic= Estimativa do valor adicionado pelas instituições aos alunos, medido em pontos, com relação ao valor médio (centrado em zero).

Nota-se que como a variável VALORADIC é o resultado de um resíduo da

regressão anterior (Equação 5), ela tem uma média próximo de 0 por definição.

Observa-se que os valores se encontram entre -9,523 e máximo de 16,513 e essa

distribuição apresenta um desvio padrão de 4,714.

A partir dos resultados encontrados as instituições foram ordenadas de

acordo com seu valor adicionado, conforme pode ser visualizado no Gráfico 1:

O Gráfico 1 apresenta uma curva ascendente, demonstrando que as

instituições que adicionaram menor valor estão posicionadas no lado esquerdo e as

Gráfico 1: Ranking de valor adicionado estimado das institu ições Fonte: Dados da pesquisa

72

que adicionaram maior valor estão no lado direito. Existe também um conjunto de

instituições que se destacam relativamente às outras, que adicionaram valor acima

de 10 pontos. Para evidenciar essa distribuição o Gráfico 2 apresenta o histograma:

Observa-se que o histograma tem seus valores em uma distribuição que é

assimétrica à direita e existe uma concentração de instituições do lado direito com

valores acima de 15 pontos adicionados.

Uma vez estimado o valor adicionado pelas instituições de ensino superior,

torna-se importante conhecer alguns dos possíveis determinantes deste valor

adicionado. Para isso foi feita a regressão do valor adicionado estimado nas

características da instituição de ensino, o que permite verificar quanto do valor

Gráfico 2: Histograma do valor adicionado estimado das institu ições Fonte: Dados da pesquisa

73

adicionado se deve às características da escola. Os sumários estatísticos das

especificações são apresentados nas Tabelas 10 e 11:


valoradic Coeficiente Desvio Padrão t P>|t| [95% Intervalo de Confiança]

Robusto

prop_docd -4,669 2,554 -1,83 0,069 -9,699 0,360

prop_docm 2,968 1,548 1,92 0,056 -0,082 6,018

prop_reg_parc 3,141 1,126 2,79 0,006 0,924 5,358

_cons -2,423 0,731 -3,31 0,001 -3,863 -0,982


R² = 0,0497

Estatística F (3, 247) = 5,17 (0,0018) Fonte: dados da pesquisa Variáveis: prop_docd= proporção de docentes no mínimo doutores; prop_docm= proporção de docentes no mínimo mestres; prop_reg_parc= proporção de docentes que trabalham regime parcial ou integral.

Pode-se notar que não foram significativos ao nível de significância de 5% os

resultados para inferências quanto à relação entre o valor adicionado e a proporção

de docentes no mínimo doutores (p-valor= 0,069) e proporção de docentes no

mínimo mestres (p-valor=0,056). Já o coeficiente da variável prop_reg_parc, que

corresponde à proporção média de docentes que trabalham regime parcial ou

integral, inicialmente se mostrou significativo para um nível de significância de 5%,

uma vez que o p-valor foi igual a 0,006.

Em outra especificação, foram incluídas no modelo novas variáveis que

também representam fatores relacionados com as instituições de ensino, que fazem

parte das políticas e insumos escolares e são prováveis determinadores do valor

adicionado. Os resultados dessa relação são demonstrados na Tabela 11:


valoradic Coeficiente Desvio Padrão t P>|t| [95% Intervalo de Confiança]

Robusto

prop_docd -2,957 2,745 -1,08 0,282 -8,363 2,449

74

prop_docm 2,067 1,624 1,27 0,204 -1,132 5,266

prop_reg_parc 1,794 1,097 1,64 0,103 -0,367 3,954

prop_equip_suf 1,644 2,435 0,68 0,500 -3,153 6,441

prop_plan_ensi 6,368 2,160 2,95 0,004 2,113 10,623

sim_conc 3,028 1,378 2,20 0,029 0,313 5,743

num_conc -0,016 0,007 -2,10 0,036 -0,030 -0,001

n_docent 0,014 0,015 0,88 0,378 -0,017 0,044

_cons -6,826 1,261 -5,41 0,000 -9,309 -4,343


R² = 0,1878

Estatística F (8, 242) = 6,70 (0,0000) Fonte: dados da pesquisa Variáveis: prop_docd= proporção de docentes no mínimo doutores; prop_docm= proporção de docentes no mínimo mestres; prop_reg_parc= proporção de docentes que trabalham regime parcial ou integral; prop_equip_suf= proporção de alunos que avaliaram positivamente os equipamentos disponibilizados pela instituição; prop_plan_ensi= proporção de alunos que avaliaram positivamente os planos de ensino dos professores; sim_conc= percentual de alunos concluintes que possuiu algum tipo de bolsa de estudos para custear o curso; num_conc= número de alunos concluintes; n_docent= número de docentes das instituições de ensino.

Nota-se na Tabela 11 que quando incluídas as novas variáveis, a variável

prop_reg_parc deixou de ser significativa ao nível de significância de 5%. Por outro

lado, com relação ao plano de ensino dos docentes, o coeficiente se mostrou

positivamente significativo, inclusive a 1% de significância (p-valor=0,004), indicando

que um bom plano de ensino (foi avaliado dessa forma pelo aluno) contribui de

forma significativa no incremento do valor adicionado. De igual modo, verificou-se

relação positiva significativa entre as proporções médias de alunos que possuíram

bolsa de estudos para custear o curso e o valor adicionado, uma vez que o p-valor

apresentou-se em 0,029 (< 0,05). Dessa forma, estima-se que o valor adicionado de

uma instituição é acrescentado em média de 0,3028 pontos quando a proporção de

alunos com bolsa é elevada em 10 pontos percentuais.

Outra variável ainda que se mostrou significativa, a um nível de 5% foi o

número de alunos (num_conc). Entretanto, verifica-se uma relação negativa,

mostrando que para o acréscimo de cada 1 aluno o valor agregado diminuiu em

0,016. Cabe destacar que o tamanho do corpo docente medido pela variável

75

n_docent não é significativo. Logo não se pode afirmar que o tamanho do corpo

docente de uma instituição influencia seu valor adicionado, ao passo que, existem

evidências de que o tamanho do corpo discente influencia negativamente o valor

adicionado, de acordo com os dados desse presente trabalho. Nota-se ainda que a

variável que representa a infraestrutura (prop_equip_suf) sendo a proporção de

alunos que consideraram que os equipamentos são suficientes, não se mostrou

significativa ao nível de significância de 5%. Por fim, nota-se para esse modelo um

R2 de 0,187 indicando que esse conjunto de características da instituição explica

aproximadamente 18,7% da variabilidade do valor adicionado da instituição de

ensino (medido em notas) aos alunos. Assim, existem outros fatores que influenciam

o valor adicionado das instituições e que não foram capturados pela regressão, e

novos estudos poderão identificá-los.

4.3 ESTIMATIVA DO VALOR ADICIONADO E O IDD

Como mencionado anteriormente, o Inep usa o IDD como uma medida

aproximada de valor adicionado. E conforme foi exposto também, o cálculo do IDD é

obtido por meio de um método que também apresenta semelhanças com os

modelos de valor adicionado. Ademais, apresentam finalidades bem semelhantes.

Diante disso, e a partir de algumas constatações na literatura apresentada, como

forma de validação do método proposto, foi calculada a correlação entre o valor

adicionado estimado e o NIDD (versão contínua do IDD) para as 251 IES

analisadas. A correlação encontrada foi de 0,653. Ou seja, as medidas são

positivamente correlacionadas, indicando que de fato as metodologias guardam

semelhanças.

76

Em seguida, buscou-se uma comparação de classificação entre as IES que

apresentaram as notas mais elevadas no IDD do ano de 2009 e as suas respectivas

notas no modelo de valor adicionado estimado. Cabe resaltar que das 251 IES

analisadas, 17 não possuíam IDD, pois de acordo com o Inep (2009a), o IDD só é

computado para cursos com mais de 10 participantes (que estão entre os

selecionados e com nota não nula) entre ingressantes e entre concluintes. A Tabela

12 abaixo apresenta a classificação das 20 primeiras IES de acordo com o IDD e no

método de valor adicionado:

Tabela 12: CLASSIFICAÇÃO DAS IES PELO IDD E PELO VA LOR ADICIONADO

INSTITUIÇÃO Notas - IDD Notas - VA

A 1 1

B 2 9

C 3 20

D 4 4

E 5 6

F 6 16

G 7 61

H 8 17

I 9 11

J 10 8

K 11 45

L 12 7

M 13 13

N 14 12

O 15 18

P 16 34

Q 17 19

R 18 53

S 19 28

T 20 26

Fonte: dados da pesquisa

77

Pode-se notar que em muitos casos, IES que obtiveram um alto IDD

apresentaram um valor adicionado inferior, como é o caso das IES C, G e K. Além

de outras diferenças significativas que podem ser observadas nas IES: F, H, P, R, S.

4.4 DISCUSSÃO DOS RESULTADOS

Os resultados obtidos indicaram um progresso positivo no desempenho dos

alunos quanto aos conhecimentos específicos da área contábil.

Observou-se que o desempenho prévio do aluno ao ingressar em uma

instituição é um fator significativo que exerce influência positiva sobre o seu

desempenho final. Em conformidade com esse resultado têm-se os trabalhos

anteriores de Wright et al. (2012), Saavedra e Saavedra (2011), Zhang (2009),

Souza e Machado (2011). Outros estudos aplicados particularmente em cursos de

contabilidade também atestam esse achado em suas conclusões, como Eskew e

Faley (1988), Doran, Bouillon e Smith (1991), Koh e Koh (1999), Duff (2004), Byrne

e Flood (2008), Ingram e Petersen (1987).

Consistente com a teoria já existente na área, os resultados deste estudo

confirmam as evidências do poder explicativo que as características particulares,

familiares e socioeconômicas do aluno exercem sobre o seu desempenho.

Resultados semelhantes foram citados por Wright et al. (2012), Taylor e Nguyen

(2006), Bacolod e Tobias (2006), Cunha e Miller (2012), Zhang (2009), Saavedra e

Saavedra (2011), Souza e Machado (2011), Santos (2012).

Neste sentido, encontrou- se evidências de que há um incremento no

desempenho do aluno solteiro. Esse resultado pode ser reflexo do nível de

dedicação aos estudos. Pois normalmente o aluno solteiro possui mais facilidade

78

para maximizar o tempo dedicado às tarefas acadêmicas, o que influenciará

diretamente em seus resultados acadêmicos. Todavia, esse achado se desvia dos

resultados de Santos (2012) que encontrou relação negativa significativa entre

desempenho e o fato do aluno ser solteiro. Uma relação significativa negativa entre

o aluno negro e seu desempenho foi observada neste estudo. Esse resultado é

convergente com o trabalho de Wright et al. (2012) e divergente de Zhang (2009) e

de Dale e Krueger (2002) que em seus estudos não verificaram realização

prejudicada para alunos negros. Relação negativa e significativa também foi

verificada entre o aluno branco e seu desempenho, indicando que um aumento na

proporção de alunos brancos também reduziria pontos no seu desempenho. Essas

evidências sugerem a necessidade de uma investigação mais detalhada do motivo

para obtenção desses sinais. Especialmente por que se apresentam contrários às

expectativas advindas da literatura, e ainda, pela importância atual de questões

relacionadas à raça, como os sistemas de cotas e políticas de reservas de vagas.

Os resultados deste estudo ainda sugerem evidências de que o aluno que

mora com mais de três pessoas em casa tem seu desempenho afetado

negativamente. Corroborando com os trabalhos anteriores de Taylor e Nguyen

(2006), Bacolod e Tobias (2006), Zhang (2009), Souza e Machado (2011), Santos

(2012), Wright et al. (2012), Saavedra e Saavedra (2011) a variável renda familiar

apresentou coeficiente significativo e positivo, ratificando mais uma vez que alunos

que possuem maior renda familiar tendem a apresentar melhor desempenho. Já o

fato do aluno trabalhar em tempo integral (40 h semanais ou mais) não apresentou

efeito relevante para explicar o seu desempenho.

Analisando os resultados obtidos no segundo estágio de estimação, pode-se

inferir que as instituições de ensino superior da região Sudeste, exclusivamente por

79

via de suas políticas, práticas e processos internos, adicionaram valor ao

desempenho acadêmico dos alunos dos cursos de ciências contábeis,

particularmente aos conhecimentos específicos da área.

Quanto aos possíveis determinantes do valor adicionado, os resultados da

amostra analisada indicam que as variáveis representativas da qualidade do corpo

docente não se mostraram significantes para explicar o valor adicionado, conforme

se detalha a seguir. Há indicação de que a variável tamanho do corpo docente não

apresentou relação com o valor adicionado. Existem evidências também que

sugerem não haver relação significativa entre a proporção de docentes doutores e

mestres de uma instituição e seu valor adicionado. Quanto à variável proporção de

docentes que trabalham em regime parcial ou integral, há de se ressaltar que,

inicialmente essa se apresentou significativa e positiva para explicar o valor

adicionado, porém deixou de ser significativa em uma nova especificação em que

foram incluídas novas variáveis.

Esses resultados referentes ao corpo docente vão de encontro aos resultados

de Saavedra e Saavedra (2011) que não verificaram correlação entre: percentual de

professores credenciados com doutorado e percentual de professores trabalhando

em tempo integral, com um aumento no ganho adicionado. E ainda Bacolod e

Tobias (2006) citam que em seu estudo a formação dos professores praticamente

não exerceu nenhum papel na explicação da variação no desempenho ao nível da

escola, já a experiência média do professor pareceu afetá-lo negativamente. No

entanto, esses resultados divergem do estudo de Taylor e Nguyen (2006). Eles

verificaram que a proporção entre professores que trabalham meio expediente ou

tempo integral é positivamente associada com um aumento no valor adicionado.

Divergem também de Zhang (2009) que encontrou associação positiva entre o valor

80

adicionado da instituição e percentual de professores Ph.D e verificou ainda que

instituições com melhor qualidade do corpo docente propendiam a adicionar maior

valor para os estudantes.

Buscando verificar se a infraestrutura de uma instituição é importante para

determinar o seu valor adicionado, foi incluída na regressão a variável proporção de

alunos que avaliaram que os equipamentos da instituição são suficientes. Notou-se

que essa variável não se mostrou significante para explicar o valor adicionado. Em

outros trabalhos como de Bacolod e Tobias (2006) e de Hanushek e Harbison (1992)

os recursos da escola se mostraram significantes para explicar a variação do

desempenho da escola. É o que se espera tanto dos recursos da escola bem como

da qualidade do corpo docente, que produzam efeitos positivos no desempenho das

instituições. Portanto, seria interessante outras investigações do mesmo grupo de

instituições deste trabalho, para verificar, após serem controlados por outros fatores,

se os recursos da infraestrutura e qualidade do corpo docente da instituição

permaneceriam não interferindo em seus resultados.

Um resultado encontrado que é digno de destaque trata-se da relação entre o

valor adicionado da instituição e sua organização didático-pedagógica, que neste

estudo foi representada pela variável plano de ensino bem avaliado pelo aluno. Os

resultados sugerem um impacto positivo dessa variável no valor adicionado da

instituição, indicando a importância do plano de ensino no efeito que será produzido

no resultado do aluno. De igual modo, cabe destacar que o percentual de alunos que

possuiu bolsa de estudos para custear o curso também mostrou- se significativo e

positivo para explicar o valor adicionado. Dessa forma estima-se que aumentando-

se o número de alunos com bolsa de estudos para custear o curso, o valor

adicionado pela instituição também aumentará. Uma possível causa para tal

81

resultado é que em muitos casos, os programas de bolsas de estudos exigem dos

estudantes aproveitamento especial nas disciplinas cursadas. Como ocorre com a

bolsa oferecida pelo Governo Federal, o Prouni, que exige que o bolsista tenha

aproveitamento acadêmico, de no mínimo, 75% nas disciplinas cursadas em cada

período letivo, sob pena de perda da bolsa. E também nas próprias IES, os

programas de bolsas também podem exigir aproveitamento especial, ou ainda

estabelecer outros requisitos, como exigir que o bolsista participe de programas de

monitoria para ajudar outros estudantes. Tudo isso demandará que o estudante se

dedique mais aos estudos e naturalmente obtenha melhores resultados, o que

impactará o valor adicionado da instituição.

E ainda encontrou-se que a variável quantidade de alunos da instituição é

significativamente negativa para explicar valor adicionado. Isso permite inferir que

quanto maior o tamanho do corpo discente, o valor adicionado tende a ser

decrescido. Esse resultado se alinha com Saavedra e Saavedra (2011) e com Taylor

e Nguyen (2006). E assemelha-se ainda com os resultados de Kokkelenberg, Dillon

e Christy (2008) que evidenciaram que o aumento da dimensão das turmas afetou

negativamente as notas em uma grande universidade pública dos EUA. Diverge,

porém, do resultado de Zhang (2009) que sugeriu que tamanho da classe parece

não ter afetado a qualidade da faculdade.

Buscando comparar o IDD e o método do valor adicionado, realizou-se uma

estimativa e verificou-se que apesar de existir uma correlação positiva entre os dois

indicadores, quando comparadas as classificações das instituições pelo método do

IDD em relação à classificação pelo método do valor adicionado, diferenças

significativas foram encontradas.

82

Neste sentido, voltando-se para a literatura, cabe descrever aqui algumas

considerações. Inicialmente, destaca-se que grande parte dos trabalhos anteriores

apresentados neste estudo que buscaram medir valor adicionado, ou seja, o efeito

da escola/instituição de ensino incluíram em seus modelos diversas variáveis

relacionadas às características do estudante. Isso por que já está bem documentado

o efeito significativo dessas características sobre o desempenho do estudante.

Assim, nesta perspectiva, procurou-se incluir no modelo utilizado neste estudo o

quanto fosse possível dessas características. No total foram sete, como pode ser

verificado no Quadro 1.

Conforme já bem exposto na seção 2.4, o Inep (2009a, 2013c, 2013n, 2007)

declara em notas técnicas que as diferenças em relação ao perfil dos estudantes ao

ingressar no ensino superior influenciam as diferenças nos resultados. Em seguida,

declara que, por hipótese, os fatores que determinam o desempenho médio dos

estudantes concluintes de um determinado curso/unidade são: características de

ingresso dos alunos concluintes em termos de aprendizagem; a qualidade da

formação oferecida pelo curso e, um termo de erro que capta os outros elementos

que afetam o desempenho do aluno. Entende-se que ao ser citado características de

ingresso em termos de aprendizagem, o Inep está se referindo somente ao nível de

conhecimento existente no perfil do estudante. E não a outras características e

fatores dos estudantes. E ainda em uma de suas notas técnicas sobre o IDD, o Inep

(2007, p.3) faz a seguinte afirmação:

Como forma de minimizar possíveis problemas de viés de estimação, alguns procedimentos foram adotados: [...] (iii) com o objetivo de complementar a informação de perfil dos estudantes que um determinado curso recebe, foi incluído o nível de escolaridade do pai dos estudantes ingressantes e concluintes do curso (proporção de estudantes cujo pai tem instrução superior).

83

Deste modo, no cálculo do IDD em todos os anos, inclusive atualmente,

somente essa informação (nível de escolaridade dos pais) relacionada com as

características dos estudantes, é incluída. Nota-se que o Inep reconhece a influência

dessas características no desempenho. Porém entende- se que o nível de

importância que está sendo dado, diferentemente da literatura, talvez não seja o

adequado. O que, possivelmente, está influenciando a diferença entre as duas

classificações.

Além disso, outra consideração que entende- se ser pertinente, trata-se das

características relacionadas com a instituição. Conforme foi referenciado, alguns

estudos incluem na estimação do valor adicionado fatores e características

relacionadas à instituição. No entanto, neste presente estudo, optou-se por estimar o

valor adicionado sem a inclusão dessas características, apoiando-se em alguns

autores que defendem esse método. Isso por que como relatado, as instituições

podem tomar decisões sobre alocação de recursos que irão refletir a eficiência no

que está se tentando medir e incluindo essas características poderia haver riscos de

resultados tendenciosos serem obtidos. Essa questão está explicada e referenciada

na seção 3.3. Já o Inep inclui em sua regressão variáveis relativas ao corpo docente,

características da infraestrutura e organização didático-pedagógica. E justifica tal

inclusão, como sendo uma forma de diminuir o viés de estimativa dos coeficientes

associados às variáveis características dos ingressantes, conforme explicação mais

detalhada na seção 2.4. Encontra-se nesta questão mais um possível fator

explicativo das diferenças verificadas entre as classificações das notas IDD e do

valor adicionado.

Enfim, os possíveis fatores para diferenças encontradas podem estar

centrados nas variáveis que compõem os modelos de regressão. Pois, enquanto na

84

estimação do valor adicionado feita nesse trabalho, procurou-se incluir

características dos estudantes e excluiu- se fatores das instituições, o Inep no

cálculo do IDD praticamente faz o oposto.

Ressalta-se que outros estudos (TAYLOR; NGUYEN, 2006, LIU, 2011a,

LADD; WALSH, 2002) que fizeram comparações entre classificações já existentes

de valor adicionado de instituições de ensino, e que calcularam novas estimativas,

buscando verificar a compatibilidade entre as duas medidas, encontraram resultados

parecidos com esses aqui apresentados.

85

Capítulo 5

5 CONSIDERAÇÕES FINAIS

5.1 CONCLUSÕES

O presente trabalho buscou investigar os fatores que explicam o valor

adicionado pelas instituições de ensino superior aos alunos do curso de ciências

contábeis em relação aos conhecimentos específicos da área. Para tanto, utilizou-se

os dados do Enade 2009, empregando-se a metodologia do valor adicionado, que

vem sendo adotada em vários países e permite conhecer o efeito exclusivo das

instituições sobre o desempenho do estudante. Esse efeito é conhecido como valor

adicionado por que exclui outros determinantes do desempenho, como por exemplo,

características particulares e socioeconômicas dos estudantes. Assim sendo, é

possível obter uma estimativa de como a instituição de ensino está efetivamente

contribuindo para o progresso do estudante.

Dessa forma, pode-se concluir, de acordo com a amostra e os dados deste

estudo, que as instituições de ensino superior da região Sudeste adicionaram

ganhos específicos da área para o aluno do curso de ciências contábeis. E os

principais determinantes do valor adicionado foram: plano de ensino, quantidade de

alunos que utilizam bolsa de estudos e tamanho do corpo discente. Diante desses

resultados cabe destacar que: enquanto variáveis relacionadas com o corpo docente

e infraestrutura pareceram não influenciar o desempenho da instituição, ressalta-se

a relevância e importância da organização didático-pedagógica que, conforme

encontrado neste trabalho, pode motivar ganhos nos resultados da instituição de

ensino.

86

Como conclusões adicionais, verificou-se por um lado, que as variáveis

explicativas: ‘desempenho prévio do aluno’, ‘o aluno ser negro’, ‘o aluno ser branco’,

‘o aluno ser solteiro,’ ‘morar com mais de três pessoas em casa’, ‘renda familiar’,

mostraram-se significantes para explicar o desempenho. Por outro lado, ‘trabalhar

em tempo integral (40 horas semanais ou mais)’ aparentou não se relacionar com o

desempenho do estudante.

Várias prescrições educacionais podem emergir desse conjunto de

resultados, podendo contribuir principalmente para: reflexões e ações por parte das

instituições de ensino, concernente à implicação de políticas e práticas adotadas que

podem maximizar sua eficácia (independentemente de alterações ao longo do tempo

nas características dos alunos que servem), com o propósito de melhorar o

desempenho acadêmico do estudante. Como, por exemplo: investimento em

recursos didático-pedagógicos, maximizar programas de concessão de bolsas de

estudos, e elaborar planos para controle da quantidade de alunos admitidos.

Além das instituições, esses resultados podem ser úteis também para os

responsáveis pela avaliação da qualidade das IES. Na elaboração do presente

trabalho, verificou-se que o IDD, uma das medidas de qualidade adotadas pelo Inep

é correlacionado com a metodologia do valor adicionado, além de possuírem

finalidades bem semelhantes. E considerando tudo que já foi abordado sobre esse

assunto neste trabalho, algumas reflexões podem ser levantadas:

De acordo com o Inep o IDD é uma estimativa de valor adicionado que busca

verificar o quanto o curso contribuiu para o conhecimento específico do aluno,

observando o perfil do estudante que ingressa no curso. E em recente nota técnica

(INEP, 2013n) o Inep declarou mais uma vez que o IDD tem o propósito de trazer às

instituições, informações comparativas dos desempenhos de seus estudantes

87

concluintes, em relação aos resultados médios obtidos pelos concluintes das demais

instituições que possuem estudantes ingressantes de perfil semelhante ao seu. Para

tanto no cálculo do IDD é incluído, uma estimação do desempenho esperado do

aluno concluinte considerando as informações de quando esse aluno ingressa, seu

perfil e inclusive em termos de aprendizagem conforme detalhado na seção 2.4

deste trabalho.

E ainda sabe-se que a partir de 2011 no cálculo do IDD a nota do aluno

ingressante passou a ser substituída pela nota do Enem, conforme já relatado

também na seção 2.4. Conhecendo-se ainda a existência de um estudo que

demonstrou que esta substituição era viável (ZOGHBI; MORICONI; OLIVA, 2010), e

que, entretanto, os seus resultados levou em conta somente 35,12% dos

ingressantes que prestaram o Enade em 2005 e 2006. E ainda foi sugerido neste

mesmo estudo que o MEC tornasse a realização do Enem obrigatória para qualquer

aluno que deseje se matricular em uma instituição superior. Tal iniciativa, ainda que

em longo prazo, permitiria incluir no cálculo do IDD notas iniciais e finais do mesmo

aluno, conforme foi orientado por Zoghbi, Moriconi e Oliva (2010). Contudo, o Enem

continua sendo de participação voluntária.

É digno de nota ainda que o IDD é um indicador de qualidade que, inclusive,

compõe o cálculo de outros indicadores de qualidade como: Conceito Preliminar de

Curso (CPC) e esse posteriormente irá compor o Índice Geral de Cursos (IGC).

Todos esses índices são publicados para o acesso em geral, e dentre outras

finalidades, são frequentemente utilizados pelas IES para divulgação de seu

desempenho. Feitas essas considerações e fundamentando-se na literatura

apresentada neste trabalho, passa-se a expor:

88

Em consonância com vários trabalhos anteriores, os resultados do presente

trabalho confirmaram novamente a hipótese de que as características pessoais e

socioeconômicas dos estudantes exercem importantes influências sobre o seu

desempenho. Como o IDD, em seu método de cálculo só inclui uma variável

relacionada com o aluno (proporção de estudantes ingressantes cujo pai e/ou a mãe

tem nível superior de escolaridade), estaria o IDD realmente captando as diferenças

em relação ao perfil dos estudantes? Considerando que o Inep, através do Sistema

de Avaliação do Ensino Superior, possuiu um rico banco de dados que inclusive se

destaca entre outros países, esses dados poderiam ser mais bem aproveitados no

cálculo do IDD, sobretudo com relação aos dados dos estudantes. Esses ajustes

poderão contribuir para produção de medidas de avaliação da qualidade do ensino

mais justas e adequadas, atendendo melhor a finalidade para a qual é empregada.

Diante da inclusão da nota do Enem no cálculo do IDD, suscita-se ainda outra

questão referente à efetividade do IDD: tendo em vista que em seu cálculo as

medidas de desempenho inicial (Enem) e final (Enade) do aluno estão sendo

representadas por exames diferentes17, do qual se obtêm notas que avaliaram

conhecimentos diferentes, estaria o IDD de acordo com o seu propósito refletindo e

fornecendo às IES realmente uma informação digna de credibilidade?

Enfim, os resultados deste estudo se adicionam à literatura ao explorar a

relevância de algumas variáveis no desempenho dos alunos e no valor adicionado

de instituição de ensino superior em cursos de ciências contábeis que não haviam

17 O Enem tem objetivo de avaliar o desempenho do aluno para aferir desenvolvimento de competências fundamentais ao exercício pleno da cidadania. A prova é interdisciplinar e sua realização é voluntária. O Enade objetiva avaliar o desempenho dos estudantes com relação aos conteúdos programáticos previstos nas diretrizes curriculares dos cursos de graduação. Assim 75% das questões se referem a conhecimentos específicos do curso que está sendo avaliado, e mesmo sendo realizado por amostragem é obrigatório (ZOGHBI; MORICONI; OLIVA, 2010, INEP, 2013d, INEP, 2013m).

89

sido encontradas em estudos anteriores. Espera-se assim que as evidências obtidas

a partir deste estudo possam contribuir para a realização de novos trabalhos,

inclusive na área em questão, orientados para melhoria da qualidade do ensino.

Nesta expectativa, cita-se na seção a seguir algumas sugestões para trabalhos

futuros e finaliza-se com as limitações deste estudo.

5.2 SUGESTÕES PARA FUTURAS PESQUISAS E LIMITAÇÕES DO ESTUDO

A título de oportunidade para futuras pesquisas, estudos poderão investigar

outros fatores determinantes do valor adicionado das instituições que não foram

capturados pelo modelo de regressão deste trabalho. Sugere-se também a

realização de estudos para verificação de fatores determinantes do valor adicionado

nos cursos de ciências contábeis em outros estados, bem como ampliar a amostra

em nível nacional. Assim será possível verificar a existência de diferenças entre

estados quanto às contribuições efetivas das IES para os alunos. Novas

investigações poderão também pesquisar outros determinantes do desempenho dos

alunos de ciências contábeis e compará-los, por exemplo, entre estados. E ainda

pesquisar esses determinantes do desempenho através do resultado da prova do

exame de suficiência em contabilidade.

Também pode ser oportuno verificar fatores determinantes do valor

adicionado para outros cursos na mesma região e para as mesmas instituições, o

que permitirá comparações para verificar se o resultado encontrado nesta pesquisa

é específico do curso de ciências contábeis. Outra sugestão que pode ser

interessante seria aplicar a abordagem do valor adicionado, utilizando como medida

de desempenho final as pontuações obtidas pelos estudantes no exame de

90

suficiência em contabilidade. E ainda poderia ser feito uma análise das IES em

relação ao valor adicionado para o estudante e o desempenho que esses estudantes

obterão no exame de suficiência em contabilidade, buscando saber se esse valor

adicionado pelas instituições irá beneficiar o estudante no exame em questão. E por

fim, também pode ser pertinente em estudos futuros, medir o valor adicionado pelas

IES, utilizando como proxy de desempenho final o valor do salário do estudante,

quando estiver inserido no mercado de trabalho, após se formar.

Como limitação da presente pesquisa, cita-se a utilização de uma amostra

constituída pelo método de amostragem intencional, por meio de seleção, o que

impossibilita generalizações dos resultados alcançados. E ainda, quanto às variáveis

do modelo de regressão têm-se as seguintes limitações: o uso de notas médias dos

estudantes de cada instituição obtidas em um teste como o Enade, são apenas

medidas aproximadas ou proxy de desempenho acadêmico, conforme já ressaltado;

a utilização da nota dos alunos ingressantes obtidas no Enade 2009 como proxy

para o desempenho dos alunos concluintes no momento de ingresso,de acordo

coma explicação dada no tópico 3.5 -Tratamento dos dados.

Por fim, como as características individuais e socioeconômicas dos

estudantes são obtidas através de um questionário respondido pelos alunos, há de

se ressaltar que existe a possibilidade das questões respondidas pelos estudantes,

não terem captado a medida que se pretendia obter.

91

REFERÊNCIAS

AITKIN, M.; LONGFORD, N. Statistical modelling issues in school effectiveness studies. Journal of the Royal Statistical Society . Series A, v.149, pp. 1-43, 1986.

AL-TWAIJRY, A. Student Academic Performance in Undergraduate Managerial-Accounting Courses. Journal of Education for Business , v.85, n.6, pp. 311–322, 2010.

AMREIN-BEARDSLEY, A.; COLLINS, C. The SAS Education Value-Added Assessment System in the Houston Independent School District (HISD): Intended and Unintended Consequences. Education policy analysis archives , v. 20, n. 12, pp.1-31, 2012.

ARAÚJO, E.A.T; CAMARGOS, M.A; CAMARGOS, M.S.C. Desempenho Acadêmico de Discentes do Curso de Ciências Contábeis: Uma Análise dos Seus Fatores Determinantes em Uma IES Privada. In: XXXV ENCONTRO DA ANPAD-ENAMPAD, 2011, Rio de Janeiro. Anais eletrônicos ... Rio de Janeiro: ANPAD, 2011. Disponível em:<http:// www.anpad.org.br>. Acesso em: 20 fev. 2013.

ASTIN, A. Let's try a "value added" approach to testing. The Chronicle of Higher Education, v.27, n.40, 1982.

BACOLOD, M.P.; TOBIAS, J.L. Schools, School Quality and Academic Achievement: Evidence from the Philippines. Economics of Education Review , v, 25, pp. 619–632, 2006.

BAILEY, T. Developing Input- Adjusted Metrics of Community College Performance. Context for Success Working Paper, 2012. Disponível em: <http://www.hcmstrategists.com/contextforsuccess/papers/BAILEY_PAPER.pdf>. Acesso em: 20 out 2013.

_______; XU, D. Input-adjusted graduation rates and college accountability: What is known from twenty years of research?. Context for Success Working Paper, 2012. Disponível em: <http://www.hcmstrategists.com/contextforsuccess/papers/LIT_REVIEW.pdf>. Acesso em: 20 out 2013.

BITTENCOURT, H. R. et al. Uma análise da relação entre os conceitos Enade e IDD. Estudos em Avaliação Educacional , São Paulo, v.19, n.40, pp. 247-262, mai./ago., 2008.

BRADLEY, S. et al. Testing for quasi‐market forces in secondary education. Oxford Bulletin of Economics and Statistics , v. 62, n. 3, pp. 357-390, 2000.

_______; TAYLOR, J. The effect of school size on exam performance in secondary schools. Oxford bulletin of economics and statistics , v. 60, n. 3, pp. 291-324, 1998.

92

BRASIL. Lei nº. 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior - SINAES e dá outras providências. Brasília, 14 abril. 2004.

BROOKS, Chris. Introductory econometrics for finance . 2. ed. Cambridge: Cambridge University Press, 2008.

BYRNE, M.; FLOOD, B. Examining the relationships among background variables and academic performance of first year accounting students at an Irish University. Journal of Accounting Education , v. 26, n. 4, pp. 202-212, 2008.

CARDOSO, R.L et al.Regulação da Contabilidade: Teorias e análise da Convergência dos Padrões Contábeis Brasileiros aos IFRS. Rev. Adm. Pública , Rio de Janeiro, v.43, n.4, pp. 773-799, jul/ago, 2009.

CLARK, R. M. Family Life and School Achievement: Why Poor Black Children Succeed or Fail .Chicago: The University of Chicago Press, 1983.

CORNELL, G. R. The Value-added Approach to the Measurement of Educational Quality. Journal of Professional Nursing , v. 1, n. 6, pp. 356-363, 1985.

CRUZ, A.J; TEIXEIRA, A.M.C. Desempenho dos Alunos no Enade de 2009: um estudo empírico a partir do conteúdo curricular dos cursos de Ciências Contábeis no Brasil. In: XXXVI ENCONTRO DA ANPAD-ENAMPAD, 2012, Rio de Janeiro. Anais eletrônicos ... Rio de Janeiro: ANPAD, 2012. Disponível em: <http://www.anpad.org.br>. Acesso em: 20 fev. 2013.

CUNHA, J. M.; MILLER, D.W. Quantitative Measures of Achievement Gains and Value-Added in Higher Education: Possibilities and Limitations in the State of Texas . 2009. Disponível em: <http://faculty.nps.edu/jcunha/Cunha_Miller_College_Value_Added_Report.pdf>. Acesso em: 20 fev. 2013.

_______; MILLER, T. Measuring Value-Added in Higher Education: Possibil ities and Limitations in the Use of Administrative Data . 2012. Disponível em: <http://faculty.nps.edu/jcunha/College_Value_Added.pdf>. Acesso em: 20 fev. 2013.

DALE, S. B.; KRUEGER, A. B. Estimating the payoff to attending a more selective college: An application of selection on observables and unobservables. Quarterly Journal of Economics , v. 117, n. 4, pp. 1491-1527, 2002.

DIAS SOBRINHO, J. Avaliação e transformações da educação superior brasileira (1995-2009): Do provão ao Sinaes. Avaliação , Campinas, Sorocaba, v. 15, n. 1, pp. 195-224, mar., 2010.

DOMINGUES, M.J.C.S; SCHLINDWEIN, A.C. O Ensino de Ciências Contábeis nas Instituições de Ensino Superior (IES) da Mesorregião do Vale do Itajaí – S.C: uma análise das contribuições curriculares da Resolução Cne/Ces n. 10/2004. In: I ENCONTRO DE ENSINO E PESQUISA EM ADMINISTRAÇÃO E

93

CONTABILIDADE-ENEPQ, 2007, Recife. Anais eletrônicos ... Recife: ANPAD, 2007. Disponível em:<http:// www.anpad.org.br>. Acesso em: 13 jan. 2013.

DORAN, B. M.; BOUILLON, M.; SMITH, C. G. Determinants of student performance in accounting principles I and II. Issues in Accounting Education , v.6, n.1, pp. 74–84, 1991.

DORAN, H.C.; IZUMI, L.T. Putting Education to the Test: A Value-Added Model for California. San Francisco: Pacific Research Institute , 2004.

DUFF, A. Understanding academic performance and progression of first-year accounting and business economics undergraduates: the role of approaches to learning and prior academic achievement. Accounting Education , v. 13, n. 4, pp. 409- 430, 2004.

E-MEC. Ministério da Educação - Sistema e-MEC . Disponível em: <http://emec.mec.gov.br>. Acesso em 16 jan. 2013.

ESKEW, R. K.; FALEY, R H. Some determinants of student performance in the first college-level financial accounting course. Accounting Review , v. 63, n.1, pp. 137-147, 1988.

EVERSON, K. C.; FEINAUER, E.; SUDWEEKS, R. R. Rethinking Teacher Evaluation: A Conversation about Statistical Inferences and Value-Added Models. Harvard Educational Review , v. 83, n. 2, pp. 349-370, 2013.

FINCHER, C. What is value-added education?. Research in Higher Education , n.22, pp.395-398,1985.

GOLDSTEIN, H; SPIEGELHALTER, D. J. League tables and their limitations: statistical issues in comparisons of institutional performance. Journal of the Royal Statistical Society , vol. 159, n.3, pp. 385–443, 1996.

______; THOMAS, S. Using Examination Results as Indicators of School and College Performance. Journal of the Royal Statistical Society A ., v. 159, parte 1, pp. 149-163, 1996.

GUJARATI, Damodar. Econometria Básica . Tradução de Maria José Cyhlar Monteiro. 4. ed. Rio de Janeiro: Elsevier, 2006.

HANUSHEK, E. A. Conceptual and empirical issues in the estimation of educational production functions. The Journal of Human Resources , vol. 14, pp.351–388,1979.

______.The economics of schooling: production and efficiency in public schools’. Journal of Economic Literature , vol. 24, pp. 1141–1177, 1986.

______.The trade-off between child quantity and quality’. Journal of Political Economy , vol. 100, pp. 84–117, 1992.

94

________; HARBISON, R W. Educational performance of the poor: lessons from rural northeast Brazil . New York: Oxford University Press, 1992.

______; RIVKIN, S.G. Generalizations about using value-added measures of teacher quality. American Economic Review , v. 100, n. 2, pp. 267-271, 2010.

______; TAYLOR, L. L. Alternative assessments of the performance of schools: measurement of state variations in achievement. The Journal of Human Resources , vol. 25, pp.179–201, 1990.

HELMKE, A; SCHRADER, F.W. School achievement, cognitive and motivational determinants of. In N.J. Smelser & P.B. Baltes (Eds.). International Encyclopedia of the Social and Behavioral Sciences, vol. 20, pp. 13552-13556, Amsterdam: Elsevier Science, 2001.Disponível em: <http://www.sciencedirect.com/science/referenceworks/9780080430768.pdf>. Acesso em: 05 mai. 2013.

INGRAM, R. W.; PETERSEN, R. J. An evaluation of AICPA tests for predicting the performance of accounting majors. Accounting Review , v.63, n.1, pp. 215-223, 1987.

INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. Informações estatísticas. Sinopses estatísticas. Sinopses educação superior. 2002, 2006, 2009, 2011. Disponível em: <http://portal.inep.gov.br/superior-censosuperior-sinopse>. Acesso em: 04 de fev. 2013.

______. Educação superior. Enade. Notas Técnicas. 2007. Resultado do indicador de diferença entre os desempenhos observado e esper ado – Idd. Disponível em: <enadeies.inep.gov.br/enadeResultado/pdfs/nota_tecnica%20-%20IDD.pdf >. Acesso em: 24 fev. 2013.

______. Educação superior. Enade. Relatório Síntese . 2009. Disponível em: <http://portal.inep.gov.br/web/guest/relatorio-sintese-2009>. Acesso em: 24 fev. 2013.

______. Educação superior. Enade. Notas Técnicas. 2009. Nota técnica-Cálculo do CPC . 2009a. Disponível em: <download.inep.gov.br/download/enade/2009/Nota_Tecnica_CPC.pdf >. Acesso em: 01 jul. 2013

______. Educação superior. Censo da educação superior . 2013a. Disponível em: <http://portal.inep.gov.br/web/censo-da-educacao-superior>. Acesso em: 04 fev. 2013.

______. Educação superior. Sinaes . 2013b. Disponível em: <http://portal.inep.gov.br/superior-sinaes>. Acesso em: 04 fev. 2013.

______. Educação superior. Enade. Notas Técnicas. 2011. Manual dos Indicadores de Qualidade 2011 . 2013c. Disponível em:

95

<http://download.inep.gov.br/educacao_superior/enade/notas_tecnicas/2011/manual_indicadores_qualidade_edu_superior_2011.pdf>. Acesso em: 24 fev. 2013.

______. Educação superior. Enade. Perguntas Frequentes-Enade . 2013d. Disponível em: <http://portal.inep.gov.br/perguntas-frequentes1>. Acesso em: 04 fev. 2013.

______. Educação superior. Enade. Perguntas Frequentes-Estudantes . 2013e. Disponível em: <http://portal.inep.gov.br/perguntas-frequentes1>. Acesso em: 04 fev. 2013.

______. Educação superior. Enade. Perguntas Frequentes-Resultados . 2013f. Disponível em: <http://portal.inep.gov.br/perguntas-frequentes1>. Acesso em: 04 fev. 2013.

______. Educação superior. Enade. Consulta aos Resultados. Notas Técnicas. O conceito Preliminar de Curso na Avaliação da Educaç ão Superior . 2013g. Disponível em: <http://enadeies.inep.gov.br/enadeResultado/pdfs/nota_tecnica%20-%20CPC.pdf>. Acesso em: 04 fev. 2013.

______. Educação superior. Enade. Notas Técnicas. 2011. Nota Técnica MEC/INEP/DAES Nº 29/2012. 2013i. Disponível em: <http://download.inep.gov.br/educacao_superior/enade/notas_tecnicas/2011/nota_tecnica_indicadores_2011_2.pdf >. Acesso em: 01 jul. 2013.

______. Educação superior. Enade. Manual do Enade . 2013j. Disponível em: <http://portal.inep.gov.br/manual-do-enade>. Acesso em: 14 out. 2013.

______. Ações Internacionais. PISA. 2013l. Disponível em: <http://portal.inep.gov.br/pisa-programa-internacional-de-avaliacao-de-alunos>. Acesso em: 01 out. 2013.

______. Educação básica. Enem . 2013m. Disponível em: <http://portal.inep.gov.br/web/enem/enem>. Acesso em: 18 nov. 2013.

______. Enade. Notas Técnicas. 2012. Nota Metodológica de Cálculo dos Indicadores de Qualidade . 2013n. Disponível em: <http://download.inep.gov.br/educacao_superior/enade/notas_tecnicas/2012/nota_metodologica_indicadores_2012.pdf >. Acesso em: 18 nov. 2013.

JAKUBOWSKI, M. Implementing value-added models of school assessmen t, EUI RSCAS Working Paper 2008/06). European University Institute, 2008. Disponível em: <http://ideas.repec.org/p/rsc/rsceui/2008-06.html>. Acesso em: 04 fev. 2013.

KEEVES, J. P.; HUNGI, N. ; AFRASSA, T. Measuring value added effect across schools: Should schools be compared in performance?. Studies in Educational Evaluation , v.31, n.2, pp. 247–266, 2005.

96

KELCHEN, R.; HARRIS, D.N. Can “Value Added” Methods Improve the Measurement of College Performance? Empirical Analyses and Policy Implications. Context for Success Working Paper, 2012. Disponível em: <http://www.hcmstrategists.com/contextforsuccess/papers/KELCHEN_HARRIS_PAPER.pdf>. Acesso em: 20 out 2013.

KELLY, A.; DOWNEY, C. Value-added measures for schools in England: looking inside the ‘black box’of complex metrics. Educational Assessment, Evaluation and Accountability , v. 22, n. 3, pp. 181-198, 2010.

KOH, M. Y; KOH, H. C.The determinants of performance in an accountancy degree programme. Accounting Education , v. 8, n. 1, pp. 13-29, 1999.

KOKKELENBERG, E. C.; DILLON, M.; CHRISTY, S. M. The effects of class size on student grades at a public university. Economics of Education Review , v. 27, n. 2, pp. 221-233, 2008.

KONG, W; FU, T. Assessing the performance of business colleges in Taiwan using data envelopment analysis and student based value-added performance indicators. Omega , v 40, n.5, pp. 541-549, 2012.

LADD, H.F; WALSH, R.P. Implementing Value-Added Measures of School Effectiveness: Getting the Incentives Right. Economics of Education Review , v.21, n.1, pp.1-17, 2002.

LAREAU, A. Social Class Difference in Family-School Relationships: The Importance of Cultural Capital. Sociology of Education , v. 60, n. 2, pp.73-85, 1987.

LEITÃO,T et al. Uma análise acerca do boicote dos estudantes aos exames de avaliação da educação superior. Rev. Bras. Educ. , Rio de Janeiro, v. 15, n. 43, pp. 21-44, jan./abr.2010.

LIU, O.L. Value-added assessment in higher education: a comparison of two methods. Higher Education , v. 61, n.4, pp. 445–461, 2011a.

______. Measuring value-added in higher education: Conditions and caveats. Results from using the Measure of Academic Proficiency and Progress (MAPPTM). Assessment and Evaluation in Higher Education , v.34, n.6, pp.1–14, 2011b.

MALACH, J.; MALCÍK, M. Value–added assessment in postsecondary schools, theoretical approaches and research results in the Czech Republic. Kultura i Edukacja, v. 79, n.5, pp.123-153, 2010.

MARCHELLI, P. S. O Sistema de Avaliação Externa dos Padrões de Qualidade da Educação Superior no Brasil: Considerações sobre os Indicadores. Ensaio: Aval. Pol. Públ. Educ ., Rio de Janeiro, v. 15, n. 56, pp. 351-372, jul./set. 2007.

MARTINEAU, J.A. Distorting value added: The use of longitudinal, vertically scaled student achievement data for growth-based, value-added accountability. Journal of Educational and Behavioral Statistics , v. 31, n. 1, pp. 35-62, 2006.

97

MCCAFFREY, D. F et al. Models for value-added modeling of teacher effects. Journal of Educational and Behavioral Statistics , vol. 29, n. 1, pp. 67-101, 2004.

______. Value-Added Models, Pittsburgh, PA: Rand Corporation, 2010.

MCDONNELL, S.T. et al. Implementing Value-Added Accountability Measures at the City University of New York. CUNY Office of Policy Research Working Paper , 2013. Disponível em: <http://www.cuny.edu/about/administration/offices/ira/opr/papers/accountability_measures.pdf>. Acesso em: 21 set. 2013.

MEYER, R. H. Educational Performance Indicators: A Critique. Institute for Research on Poverty , Discussion Paper n. 1052- 94., University of Wisconsin-Madison, 1994.

______. Value-Added Indicators of School Performance: A Primer. Economics of Education Review , v. 16, n. 3, pp. 283-301, 1997.

______; DOKUMACI, E. Value-added models and the next generation of assessments. Paper at the Exploratory Seminar: Measurement Challenges with the Race to the Top Agenda , December 2009. Disponível em: <http://www.k12center.org/rsc/pdf/MeyerDokumaciPresenterSession4.pdf>. Acesso em: 20 fev. 2013.

MIRANDA, G.J; CASA NOVA, S.P.C; CORNACCHIONE JÚNIOR,E.B. Os Saberes dos Professores-Referência no Ensino de Contabilidade. Revista Contabilidade & Finanças, São Paulo, v. 23, n.59, pp. 142-153, may/aug., 2012. Disponível em: <http://www.scielo.br/pdf/rcf/v23n59/v23n59a06.pdf>. Acesso em: 21 jan. 2013.

PAPAY, J. P. Refocusing the debate: Assessing the purposes and tools of teacher evaluation. Harvard Educational Review , v. 82, n. 1, pp.123-141, 2012.

PARISOTTO, I.R.S; GRANDE, J. F; FERNANDES, F. C. O processo ensino e aprendizagem na formação do profissional contábil: uma visão acadêmica. In: 3º CONGRESSO USP DE INICIAÇÃO CIENTÍFICA EM CONTABILIDADE, 2006, São Paulo. Anais eletrônicos ... São Paulo: USP, 2006. Disponível em: <http://www.congressousp.fipecafi.org/>. Acesso em: 02 fev. 2013.

PELEIAS, I. R. et al. Evolução do ensino da contabilidade no Brasil: uma análise histórica. Revista Contabilidade & Finanças , São Paulo, Ed. 30 anos de doutorado, pp.19-32, jun, 2007.

PIRES, C.B; OTT, E. Estrutura curricular do curso de ciências contábeis no Brasil versus estruturas curriculares propostas por organismos internacionais. In: 8o CONGRESSO USP DE CONTROLADORIA E CONTABILIDADE, 2008, São Paulo. Anais eletrônicos ... São Paulo: USP, 2008. Disponível em: <http://www.congressousp.fipecafi.org>. Acesso em: 04 fev. 2013.

98

POLIDORI, M. M. Políticas de Avaliação da Educação Superior Brasileira: Provão, Sinaes, Idd, Cpc, Igc e...Outros Índices. Avaliação , Campinas, Sorocaba, v. 14, n. 2, pp.351-383, jul., 2009.

______; ARAÚJO, C. M. M; BARREYRO, G.B. SINAES: perspectivas e desafios na avaliação da educação superior brasileira. Ensaio: Aval. Pol. Públ. Educ ., Rio de Janeiro, v. 14, n. 53, pp. 425-436, out./dez., 2006.

RAUDENBUSH, S. What are value-added models estimating and what does this imply for statistical practice? Journal of Educational and Behavioral Statistics , vol.29, n.1, pp.121-129, 2004.

RODERICK, M.; COCA, V.; NAGAOKA, J. Potholes on the Road to College High School Effects in Shaping Urban Students’ Participation in College Application, Four-year College Enrollment, and College Match. Sociology of Education , v. 84, n. 3, pp. 178-211, 2011.

RODGERS, T. Measuring Value Added in Higher Education: A Proposed Methodology for Developing a Performance Indicator Based on the Economic Value Added to Graduates, Education Economics , v. 15, n. 1, pp.55–74, 2007.

SANTOS, N.A. Determinantes do desempenho acadêmico dos alunos do s cursos de ciências contábeis . 2012. 248 f. Tese (Doutorando em Controladoria e Contabilidade)-Faculdade de Economia, Administração e Contabilidade, Universidade de São Paulo, São Paulo, 2012. Disponível em: <http://www.teses.usp.br/teses/disponiveis/12/12136/tde-11062012-164530/pt-br.php>. Acesso em: 20 fev. 2013.

______; AFONSO, L.E. Análise do Conteúdo das Provas da Área de Ciências Contábeis: Edições do Provão2002/2003 e do Enade de 2006. In: XXXVI ENCONTRO DA ANPAD-ENAMPAD, 2012, Rio de Janeiro. Anais eletrônicos ... Rio de Janeiro: ANPAD, 2012. Disponível em:<http:// www.anpad.org.br>. Acesso em: 20 fev. 2013.

______; CUNHA, J. V. A.; CORNACHIONE JR., E. B. Análise do Desempenho dos Cursos de Ciências Contábeis do Estado de Minas Gerais no ENADE/2006. In: III CONGRESSO ANPCONT, 2009, São Paulo. Anais eletrônicos ... São Paulo: ANPCONT, 2009. Disponível em:<http://www.anpcont.com.br>. Acesso em: 20 fev. 2013.

SAAVEDRA, A. R.; SAAVEDRA, J. E. Do colleges cultivate critical thinking, problem solving, writing and interpersonal skills?. Economics of Education Review , v.30, n.6, pp. 1516-1526, 2011.

SANDERS, W. L.; SAXTON, A. M.; HORN, S. P. The Tennessee Value-Added Assessment System: A quantitative outcomes-based approach to educational assessment. Grading teachers, grading schools: Is student achie vement a valid evaluational measure . Thousand Oaks, CA: Corwin Press, 1997.

99

SAUNDERS, L. A brief history of educational 'value added': how did we get to where we are?. School effectiveness and school improvement , v. 10, n. 2, p. 233-256, 1999.

SILVA, A.; MOURA, H. Retrospectiva Histórica do Ensino Superior de Contabilidade no Brasil. In: IX Congresso de Contabilidade, 2002, Portugal. Anais... Portugal, 2002.

SOARES, J. F.; RIBEIRO, L. M.; CASTRO, C. M. Valor agregado de instituições de ensino superior em Minas Gerais para os cursos de direito, administração e engenharia civil. Dados , Rio de Janeiro, v. 44, n. 2, pp. 363-396, 2001.

SOUZA; E. S; MACHADO, L. S. Determinantes do Desempenho dos Cursos de Ciências Contábeis. In: 11o CONGRESSO USP DE CONTROLADORIA E CONTABILIDADE, 2011, São Paulo. Anais eletrônicos ... São Paulo: USP, 2011. Disponível em: <http://www.congressousp.fipecafi >. Acesso em: 20 fev. 2013.

STRAYER, W. The returns to school quality: College choice and earnings. Journal of Labor Economics , v. 20, n. 3, pp. 475-503, 2002.

TAYLOR, J.; NGUYEN, A.N. An analysis of the value added by secondary schools in England: is the value added indicator of any value?. Oxford bulletin of economics and statistics , v.68, n.2, pp. 203-224, 2006.

TAYLOR, T. A Value-added Student Assessment Model: Northeast Missouri State University. Economics of Education Review , v. 4, n. 4, pp. 341-350, 1985.

TEKWE, C. D. et al. An empirical comparison of statistical models for value-added assessment of school performance. Journal of Educational and Behavioral Statistics , v. 29, n. 1, pp. 11-36, 2004.

THOMAS, S.; MORTIMORE, P. Comparison of value‐added models for secondary‐school effectiveness. Research papers in education , v. 11, n. 1, pp. 5-33, 1996.

VERHINE, R. E. ; DANTAS, L. M. V.; SOARES, J.F. Do Provão ao ENADE: uma análise comparativa dos exames nacionais utilizados no Ensino superior brasileiro. Ensaio: Aval. Pol. Públ. Educ. , Rio de Janeiro, v.14, n.52, pp. 291-310, jul./set., 2006.

WRIGHT, D. L. et al. College Participation, Persistence, Graduation and Labor Market Outcome: An Input-Adjusted Framework for Assessing the Effectiveness of Tennessee’s Higher Education Institutions. Context for Success Working Paper, 2012. Disponível em: <http://www.hcmstrategists.com/contextforsuccess/papers/WRIGHT%20PAPER.pdf>. Acesso em: 20 out. 2013.

YUNKER, J. A. The dubious utility of the value-added concept in higher education: the case of accounting. Economics of Education Review , v.24, pp. 355–367, 2005.

100

ZHANG, L. A value-added estimate of higher education quality of US states. Education Economics , v.17, n.4, pp.469-489, 2009.

ZOGHBI, A.C.P.; OLIVA, B. T.; MORICONI, G. M. Aumentando a eficácia e a eficiência da avaliação do ensino superior: a relação entre o ENEM e o ENADE. Estudos em Avaliação Educacional , v. 21, n. 45, pp. 45-66, jan./abr., 2010.

FUNDAÇÃO INSTITUTO CAPIXABA DE PESQUISAS EM …E7%E3o%20... · de uma análise do resultado do...

Documents

Transcript of FUNDAÇÃO INSTITUTO CAPIXABA DE PESQUISAS EM …E7%E3o%20... · de uma análise do resultado do...