AVALIAÇÃO DE EFICIÊNCIA DINÂMICA DO ENSINO … · importância das instituições federais no...

Anais do XLVIII SBPO Simpósio Brasileiro de Pesquisa Operacional

Vitória, ES, 27 a 30 de setembro de 2016.

AVALIAÇÃO DE EFICIÊNCIA DINÂMICA DO ENSINO SUPERIOR EM INSTITUTOS FEDERAIS BRASILEIROS

Fernanda Kivia Agra Fernandes

Universidade Federal do Rio Grande do Norte (UFRN) Avenida Senador Salgado Filho, Campus Universitário, Lagoa Nova, Natal

[email protected] Lívia Mariana Lopes de Souza Torres


[email protected] Mariana Almeida Rodrigues


[email protected] Marina Reis Deusdará Leal


[email protected] Wallace Giovanni Rodrigues Valle


[email protected]

RESUMO

Este trabalho tem por objetivo avaliar a eficiência do ensino superior nos Institutos Federais brasileiros no período de 2012 a 2014. O modelo Dinâmico da Análise Envoltória de Dados (DDEA) foi delineado para avaliar a taxa de formação educacional por meio da interação entre as variáveis de entrada (quantidade de professores, quantidade de técnicos e quantidade de matrículas), os inputs quase fixos (quantidade de vagas disponibilizadas) e variáveis de saída (quantidade de concluintes e o Índice Geral do Curso – IGC). Os resultados foram estruturados e comparados com os do modelo estático CCR. Foram classificados os institutos mais eficientes que podem servir como benchmarkings para as demais unidades. A partir desses resultados, os gestores públicos podem realizar os seus planejamentos educacionais para melhorar a taxa de eficiência e ainda adotar estratégias para auxiliar a tomada de decisão. PALAVRAS CHAVE. Análise Envoltória de Dados Dinâmica, DEA Dinâmico, Educação Superior. Tópicos (indique, em ordem de PRIORIDADE, o (s) tópicos (s) de seu artigo)

Avaliação de eficiência dinâmica dos Institutos Federais com análise envoltória de dados. As correntes de pensamento e modelos de análise de eficiência na educação. Propostas de melhorias para o surgimento e expansão dos Institutos Federais de

Educação.

ABSTRACT

This study aims to evaluate the efficiency of Brazilians Federal Institutes concerning higher education in the period from 2012 to 2014. Dynamic Data Envelopment Analysis (DDEA) is applied to observe the graduation rate through the interaction between input variables (number of teachers, number of administrative staff and quantity of enrollments), quasi-fixed inputs (university slots) and outputs (number of graduates and the Brazilian General Index of the Course – IGC). The results were structured and compared with the ones of the static model CCR. We identify the most efficient units that can serve as benchmarks for the others. From these

710



results, managers can carry out their educational plans to improve the efficiency rate and adopt new strategies to assist on the decision making process. KEYWORDS. Dynamic Data Envelopment Analysis, DEA Dynamic, Higher Education. Paper topics (indicate in order of PRIORITY the paper topic(s))

Brazilian Federal Institutes Efficiency according the DDEA model. The lines of thought and efficiency analysis models in education. Emergence and expansion of Brazilian Federal Institutes of Education.

1. Introdução

O ensino técnico brasileiro remonta ao início do século XX, com a criação das Escolas

de Aprendizes Artífices em 1909. Essas instituições surgem com o propósito de ensinar ofícios aos menos afortunados. Em detrimento das mudanças ocorridas na economia, essas foram transformadas em Escolas Técnicas e Industriais. Tal modificação rearranja a configuração educacional, o que as tornam equivalentes ao atual ensino médio, permitindo aos formados de cada área técnica ingressar em um curso de nível superior equivalente. Em 1978, tem início o processo de transformação das escolas técnicas em Centros Federais de Educação Tecnológica, agregando à estrutura cursos de graduação nas áreas de engenharia e tecnologias [Pacheco et al. 2009]. Por fim, em 2008, pela lei de número 11.892, os Institutos Federais (IF’s) são criados.

Devido ao reconhecimento do papel social de capacitação dos jovens para o mercado de trabalho, ocorreu um grande aumento no número de campus em todo o país. Em 2002, existiam 140, já em 2010 o número era superior a 350, com previsão de 562 institutos ao final de 2014 [MEC 2014]. Essa expansão influencia positivamente no crescimento no número de vagas ofertadas, tanto no ensino médio quanto no ensino superior. O censo da educação superior, conduzido pelo Instituto Nacional de Pesquisas Educacionais Anísio Teixeira (INEP), salienta a importância das instituições federais no cenário nacional da educação de nível superior e discorre sobre o avanço do papel dos IF’s nesse âmbito.

Apesar disso, uma análise da literatura identifica que até o atual conhecimento dos autores, o desenvolvimento proposto é o primeiro avaliar o desempenho do setor de educação utilizando um censo dos Institutos Federais. Além disso, é também o primeiro a fazer uso do modelo de DEA dinâmico [Kao 2013]) para realizar este tipo de avaliação.

Portanto, a contribuição para a literatura ocorre em três vertentes: (1) avaliação de eficiência em uma área de educação que, apesar de relevante, é pouco explorada; (2) a utilização do modelo dinâmico de DEA direcionado ao setor de educação; (3) além da realização do comparativo entre os resultados matemáticos obtidos modelo dinâmico e o tradicional utilizando as novas combinações de avaliação para obter avanços matemáticos na área.

O modelo dinâmico de DEA operacionalizado se baseia nas considerações de [Kao 2013], caracterizadas por retornos constantes de escala e orientação aos produtos. Posto isso, são computadas as eficiências de uma amostra de 31 Institutos Federais brasileiros entre 2012 e 2014 ao considerar as variáveis distribuídas, de acordo com o modelo, em variáveis de input, input intermediário e output nos diferentes períodos. As variáveis são: quantidade de professores, quantidade de técnicos administrativos e quantidade de matrículas como variáveis de entrada; quantidade de vagas disponibilizadas como produto intermediário; além da quantidade de concluintes e o Índice Geral do Curso (IGC) como variáveis de saída.

2. Análise Envoltória de Dados e Aplicações na área de educação

O DEA é uma técnica não paramétrica com base na programação linear utilizada para

comparar unidades operacionais homogêneas que empregam múltiplos inputs e outputs. [Cook e Seiford 2009] realizam uma ampla investigação quanto aos modelos, configurações e o desenvolvimento desse procedimento e informam que o objetivo é fornecer um método que compara unidades tomadoras de decisão (Decision Making Units – DMUs). A partir disso,

711



identifica-se aquelas que apresentam melhores práticas, formando uma fronteira de eficiência e possibilitando a aferição de metas de referência (benchmarking) para as unidades ineficientes.

Os primeiros paradigmas são os modelos clássicos CCR e BCC. O primeiro foi denominado de retornos constantes a escala (CRS – Constant Returns to Scale), em que qualquer variação nas entradas encadeará variações proporcionais nas saídas. O BCC ou VRS (Variable Returns to Scale) retrata o aprimoramento do CCR ao considerar variações na escala. O modelo estima a eficiência técnica pura e expõe que os outputs não variam necessariamente proporcionais aos inputs e, assim, os ganhos podem ser crescentes (outputs crescem além da proporção), constantes (crescimento proporcional) ou decrescentes (outputs proporcionalmente menos que as saídas) [Mariano 2006].

De acordo com [Liu et al. 2013], é possível aplicar o DEA em diversas áreas de conhecimento. Na área de educação, os estudos abrangem toda extensão do ensino, de escolas primárias até o ensino superior, considerando também aspectos administrativos e modelos de ensino [Johnes 2015]. Estudos recentes comprovam essa amplitude ao investigarem o desempenho do ensino primário e secundário [Blackburn et al. 2014], de escolas de ensino médio [Harrison e Rouse 2014] e de universidades [Agasisti e Wlszczak-Derlacz 2016].

Alicerçados nos modelos clássicos, outros se desenvolveram no desígnio de considerar novos aspectos em eficiência, como modelos sem orientações, modelos baseados em folgas, modelos de supereficiência, avaliação dinâmica com índice Malmquist, modelos em redes e modelos dinâmicos. A Figura 1 mapeia os principais estudos considerados no intuito de compreender a evolução dos modelos de DEA na educação. Em tons mais escuros, os artigos com maior número de citações na literatura e, em maior tamanho, os mais importantes dentro do recorte referente ao contexto educacional.

Figura 1 – Evoluções das aplicações de DEA na área de ensino superior

Para a elaboração da Figura 1, o software Polinode foi empregado. Tal ferramenta

propicia elaborar redes e Surveys. No atual estudo, ocorreu a elaboração de uma rede, tendo por base os artigos citados no corrente desenvolvimento. Nela, são elucidadas as relações entre artigos citados/citantes, com esse tipo de relacionamento é plausível a identificação dos artigos mais relevantes e as correntes literárias no íntimo do ramo estudado. A partir das relações exemplificadas pela referida figura, é indiscutível a importância do trabalho seminal de [Charnes et al. 1978] tanto no desenvolvimento da evolução da modelagem matemática DEA quanto nas aplicações na área da educação.

712



Após a consolidação das interpelações tradicionais de DEA, surgem novos ângulos de abordagem. Não apenas em relação ao uso de novos conjuntos de inputs e outputs, ocorrem avanços nos modelos, no propósito de considerar aspectos de estrutura da DMU, assim como os efeitos temporais. Com esse propósito, verifica-se o emergir da avaliação com Índice Malmquist [Ouellette e Vierstraete 2010], modelos de rede e modelos dinâmicos. Com base nessas aplicações do DEA no contexto educacional, o Quadro 1 sinaliza as principais variáveis utilizadas em diversos trabalhos nessa temática, assim como identifica os principais modelos empregados para realizar avaliações de eficiência em pesquisas no âmbito mundial na educação.

A partir do Quadro 1, é observado que os modelos clássicos são os mais aplicados com orientação aos outputs. Entre as variáveis de input a de maior frequência é o número de professores, seguida das despesas gerais e/ ou operacionais. As variáveis de output de maior frequência são o numero de concluintes e os resultados dos estudantes. Já entre os produtos intermediários e variáveis quase fixas aparecem em apenas três estudos e os investimentos de capital aparecem duas vezes.

O estudo de [Sinuany-Stern et al. 1994] contribui com uma avaliação por meio de modelos clássicos com inputs e outputs de caráter financeiro, além de agregar a perspectiva de avaliação de departamentos dentro da universidade e não da universidade como um todo, sendo um passo para análises além da ideia de caixa-preta.

Diferentemente de [Sinuany-Stern et al. 1994], ao versar a análise de eficiência em universidades australianas, [Abbott e Doucouliagos 2003] abordam não apenas insumos financeiros, como também o tamanho da equipe acadêmica e não acadêmica são incorporados à análise. Em relação aos seus produtos, acrescem aspectos relativos à qualidade no tocante as publicações de pesquisa pelos índices equivalentes àqueles empregados pelo governo australiano.

Já os estudos de [Johnes 2006a] e [Johnes 2006b] avaliam o desempenho do ensino superior do Reino Unido por meio de duas vertentes: análise das universidades e avaliação do desempenho dos estudantes. As análises voltadas às universidades agregam mais medidas de qualidade como outputs, ressaltam pequenas diferenças entre os resultados de retornos constantes e variáveis, assim como finalizam a análise com a complementação do bootstrap. Na avaliação focada no desempenho dos estudantes, é apurada a eficiência comparando o desempenho do aluno com o da universidade onde estuda, com o desempenho médio das universidades. Por fim, o autor indaga também sobre a eficiência das universidades no conjunto médio de desempenho de todas elas. O diferencial dessa exploração é uma avaliação composta por diferentes ângulos de descrição do ponto de vista dos estudantes, bem como das instituições de ensino superior.

[Johnes 2013] sistematiza um modelo em redes no qual a educação superior no Reino Unido é visualizada como dois processos: a formação e a empregabilidade dos formados. Além das proposições já mencionadas, nota-se outro prisma dentro da avaliação de eficiência: a dependência inter-temporal dos níveis de inputs e outputs. Por exemplo, o número de vagas disponibilizadas influencia no número de alunos graduados ao longo dos anos. Portanto, essas unidades não devem ser avaliadas pelos modelos estáticos de DEA, os quais assumem a não interferência dos níveis de saídas ocorridas em um período de tempo pelos níveis de entrada e saídas observadas durante outros períodos.

Nesse contexto, emerge a avaliação dinâmica. O termo “DEA dinâmico” significa o uso de modelo do DEA para descrever a inter-relação entre períodos individuais e utilizar métodos de solução associados para calcular as eficiências relativas para um conjunto de DMUs em diferentes períodos [Kao 2013].

Ao identificar este problema, [Emrouznejad e Thanassoulis 2005] aplicaram um modelo dinâmico para avaliar a eficiência do ensino superior no Reino Unido. Os autores avançam suas considerações ao adotar a premissa de caminhos de entradas e saída em detrimentos dos tradicionais níveis de inputs e outputs. Ao comparar os resultados deste com o modelo estático, os autores concluíram que a modelagem dinâmica é responsável pela melhor captura da eficiência. Isso ocorre, de acordo com [Kao e Chen 2014], porque os modelos dinâmicos assumem uma dependência temporal invariável ao longo do tempo.

713



Quadro 1. Sistematização dos modelos e variáveis DEA utilizados na Educação

No aspecto dinâmico, [Fukuyama et al. 2016] avançam e incluem a estrutura interna do processo avaliado (configuração de redes) em sua modelagem. A partir da análise da literatura, percebe-se a tendência na utilização de modelos mais avançados de Análise Envoltória de Dados para realizar avaliação de eficiência na área de educação.

3. Método de Pesquisa No presente desenvolvimento, propõe-se uma avaliação quantitativa da eficiência para a

educação superior oferecida pelos Institutos Federais brasileiros. Nesse intuito, foram coletados dados disponibilizados pelo INEP, instituição que conduz censos anuais da educação básica e superior, dos quais são realizadas sinopses estatísticas. As sinopses do ensino superior referentes aos anos de 2012, 2013 e 2014 consistem nas fontes de informação utilizadas no estudo.

Bea

sley

, J.E

.

Sinu

any-

Ster

n, Z

., et

al.

Col

bert,

A.,

et a

l.

Gro

ssko

pf, S

. e M

outra

y, C

.

Bra

dley

, S.,

et a

l.

Abb

ott,

M. e

Dou

coul

iago

s, C

.

Emro

uzne

jad

A. e

Tha

nass

oulis

E.

John

es, J

. (A

)

John

es, J

. (B

)

Del

gado

V.M

.S. e

Mac

hado

A.F

.

Cor

dero

-Fer

rera

, J.M

., et

al.

Cha

ng D

.-F.,

et a

l.

Kem

pkes

, G. e

Poh

l, C

.

Oue

llette

P. e

Vie

rstra

ete

V.

Ben

icio

, J. e

Mel

lo, J

.C.S

.

Ros

ano-

Peña

, C.,

et a

l.

Bla

ckbu

rn, V

., et

al.

Har

rison

, J. e

Rou

se, P

.

Kao

H.-Y

. e C

hen

B.-S

.

Podi

novs

ki, V

.V.,

et a

l.

Li L

., et

al.

Tava

res,

R.S

. e M

eza,

L.A

.

Aga

sist

i, T.

e W

olsz

czak

-Der

lacz

, J.

Fuen

tes,

R.,

et a

l.

Fuku

yam

a H

., et

al.

Mor

eno

P. e

Loz

ano

S.

1990 1994 2000 2000 2001 2003 2005 2006 2006 2007 2008 2009 2010 2010 2012 2012 2014 2014 2014 2014 2015 2015 2016 2016 2016 2016CRS ● ● ● ● ● ● ● ● ● ● ● ● ● ● 14VRS ● ● ● ● ● ● ● ● ● ● ● ● ● ● 14

Supereficiência ● ● 2NDEA ● 1DDEA ● ● ● ● 4

Input ∆ ∆ ∆ ∆ ∆ ∆ ∆ ∆ ∆ 9

Output ∆ ∆ ∆ ∆ ∆ ∆ ∆ ∆ ∆ ∆ ∆ ∆ ∆ ∆ 14

Despesas gerais e/ou operacionais

◙ ◙ ◙ ◙ ◙ ◙ ◙ ◙ 8

Salário (professores e/ou administratores)

◙ ◙ ◙ 3

Nº de professores ◙ ◙ ◙ ◙ ◙ ◙ ◙ ◙ ◙ 9

Nº de funcionários não-docentes

◙ ◙ ◙ ◙ 4

Pontuação média dos estudantes

◙ ◙ ◙ ◙ ◙ ◙ 6

Custo/despesa por aluno

◙ ◙ ◙ 3

Outros custos ◙ ◙ ◙ ◙ 4Número de

alunos/ingressantes◙ ◙ ◙ 3

Nº de aulas, disciplinas ou salas

◙ ◙ ◙ ◙ 4

Financiamento monetário/subsídios

◙ ◙ 2

Receitas ◙ 1Nível socio-

econômico da família do estudante

◙ ◙ 2

Qua

si-

fixed Prédios ◊ 1

Remuneração dos empregados

◊ 1

Investimentos de capital

◊ ◊ 2

Benefícios sociais/subsídios

◊ 1

Número de alunos/concluintes

□ □ □ □ □ □ □ □ □ □ □ □ 12

Quantidade de horas-aula

□ 1

Quantidade/resultado de pesquisas

□ □ □ □ □ □ □ 7

Satisfação dos estudantes

□ □ 2

Resultados do estudante

□ □ □ □ □ □ □ □ □ □ 10

Taxa de comparecimento

□ □ 2

Quantidade/Qualidade do(s) curso(s)

□ □ 2

Quantidade de bolsas de pesquisa

□ □ □ 3

Patentes □ □ 2Produto interno bruto □ 1

Taxa de aprovação □ 1

TOTA

L

Mod

elo

Prod

utos

in

term

ediá

rios

Inpu

tO

utpu

tO

rient

ação

AU

TOR

(ES)

Ano da Publicação

714



Dentre as abordagens quantitativas, escolheu-se a Análise Envoltória de Dados (DEA) como técnica de avaliação. Essa predileção está baseada na ampla abrangência de utilização, como constatou o diagnóstico de [Liu et al. 2013], que destacam uma elevação do número de trabalhos e enumeram as cinco principais áreas. A educação encontra-se inclusa nesse grupo e apresenta cunho precursor em razão do seminal artigo de [Charnes et al. 1978]. Além disso, a amplitude da análise da literatura ressalta a capacidade da técnica em abranger as diversas facetas do setor estudado.

Portanto, este artigo busca continuar as observações realizadas por [Emrouznejad e Thanassoulis 2005] e [Fukuyama et al. 2016] e avaliar, por meio do modelo dinâmico da Análise Envoltória de Dados, a eficiência do ensino superior dos Institutos Federais brasileiros. Esta avaliação permitirá auxiliar no gerenciamento estratégico dessas instituições federais.

A situação averiguada objetiva compreender a eficiência anual, bem como o efeito de cada período sobre os demais e sobre o horizonte da investigação (2012-2014). Em razão de tal peculiaridade, adotou-se a modelagem dinâmica. Esse tipo de apreciação pondera sobre as inter-relações de períodos individuais. Contudo, grande parte dos modelos dinâmicos não realiza o cálculo da eficiência por período. Como se objetiva compreender as variações totais e por período da eficiência produtiva, elegeu-se a modelagem de [Kao 2013], descrita na Equação 1, como a mais adequada à realidade explorada.

(Equação 1) Onde 𝑣𝑖 é a utilidade do input; 𝑢𝑟é a utilidade do output; 𝑤𝑓 é a utilidade do produto

intermediário; 𝑋𝑖𝑘 é a quantidade do insumo i da DMU k; 𝑌𝑟𝑘 é a quantidade do produto r da DMU k; 𝑍𝑓𝑘

(𝑝)é a quantidade do produto intermediário f da DMU k no período p; 𝑍𝑓𝑗(𝑝)é a

quantidade do produto intermediário f da DMU j no período p; 𝑍𝑓𝑘0 é a quantidade do produto intermediário f da DMU k que é entrada no período inicial; 𝑍𝑓𝑗0 é a quantidade do produto intermediário f da DMU j que é entrada no período inicial; 𝑋𝑖𝑗𝑡 é a quantidade do insumo i da DMU j no período em análise; 𝑌𝑟𝑗𝑡 é a quantidade do produto r da DMU j no período em análise; 𝑍𝑓𝑗𝑡−1 é a quantidade do produto intermediário f da DMU j no período anterior ao que está em

análise; e, 𝑍𝑓𝑗𝑡 é a quantidade do produto intermediário f da DMU j no período em análise. Um vez obtida a solução ótima (𝑢𝑟∗ , 𝑣𝑖∗, 𝑤𝑓

∗), pode-se calcular a eficiência de todo o sistema, 𝐸𝑘𝑠, e do período t, 𝐸𝑘

(𝑡), com t = 1,..., p, para a DMU k, mediante Equação 2, tomando como base o segundo e terceiro conjuntos de restrições do modelo exposto anteriormente:

(Equação 2) Com o escopo de realizar uma análise nacional, foram escolhidos 31 dos 38 Institutos

Federais brasileiros. Para evitar o uso de técnica de uso de dados faltantes, os Institutos do Acre,

715



do Amapá, Baiano, de Brasília, Catarinense, do Mato Grosso do Sul e do Tocantins foram excluídos da amostra por motivo de ausência de resultados de IGC em alguns dos anos de análise. As variáveis de entradas, intermediárias e de saídas são explicitadas na Tabela 1.

As relações estas variáveis, em cada período, podem ser visualizadas na Figura 2, que expõe o modelo adotado na pesquisa e os respectivos inputs (número de professores, número de técnicos e número de matrículas), produto intermediário (número de vagas disponibilizadas no período anterior) e outputs (número de concluintes, número de vagas e IGC).

É importante mencionar a particularidade referente as conexões entre perídos do modelo adotado. [Kao 2013] indica que os períodos são unidos por um fluxo, sendo esse um conceito genérico, podendo representar uma entrada quase fixa, onde uma porção da saída produzida no período precedente é reservado para a produção do período corrente. Logo, a quantidade de vagas atua como um produto intermediário e como output.

O conjunto remanescente de dados consiste em uma representação significativa da situação. Além disso, a quantidade de DMU’s está em consonância com as proposições de [Dyson et al. 2001], os quais sugerem um número de 2(nxm) DMU´s para alcançar níveis de discriminação razoáveis, n e m representam a quantidade de inputs e outputs, respectivamente. Portanto, o valor mínimo é 18, logo, 31 DMU’s consiste em uma amostra aceitável na modelagem dos modelos clássicos.

Tipo Varíavel Descrição Input QntProf Quantidade total de professores por ano por IF Input QntTecnico Quantidade total de técnicos administrativos por ano por IF Input QntMatricula Número total de matrículas realizadas por ano por IF

Intermediário QntVagas Quantidade de vagas disponibilizadas por ano por IF Output QntConcluinte Número total de concluintes por ano por IF Output IGC Valor do IGC por ano por IF Output QntVagas Quantidade de vagas disponibilizadas por ano por IF

Tabela 1 - Variáveis do estudo

Figura 2 – Modelo de produção adotado na pesquisa

Além do modelo dinâmico, utiliza-se o modelo tradicional CCR orientado para a

maximização dos outputs para comparar o desempenho do modelo dinâmico na verificação da eficiência por período, da Equação 3:

Onde 𝑣𝑖 é a utilidade do input; 𝑢𝑟é a utilidade do output; 𝑥𝑖𝑗 é a quantidade do insumo i da DMU j; 𝑦𝑟𝑗 é a quantidade do produto r da DMU j; 𝑥𝑖0 é a quantidade do insumo i da DMU em análise; e, 𝑦𝑟𝑜 é a quantidade do produto r da DMU em análise.

(Equação 3)

716



A escolha da orientação é decorrente do caráter social do serviço prestado pelos IF’s, que objetivam uma maior quantidade de formados em uma instituição de qualidade utilizando da melhor forma possível os recursos atuais possuídos. Outro aspecto que impede orientar o modelo para a minimização dos inputs é o formato contratual de funcionários e professores, uma vez que, exceto os casos de servidores ainda em estágio probatório, a Lei 8112/90 proíbe a demissão sem haver ocorrido algum tipo de infração ao estatuto dos servidores federais.

4. Análise e discussão dos resultados

O modelo proposto avaliou a eficiência de uma amostra composta por 31 Institutos Federais entre os anos de 2012 e 2014. Para isto, as avaliações foram realizadas pelo modelo dinâmico e pelo CCR. Neste último, considerou-se cada Instituto Federal em cada ano sob análise como uma DMU, somando-se, assim, 93 DMUs na verificação com o modelo CCR. Enquanto isso, no dinâmico, o conjunto é correspondente a 31 DMU’s. A Figura 3 apresenta o comparativo da eficiência do período investigado.

Com os valores encontrados, é possível verificar a congruência dos resultados com as premissas da literatura. Todos os valores de eficiência dinâmica foram inferiores a eficiência estática. [Kao e Chen 2014] ressaltam que a modelagem dinâmica é responsável pela melhor captura da eficiência. Isso ocorre devido a uma dependência temporal invariável ao longo do assumida pelos modelos dinâmicos. O valor médio de eficiência na avaliação dinâmica é 47,56% enquanto a clássica retorna 79,45%.

Figura 3 – Comparativo entre a eficiência dinâmica e estática 2012-2014

No propósito de obter uma eficiência referente ao período total de avaliação com o

modelo CCR, foi utilizada a mediana dos valores anuais para cada DMU. A mediana foi empregada tendo em vista ser uma medida mais robusta. Sabe-se que a média também é uma medida de tendência central, contudo é sensível, a dados extremos, sejam eles mínimos ou máximos, tal problema não é verificado com a média, obtendo assim uma medida mais robusta. Com esses resultados, identificam-se três DMU’s eficientes com o modelo clássico: Os Institutos Federais de Rondônia, de São Paulo e de Roraima. Na verificação dinâmica, nenhuma DMU obteve eficiência máxima. Nesta, apenas 4 DMU’s obtiveram resultados acima de 65% (IF Roraima, IF Paraná, IF São Paulo e IF Paraíba).

A mesma verificação de DMU’s foi realizada por ano. Em 2012, modelo dinâmico identifica 3 DMU’s eficientes em detrimento de 6 no modelo clássico, conforme Figuras 4 e 5. Em 2013, apenas uma é referida pela modelagem dinâmica e quatro pelo CCR. Por fim, em 2014, apenas uma DMU apresenta eficiência máxima no dinâmico e duas no CCR. Tais asseverações demonstram a incapacidade das instituições em permanecer eficientes ao longo do tempo, o que pode indicar a inaptidão de gerenciar adequadamente o crescimento de seus recursos. As

717



verificações por período similarmente apontam para a superioridade das considerações dinâmicas no reconhecimento da dependência intertemporal.

Figura 4 – Comparativo das eficiências estáticas por ano

Os resultados expostos na Figura 3 também permitem perceber que há uma

convergência dos resultados do modelo dinâmico e do CCR. Os dois apontam os Institutos Federais dos estados de Roraima, Paraná e São Paulo como componentes do grupo formado pelas 4 DMU’s mais eficientes. Além disso, ambos estão em concordância com o fato de o IF de Roraima ser o mais eficiente.

Em uma análise mais detalhada, na Figura 5, temos um comparativo das eficiências dinâmicas por ano e por região. Percebe-se uma redução do valor da eficiência do IF de Roraima, ao contrastar o último ano de avaliação com o primeiro. Isso pode ser justificada pela redução em 21% do IGC, além da diminuição de 53% da quantidade de vagas disponibilizadas.

O modelo estático apontou o IF de São Paulo como um benchmarking, ou seja, com a eficiência máxima. Isso difere do modelo dinâmico, que, apesar de incluí-lo no grupo das quatro DMU’s mais eficientes, atribuiu uma eficiência de 68,13. Ainda assim, os dois modelos apontaram uma redução de eficiência ao longo dos anos, a qual pode ser atribuída à redução de 5% do IGC.

O IF do Paraná foi considerado o segundo mais eficiente, de acordo com o modelo dinâmico, e o quarto mais eficiente no modelo estático. Contudo, os dois modelos apontaram uma diminuição do valor da eficiência ao longo dos anos, que pode ser fundamentada na redução de 96% do número de concluintes e de 5% do IGC.

O estudo mais aprofundado indica, portanto, que estas três DMU’s, apesar de estarem no grupo das DMU’s mais eficientes, apresentaram declínios nos valores das eficiências. Fato este que precisa ser considerado para propor melhorias e manter o bom desempenho desses IF’s.

Em contrapartida, as três DMU’s menos eficientes no modelo dinâmico são os Institutos Federais do Espirito Santo, da Bahia e o Fluminense. Este último também é o menos eficiente no modelo estático. Corroborando com os resultados de [Chang et al. 2009], que ilustram que mais investimentos nem sempre geram aumento no desempenho. Apesar de investirem numa maior quantidade de professores e técnicos, ofertarem um maior número de vagas e obterem um maior número de matriculas, foram os piores desempenhos produzidos. Ou seja, um maior gasto público para uma expansão pouco eficiente.

No caso do IF Espirito Santo, o número de concluintes cresceu em um ritmo bem menor aos investimentos, resultando em uma variação negativa do IGC em 15%. No caso do IF Fluminense, enquanto o IGC aumentou em razão dos investimentos, o número de concluintes ainda reduziu em 10%, ocasionando o pior desempenho nos dois modelos. O IF Bahia também obteve redução no número de concluintes em 41%, mesmo assim o IGC ainda subiu em 18%.

718



Entre os fatores relacionados a redução no número de concluintes está a evasão de alunos por motivos diversos como o descontentamento com o curso.

Figura 5 – Comparativo das eficiências dinâmicas por ano e por região

O caso do IF do Maranhão, nota-se um exemplo de crescimento de eficiência,

principalmente na região nordeste conforme a figura 5. O número de técnicos administrativos foi reduzido em 98% e ainda assim foi obtido aumento no número de concluintes em 228%. Já no caso do Pará, a eficiência dinâmica despencou em razão da redução no número de professores em 50% e a redução nas vagas disponíveis em 17%.

Conclui-se que a expansão dos Institutos Federais embora benéfica no sentido de ampliar o acesso à educação para a população como um todo, realiza-se de modo pouco eficiente pois apenas 9,7% das DMUs analisadas obtiveram eficiência igual ou maior do que 50%.

719



5. Considerações Finais O estudo desenvolveu-se com o objetivo de analisar de forma mais precisa a eficiência

dos Institutos Federais brasileiros. Assim, identificaram-se as unidades com melhor desempenho e que, consequentemente, podem servir como parâmetro para benchmarking. Ademais, verificou-se o impacto da expansão do número de campus e vagas ofertadas.

Ressaltou-se que, ao longo dos anos que o DEA passou por diversas fases. Os primeiros estudos trouxeram as variáveis de cunho financeiro em maior número, ao passo que técnicas mais específicas do setor foram desenvolvidas ao longo dos anos. Diferentes modelos e ferramentas auxiliares também foram empregados, em que se destacou, dentre esses, o DEA dinâmico.

O modelo de análise proposto confirma o impacto da variável quase fixa, bem como melhor representa a evolução da eficiência dos Institutos ao longo dos anos. Assim, por meio dos resultados obtidos, identificou-se que os investimentos realizados não estão gerando o produto esperado e que o número de concluintes e o IGC não respondem de forma satisfatória à crescente expansão do setor.

Outras variáveis poderiam entrar no modelo elaborado como, por exemplo, a satisfação dos alunos com o curso, entretanto, devido à indisponibilidade destes dados e a ausência de recursos para obtê-los, a sugestão fica para análises futuras. Referências Abbott, M., e Doucouliagos, C. (2003). The efficiency of Australian universities: a data envelopment analysis. Economics of Education Review, 22:89-97. Agasisti, T., e Wolszczak-Derlacz, J. (2016). Exploring efficiency differentials between Italian and Polish universities, 2001-11. Science and Public Policy, 43:128-142. Beasley, J. E. (1990). Comparing University Departments. Omega-International Journal of Management Science, 18:171-183. Benício, J. e Mello, J. C. S. (2012). Análise da eficiência DEA em departamentos de graduação universitária. In Anais do XLIV SBPO, p.833-845, Rio de Janeiro. SOBRAPO. Blackburn, V., Brennan, S., e Ruggiero, J. (2014). Measuring efficiency in Australian Schools: A preliminary analysis. Socio-Economic Planning Sciences, 48:4-9. Bradley, S., Johnes, G., e Millington, J. (2001). The effect of competition on the efficiency of secondary schools in England. European Journal of Operational Research, 135:545-568. Chang, D.-F., Wu, C.-T., Ching, G. S., e Tang, C.-W. (2009). An evaluation of the dynamics of the plan to develop first-class universities and top-level research centers in Taiwan. Asia Pacific Education Review, 10:47-57. Charnes, A., Cooper, W. W., e Rhodes, E. (1978). Measuring the efficiency of decision making units. European Journal of Operational Research, 2:429-444. Cook, W. D., e Seiford, L. M. (2009). Data envelopment analysis (DEA) - Thirty years on. European Journal of Operational Research, 192:1-17. Colbert A., Levary R. R. e Shaner M. C. (2000). Determining the relative efficiency of MBA programs using DEA. European Journal of Operational Research. 125:656-669. Cordero-Ferrera, J. M., Pedraja-Chaparro, F., and Salinas-Jimenez, J. (2008). Measuring efficiency in education: an analysis of different approaches for incorporating non-discretionary inputs. Applied Economics, 40:1323-1339. Delgado, V. M. S. e Machado, A. F. (2007). Eficiência das escolas públicas estaduais de Minas Gerais. Pesquisa e Planejamento Econômico, 37:427-464. Dyson, R. G., Allen, R., Camanho, A. S., Podinovski, V. V., Sarrico, C. S., e Shale, E. A. (2001). Pitfalls and protocols in DEA. European Journal of Operational Research, 132:245-259. Emrouznejad, A., and Thanassoulis, E. (2005). A mathematical model for dynamic efficiency using data envelopment analysis. Applied Mathematics and Computation, 160:363-378. Fuentes, R., Fuster, B., and Lillo-Banuls, A. (2016). A three-stage DEA model to evaluate learning-teaching technical efficiency: Key performance indicators and contextual variables. Expert Systems with Applications, 48:89-99.

720



Fukuyama, H., Weber, W.L., and Xia, Y. (2016). Time substitution and network effects with an application to nanobiotechnology policy for US universities. Omega-International Journal of Management Science, 60:34-44. Grosskopf, S., and Moutray, C. (2001). Evaluating performance in Chicago public high schools in the wake of decentralization. Economics of Education Review, 20:1-14. Harrison, J., and Rouse, P. (2014). Competition and public high school performance. Socio-Economic Planning Sciences, 48:10-19. Johnes, J. (2006 A). Data envelopment analysis and its application to the measurement of efficiency in higher education. Economics of Education Review, 25:273-288. Johnes, J. (2006 B). Measuring teaching efficiency in higher education: An application of data envelopment analysis to economics graduates from UK Universities 1993. European Journal of Operational Research, 174:443-456. Johnes, G. (2013). Efficiency in English higher education institutions revisited: a network approach. Economics Bulletin, 33:2698-2706. Johnes, J. (2015). Operational Research in education. European Journal of Operational Research, 243:683-696. Kao, C. (2013). Dynamic data envelopment analysis: A relational analysis. European Journal of Operational Research, 227:325-330. Kao, H.-Y., and Chen, B.-S. (2014). Efficiency classification by hybrid Bayesian networks-The dynamic multidimensional models. Applied Soft Computing, 24:842-850. Kempkes, G., and Pohl, C. (2010). The efficiency of German universities - some evidence from nonparametric and parametric methods. Applied Economics, 42:2063-2079. Li, L., Lv, X., Xu, W., Zhang, Z., and Rong, X. (2015). Dynamic super-efficiency interval data envelopment analysis. In: 10th International Conference on Computer Science and Education, ICCSE 2015, p. 213-218. Cambridge. IEEE. Liu, J. S., Lu, L. Y. Y., Lu, W.-M., and Lin, B. J. Y. (2013). A survey of DEA applications. Omega-International Journal of Management Science, 41:893-902. Ministério da Educação (2014). Expansão da Educação Superior e Profissional e Tecnológica. Disponível em: http://portal.mec.gov.br/expansao/images/APRESENTACAO_EXPANSAO_EDUCACAO_SUPERIOR14.pdf. Acesso em 20.06.2016. Mariano, E. B., Almeida, M. R. e Rebelatto, D. A. N. (2006). Peculiaridades da Análise por Envoltória de Dados. In: Anais da XII SIMPEP. Bauru. ABEPRO. Moreno, P. e Lozano, S. (2016). Super SBI Dynamic Network DEA approach to measuring efficiency in the provision of public services. International Transactions in Operational Research, 0:1-21. Ouellette, P., and Vierstraete, V. (2010). Malmquist indexes with quasi-fixed inputs: an application to school districts in Québec. Annals of Operations Research, 173:57-76. Pacheco, E. M., Pereira, L. A. C. e Domingos Sobrinho, M. (2009). Educação profissional e tecnológica: Das Escolas de Aprendizes Artífices aos Institutos Federais de Educação, Ciência e Tecnologia. T&C Amazônia. 16:2-7. Podinovski, V. V., Ismail, I., Bouzdine-Chameeva, T., and Zhang, W. (2014). Combining the assumptions of variable and constant returns to scale in the efficiency evaluation of secondary schools. European Journal of Operational Research, 239:504-513. Rosano-Peña, C., Albuquerque, P. H. M., and Daher, C. E. (2012). Productivity and efficiency dynamics in education spending in municipalities of the brazilian state of Goiás/ Dinâmica da produtividade e eficiência dos gastos na educação dos municípios goianos. Revista de Administração Contemporânea, 16:845-865. Sinuanystern, Z., Mehrez, A., and Barboy, A. (1994). Academic Departments Efficiency Via DEA. Computers & Operations Research, 21:543-556. Tavares, R. S. e Meza, L. A. (2015). Determinação da eficiência de cursos de engenharia de uma instituição federal de ensino superior. In Anais do XLVII SBPO, p.770-781, Porto de Galinhas. SOBRAPO.

721

AVALIAÇÃO DE EFICIÊNCIA DINÂMICA DO ENSINO … · importância das instituições federais no...

Documents

Transcript of AVALIAÇÃO DE EFICIÊNCIA DINÂMICA DO ENSINO … · importância das instituições federais no...