Post on 24-Jan-2016
description
Avaliação da extensão: Aspectos teóricos e metodológicos
Começo de conversa...A ideia de uma universidade que dialoga com o social
Concepção marcada pelo interação dialógica pertinente e permanente com os distintos grupos humanos e sociais, criando canais de comunicação e participação para o desenvolvimento do potencial humano.
A universidade, seus saberes e valores, se fazem socialmente úteis.A investigação e a docência se nutrem da ação social- repensam o currículo e os projetos de investigação.
O que se sabe sobre o tema?• A instauração de processos avaliativos
da extensão universitária, nos últimos anos, indica a forte tendência de uma gestão da extensão que intenciona conhecer e analisar suas ações na sociedade.
• Há um espaço descoberto para a avaliação dos programas e projetos quanto aos seus efeitos e impactos na comunidade interna e na sociedade.
Dados de 2004- pesquisa Forproext
IPES que declararam possuir um sistema de avaliação implantado
Ações Total F% (n=38)Programas 29 76,32Projetos 33 86,84Cursos 32 84,21Prestação de serviços 13 34,21Eventos 20 52,63Produtos acadêmicos 15 39,47
Histórico da CPAE
1999 – XV Encontro Nacional, Campo Grande - criação do GT Avaliação
2001 – Publicação: Avaliação Nacional da Extensão Universitária – FORPROEX-MEC/SESu ( UFPR )
2001 – Criação da CPAE
Quatro elementos da avaliação
• (I) a atribuição de sentido aos processos avaliativos,
• (II) o uso de métodos e técnicas de investigação da realidade,
• (III) a ética dos processos e • (IV) a necessidade de estímulo ao
desenvolvimento de capacidade avaliativa nos projetos.
O que nos falta?
Sistematizar • A sistematização de
um processo de avaliação útil para o aperfeiçoamento dos projetos existentes,
• Construir diferentes formas de divulgação do que a extensão realiza e produz.
Divulgar
O que nos falta?
Um olhar multidisciplinar Como quebrar a lógica da
disciplinarização no ensino e nos processos de produção do conhecimento ?
Quanto mais multidisciplinares forem os grupos, maiores serão as condições de análise, intervenção e compreensão dos problemas sociais.
A crença na transformação confere a universidade um sentido para os conhecimentos que constrói e recria, propiciando uma ciência com consciência.
Extensão e avaliação
Se a extensão não tem um processo avaliativo sistematizado, como podemos valorá-la?•Como podemos propor a repetição de uma ação?•Como incorporamos as ações de extensão na imagem da universidade?•Como comprovamos que os recursos foram ou serão bem investidos?•Como convencer alunos, técnicos e docentes a participar das ações? E a comunidade externa?
Extensão e avaliação
A necessidade da avaliação da extensão origina-se da sua própria dimensão extra-muros ou extra sala de aula –os outros dois processos de aprendizado e formação de conhecimento –ensino e pesquisa –são naturalmente avaliados de forma constante, tanto interna, quanto externamente.
Por um começo...
• Os propósitos devem estar claramente identificados:
• O que se deseja conhecer?Que decisões se pretende tomar?
• Deve-se definir o pessoal responsável pelo projeto.
• Deve-se identificar os métodos e técnicas a serem utilizados.
Primeiro movimento- vontade política
a. Estabelecer o grau de pertinência, idoneidade, efetividade/eficácia e eficiência/rendimento de um programa, projeto ou serviço.
b. Determinar as razões dos êxitos e fracassos. c. Facilitar o processo de tomada de decisões
para melhorar e/ou modificar o programa ou projeto.
d. Analisar outros objetivos que podem ser alcançados.
e. Resultar em uma cultura organizacional que preze a melhoria continuada.
Definindo avaliação
A avaliação é uma forma de pesquisa social aplicada, sistemática, planejada e dirigida; destinada a identificar, obter e proporcionar de maneira válida e confiável dados e informação suficiente e relevante para apoiar um juízo sobre o mérito e o valor dos diferentes componentes de um programa... de forma tal que sirva de base ou guia para uma tomada de decisões racional e inteligente entre cursos de ação. (Aguilar e Ander-Egg, p. 31-32).
Avaliação: em busca de um sentido
• O melhor sentido da avaliação é que seja utilizada como meio de melhorar os projetos existentes, aprimorar o conhecimento sobre sua execução e contribuir para seu planejamento futuro, tendo como pano de fundo sua contribuição aos objetivos institucionais.
Projetos?
• Até que ponto a extensão trabalha com projetos no sentido da experimentação e aprendizagem contínua?
• Projeto é um empreendimento com objetivo identificável, que consome recursos e opera sob pressão de prazos,custos e qualidade( Kerzner, 2002).Se não podemos considerar nossa ação como projetos ...fica difícil pensar na
avaliação.
Avaliar , acompanhar, monitorar
O planejado foi realizado?O monitoramento é uma avaliação contínua e faz parte integral do gerenciamento do projeto.-O monitoramento diz respeito a observação regular e sistemática do desenvolvimento das atividades . -a avaliação analisa criticamente o andamento do projetos segundo seus objetivos, segundo as informações obtidas pelo MONITORAMENTO.
Avaliar , acompanhar, monitorar
A avaliação é conduzida periodicamente tanto pela equipe do projeto quanto pelos beneficiários e com a ajuda de equipes externas.
Um sistema de monitoramento requer a adoção de indicadores.Indicador - O que demonstra a, sinaliza a evolução, o avanço rumo aos objetivos, as metas?
Avaliação: para quê???
Um processo de avaliação, para ter sucesso, deve contar com a participação efetiva dos avaliados.Mas quem gosta de ser avaliado?A avaliação é considerada◦Punitiva◦Investigativa◦Comparativa
Macro- indicadores• Eficiência – quais os
resultado com menor dispêndio de recursos?
• Eficácia- quais os resultados alcançados com os meios sob controle?
• Efetividade- quais foram osresultados exitosos sob condições reais não controladas?
• Impacto- quais resultados foram mantidos ?
Princípios gerais
• Definidos com precisão, • Consistentes, • Específicos, • Fáceis de coletar,• Mostrar resultados materiais.
Conceitos-chave
• Eficiência - refere-se à rentabilidade econômica que, em alguns casos, deve ser considerada dentro da avaliação. Diz respeito ao custo do projeto em relação aos resultados obtidos.
• Eficácia, analisa-se até que ponto estão sendo alcançados os resultados previstos e mesmo se os resultados previstos são pertinentes
Exemplo:
Eficiência Eficácia
Ex: o projeto foi eficiente pois em 3 meses atendeu 25 pessoas com cinco estudantes a um desembolso de R$ 250, o que significa 5 pessoas por estudante, R$ 10 por pessoa, média de 8,33 pessoas/mês; o projeto não foi eficaz, pois em 60% das pessoas o nível de alfabetização não foi suficiente para uma leitura de um texto de 10 linhas em letra cursiva
Eficiência
• Revela o grau de utilização de recursos
• ◦Quantas horas?• ◦Quantas salas?• ◦Quantas cópias?• ◦Quantas pessoas?• ◦Quantas viagens, almoços, diárias?• ◦Quanto custou?• ◦Quanto rendeu?
Sobre eficáciaAnos 90-dimensões desejáveis de desempenho
das organizações e programas-eficácia, eficiência e efetividade.
Eficácia é o grau de atendimento às metas e objetivos estabelecidos.
O programa ou projeto produziu algum efeito sobre os seus beneficiários? quais?
Não é tarefa fácil...Como cada um percebe?Precisamos de formas para medir o
desempenho perante os objetivos e metas almejados.
EficáciaI
Indicadores de eficácia• 1. Sistema gerencial• 2. Processo de divulgação e
informação• 3. Processos de seleção de
agentes implementadores e beneficiários
• 4. Sistema operacional- financiamento, gasto, provisão dos recursos materiais
• 6. Processos de monitoramento e avaliação interna
Como assim?• Capacidade de implementar
decisões• Diversidade de canais,
suficiência e qualidade das mensagens
• % de publico atingido, agilidade de fluxo
• Suficiência dos recursos, prazos e fluxos qualidade da infra-estrutura, material de apoio
• Regularidade, abrangência e agilidade na identificação dos desvios e incorreções, agilidade para recomendar correções..
Indicadores de impacto/efetividade
Efetividade• Impactos- variações
mudanças na realidade
• Efeitos sociais –opinião e satisfação dos atores
• Efeitos institucionais - sustentabilidade e reprodutibilidade
Como assim?• Taxas de crescimento de
um fenômeno, intensidade da mudança
• Avaliação do atores
• Níveis de aprendizagem institucional, inovações, autonomia, transferência de metodologia, institucionalização dos processos.
Mais conceitos
• Efetividade se refere ao resultado mais imediato provocado pela intervenção. Fizemos o que tinha que ser feito?
• Impacto se refere às consequências ou aos produtos finais que resultam, direta ou indiretamente, de uma intervenção
Impacto
• É a análise das mudanças duradouras ou significativas, previstas ou não, na vida dos indivíduos, grupos familiares ou comunidades, ocasionadas por determinada ação ou série de ações, decorrente de uma política, projeto social ou programa. ( DRAIBE, 2001)
Impacto
• O impacto se reflete nas mudanças na cultura ... É a permanência dos novos hábitos e é também a expansão dos efeitos imediatos em espaços colaterais que se verifica a médio e longo prazos.
• Lembramos que a avaliação de impacto não é trivial. Há muita dificuldade de atribuição do impacto a um determinado Programa ou Projeto pois, no mundo social/relacional há inúmeras fontes intervenientes simultaneamente.
Onde nos metemos?a melhoria da condição humana, nas áreas de saúde, educação e
assistência social, apoio a atividades econômicas das classes de baixa rendaalimentação e nutrição,formação de mão de obra, geração de emprego e renda, habitação popular, melhoria de condições sanitárias de áreas periféricas aos grandes
centros urbanos, renovação de áreas urbanas degradadas, promoção da saúde, assistência médica, preventiva ou curativa, apoio a clínicas de saúde mental, de tratamento de excepcionais, assistência para a preservação das famílias, proteção à criança e ao
adolescente, apoio a menores abandonados ou delinquentes, tratamento de viciados em drogas
Quando avaliar?
• Ex ante– Consiste na análise da relevância e
viabilidade –política, técnica , financeira e institucional para que se possa decidir se o projeto deve ou não ser implementado.
Qual o cenário atual?
Ex-ante em extensão Realiza-se antes de iniciar um programa ou
projeto. Tem o foco na formulação, ou seja, verifica o cumprimento das condições requeridas para a implementação do projeto;
Permite ajustar a formulação do programa ou projeto, produzindo melhorias ainda no desenho;
Pontos a serem analisados: pertinência (se responde ao que se propõe); coerência interna (entre recursos, objetivos, atividades, etc); factibilidade (se estão dadas as condições no contexto para o desenvolvimento do projeto);
É realizada por alguém externo ao programa ou projeto.
Ex-anteExiste um problema?Qual é o problema? Quais
são os elementos essenciais do problema?Quem está(ão) afetado(s) pelo problema? Ou
seja, qual é a população--objetivo?Qual é a magnitude atual do problema e suas
conseqüências?Conta-se com toda a informação relevante
acerca do problema para realizar um estudo acabado?
Dispõe-se de uma visão clara e definida do meio geográfico, econômico e social do problema?
Ex-anteQuais são as principais dificuldades para
enfrentar o problema?Que necessidades serão atendidas e, em conseqüência, quais sãos os bens e/ou serviços que constituirão os produtos do projeto?
Quanto existe de recursos e em que condições?Onde estará localizado?Quando se vai iniciar o projeto? Em alguns casos
há condicionantes temporais que limitam a possibilidade de começar a operação do projeto.
Que alternativas são propostas para levá-lo a cabo?
Quando avaliar?
• Durante a execução• Enfocando seus produtos, eficácia e
repercussão.
Até que ponto a proposta inicial está sendo cumprida?
Quais ações corretivas podem ser tomadas?
Quando avaliar?
• Ex post Ao final do projeto dimensiona sua
eficácia, eficiência e impacto.
Que lições extraímos?
Síntese
• Avaliação ex-ante- O projeto deve ser implementado?
• Monitoramento- Como está o processo?
• Avaliação ex-post - Quais foram os resultados?
Tipos de avaliação
• Externa(Não incide sobre a extensão)• Interna( A avaliação interna é realizada por
técnicos da instituição mas independentes da unidade de implementação, processo de revisão qualitativa, realizado dentro de uma instituição para seu próprio fim/uso (com ou sem o envolvimento de pares externos).
• mista • auto-avaliação- a auto-avaliação é,
necessariamente, realizada por quem está directamente envolvido na gestão e implementação do programa
Av. Externa e Interna
Av. Externa• - uma avaliação externa
nunca terá condições de perceber e compreender todos os contextos da acão, será sempre superficial, situar-se-á sempre nas margens das atividades Será sobretudo uma avaliação ao serviço do controle e da regulação
Av. Interna
Quem quer uma avaliação ao serviço da compreensão, da entre-ajuda, da formação, da melhoria e do desenvolvimento profissional defende uma avaliação interna.
Processos e conversas difíceis
Quem deve fazer?O coordenador da açãoPor quê? Para saber o esforço despendido
na ação, para indicar o retorno do investimento, para qualificar os recursos utilizados, indicar a necessidade de substituição ou aquisição de novos equipamentos ou serviços...
Por quê? Para demonstrar a eficiência da Pró-Reitoria de Extensão no atendimento das demandas
Fará de boa vontade? Não espere um sorriso sincero.
Processos e conversas difíceisQuem deve fazer?–A Pró-Reitoria de Extensão•Por quê? Para saber os recursos
envolvidos na ação, para verificar o retorno do investimento, para identificar a demanda do público, para qualificar os recursos utilizados, indicar a necessidade de substituição ou aquisição de novos equipamentos ou serviços...
•Por quê? Para demonstrar a eficiência da Pró-Reitoria de Extensão no atendimento das demandas
•Fará de boa vontade? Normalmente, sim, mas será que saberá fazer????
Como se pode fazer?
• ◦O coordenador de extensão• Deverá manter os registros da
utilização dos recursos, do recebimento dos inputs solicitados, das horas dedicadas à ação, das razões de falha e dos motivos de sucesso
• Uma dica útil: registro da forma de divulgação da ação, dos motivos que levaram o público a buscar a ação.
Como se pode fazer?
◦A Pró-Reitoria
Deverá manter os registros da real utilização dos recursos solicitados, da entrega dos inputs solicitados, das horas alocadas à ação pelo coordenador e equipe, das razões de falha e dos motivos de sucesso da atitude da Pró-Reitoria
Uma dica útil: registro da forma de divulgação da ação por parte da Pró-Reitoria, um “clipping”
Como se pode fazer?
• ◦A partir de formulários de ação bem construídos
• ◦A partir de roteiros de relatórios bem construídos
• ◦A partir de auditorias• ◦A partir de entrevistas• ◦A partir de sistemas de registro de
ações concebidos a partir da avaliação
Fala sério!
• O Coordenador da ação NÃO faz essa avaliação de forma espontânea... Se for forçado a fazê-la, por conta de Resoluções, o resultado poderá ser ruim, com colocações genéricas do tipo:
• ◦A ação foi executada como planejada;• ◦Os resultados obtidos são plenamente
satisfatórios• ◦Todos gostaram muito.
Conversa difícil!O processo avaliativo é essencialmente
político. Se for adotado, a instituição tem que entender que isso demandará:
–Esforço–Tempo–Dinheiro–Estrutura–Metodologia–Regulamentação
Dá para simplificar?Sim! Mas só depois de pensar no
processo como um todo e na forma de sua execução. Não há uma solução padrão, pois a extensão é uma característica de cada Universidade.
•A forma mais fácil e viável de retirar as informações necessárias é facilitar a vida do coordenador.
Uma possibilidade básica:– Utilizar-se de Sistemas informatizados
de registro e relato de ações
Passo a passoDa ação–Da concepção da ação: capacidade de planejamento
do coordenador, diagnostico, habilidade em determinar os recursos necessários, identificação correta do público alvo, adequação dos horários e locais oferecidos...
–Da realização: capacidade do coordenador em dirigir a ação, em buscar solução para problemas não previstos, facilidade de comunicação com a Pró-Reitoria (ou se os canais de comunicação são adequados), previsão correta de equipamentos, materiais, do cronograma, da especificação
Passo a PassoDo Coordenador–Durante a concepção: capacidade de comunicação
com a Pró-Reitoria e outros docentes; conhecimento do problema e da realidade da Universidade e do público; observação de prazos e normas; destaque dado ao nome da Universidade;
–Durante a realização: organização dos materiais, dos equipamentos, da sala; cumprimento de prazos e normas para a realização do relatório final; conhecimento dos fluxos de processos
Passo a passo Da Pró-Reitoria –Durante a concepção: como as normas e regras são
entendidas pelos coordenadores; como as facilidades oferecidas pela Universidade e pela Pró-Reitoria são acessadas pelos coordenadores; como a equipe atende as solicitações; como apóia a divulgação das ações planejadas
–Durante a realização: organização dos materiais, dos equipamentos, da sala solicitados; cumprimento de prazos para o fornecimento dos materiais solicitados; facilidade de atender demandas inesperadas; atendimento no processo de inscrição; identificação de salas...
O que se faz com isso?
Superar o “achismo”! Discussão da política de extensão.
Desenvolvimento de projetos integrados em parceria com setores da sociedade,
Decisão quanto a oferta de cursos de preparação de projetos e avaliação,
Elaboração de manual de comunicação, Lista de contatos emergenciais para atendimento de
demandas, Comparação de custos entre ações, Análise de horários, equipamentos e locais mais
adequados para cada tipo de ação, Lista de possíveis públicos-alvo para próximas ações.
Avançar no debateDe que forma a experiência de participação em projetos de
extensão é valiosa na formação do estudante, principalmente quanto à construção de sua cidadania profissional?
De que forma a composição de grupos de estudantes de cursos diferentes propicia uma experiência de diálogo multidisciplinar frente a situações concretas da realidade social?
De que forma a participação de professores nos programas vem se constituindo num processo de descoberta de alternativas de trabalho acadêmico no âmbito do seu campo de conhecimento?
Avançar no debateDe que forma as relações professor / aluno, em
programas de extensão permitem a construção de uma pedagogia diferenciada da que é experimentada no âmbito das disciplinas convencionais?
De que forma a flexibilização, a indissociabilidade, a autonomia na construção do conhecimento, a formação do espírito de pesquisa, a criatividade, a criticidade, a articulação entre campos do conhecimento estão presentes nessas experiências?
O que NÃO se deve fazer com isso?
◦Punir◦Restringir◦Reclamar◦Depreciar◦Se nada de bom será feito com a
avaliação, a política avaliativa deve ser revista
◦Se a avaliação é propositiva e construtiva, um ambiente de cooperação e sinceridade começa a ser possível...
Avaliar a favor de quem?• É possível afirmar que a avaliação ao
longo dos últimos anos deixou de ser considerada um processo exclusivamente técnico...
• O estudo das representações sociais vieram mostrar que o processo social é permeado de elementos culturais, sociais e econômicos, sendo compreendido e vivenciado diferentemente pelos vários atores que dele participam
Conflitos, interesses...
• A avaliação, portanto, levaria em conta a análise crítica de se determinado projeto se coadunaria ou não aos valores culturais e expectativas dos vários atores sociais envolvidos, assim como às suas realidades sócio-econômicas (Atkinson, 1993)
Um quadro sempre ajudaInstâncias Categorias Detalhamento Instrumento
Coordenação do Projeto
Relevância Acadêmica A proposta está em consonância com a concepção ediretrizes de extensãoTem potencial para o desenvolvimento deatividades de ensino e/ou pesquisaTem potencial para desenvolver atividadesinterdisciplinaresPrevê envolvimento de alunos
Viabilidade identificação clara de público-alvonecessidade do parecer do Comitê de Éticaos recursos humanos e financeiros estão descritosos agentes financiadores/parceiros estão especificados
Relevância Social Aborda e/ou dissemina conhecimentos sobre questõessociais relevantes para a Universidade / Sociedade
“ A história da extensão nas universidades é também um registro das dificuldades para definir como pode ser desenvolvido o “compromisso social” dessa instituição com a sociedade [...] Desde a sua gênese, a extensão universitária parece ser uma compensação pelo ensino alienado e pela pesquisa descomprometida com a realidade social. “ (Botomé, 1996)
"Hoje é hoje , amanhã será amanhã, é hoje que tenho a responsabilidade,não amanhã, se estiver cega. Responsabilidade de quê. Responsabilidade de ter olhos quando os outros os perderam." José Saramago Texto extraído do livro "Ensaio sobre a cegueira".
Sonia Regina Mendes dos Santossoniamen@superig.com.br