11

Avaliação e Qualidadede Recursos Educativos Digitais

José Luís Ramos – Universidade de Évora

Eu gostava, em primeiro lugar, de agradecer o convite que me foi dirigido pela Direcção-Geral deInovação e de Desenvolvimento Curricular – mais uma vez, espero corresponder à expectativa –,e de cumprimentar também os colegas, sobretudo os que fazem parte da bolsa de avaliadores.Alguns eu não tenho prazer de conhecer pessoalmente, e é hoje a oportunidade para isso, desejar--lhes as boas-vindas e desejar que tenham um dia bom.

O tópico que eu escolhi para poder fazer uma pequena intervenção está relacionado com a quali-dade e avaliação de recursos educativos digitais. Também gostava de fazer uma ressalva e dizerque o trabalho que vou aqui apresentar é o resultado do trabalho de uma equipa, já de há algunsanos e, portanto, estas ideias, estas coisas que aqui estão, são um pouco minhas, mas são sobre-tudo do grupo, e é um pouco também em nome do grupo que eu estou aqui a fazer esta pequenaintervenção, nomeadamente o Professor Vítor Teodoro, Francisco Melo Ferreira, José MouraCarvalho e Vicência Maio.

A primeira preocupação é acertarmos um pouco as ideias acerca do que entendemos por “recursoeducativo digital”. Certamente haveria outras formas de o enunciar. Nós, depois de alguns anosde trabalho e de discussão, chegámos a um conceito que consideramos que reflecte muito danossa perspectiva, do nosso trabalho. Um recurso educativo digital é um produto de softwareou um documento – e o documento é aqui tomado no sentido lato. Pode ser uma colecção dedocumentos – com algumas propriedades: a primeira é que esses produtos têm uma finalidadeintrinsecamente educativa; a segunda é que se enquadrem nas necessidades do sistema educa-tivo português; a terceira é que tenham uma identidade, uma autonomia, relativamente a outrosobjectos, a outros documentos; e, finalmente, que correspondam a padrões de qualidade previa-mente definidos. Portanto, com este conceito, com este entendimento, podemos agora avançarum pouco mais.

Ainda em relação à questão dos recursos digitais, também era importante, do meu ponto de vista,assinalar algumas diferenças. Os recursos não são todos iguais, nem todos são desenvolvidos ecriados da mesma maneira e exigem o mesmo investimento – investimento de recursos [materiais],investimento intelectual, etc. Portanto, podíamos distinguir, para podermos olhar para os recursoscom alguma capacidade de os analisar, três níveis: o nível mecânico, que não tem grande exigênciado ponto de vista dos seus fundamentos, dos seus objectivos – é um pouco “copy and paste”,é um pouco do que nós quase vamos fazendo no nosso dia-a-dia; o nível criativo – este nível jáexige fundamento, é um nível que já recorre, eventualmente, a outras fontes, a outros saberes,a outros recursos; e, finalmente, o nível de design, que é o nível claramente dos grandes projectosde software educativo, que exigem numerosas equipas, numerosos recursos e modelos de concepçãoindustrializados, digamos assim, e, claro, o resultado destes três níveis produz, evidentemente,recursos de natureza diversa, com finalidades diversas e também, obviamente, com qualidadesdiversas; não sendo de exigir o mesmo nível de qualidade a um recurso de nível mecânico e a umrecurso de nível de design, como é óbvio.

A questão da qualidade é, enfim, uma questão recorrente e uma questão muito interessante, sobre-tudo, para as instituições que devem garantir a qualidade dos recursos. Eu diria que a qualidadeé uma propriedade – é uma propriedade atribuída a um produto de acordo com um conjunto

12

pré-estabelecido de dimensões e de critérios. Portanto, a qualidade não é algo vazio, refere-se a umpadrão que é predefinido e é em comparação com este padrão predefinido que se poderá dizer se umproduto tem ou não qualidade. Tem qualidade em relação a quê? As escalas de qualidade vão desdeuma escala menos exigente, que é a ausência de defeitos no produto, até aos produtos da mais elevadaexcelência. E são os padrões que nos ajudam a definir onde é que o produto se vai situar.

Também algumas notas sobre os factores que, de alguma forma, condicionam, digamos, a questãoda qualidade do recurso. Desde logo, o escasso conhecimento do currículo pelo autor ou pelo criador.Muitas vezes, relativamente aos produtos que não têm qualidade, a primeira constatação óbvia é queaquela pessoa que fez aquele recurso não tem ideia do que é o currículo, não tem ideia do que é aaprendizagem, não tem ideia do que é a sala de aula, tem uma perspectiva muito limitada; e, portanto,esse é um dos factores que condicionam a qualidade. A outra é, às vezes, a utilização de tecnologiasultrapassadas; também a escassez de investimentos em recursos humanos, financeiros e materiais naconcepção e desenvolvimento dos produtos. Eu recordo que desenvolver um produto é algo extrema-mente oneroso e, muitas vezes, as pessoas não se dão conta de qual é o custo envolvido na produçãode determinado recurso: é bastante elevado, e isso é uma limitação para quem está (…) a criar e adesenvolver [conteúdos e recursos digitais]. Por outro lado, nem sempre – e isto também é visível emmuitos produtos – se tira partido do conhecimento científico disponível para melhorar a qualidade peda-gógica dos produtos. Já se sabe muito sobre a aprendizagem, já se sabe muita coisa sobre a interacçãohomem-máquina, já se sabe muito sobre “n” aspectos, mas depois nós não vimos esse conhecimentoreflectido nem na concepção nem depois na fase final do produto.

Algumas notas sobre como melhorar a concepção e o desenvolvimento dos produtos, e o produto finalem termos de qualidade: apoiar os criadores, montar dispositivos de ajuda do ponto de vista, sobre-tudo, da investigação e da educação; a disseminação dos critérios de qualidade nos lançamentos deconcursos, propostas, encomendas, convites – esse padrão de qualidade tem de estar visível, tem deestar disseminado para todos os actores, desde os criadores aos consumidores –, isso é fundamental; e adiscussão pública de projectos de criação de recursos: é extremamente importante que as ideias sejamsubmetidas ao crivo da discussão pública; passando pelo desenvolvimento do sistema de avaliação, certi-ficação e apoio ao uso de recursos educativos digitais, comummente designado, até agora e até ver,SACAUSEF – algo difícil de pronunciar, eu compreendo, mas é o nome que, por enquanto, ainda tem.

Este trabalho foi iniciado por volta de 2004 pela equipa que já mencionei. Tivemos a preocupação dever e de estudar modelos existentes, de estudar o que dizia a literatura científica sobre o assunto, e fomosconcebendo este modelo, que agora já está em fase de implementação. Esse modelo atenuava algumasdificuldades relacionadas com outros modelos anteriores, nomeadamente a utilização de check-lists,de instrumentos de verificação, de pontuações nos recursos, que não davam uma ideia muito aproxi-mada e, às vezes, podiam induzir em erro os professores e as escolas nas suas escolhas. Por exemplo,a utilização de uma escala de 0 a 100 para classificar um produto podia dar a ideia de que um produtoque tinha 70 pontos era claramente melhor que um que tinha 60. Bom, mas isso era obviamente insufi-ciente para avaliar, de facto, a qualidade do produto. Portanto, este modelo que nós fomos desenhandoe construindo tentou evitar erros e dificuldades anteriores e aproveitar aquilo que se fazia de melhor nestecontexto. Aliás, este é um modelo que está muito condicionado pela questão da certificação. A certifi-cação é um aspecto particular da avaliação e tem influências no desenho do modelo, e a resposta quenós demos foi conceber o modelo a partir de duas fases: uma fase de avaliação descritiva das suascaracterísticas intrínsecas e uma fase de avaliação em contexto, isto é, o produto, o recurso, vai para ocontexto da sala de aula ou outro contexto para o qual foi desenhado e, portanto, vai ser sujeito à utili-zação dos destinatários.

A primeira fase da avaliação do produto conduz directamente à certificação, isto é, a certificação nãopoderia estar dependente de uma avaliação do produto em contexto. A certificação utiliza o conceito

13

de qualidade de um produto que não tem defeitos, há ausência de defeitos, digamos, entre aspas, noproduto. Não tem “defeitos” científicos, não tem “defeitos” técnicos, não tem “defeitos” de linguagem,não demonstra inadequações relativamente a atitudes e valores… A ausência desses erros, desses“defeitos” em relação à natureza do produto de que estamos a falar permite a certificação do produto,o que, simplesmente, quer dizer que aquele produto está em condições de ir para a escola. Não temnada em si que possa provocar “danos” a terceiros. Portanto, eu diria que estamos perante os “serviçosmínimos” de qualidade do próprio produto. E depois, claro, existe a questão da avaliação em contexto,que permite a recolha de experiências de trabalho educativo e, posteriormente, a sua partilha no sistemade informação, de que falarei um pouco mais à frente.

Entre as duas fases da avaliação há uma fase que eu considero muito importante, que é a elaboraçãode um plano de avaliação em contexto. O plano de avaliação em contexto é um instrumento de gestãodo processo de avaliação. Assegura-se que quando aquele produto for avaliado na sala de aula sê-lo-árespeitando todas as indicações de carácter ético e de carácter moral, respeitando o ritmo do currículo,respeitando os alunos, e respeitando aquilo que, evidentemente, é importantíssimo para nós, que éa integridade dos nossos alunos. E, portanto, este plano funciona um pouco como a preparação doavaliador que vai definir o tempo, o modo e a forma como vai avaliar esse produto ao longo do anolectivo. Portanto, isto depois, em termos de timing, a avaliação em contexto tem uma margem de tempobastante mais elevada.

Falámos há pouco da qualidade e das suas dimensões no caso do sistema de avaliação, as dimensõesde qualidade que privilegiamos. Foram: a dimensão técnica – um produto que não tenha qualidadetécnica, muitas vezes, simplesmente, não corre e, portanto, aí acabou-se a qualidade, já não há maispara fazer; portanto, esta é uma das dimensões que é observada no produto; a dimensão do conteúdo;a dimensão linguística; a dimensão pedagógica; e a dimensão de atitudes e valores. Estas são as princi-pais dimensões de qualidade que são observadas no sistema de avaliação.

A partir destas dimensões foram desenvolvidos os instrumentos de avaliação, que contêm, digamos, todoo conjunto de critérios e parâmetros que, para cada uma das dimensões, são observados no produto.

Foram, evidentemente, observados também processos de validação dos instrumentos, o que, aliás, foiconcomitante com a formação dos avaliadores. Já foram realizados três cursos de avaliadores, comalgumas exigências do ponto de vista dos requisitos de entrada. As modalidades do trabalho educativotêm sido mistas, isto é, presencial mas também utilizando as plataformas LMS, e certificando tambémessa formação.

O sistema de informação está pronto, está desenvolvido, foi submetido a testes finais há muito poucosdias, e o sistema de informação tem, portanto, o que é normal num sistema destes: os processos deregisto dos utilizadores e os diferentes níveis de utilizadores, as áreas de trabalho do sistema de infor-mação, permitindo o processamento automático da informação do produto, desde a entrada do produtono sistema até à sua certificação e avaliação final. Evidentemente, com os avaliadores, a bolsa de avalia-dores dispersa geograficamente, cada um pode entrar no sistema registando-se, sendo os produtos atri-buídos por um supervisor, e fazendo-se toda a gestão e o controlo do workflow a partir do sistema deinformação.

O sistema de informação, para além dos processos mais automatizados de avaliação, dispõe ainda deáreas de comunicação e interacção entre os avaliadores e também entre os utilizadores. Tem fóruns,que permitirão a discussão à volta da utilização dos produtos, e os relatos de experiência, isto é, se umproduto é avaliado e é colocada uma avaliação em contexto que seja interessante, outros professorespodem, evidentemente, utilizar aquele produto e também podem complementar, trazer a sua perspectiva,

14

a sua experiência, também para o sistema de informação. Contém, evidentemente, todas as funcionali-dades de pesquisa e de consulta dos resultados da avaliação.

O produto entra através do editor, que preenche uma ficha de produto, que depois é analisada, e sãoentregues os devidos exemplares do produto (se for um produto em suporte CD-ROM) ou as chaves, oscódigos de acesso (se for um produto na Web).

Este é mais ou menos “o filme desta história” até aqui. A partir daqui, poderá haver outras opções e,às vezes, há pausas que podem ser úteis no sentido em que, e especificamente neste caso, é possívelintegrar o sistema de avaliação numa estratégia mais vasta de política educativa para este sector, o quepoderá trazer vantagens ao sistema educativo.

Este grupo… um pouco mais reduzido, foi também responsável pelos estudos preparatórios no que dizrespeito ao Eixo Conteúdos do Plano Tecnológico da Educação. Alguns dos estudos realizados: o diag-nóstico da situação em relação à existência de recursos digitais em Portugal, o estudo de iniciativas inter-nacionais de referência, e também ideias, propostas para o desenho de uma estratégia nacional derecursos educativos neste domínio.

Foi um trabalho de alguns meses – aliás, deu-nos muito trabalho, mas deu-nos muito prazer – e eudestacava uma ou duas notas. A primeira foi a quantidade de recursos que conseguimos inventariar, algoverdadeiramente surpreendente para mim, e mesmo para os meus colegas, que “andamos” todos os diasnestas coisas, foi a quantidade e, em muitos casos, a qualidade dos recursos que encontrámos. Encon-trámos centenas e centenas de recursos de professores, de associações, de escolas, de uma grande varie-dade de entidades. O que também observámos foi que, na maior parte dos casos, eram completamentedesconhecidos dos professores. Essa foi uma das notas do estudo diagnóstico. Uma segunda nota doestudo diagnóstico foi a colaboração, quer de professores quer de alunos quer de escolas quer da parteda indústria dos conteúdos – empresas que se dedicam a este domínio da criação de recursos, e queforam verdadeiramente fantásticas, colaboraram imenso connosco, deram-nos todo o apoio, e as suasideias, as suas perspectivas – e é um pouco a partir dessa informação que este trabalho foi possível. Estasideias são, basicamente, dos professores e das pessoas que estiveram connosco e tiveram a amabilidadede conversar connosco e de as partilhar.

Resumia agora um pouco algumas dessas ideias – evidentemente ainda num plano de propostas –,quatro aspectos: o aspecto da criação, o aspecto da organização e disponibilização, o aspecto daavaliação e, finalmente, o aspecto do uso.

Só para dar o exemplo de um projecto interessantíssimo, que se chama Mil Folhas: não é nenhumbolinho, mas um trabalho de professores e alunos de uma escola e que, de facto, mostra que os profes-sores e os alunos também podem ser criadores, também podem ser produtores de conteúdos (cf. emhttp://www.esec-valenca.rcts.pt/folha_000.htm).

Este é apenas um das centenas de projectos, de conteúdos, de recursos que nós analisámos na Internete que estão inventariados – um trabalho feito por professores e alunos. E eu sublinhava um pouco estaideia de que, hoje em dia, com as facilidades e com a tecnologia de que dispomos, estes projectos sãoaltamente motivadores, para professores, mas, sobretudo, para os alunos. Depois poderão ver com maisdetalhe.

No final das contas, o resultado do estudo de diagnóstico trouxe-nos a uma perspectiva que é um poucocontrária à perspectiva anterior de que a escassez era imensa, não havia recursos – e muitas vezes é esseum pouco o senso comum: “(…) Não há recursos”, “(…) Na minha disciplina também não, não, nãohá recursos”. Bem, a nossa conclusão é um pouco diferente. A nossa conclusão é a de que há recursos.

15

É evidente que não são suficientes para as necessidades de todas as áreas curriculares. Há áreas quesão um pouco mais favorecidas, outras menos. E, portanto, a cobertura curricular, em termos de recursoseducativos digitais, está longe de ser completa. Mas há recursos. E dizia-nos um professor, a certa altura,um pouco a comprovar a nossa conclusão: “Há muitos recursos, mas é para quem os sabe encontrar”,ou seja, também aqui há algum trabalho a fazer no sentido de, por um lado, organizar e facilitar, reuniros recursos num determinado espaço, de forma a que seja mais fácil encontrá-los, e, por outro lado,também, trabalhar ao nível das competências de pesquisa avançada, de modo a também facilitar esseaspecto.

E, portanto, a partir desta fase de diagnóstico nós considerámos que havia, evidentemente, necessidadede aumentar a quantidade e a qualidade dos recursos disponíveis em língua portuguesa para o sistemaeducativo.

Algumas formas de o fazer são mais clássicas do que outras, mas são os concursos, as propostas, osconvites, o apoio a projectos que tenham interesse e que, manifestamente, tenham qualidade, acordose parcerias – há imensos recursos em instituições públicas que decorrem da actividade da instituição:museus, bibliotecas, centros de investigação. São produtores de recursos, têm colecções de objectosverdadeiramente interessantes e que podem facilmente ser reutilizáveis e, portanto, dar lugar a novosrecursos – e, como tal, há que articular, há que “pôr as mãos na massa” e definir as medidas necessáriaspara aumentar a quantidade e a qualidade de recursos disponíveis.

Uma outra ideia também decorrente das nossas reflexões, da nossa observação da realidade e da nossainteracção com os alunos, com os professores e com as escolas é, evidentemente, a questão do financia-mento da escola para a aquisição de recursos. Este é um aspecto que, do nosso ponto de vista, já deviater sido resolvido há muito mais tempo. Primeiro, porque resolve aquilo que é verdadeiramente essencial,que é que os professores e os alunos tenham acesso aos recursos e a escola tenha a sua dotação, noorçamento, para que isso possa acontecer. Se não tiver recursos financeiros, não é possível. E, portanto,se nós queremos fazer alguma coisa do ponto de vista estratégico, do ponto de vista daquilo que é apolítica educativa neste momento, a primeira coisa a fazer é dar às escolas as verbas para que possamadquirir os recursos. Não há outra maneira. Podemos inventar muitas coisas, mas sem essa medida nãome parece que as coisas possam funcionar. Para além de resolver o problema essencial do acesso aosrecursos e da sua disponibilização, creio que ajudaria muitos outros aspectos que acontecem nas nossasescolas, nomeadamente relacionados com a questão dos direitos de autor.

Uma outra ideia seria, também, aproveitar melhor as capacidades das tecnologias instaladas: a criaçãoda WebTV, por exemplo, para a educação e para a formação. Existem projectos interessantíssimos.Recordo, por exemplo, o projecto Ciência Viva TV, que é um bom exemplo de como tirar partido dascapacidades do vídeo (cf. em http://www.cvtv.pt/home/).

No que diz respeito à questão da organização, coloca-se a questão do repositório de recursos educa-tivos digitais. Esta parece, evidentemente, uma questão, também, relativamente pacífica porque, emprimeiro lugar, poderemos reunir num espaço virtual aquilo que será, eventualmente, o repositório doPortal da Escola, os recursos que estão dispersos um pouco por todo o país: desde sites de escolas,páginas de escolas, páginas de professores, a blogues, páginas de associações, empresas, que estãoum pouco dispersos e que dá imenso trabalho procurar. Portanto, desde logo, facilitaria encontrar essesrecursos.

Em segundo lugar, as tecnologias hoje disponíveis permitem pensar um pouco mais além e sermos umpouco mais ambiciosos do ponto de vista do próprio repositório. E também combinar aqui recursosexistentes. E, nesse sentido, o repositório foi concebido a partir do conceito de comunidade. O reposi-tório é uma comunidade de comunidades. Mas nós não inventámos as comunidades, as comunidades

16

já existem. As comunidades já existem, são comunidades profissionais: da Matemática, da Biologia, daHistória, das Ciências Naturais, o que seja; essas comunidades existem, têm membros – são associações,são sociedades, são sociedades científicas, portanto, é algo que nós não inventámos. Essas comunidadesexistem.

O que é que nós propomos: trazê-las para o repositório e dar-lhes a oportunidade de participarem ede se responsabilizarem pelos conteúdos e recursos existentes no repositório. São estas comunidades quevão inserir os recursos, são estas comunidades que vão avaliar a qualidade dos recursos lá colocados,através de um sistema que é também utilizado no caso da publicação científica, a avaliação por pares:eu produzo um recurso, eu sou de História, e a minha comunidade de professores de História vai avaliar,do ponto de vista do conteúdo, do ponto de vista pedagógico, do ponto de vista técnico, se o recursotem condições para ser colocado no repositório – além de outros mecanismos de controlo de qualidadeque o repositório também prevê, nomeadamente, a pertença. A identidade e a pertença. Não pode seruma pessoa qualquer, que ninguém sabe quem é, não pode ser um anónimo. Ou seja, estão previstose propostos dispositivos que assegurem o controlo de qualidade.

A ligação com os repositórios europeus é fundamental. Nós, há muitos anos, felizmente, não estamossozinhos e, portanto, há mais gente a trabalhar neste domínio, há outras experiências, há outras escolas,outros professores, outros recursos, e essa riqueza é, claramente, fundamental para o nosso próprio cres-cimento e desenvolvimento.

E é aqui que eu vou apanhar outra vez a ideia do sistema de avaliação, porque é uma peça fulcraldesta estratégia. Nós vamos aumentar a quantidade e a qualidade dos recursos educativos digitais,vamos promover a sua criação, vamos organizar e disponibilizar, mas temos de assegurar os aspectos daavaliação e da certificação. No primeiro caso, nos recursos que são comerciais – portanto, são pagos –,certamente têm todo o interesse em ser certificados por um selo que dirá que aquele produto é reconhe-cidamente de interesse educativo; mas também os outros recursos que são de livre iniciativa das comuni-dades, dos professores, dos alunos, dos centros de investigação, dos museus, etc., e submetê-los tambémao crivo da avaliação da sua qualidade.

No entanto, criar recursos não chega. Os recursos em si também não valem de muito, é preciso depoisfazer o resto do caminho: é preciso levá-los depois para a sala de aula, é preciso usá-los, é precisoescrutiná-los, é preciso que os alunos tirem o melhor partido possível dos recursos.

Eu destacava talvez uma das nossas ideias: nós temos uma rede de bibliotecas escolares no país – nãofomos, evidentemente, nós que as inventámos, elas já existem, elas já trabalham – e a rede de biblio-tecas escolares trabalha muito bem já sobre este campo da literacia informacional e dos recursos digitais(cf. em http://www.rbe.min-edu.pt/).

Ora, não podemos, numa estratégia destas, deixar uma infra-estrutura desta dimensão e com esta quali-dade, e que existe nas escolas, junto aos alunos e junto aos professores, sem que ela possa ter igual-mente um papel relevante nesta componente. E, portanto, a nossa proposta vai no sentido também deatender àquilo que acontece nas escolas, em que nem sempre há comunicação entre as várias equipas.Há muitas equipas nas escolas, felizmente há já muitas equipas nas escolas, mas às vezes as equipasnão comunicam. E a nossa proposta era incitar as equipas que tratam destes aspectos a comunicarementre si.

Muitas vezes, estes produtos em suporte CD estão localizados e armazenados e “à guarda de alguém”numa parte da escola, junto dos coordenadores TIC (por exemplo), ou com os professores de Informática,ou no Conselho Executivo, mas depois não há informação da sua existência e não há comunicação;como também pode não haver análise da realidade, das necessidades, podem não se estabelecer as

17

prioridades, pode não haver uma discussão que permitiria, por um lado, a aquisição racional dosrecursos de que a Escola precisa.

Provavelmente, o dinheiro a disponibilizar não dará para comprar tudo de uma vez, há que compraruma coisa agora, depois outra, há que gerir esses recursos e a nossa proposta é que se constitua umaequipa de recursos digitais. Basicamente, é um dispositivo de comunicação entre as equipas que jáexistem: a equipa da biblioteca e a equipa TIC da escola.

Evidentemente que numas escolas isto fará sentido, provavelmente noutras não será tanto assim, pois jáexistem. Mas é uma ideia e, por isso, está aqui a ser submetida ao crivo da discussão pública.

As fontes consultadas para a preparação desta conferência foram as seguintes:

Ramos, J. L., Teodoro, V. D., Ferreira, F. M., Chagas, I. & Soares, J. P. ( 2008) Estudo de Imple-mentação do Portal da Escola – Eixo Conteúdos. GEPE/ME (no prelo).

BECTA (s/d) Quality principles for digital learning resources: an introduction. Disponível emhttp://partners.becta.org.uk/index.php?section=sa&catcode=_sa_cs_cf_in_04.