Hipermídia adaptativa para sistema de avaliação em cursos virtuais

Autor: Wallace ViannaOrientador: André Monat

Instituição: ESDI/UERJ

PPDESDI - Programa de

Pós-graduação ESDI

Rio de Janeiro, agosto 2007

Sumário

• Introdução• Estudo de caso1• Estudo de caso2• Esboço da proposta• Conclusões• Bibiografia• Agradecimentos

Introdução

Esta pesquisa pretende desenvolver um sistema de avaliação para cursos virtuais, com uso hipermídia adaptativa.

A tarefa a ser avaliada será uma etapa deste curso - a elaboração de ilustração com linhas de contorno, sem preenchimento.

A hipótese a ser trabalhada é até que ponto o uso de sistemas adaptativos podem ter um impacto positivo no processo de avaliação, em cursos desta natureza se for elaborado durante o processo de aprendizagem e não ao final.

A seguir iremos discorrer sobre dois estudos de caso, dentro da área de avaliação adaptativa

• Introdução• Estudo de caso1• Estudo de caso2

• Esboço da proposta• Conclusões• Bibliografia

• Agradecimentos

Estudo de caso1(a)

“Uma Ferramenta Adaptativa de Avaliação da Aprendizagem Baseada no Perfil Cognitivo e Metacognitivo do Estudante”.

O trabalho afirma que o ensino e avaliação de modo geral

• são uniformes (presenciais)• não consideram conhecimento prévio

(presenciais e virtuais)• não permitem ensino individual (presenciais)• permitem ensino individualizado mas não

possuem avaliação adaptável do NAC - Nível de Aquisição de Conhecimento nem do KMA e KMB – conhecimento adquirido e desvio do aprendizado (virtuais)

• Introdução• Estudo de caso1• Estudo de caso2

• Esboço da proposta• Conclusões• Bibliografia

• Agradecimentos

Estudo de caso1(b)A base do sistema são as informações cognitivas (NAC) e metacognitivas (KMA e KMB) do módulo aprendiz. A avaliação deve se dar da seguinte forma:

1) O aprendiz é avaliado para saber seu perfil inicial em cada item (conceito) do conhecimento em questão.

2) Essa avaliação inicial (metacognitiva) permite o aprendiz estimar seu próprio conhecimento da matéria.

3) Após essa avaliação (automática ou feita manualmente pelo professor) – o NAC do aprendiz naquele conhecimento é definido e o software sorteia as questões.

4) O aluno responde as questões sorteadas, e com base nos novos dados coletados uma avaliação final, adaptada, é exibida.

• Introdução• Estudo de caso1• Estudo de caso2

• Esboço da proposta• Conclusões• Bibliografia

• Agradecimentos

Estudo de caso1(c)

Ao final um relatório é exibido ao aluno sobre seu desempenho, com valores relativos a:• Nível metacognitivo inicial• Nível metacognitivo final• KMA e KMB• Tempo decorrido• Menor tempo de resposta• Maior tempo de resposta• Quantidade de questões sorteadas• Quantidade de acertos e erros• NAC• Encerramento antecipado por erros

consecutivos• Encerramento antecipado por atingir meta

de avaliação• Gráfico de desempenho• Análise do aluno (realista, pessimista e

respostas em tempo hábil)

• Introdução• Estudo de caso1• Estudo de caso2

• Esboço da proposta• Conclusões• Bibliografia

• Agradecimentos

Estudo de caso2(a)

“Willow: Avaliação automática e adaptativa de textos com respostas livres”

Os autores colocam que avaliações de múltipla escolha ou de preencher campos vazios não avalia o conhecimento do estudante completamente.

Esta abordagem não pretende substituir professores ou esgotar o assunto, mas fornecer uma forma alternativa de avaliação, seja como filtragem, cruzamento de dados ou treinamento adicional.

• Introdução• Estudo de caso1• Estudo de caso2

• Esboço da proposta• Conclusões• Bibliografia

• Agradecimentos

Estudo de caso2(b)

• No Willow o curso “textual” (idiomas, p.ex.) é organizado por assuntos (tópicos) que englobam coleções de perguntas.

• O professor seleciona as perguntas (ou cria novas) e decide quais serão modificadas ou adicionadas.

• O professor é solicitado a organizar o conteúdo por nível de conhecimento, faixa etária, tópicos e nível de dificuldade.

• As respostas - ou referências - corretas podem ser gerenciadas manualmente ou por um “algoritmo genético”, que poupa o professor de escrever todas as respostas do curso.

• Introdução• Estudo de caso1• Estudo de caso2

• Esboço da proposta• Conclusões• Bibliografia

• Agradecimentos

Estudo de caso2(c)• Inicialmente o aluno é avaliado com

perguntas para respostas textuais.

• O sistema captura as respostas e cria referências (palavras-chave) para medir o grau de conhecimento.

• As palavras da resposta são destacadas em cor verde mostrando o grau de acerto.

• Se o estudante erra, uma nova tela é apresentada com outras 3 questões, da mais básica à mais complexa, para guiá-lo à resposta correta.

• Se ainda assim não acertar as respostas é apresentada outra pergunta dentro de seu nível de dificuldade, faixa etária etc. Uma ajuda será mostrada para ajudá-lo a responder a nova questão.

• Introdução• Estudo de caso1• Estudo de caso2

• Esboço da proposta• Conclusões• Bibliografia

• Agradecimentos

Estudo de caso2(d)

• À medida que o estudante responde mais questões, o Willow analisa as respostas do estudante comparando com termos ou expressões corretas extraídas das referências.

• Cada termo corresponde a um conceito e possui um valor associado que é calculado pelo Willow para indicar o nível de conhecimento do estudante.

• Assim se gera um mapa conceitual do

alunos para o professor analisar o desempenho deste (o que não foi bem compreendido ou deve ser reforçado).

• Introdução• Estudo de caso1• Estudo de caso2

• Esboço da proposta• Conclusões• Bibliografia

• Agradecimentos

Esboço da proposta(a)

Cenário: Avaliação adaptativa dentro de curso virtual (á distância) de Corel X3.

Objetivo: desenvolver as competências de uso do software CorelDraw, para realização de ilustração

Estratégia: ensino do software através da execução de partes da ilustração, da mais simples para a mais complicada.

• Introdução• Estudo de caso1• Estudo de caso2

• Esboço da proposta• Conclusões• Bibliografia

• Agradecimentos

Esboço da proposta(b)

Esquema diagramático da tarefa avaliada:• O aluno recebe um gabarito (imagem) sobre

o qual irá traçar linhas soltas• Introdução

• Estudo de caso1• Estudo de caso2

• Esboço da proposta• Conclusões• Bibliografia

• Agradecimentos

Esboço da proposta(c)

• Se tiver mau desempenho nesta tarefa um exercício de reforço é proposto com ajuda teórica

• Introdução• Estudo de caso1• Estudo de caso2

• Esboço da proposta• Conclusões• Bibliografia

• Agradecimentos

Esboço da proposta(d)

• Se obtiver boa avaliação, o exercício prossegue do ponto onde foi interrompido até o final, onde será realizada avaliação final.

• Caso obtenha mau desempenho em algumas tarefas isoladas, é proposto exercício de reforço e avaliação englobando apenas as tarefas deficientes (adaptatibilidade).

• Introdução• Estudo de caso1• Estudo de caso2

• Esboço da proposta• Conclusões• Bibliografia

• Agradecimentos

Conclusões

A avaliação adaptativa depende

• da modelagem do usuário que pode ser feita através de avaliações anteriores, correntes e posteriores a atividade.

• do contexto (tarefa a ser avaliada).

• do feedback (retorno de informações) sobre o conhecimento do aluno sobre a matéria e o aprendizado

• da estruturação do curso se em conjunto da avaliação, não em separado.

• Introdução• Estudo de caso1• Estudo de caso2

• Esboço da proposta• Conclusões• Bibliografia

• Agradecimentos

Bibliografia

• Uma Ferramenta Adaptativa de Avaliação da AprendizagemBaseada no Perfil Cognitivo e Metacognitivo do Estudante, Claudio Cura, Danilo Nunes, Edson Pinheiro,Enio Bonano, Ricardo Mandaji , Enio Bonano, Ricardo Mandaji; Universidade Municipal de São Caetano do Sul, Brasil. Internet; acessado em junho de 2007

• Willow: automatic and adaptive assessment of students’ free-text answers; Diana Perez-Marin, Enrique Alfonseca, Pilar Rodriguiez, Ismael Pacual-Nieto. Internet, acessado em julho/2007

• Introdução• Estudo de caso1• Estudo de caso2

• Esboço da proposta• Conclusões• Bibliografia

• Agradecimentos

Gratos pela atenção!

• Wallace Viannawall@wallace.vianna.nom.brwww.wallace.vianna.nom.br

+55 0xx21 97043790• André Monat

andresmonat@yahoo.com.br

Sumário