Validade e Fiabilidade de instrumentos de avaliação
-
Upload
cristinabarcoso -
Category
Education
-
view
377 -
download
0
Transcript of Validade e Fiabilidade de instrumentos de avaliação
A AVALIAÇÃO DAS APRENDIZAGENS DOS ALUNOS: CONSTRUÇÃO E CLASSIFICAÇÃO DE ITENS DE AVALIAÇÃO
Formadora: Cristina Barcoso Lourenço [email protected]
SUMÁRIO: validade e de fiabilidade; índice dedificuldade dos itens; índice de discriminação dos itens;mancha dos resultados do teste
AGENDA
2A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação
5ª SessãoContinuação da sessão anteriorReflexão sobre o seguinte tema: questões de validade e de fiabilidadeÍndice de dificuldade dos itensÍndice de discriminação dos itensMancha dos resultados do teste
4A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação
PARA QUE SERVEM AS NOTAS? (texto entregue)
1.QUESTIONAMENTO ACERCA DA VALIDADE E DA FIABILIDADE.
2.PROFESSORES CATALOGAM OS ALUNOS?3.“SE OS ALUNOS PENSAM QUE AS NOTAS
NÃO RECOMPENSAM O SEU TRABALHO DE UMA FORMA JUSTA, A MOTIVAÇÃO DESAPARECE.
VALIDADE E FIABILIDADE
5A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação
Questões de validade e de fiabilidade (análise e discussão do documento entregue).
TESTE
6A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação
Teste = instrumento de medida a que se recorre para avaliar determinados conhecimentos e capacidades. A classificação que lhe é atribuída deve apresentar um elevado grau de exatidão.
Classificação obtida = Classificação verdadeira (ou universal) + Erro de medição
Diminui a exatidão da classificação atribuída. Podeconsiderar-se como uma inconsistência, já que, deuma medição para outra, as medidas obtidas nãoestão de acordo, não são consistentes.
PORÉM qualquer medição é naturalmente afetada de erro, pelo que, para cada aluno, submetido a um teste, se pode considerar:
VALIDADE E FIABILIDADE
7A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação
São duas das principais característicaspsicométricas da avaliação.
Teste é válido se avalia realmente aquilopara que foi construído.
Se um teste não avalia o que é supostoavaliar então a sua utilização éenganadora.
FERNANDES, Domingos (2008). Avaliação das Aprendizagens: Desafios às teorias, páticas e políticas. Lisboa, Texto Editores, págs 113-115.
VALIDADE E FIABILIDADE
8A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação
validade que avalia até que ponto oprocedimento de medição produz aresposta correta.
fiabilidade que avalia até que ponto umprocedimento de medição produz amesma resposta independentemente daforma e da altura em que é aplicado.
VALIDADE
9A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação
A validade de um teste é representada pelo grau de exatidão com que o instrumento de avaliação consegue avaliar o que na verdade pretende medir.
A validade não se refere propriamente ao teste em si mesmo, mas sim à interpretação de resultados tendo em vista um determinado propósito.
O conceito de validade surge, assim, sempre no contexto de uma situação de avaliação, o que conduz a diferentes tipos de validade.
VALIDADE
10A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação
A validade de um instrumento é definida como apropriedade de medir aquilo que se pretendeque meça.Para analisar a validade de uma observação ou deum instrumento, temos de procurar saber o queestá a ser medido e através de que variáveis(critérios de classificação). Os diferentes meios deanálise conduzem a diferentes tipos de validade, oque por sua vez condiciona o nossoconhecimento.
https://estudogeral.sib.uc.pt/bitstream/10316/9968/1/RD199801.pdf
VALIDADE
11A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação
Literatura refere vários tipos de validade:1. Validade de previsão – em que medida
um teste é um bom indicador dedesempenhos futuros da pessoa que oresolve.
2. Validade de conteúdo – em que medidaum teste contém uma amostrasignificativa do conteúdo relevante dodomínio(s) que foi ensinado e que sepretende avaliar.
FERNANDES, Domingos (2008). Avaliação das Aprendizagens: Desafios às teorias, páticas e políticas. Lisboa, Texto Editores, págs113-115.
VALIDADE
12A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação
3. Validade concorrente – em que medidaos resultados do teste se correlacionamcom os resultados de outro teste ou deoutra avaliação das mesmas ou outrasaprendizagens.
4. Validade de constructo – em que medidao teste é uma aferição adequada doconstruto, da competência que está a seravaliada.
FERNANDES, Domingos (2008). Avaliação das Aprendizagens: Desafios às teorias, páticas e políticas. Lisboa, Texto Editores, págs113-115.
VALIDADE
13A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação
INVESTIGADORES…RELEVAM A VALIDADE DE CONTEÚDO.CONSIDERAM…Que a validade de um teste não deve estar apenasdiretamente relacionada com o teste em si mesmo,ou com os resultados que produz, mas também coma interpretação e utilização que se faz dessesresultados e com as consequências das decisõesavaliativas. É a introdução das questões de naturezaética e social na elaboração de um conceito que eraapenas considerado do ponto de vista psicométrico.
FERNANDES, Domingos (2008). Avaliação das Aprendizagens: Desafios às teorias, páticas e políticas. Lisboa, Texto Editores, págs113-115.
FIABILIDADE
14A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação
Quando se classifica um teste pretende-se que o grau deexatidão, com que o instrumento de avaliação mede oque na verdade pretende medir, seja o maior possível.
A fiabilidade de um instrumento de avaliação é aconsistência dos seus resultados.Para analisar se um teste é fiável temos dequantificar em que medida o desempenho dosalunos se mantém sensivelmente o mesmo, seresolverem o exame em tempos ou ocasiõesdiferentes.
FERNANDES, Domingos (2008). Avaliação das Aprendizagens: Desafios às teorias, páticas e políticas. Lisboa, Texto Editores, págs 113-115.
FIABILIDADE
15A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação
UM TÉCNICA CLÁSSICA PARA AVALIAR A FIABILIDADE DE UM TESTE ÉADMINISTRAR O MESMO TESTE COM ALGUNS DIAS DE INTERVALO E COMPARAR OS DESMPENHOS OBTIDOS EM CADA ADMINISTRAÇÃO - RETESTE
FERNANDES, Domingos (2008). Avaliação das Aprendizagens: Desafios às teorias, páticas e políticas. Lisboa, Texto Editores, págs 113-115.
FIABILIDADE
16A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação
Fatores que influenciam a fiabilidade de um teste
Fatores inerentes ao aluno- Instabilidade de características pessoais- Modo como o aluno reage a tarefas avaliativas- Saúde-…Fatores inerentes ao processo de aplicação da prova- Deficientes condições em que a prova é aplicada- …Fatores relativos ao instrumento de avaliação- Imprecisões ou ambiguidade na formulação dos itens- Deficientes critérios de classificação- …
FIABILIDADE
17A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação
Fatores que influenciam a fiabilidade de um teste
Fatores inerentes ao classificador- Personalidade- Experiência- Efeito de halo (interferência causada devido à simpatia ou antipatia que o avaliador tem pela pessoa que está sendo avaliada)- Hierarquia de critérios- Momento em que se efetua a classificação- Duração da sessão de classificação- Intervalo entre as sessões de classificação- …
FIABILIDADE
18A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação
Processos de moderação que contrariam os fatores que influenciam a fiabilidade da classificação:
Formação de avaliadoresResolução e análise detalhada da prova antes de se iniciar a classificaçãoAnálise detalhada dos critériosMulticlassificação das provasClassificação item a item ou grupo a grupoVariação da ordem da classificação das provas…
FIABILIDADE
19A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação
Critérios de ClassificaçãoNos exames nacionais, provas de aferição e testes intermédios estão enunciados os critériosde classificação gerais e específicos dos testes.Na construção de critérios gerais de um teste, a sua elaboração deve ser tão exaustivaquanto possível, de forma a aumentar a fiabilidade da classificação.
Duas metodologias para a elaboração de critérios específicos de classificação:
Classificação Criterial — em que se atribuem pontos ou códigos a cada uma das
várias fases do processo de resolução do item. Podem, ou não, construir-se diferentescenários de resposta e para cada um deles subdivide-se a cotação pelas várias fases deresolução que o aluno deve percorrer.
Classificação Holística — o avaliador parte de uma impressão global sobre as
características da resposta dada, apreciando a resposta como um todo e não nas suaspartes componentes.
Nos exames, provas nacionais e testes intermédios segue-se a primeira metodologia,embora o ponto de partida possa ser o da segunda, especialmente quando se trata derespostas extensas, uma vez que ao se agruparem as respostas em categorias, de acordocom a sua qualidade, o classificador estabelece modelos de referência que o ajudam aminimizar a interferência da subjetividade na classificação.
FIABILIDADE
20A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação
Cabe aos avaliadores a tarefa de assegurar aclareza das instruções, a qualidade eadequabilidade dos itens e a aplicaçãoinequívoca dos critérios definidos.
Este último aspeto, relativo à fiabilidade daclassificação, torna-se bastante dependentedas características do classificador que deveestar consciente dos efeitos das suas própriasopiniões e expetativas sobre a avaliação.
CONCLUÍNDO…VALIDADE E FIABILIDADE
21A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação
VALIDADERepresentada pelo grau de exatidão com que o instrumento de avaliação consegue avaliar o que na verdade pretende medir. Precisão com que o teste mede aquilo que se propõe medir.Grau em que conhecemos aquilo que a prova está a medir.Um instrumento é válido na extensão em que mede aquilo a que se propõe medir.
FIABILIDADEConsistência da medida, dos resultados, fornecida pelo teste.
CLASSIFICAÇÃO DE UM ALUNO – medida do construto= classificação verdadeira + erro de medida
ANÁLISE DOS RESULTADOS
22A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação
ÍNDICE DE DIFICULDADEO índice de dificuldade de um item está relacionado com a percentagem de respostas corretas dadas a esse item. Um item é tanto mais difícil quanto menor é o seu índice de dificuldade.
ÍNDICE DE DISCRIMINAÇÃOO índice de discriminação de um item, num teste, traduz a diferença de sucesso, nesse item, entre os alunos com melhor classificação no teste e os de classificação mais baixa.
EXERCÍCIO PRÁTICO
23A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação
CONSTRUÇÃO DE UMA GRELHA DE CLASSIFICAÇÃO E ANÁLISE DOS RESULTADOS OBTIDOS NUM TESTE
1. Criar a grelha1.1. Preparar a grelha de classificação. Usar a função SOMA1.2. Criar menções qualitativas1.3. Criar cores nas menções qualitativas1.4. Criar cores na coluna das cotações
2. Analisar resultados2.1. Calcular nº alunos (função CONTAR), médias (função MÉDIA) nº de negativas/positivas (função CONTAR.SE), criar gráfico2.2. Determinar o índice de dificuldade
2.2.1. Criar gráfico2.3. Determinar o índice de discriminação
2.3.1. Criar gráfico2.4. Analisar conjuntamente os parâmetros: índice de dificuldade e de discriminação. Criar gráfico. Interpretar.
EXERCÍCIO PRÁTICO
24A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação
CONSTRUÇÃO DE UMA GRELHA DE CLASSIFICAÇÃO E ANÁLISE DOS RESULTADOS OBTIDOS NUM TESTE
Manual de apoio Exercício