validade e fiabilidade de instrumentos de avaliação

24
A AVALIAÇÃO DAS APRENDIZAGENS DOS ALUNOS: CONSTRUÇÃO E CLASSIFICAÇÃO DE ITENS DE AVALIAÇÃO Formadora: Cristina Barcoso Lourenço [email protected] SUMÁRIO: validade e de fiabilidade; índice de dificuldade dos itens; índice de discriminação dos itens; mancha dos resultados do teste

Upload: cristinabarcoso

Post on 20-Jul-2015

376 views

Category:

Education


0 download

TRANSCRIPT

A AVALIAÇÃO DAS APRENDIZAGENS DOS ALUNOS: CONSTRUÇÃO E CLASSIFICAÇÃO DE ITENS DE AVALIAÇÃO

Formadora: Cristina Barcoso Lourenço [email protected]

SUMÁRIO: validade e de fiabilidade; índice dedificuldade dos itens; índice de discriminação dos itens;mancha dos resultados do teste

AGENDA

2A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação

5ª SessãoContinuação da sessão anteriorReflexão sobre o seguinte tema: questões de validade e de fiabilidadeÍndice de dificuldade dos itensÍndice de discriminação dos itensMancha dos resultados do teste

3A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação

4A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação

PARA QUE SERVEM AS NOTAS? (texto entregue)

1.QUESTIONAMENTO ACERCA DA VALIDADE E DA FIABILIDADE.

2.PROFESSORES CATALOGAM OS ALUNOS?3.“SE OS ALUNOS PENSAM QUE AS NOTAS

NÃO RECOMPENSAM O SEU TRABALHO DE UMA FORMA JUSTA, A MOTIVAÇÃO DESAPARECE.

VALIDADE E FIABILIDADE

5A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação

Questões de validade e de fiabilidade (análise e discussão do documento entregue).

TESTE

6A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação

Teste = instrumento de medida a que se recorre para avaliar determinados conhecimentos e capacidades. A classificação que lhe é atribuída deve apresentar um elevado grau de exatidão.

Classificação obtida = Classificação verdadeira (ou universal) + Erro de medição

Diminui a exatidão da classificação atribuída. Podeconsiderar-se como uma inconsistência, já que, deuma medição para outra, as medidas obtidas nãoestão de acordo, não são consistentes.

PORÉM qualquer medição é naturalmente afetada de erro, pelo que, para cada aluno, submetido a um teste, se pode considerar:

VALIDADE E FIABILIDADE

7A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação

São duas das principais característicaspsicométricas da avaliação.

Teste é válido se avalia realmente aquilopara que foi construído.

Se um teste não avalia o que é supostoavaliar então a sua utilização éenganadora.

FERNANDES, Domingos (2008). Avaliação das Aprendizagens: Desafios às teorias, páticas e políticas. Lisboa, Texto Editores, págs 113-115.

VALIDADE E FIABILIDADE

8A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação

validade que avalia até que ponto oprocedimento de medição produz aresposta correta.

fiabilidade que avalia até que ponto umprocedimento de medição produz amesma resposta independentemente daforma e da altura em que é aplicado.

VALIDADE

9A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação

A validade de um teste é representada pelo grau de exatidão com que o instrumento de avaliação consegue avaliar o que na verdade pretende medir.

A validade não se refere propriamente ao teste em si mesmo, mas sim à interpretação de resultados tendo em vista um determinado propósito.

O conceito de validade surge, assim, sempre no contexto de uma situação de avaliação, o que conduz a diferentes tipos de validade.

VALIDADE

10A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação

A validade de um instrumento é definida como apropriedade de medir aquilo que se pretendeque meça.Para analisar a validade de uma observação ou deum instrumento, temos de procurar saber o queestá a ser medido e através de que variáveis(critérios de classificação). Os diferentes meios deanálise conduzem a diferentes tipos de validade, oque por sua vez condiciona o nossoconhecimento.

https://estudogeral.sib.uc.pt/bitstream/10316/9968/1/RD199801.pdf

VALIDADE

11A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação

Literatura refere vários tipos de validade:1. Validade de previsão – em que medida

um teste é um bom indicador dedesempenhos futuros da pessoa que oresolve.

2. Validade de conteúdo – em que medidaum teste contém uma amostrasignificativa do conteúdo relevante dodomínio(s) que foi ensinado e que sepretende avaliar.

FERNANDES, Domingos (2008). Avaliação das Aprendizagens: Desafios às teorias, páticas e políticas. Lisboa, Texto Editores, págs113-115.

VALIDADE

12A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação

3. Validade concorrente – em que medidaos resultados do teste se correlacionamcom os resultados de outro teste ou deoutra avaliação das mesmas ou outrasaprendizagens.

4. Validade de constructo – em que medidao teste é uma aferição adequada doconstruto, da competência que está a seravaliada.

FERNANDES, Domingos (2008). Avaliação das Aprendizagens: Desafios às teorias, páticas e políticas. Lisboa, Texto Editores, págs113-115.

VALIDADE

13A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação

INVESTIGADORES…RELEVAM A VALIDADE DE CONTEÚDO.CONSIDERAM…Que a validade de um teste não deve estar apenasdiretamente relacionada com o teste em si mesmo,ou com os resultados que produz, mas também coma interpretação e utilização que se faz dessesresultados e com as consequências das decisõesavaliativas. É a introdução das questões de naturezaética e social na elaboração de um conceito que eraapenas considerado do ponto de vista psicométrico.

FERNANDES, Domingos (2008). Avaliação das Aprendizagens: Desafios às teorias, páticas e políticas. Lisboa, Texto Editores, págs113-115.

FIABILIDADE

14A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação

Quando se classifica um teste pretende-se que o grau deexatidão, com que o instrumento de avaliação mede oque na verdade pretende medir, seja o maior possível.

A fiabilidade de um instrumento de avaliação é aconsistência dos seus resultados.Para analisar se um teste é fiável temos dequantificar em que medida o desempenho dosalunos se mantém sensivelmente o mesmo, seresolverem o exame em tempos ou ocasiõesdiferentes.

FERNANDES, Domingos (2008). Avaliação das Aprendizagens: Desafios às teorias, páticas e políticas. Lisboa, Texto Editores, págs 113-115.

FIABILIDADE

15A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação

UM TÉCNICA CLÁSSICA PARA AVALIAR A FIABILIDADE DE UM TESTE ÉADMINISTRAR O MESMO TESTE COM ALGUNS DIAS DE INTERVALO E COMPARAR OS DESMPENHOS OBTIDOS EM CADA ADMINISTRAÇÃO - RETESTE

FERNANDES, Domingos (2008). Avaliação das Aprendizagens: Desafios às teorias, páticas e políticas. Lisboa, Texto Editores, págs 113-115.

FIABILIDADE

16A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação

Fatores que influenciam a fiabilidade de um teste

Fatores inerentes ao aluno- Instabilidade de características pessoais- Modo como o aluno reage a tarefas avaliativas- Saúde-…Fatores inerentes ao processo de aplicação da prova- Deficientes condições em que a prova é aplicada- …Fatores relativos ao instrumento de avaliação- Imprecisões ou ambiguidade na formulação dos itens- Deficientes critérios de classificação- …

FIABILIDADE

17A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação

Fatores que influenciam a fiabilidade de um teste

Fatores inerentes ao classificador- Personalidade- Experiência- Efeito de halo (interferência causada devido à simpatia ou antipatia que o avaliador tem pela pessoa que está sendo avaliada)- Hierarquia de critérios- Momento em que se efetua a classificação- Duração da sessão de classificação- Intervalo entre as sessões de classificação- …

FIABILIDADE

18A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação

Processos de moderação que contrariam os fatores que influenciam a fiabilidade da classificação:

Formação de avaliadoresResolução e análise detalhada da prova antes de se iniciar a classificaçãoAnálise detalhada dos critériosMulticlassificação das provasClassificação item a item ou grupo a grupoVariação da ordem da classificação das provas…

FIABILIDADE

19A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação

Critérios de ClassificaçãoNos exames nacionais, provas de aferição e testes intermédios estão enunciados os critériosde classificação gerais e específicos dos testes.Na construção de critérios gerais de um teste, a sua elaboração deve ser tão exaustivaquanto possível, de forma a aumentar a fiabilidade da classificação.

Duas metodologias para a elaboração de critérios específicos de classificação:

Classificação Criterial — em que se atribuem pontos ou códigos a cada uma das

várias fases do processo de resolução do item. Podem, ou não, construir-se diferentescenários de resposta e para cada um deles subdivide-se a cotação pelas várias fases deresolução que o aluno deve percorrer.

Classificação Holística — o avaliador parte de uma impressão global sobre as

características da resposta dada, apreciando a resposta como um todo e não nas suaspartes componentes.

Nos exames, provas nacionais e testes intermédios segue-se a primeira metodologia,embora o ponto de partida possa ser o da segunda, especialmente quando se trata derespostas extensas, uma vez que ao se agruparem as respostas em categorias, de acordocom a sua qualidade, o classificador estabelece modelos de referência que o ajudam aminimizar a interferência da subjetividade na classificação.

FIABILIDADE

20A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação

Cabe aos avaliadores a tarefa de assegurar aclareza das instruções, a qualidade eadequabilidade dos itens e a aplicaçãoinequívoca dos critérios definidos.

Este último aspeto, relativo à fiabilidade daclassificação, torna-se bastante dependentedas características do classificador que deveestar consciente dos efeitos das suas própriasopiniões e expetativas sobre a avaliação.

CONCLUÍNDO…VALIDADE E FIABILIDADE

21A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação

VALIDADERepresentada pelo grau de exatidão com que o instrumento de avaliação consegue avaliar o que na verdade pretende medir. Precisão com que o teste mede aquilo que se propõe medir.Grau em que conhecemos aquilo que a prova está a medir.Um instrumento é válido na extensão em que mede aquilo a que se propõe medir.

FIABILIDADEConsistência da medida, dos resultados, fornecida pelo teste.

CLASSIFICAÇÃO DE UM ALUNO – medida do construto= classificação verdadeira + erro de medida

ANÁLISE DOS RESULTADOS

22A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação

ÍNDICE DE DIFICULDADEO índice de dificuldade de um item está relacionado com a percentagem de respostas corretas dadas a esse item. Um item é tanto mais difícil quanto menor é o seu índice de dificuldade.

ÍNDICE DE DISCRIMINAÇÃOO índice de discriminação de um item, num teste, traduz a diferença de sucesso, nesse item, entre os alunos com melhor classificação no teste e os de classificação mais baixa.

EXERCÍCIO PRÁTICO

23A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação

CONSTRUÇÃO DE UMA GRELHA DE CLASSIFICAÇÃO E ANÁLISE DOS RESULTADOS OBTIDOS NUM TESTE

1. Criar a grelha1.1. Preparar a grelha de classificação. Usar a função SOMA1.2. Criar menções qualitativas1.3. Criar cores nas menções qualitativas1.4. Criar cores na coluna das cotações

2. Analisar resultados2.1. Calcular nº alunos (função CONTAR), médias (função MÉDIA) nº de negativas/positivas (função CONTAR.SE), criar gráfico2.2. Determinar o índice de dificuldade

2.2.1. Criar gráfico2.3. Determinar o índice de discriminação

2.3.1. Criar gráfico2.4. Analisar conjuntamente os parâmetros: índice de dificuldade e de discriminação. Criar gráfico. Interpretar.

EXERCÍCIO PRÁTICO

24A avaliação das aprendizagens dos alunos: construção e classificação de itens de avaliação

CONSTRUÇÃO DE UMA GRELHA DE CLASSIFICAÇÃO E ANÁLISE DOS RESULTADOS OBTIDOS NUM TESTE

Manual de apoio Exercício