Avaliação em Cursos On-Avaliação em Cursos On-LineLine

Maria Elizabeth Bianconcini de Almeida

Pontifícia Universidade Católica de São PauloPrograma de Pós-Graduação em Educação: Currículo

bethalmeida@pucsp.br

Agenda de trabalhoAgenda de trabalho

PalestraConcepção de avaliaçãoEducação on-lineCurrículo e avaliaçãoAvaliação on-line

• concepção, critérios e estratégias de avaliação O portfólio como estratégia de avaliação on-line Exemplos Discussão de caso: Projeto Gestão Escolar e

Tecnologias Conclusão

O que significa O que significa avaliação?avaliação?

Significado da palavra Significado da palavra avaliaçãoavaliação

ato ou efeito de avaliar(-se) - estabelecer a valia, o valor ou o preço de

cálculo do valor de um bem ou de bens Derivação:

valor determinado por quem avalia apreciação ou conjectura sobre condições, extensão, intensidade, qualidade etc. de algo

verificação que objetiva determinar a competência, o progresso etc. de um profissional, aluno etc.

Dicionário Houaiss da Língua Portuguesa

O que é avaliação?O que é avaliação?

Avaliação é inerente ao agir humano Ação que envolve formular juízo de valor e tomada de decisão

Processo complexo, cultural e contextualizado Relacionado a expectativas e perspectivas teóricas

• constante tensão

Envolve aspectos epistemológicos, políticos, éticos e culturais concepções, princípios, dimensões e finalidades da avaliação: são

interdependentes

Integra dimensões qualitativa e quantitativa.

Conceito polissêmico Elemento fundamental da avaliação:

conhecimento que o sujeito e o objeto, individual e coletivamente, constroem ao longo do tempo

Avaliação opera com referências valorativas coerentes com certa visão de mundo conhecimento da ciência positivista: avaliação voltada

ao objeto. pensamento complexo, filosófico: privilegia a relação

sujeito/ objeto (envolve intuição e sensibilidade)

Concepções não são excludentes:a avaliação considera tanto a relação entre o sujeito e o

objeto como o conhecimento objetivo.

O que é O que é avaliação?avaliação?

O que, quando e por que O que, quando e por que avaliar?avaliar?

Avaliação: realizada em diferentes situações, instituições e relações sociais

com distintas finalidades possui características de intencionalidade consciente Inerente a todo processo educativo: presencial, a distância ou

híbrido

Avaliação em Educação: Características próprias Marcada pela diversidade Se realiza em processos de:

• políticas públicas, sistema educacional, escola, cursos• programas, projetos• currículo, material didático

• ensino, aprendizagem

Educação on-lineEducação on-line Desafio para educadores e instituições Integra contexto virtual e presencial com a mediatização

das tecnologias digitais de informação e comunicação – TDIC

Caracterizada pela articulação entre cognição e tecnologia Sistema apropriado de comunicação, produção e gestão

Novas possibilidades comunicativas: diferentes padrões de interação social

exigem do professor e do aluno competências no processo de (re)construção de conhecimento

impulsionam mudanças nas formas de ensinar, aprender, desenvolver o currículo e avaliar

Avaliação on-line:Avaliação on-line: enfrentar conflitos não resolvidos da enfrentar conflitos não resolvidos da

educaçãoeducação

Educação on-line: diferentes Educação on-line: diferentes abordagens educacionaisabordagens educacionais

Superar abordagens alicerçadas em princípios da organização industrial (Peters,1983):Produção em massa, racionalização e divisão do trabalho

Distribuição uniforme de informações

Controle dos caminhos

Abordagem com foco na aprendizagem, a qualquer tempo, de qualquer lugar:

Contextualização

Descentralização

Flexibilidade

Abertura

Diversidade

Diálogo

Otimiza os métodos instrucionais

Rápida emissão e distribuição de informações

Controle da participação e dos produtos

Atendimento individualizado Feedback imediato Avaliação automatizada Currículo padronizado

Propicia a construção de conhecimento

Autonomia na busca de informações

Interação e colaboração Acompanhamento e

orientação do aluno Atendimento individualizado Feedback personalizado Avaliação formativa Currículo reconstruído na

ação

Educação on-line: diferentes Educação on-line: diferentes abordagens educacionaisabordagens educacionais

A avaliação é coerente com a concepção de currículo assumida.

De qual currículo tratamos?De qual currículo tratamos?

Qual a relação entre currículo e Qual a relação entre currículo e avaliação?avaliação?

Currículo que se desenvolve com a mediatização das TDIC (ALMEIDA e VALENTE, 2011)

incorpora as características e funcionalidades dos ambientes, ferramentas e interfaces das TDIC na formação

registrado nos documentos digitais e nas atividades que se desenvolvem por meio das TDIC

disponível para análise, recriação e novos registros

Currículo em rede expressa a vida daqueles que fazem parte da rede

suas experiências e a realidade que enfrentam dentro e fora da escola,

os valores, crenças, conhecimentos, afetos e desafetos. Integra conhecimento do senso comum e conhecimento

científico

De qual currículo tratamos?De qual currículo tratamos?

De qual currículo tratamos?De qual currículo tratamos?

Forma:modo de

representação

conteúdo

Estratégias pedagógicas

Experiências dos aprendizes e professores

As relações entre currículo e tecnologias se estabelecem para além dos meios e envolvem as mensagens, os contextos e os significados

construídos.

Educação e currículo on-Educação e currículo on-lineline

As TDIC são estruturantes do currículo e potencializam: Interação multidirecional: interlocução todos-todos participação de qualquer lugar, a qualquer tempo expansão das atividades cognitivas: tecnologias da inteligência narrativas curriculares individuais que se desenvolvem por meio

de múltiplas linguagens:– verbal, icônica, sonora, visual, hipertextual

diferentes percursos, diversos pontos de partida e chegada “estar junto virtual” (Valente) Produção colaborativa de conhecimento: coautoria

Currículo e TDIC: interferências e transformações mútuas Currículo reconstruído na ação WEB CURRÍCULO: incorpora o potencial das TDIC abertas,

móveis, imersivas, interativas, conectadas à internet (ALMEIDA, 2010)

Conflitos e desencontros entre discursos e práticas sobre currículo

Currículo instituído Seleção cultural institucional,

marcada por opções e valores relacionada com o contexto sócio-político-econômico de determinado momento histórico.

Fragmentado (grade) Pedagogia disciplinar Estável e hierárquico: base na

organização dos alunos no tempo e espaço escolar

Avaliação: exames pontuais Planejamento é “aplicado”

Qual currículo é hoje praticado?Qual currículo é hoje praticado?

Políticas curriculares atuais• Educação cultural

UNESCO• Ensino técnico profissional

Referenciais curriculares - currículo integrado• Trabalho e Educação• Teoria e prática

• Na realidade• Diferentes pedagogias e

formas de avaliação - “vale tudo”

Currículo e avaliação on-Currículo e avaliação on-lineline

Estamos realmente explorando o potencial das

TDIC no desenvolvimento do currículo e nos processos de

avaliação?

Questões não resolvidas na educação presencial...

Currículo e avaliação on-Currículo e avaliação on-lineline

Será que a avaliação que realizamos funciona como um diagnóstico para a melhoria da formação e da aprendizagem ou como instrumento de certificação?

A avaliação é formadora ou é um modo de classificar os alunos?

Será um instrumento de inclusão e permanência do aluno ou de exclusão e desistência?

Estamos incorporando as potencialidades das TDIC para desenvolver o currículo, a avaliação diagnóstica e formadora ou apenas realizamos a avaliação somativa?

Avaliação somativaQuestões de múltipla escolha,

verdadeiro/ falso: diferentes combinações

Banco de questões objetivas Respondidas de qualquer lugar e a

qualquer tempo Correção instantânea / gabarito Feedback automático e imediato Aplicação: para todos os alunos de

um curso ou um único aluno, quantas vezes necessário

Finalidade: avaliação, estudo simulado ou recuperação.

Avaliação: mensurar resultados Fundamento: teorias tecnicistas e

comportamentalistas

Avaliação formadora

Trabalhos digitais: produções do aluno compartilhada com colegas, professor...

Professor: analisa e toma decisão sobre a orientação que pode propiciar avanços na aprendizagem

Aluno: reformula o trabalho Registros das etapas de evolução:

indicativos de aprendizagem Avaliação: regulação formação e da

aprendizagem individual. Fundamentos em: Hadji (2001) – avaliação formativa e

contínua Perrenoud (1999) – objeto de

aprendizagem do aluno Luckesi (1995) - instrumento de

diagnóstico

Avaliação on-lineAvaliação on-line

Avaliação on-lineAvaliação on-line

Ultrapassa o nível do professor e do aluno.

Avaliação da aprendizagem, do ensino, do curso ou atividade, da instituição... distintas dimensões do processo educativo (pedagógica,

tecnológica, de gestão, acadêmica)

Processo de reflexão dinâmico numa perspectiva crítica com base na coleta e análise sistemática de informações Impulsiona mudanças no currículo (conteúdo e estratégias de

formação) Autoavaliação: ajuda o aluno em seu desenvolvimento

mobilizando-o para analisar seu processo de aprendizagem com vistas a compreender as próprias dificuldades e buscar estratégias adequadas para superá-las:

• propicia ao aluno formular juízo de valor

Avaliação on-line Avaliação on-line formadoraformadora

Avaliação on-line Avaliação on-line formadoraformadora

Distintos instrumentos de diagnóstico Resolução de problemas, desenvolvimento de projetos

(HERNANDEZ, 1998)

Criação de portfólios on-line individuais, de grupos... Publicação da produção ao longo do curso Organização de textos, figuras, gráficos e outras produções portfólios podem ser criados em sites ou em sistemas próprios

Registros de fóruns e salas de bate-papo, site, blog do aluno ou PLE (ambientes pessoais de aprendizagem)

Mudança nos papéis do professor e do aluno Professor: criador de situações de aprendizagem com múltiplas

possibilidades de exploração Aluno: sujeito ativo, com capacidade de produzir, partilhar e interferir

sobre o conteúdo em estudo.

Avaliação on-line Avaliação on-line

dilemasdilemase e

tensõestensões

aspectos pedagógicos x

tecnologias de suporte

instrução x

construção de conhecimento

provas padronizadasX

atividades contextualizadas

diálogo e comunidade abertaX

normas do ensino formal

reprodução de informaçõesX

busca de informações, articulação e produção do aluno

uso de jogos x

criação de jogos pelos alunos

Reflexão sobre prática x

execução do ofício

Avaliação on-line: Avaliação on-line: dilemas e dilemas e tensõestensões

Como enfrentar esses dilemas nas condições de trabalho atuais?

Como trabalhar com a análise dos conceitos, procedimentos e atitudes

mobilizados nas produções dos alunos com o uso das TDIC?

Como propiciar a integração de conhecimentos cotidianos com os conhecimentos sistematizados em livros, internet e outros suportes?

A solução será optar por um dos eixos dessa tensão?

Convivência com dilemas e Convivência com dilemas e tensõestensões

Avaliação como parte do processo de aprendizagem: acompanhar de forma contínua os processos interativos, os caminhos

cognitivos e as produções dos alunos

Convivência de diferentes modelos nas práticas e procedimentos de avaliação: a estrutura e o funcionamento dos sistemas educacionais preconizam

procedimentos avaliativos com base em notas, certificação e classificação a avaliação contínua e formativa convive com limitações tanto de ordem

legal como teórica e metodológica.

Reconhecer as características de ferramentas e interfaces das TDIC que favoreçam a criação de estratégias de avaliação

processual e formativa.Destaque para o uso de portfólios e ambientes pessoais de

aprendizagem.

O portfólio como estratégia O portfólio como estratégia de avaliação on-linede avaliação on-line

Modalidade de avaliação: origem no campo da artearquivo ou pasta colecionadora (suporte físico) das

obras relevantes do artistapercurso profissional e explicita as competências

Fundamento: natureza evolutiva do processo de aprendizagem traz as evidências das aprendizagens do alunopermite identificar a forma como são analisados os

objetivos da aprendizagem e analisar o que foi ou não cumprido e o que ocorreu e não era previsto

Instrumento de avaliação e de aprendizagem em diferentes níveis e modalidades de ensino: Cursos, desenvolvimento profissional, atividades reflexivas de

formação

Diferentes suportes: CD-ROM, DVD, pen drive Potencializado pela internet: web portfólio, e-portfólio ou

webfólio, PLE colecionar, selecionar e compartilhar a produção

significativa de uma pessoa durante seu percurso de formação ao longo da vida• condição de desenvolvimento pessoal e profissional• organização do processo de construção do cohecimento

O portfólio digital como O portfólio digital como estratégia de avaliação on-estratégia de avaliação on-

lineline

Webfólio e a avaliação Webfólio e a avaliação on-lineon-line

Webfólio: portfólio reflexivo integrado a um “repositório digital”permite ao autor:

• selecionar os trabalhos que deseja armazenar para uso posterior

• reelaborar de seus processos e produções• estabelecer conexão com os repositórios de seus pares e

com a sua comunidade virtual de aprendizagem • escrever a própria história, rever caminhos percorridos e

aprofundar a reflexão sobre eles– exercício de seleção do que é relevante

– atividade de organização, análise e síntese da experiência

Experiência envolve o fazer e o refletir sobre o fazer.

Análise de um cenárioAnálise de um cenárioA profa. Maria Alice foi convidada a participar como

docente autor (conteúdo e atividades) de uma disciplina de um curso de especialização a distância.

A disciplina tem 40h de curso, com 28h a distância e 12h presenciais em 3 encontros de 4h.

O objetivo da disciplina é tratar da Legislação da Educação a Distância no Ensino Superior.

Os alunos podem ser avaliados tanto em atividades presenciais como a distância e, cabe à Profa. Maria Alice especificar também como pretende desenvolver o processo de avaliação dos alunos.

Vamos ajudar Maria Alice em sua tarefa de conceber o processo de avaliação da disciplina?

ExemplosExemplos Gomes (2005), Universidade do Minho:

uso de blog como portfólio digital no ensino superior na organização e apoio à aprendizagem instrumento de avaliação e acompanhamento longitudinal do aluno

– participação, processo e produtos

Charczuk E Menezes (s/d), Curso de Pedagogia – UFRGS uso de blog gratuito na construção de portfólios digitais de

aprendizagens e nos processos de avaliação

Fonseca (2006), curso de Comunicação Social, Universidade de Uberaba proposta de avaliação de uso sistemático do blog contribuição para a conscientização dos alunos sobre o

desenvolvimento de seus conhecimentos

A participação e os comentários do professor são referência para a postura dos alunos e há que haver reciprocidade e compromisso de todos.

Dificuldades e avançosDificuldades e avanços Usos de webfólio mostram algumas dificuldades:

fazer com que os alunos comentem criticamente os portfólios dos colegas e suas produções

baixa qualidade da conexão à internet para o trabalho online pequena capacidade de armazenamento e o modo de organizar

as informações de algumas ferramentas e interfaces Tempo do professor para ler e comentar as produções dos alunos

Uso de PLE - Personal learning Environments: associado a ferramentas da Web 2.0 ambiente auto-controlado: personalização e gerenciamento do

ambiente faz parte do processo de aprendizagem (ATTWELL, 2007)

aprendizagem ocorre em processo, o aprendiz tem papel ativo na organização e produção de seus próprios materiais de aprendizagem

Estudo de caso Estudo de caso específico: Projeto específico: Projeto Gestão Escolar e Gestão Escolar e Tecnologias (PUC/SP, Tecnologias (PUC/SP, 2004 a 2009)2004 a 2009)

Projeto Gestão Escolar e Tecnologias - GETProjeto Gestão Escolar e Tecnologias - GET(PUCSP, 2004 a 2009)(PUCSP, 2004 a 2009)

Formação de gestores para a gestão das tecnologias das unidades do ensino

e para a incorporação de recursos tecnológicos no trabalho da gestão escolar

Desenvolvidos em parceria comSecretarias de Educação

de vários estados

Gerou diversos estudos, artigos em periódicos, livros, teses e dissertações

Formação continuada em serviço : Experiência Reflexão Especificidades do trabalho do gestor

O curso se desenvolveu na modalidade híbrida e on-line (68% distância – usando AVA e 32% presencial)

118 unidades de ensino (105 escolas técnicas e 13 faculdades de tecnologia) envolvendo 450 profissionais:

diretores, coordenadores pedagógicos e professores que atuam em posição de liderança e em órgãos de gestão

Em 2008 o Projeto Gestão Escolar e Tecnologias Em 2008 o Projeto Gestão Escolar e Tecnologias foi recontextualizado para a realidade do ensino foi recontextualizado para a realidade do ensino

técnico e tecnológico (Centro Paula Souza)técnico e tecnológico (Centro Paula Souza)

Princípios educacionais Princípios educacionais

As tecnologias que dão suporte para a formação on-line: estruturantes do currículo e da avaliação,

instrumentos de uso em práticas de gestão e objeto de reflexão sobre como gerir sua utilização na escola

Unidade escolar: organização viva, aprendente, geradora de conhecimento

(Fullan, Hargreaves, 2000) e de políticasresponsável pelo desenvolvimento do currículo.

Repensar a educação de forma mais ampla integrando as dimensões: da gestão, pedagógica, técnico-administrativa,

social e política.

Gestão Escolar e Tecnologias:Gestão Escolar e Tecnologias:diversas edições transformação e contextualização

Ano Edições População atendida

2004-2006 1ª - Secretaria de Estado da Educação de S. Paulo

10.680

2005-2006 Secretaria de Estado da Educação de Goiás 1.200

2006 2ª - Conselho Nacional de Secretários de Educação– CONSED

17.280

2007 3ª - UNDIME 200

2008-2009 4ª - CONSED - Universidades 1.800

2009 5ª - Centro Paula Souza – ETEC e FATEC 450

Sistema de avaliação Sistema de avaliação Avaliação do projeto e da aprendizagem

Avaliação do projeto

Avaliação internaAvaliação externa

Instrumentos de coleta de dados

Cronograma de aplicação dos instrumentos

Análise de dados

Uso dos resultados na tomada de decisões

Investigação reflexiva, crítica e constante

COMPREENDER AS INTER-RELAÇÕES ENTRE AS DIVERSAS DIMENSÕES DO PROJETO

Reformulações necessárias sem perder os propósitos do projeto

Avaliação Interna do Avaliação Interna do projeto projeto

IMPACTO – uso do software CHICIMPACTO – uso do software CHIC-Questionários on-line (Q1 e Q2 – início e final do curso)-Entrevistas semi-estruturadas: escolas, após término do curso

PROCESSOPROCESSO-Análise dos Memoriais reflexivos dos alunos - portfólios-Informações coletadas periodicamente junto aos professores

RESULTADOSRESULTADOS

-Notas obtidas pelos alunos-Freqüência, evasão-Informações colhidas em grupo focal

Gestão Escolar e Gestão Escolar e TecnologiasTecnologias

Avaliação do projeto - Avaliação do projeto - qualiquantitativaqualiquantitativa

Avaliação de impactoAvaliação de impacto Verificação de mudanças significativas na realidade em que as

ações do Projeto foram desenvolvidas. Metodologia para avaliação de impacto:

Questionários paralelos on-line: Tipo “antes – depois”• Uso do CHIC na análise dos dados: árvores hierárquicas de inter-

relação entre os dados• Q1: perfil do gestor em relação ao uso das TIC na gestão• Q2: mudanças na conscientização da importância das TIC na

gestão; proposição, revisão, otimização de ações com o uso das TDIC

Entrevista nas UE:• implementação das ações e projetos nas EU• fatores que favoreceram a implementação, resistências e

dificuldades

Avaliação da aprendizagemAvaliação da aprendizagem

• Ponto de Partida: diagnóstico Os cursistas produziram em equipe (grupo gestor da UE) um

vídeo sobre a marca da sua unidade de ensino. Demandou de cada equipe revisitar a própria UE, identificar as

potencialidades, restrições contextuais e reais de uso das TDIC – diagnóstico.

Processo e produto: ação de uso das TDIC na gestão da UE projeto de gestão das tecnologias da UE Acompanhamento pelo formador por meio de interações no

ambiente virtual e produções organizadas no portfólio Relatório da ação e do projeto: uso de banco de dados pelo

formador - categorias e subcategorias evidenciados

Auto-avaliação: memorial reflexivo Acompanhamento da implantação inicial do projeto

Sistema de informações Sistema de informações para a formaçãopara a formação

Geração e fluxo de documentos Coleta, análise e uso das informações para a tomada de

decisões Socialização das informações: atribuição de sentido

Formulários de acompanhamento Qualitativo Quadro de atividades da formação, práticas na unidade de

ensino e projetos Banco de dados

Lições AprendidasLições Aprendidas

Diagnóstico inicial: atendimento às especificidades contextuais

Processo de avaliação concomitante ao andamento do projeto: procedimentos estatísticos, análise qualitativa e estudo de caso avaliação em três dimensões: processo, resultados e produto

Concepção, procedimentos e critérios de avaliação da aprendizagem: Socializados e compreendidos pelos cursistas

Lições AprendidasLições Aprendidas

Aumento da escala de atendimento: procedimentos padronizados para a

gestão de informações, documentos e processos:

Orientação explícita sobre produção, fluxo, armazenamento e recuperação de documentos

Objetividade na definição de informações relevantes para subsidiar as decisões

Formação em serviço e integrada à pesquisa: formação-ação-reflexão

• reconstrução contínua da formação

ReferênciasReferênciasALMEIDA, M. E. B. ; VALENTE, J. A. Tecnologias e Currículo: trajetórias convergentes ou

divergentes? São Paulo: Paulus, 2011.

ALMEIDA, M. E. B. Web Currículo, caminhos e narrativas. In: Anais do II Seminário Web Currículo. [publicação em CD-ROM]. São Paulo: PUC-SP, 2010.

ATTWELL, G. Personal Learning Environments-the future of eLearning? ELearning Papers 2. (2007): 1-8.

CHARCZUK, S. B.; MENEZES, C. S. A utilização de blogs como portfólio de aprendizagens e procedimento de avaliação interdisciplinar no curso de pedagogia a distância (PEAD/UFRGS). s/d. Consulta em 18/01/2010: http://www.pead.faced.ufrgs.br/sites/publico/pead-informacoes/comun_SIMONEB24.pdf

FONSECA, A. A. O uso do diário virtual (blog) como portfólio digital: uma proposta de avaliação. In: Intercom – Sociedade Brasileira de Estudos Interdisciplinares da Comunicação. XXIX Congresso Brasileiro de Ciências da Comunicação – UnB, 2006.

GOMES, M. J. Blogs: um recurso e uma estratégia pedagógica. In: VII Simpósio Internacional de Informática Educativa – SIIE05 Leiria, Portugal, 2005. Disponível: https://repositorium.sdum.uminho.pt/ (acesso 15.12.2009)

HADJI, C. Avaliação desmistificada. Porto Alegre: ARTMED, 2001.

HERNÁNDEZ, F. Transgressão e mudança na educação: os projetos de trabalho. Porto Alegre: Artmed, 1998.

VALENTE, J. A. A espiral da aprendizagem e as tecnologias da informação e comunicação: repensando conceitos. In: JOLY, M. C. R. A. (Org). A tecnologia no ensino: implicações para a aprendizagem. São Paulo: Casa do Psicólogo, 2002.

Avaliação em Cursos On-Avaliação em Cursos On-LineLine

Maria Elizabeth Bianconcini de Almeida

Pontifícia Universidade Católica de São PauloPrograma de Pós-Graduação em Educação: Currículo

bethalmeida@pucsp.br