suporte à avaliação formativa no ambiente de educação à distância teleduc

12

Click here to load reader

Upload: teleduc

Post on 01-Dec-2014

1.862 views

Category:

Documents


1 download

DESCRIPTION

In: aceito para publicação no VI Congresso Iberoamericano de Informática Educativa (IE2002), Vigo, España, 20-22 noviembre, 2002. Em português , 12 páginas.Autores: Heloisa Vieira da Rocha, Joice Lee Otsuka, Ricardo Luis Lachi, Thaisa Barbosa Ferreira

TRANSCRIPT

Page 1: Suporte à Avaliação Formativa no Ambiente de Educação à Distância TelEduc

Suporte à Avaliação Formativa no Ambiente de Educação à Distância TelEduc 1

Abstract — A new way of assessment which abandons traditionalmodel based on tests to a more formative assessment has beenresearched by teachers of both face-to-face and distance courses.Particularly, in distance learning courses, formative assessmenthas still bigger relevance, as it makes possible the ongoingaccompaniment of the student's behavior even though face-to-faceinteractions are not present. This paper presents the formativeassessment support already provided by TelEduc, a distance-learning environment, and the research that is being developed toincrease this support according with necessities and pedagogicalgoals of each teacher.

Index Terms — distance education, formative assessment,interface agents

Resumo — A busca por mudanças na avaliação, passando de ummodelo baseado em testes pontuais para uma avaliação formativa,tem sido alvo de formadores tanto em cursos presenciais quanto àdistância. Na modalidade à distância, esta forma de avaliação temrelevância ainda maior, possibilitando o acompanhamento docomportamento do aprendiz mesmo sem o feedback das interaçõesface a face. Este artigo apresenta o suporte atual à avaliaçãoformativa no ambiente de Educação à Distância TelEduc e aspesquisas que vêm sendo desenvolvidas para prover, nesteambiente, um suporte flexível à avaliação formativa, de acordocom as necessidades e objetivos pedagógicos de cada formador.

Palavras-chave — educação à distância, avaliação formativa,agentes de interface.

I. INTRODUÇÃO

Atualmente existe uma busca por mudanças no paradigma

de avaliação, já que no modelo tradicional de ensino baseadona abordagem comportamentalista, a avaliação limita-se averificar, por meio dos exames, se o aluno assimilou osconhecimentos que lhe foram transmitidos, podendo sercomparada ao que Freire [1] denomina de “relação bancária”,na qual o professor/avaliador deposita conhecimentos prontos,esperando que os alunos avaliados reproduzam osconhecimentos recebidos. A aprendizagem é passiva e

1 Instituto de Computação – Universidade Estadual de Campinas – Brasil Caixa Postal 6176 CEP: 13083-970 - Campinas, SP – Brasil E-mails: [email protected], [email protected], [email protected], [email protected]

individual, os aprendizes não são levados a refletir sobre o queestá sendo ensinado, sobre as aplicações das informações quelhes são transmitidas [2]. Este modelo não prepara osaprendizes para solucionarem problemas da vida real que irãoenfrentar fora das salas de aula, e tão pouco para construíremseus conhecimentos, ou se comunicarem e trabalharem emgrupo.

Neste contexto, é necessário rever as práticas pedagógicas e,consequentemente, as concepções e práticas de avaliação.Segundo Gipps [3], “está em curso uma mudança deparadigma na área de avaliação, passando de um modelo detestes e exames que valoriza a medição das quantidadesaprendidas de conhecimentos transmitidos, para um modeloem que os aprendizes terão oportunidade de demonstrar oconhecimento que construíram, como construíram, o queentendem e o que podem fazer, isto é, um modelo que valorizaas aprendizagens quantitativas e qualitativas no decorrer dopróprio processo de aprendizagem.”

A avaliação neste novo paradigma deixa de ser apenas uminstrumento de verificação da aprendizagem para atuardiretamente no processo de ensino-aprendizagem, de formacontínua, ao longo de todo o processo. Segundo Cerny [4], ogrande avanço que se coloca hoje para a avaliação é“constituir-se como parte do processo de ensino-aprendizagem, permeando e auxiliando todo este processo,não mais como uma atividade em momentos estanques epontuais”.

Há uma busca por uma avaliação formativa, que segundoPerrenoud [5], pode ser entendida como “toda prática deavaliação contínua que pretenda melhorar as aprendizagensem curso, contribuindo para o acompanhamento e orientaçãodos alunos durante todo seu processo de formação. Éformativa toda a avaliação que ajuda o aluno a aprender e ase desenvolver, que participa da regulação das aprendizagense do desenvolvimento no sentido de um projeto educativo”.

Também existe uma busca por uma avaliação que ajude naformação de pessoas capazes de realizar tarefas, de construirnovos conhecimentos e de resolver problemas. Assim, segundoGardner [6], “se queremos formar pessoas capazes deescrever, devemos fazê-las escrever; se queremos formarpessoas capazes de analisar dados, devemos dar-lhes dadospara analisarem; se queremos formar pessoas que saibamfazer uma boa apresentação, devemos fazê-las dar boasapresentações...”.

Suporte à Avaliação Formativa no Ambiente deEducação a Distância TelEduc

Joice Lee Otsuka, Ricardo Luis Lachi, Thaisa Barbosa Ferreira, Heloísa Vieira da Rocha1

Page 2: Suporte à Avaliação Formativa no Ambiente de Educação à Distância TelEduc

Suporte à Avaliação Formativa no Ambiente de Educação à Distância TelEduc 2

Seguindo a abordagem de avaliação do fazer e daconstrução do conhecimento, encontramos uma linha deeducadores que defendem a avaliação baseada emperformance [7, 8], que é uma forma de avaliação formativabaseada na observação e orientação do aprendiz durante odesenvolvimento de tarefas significativas e relevantes aomesmo, planejadas para levarem o aprendiz a um engajamentoativo na construção dos seus conhecimentos. A avaliação deperformance engloba a avaliação autêntica, que é caracterizadapor empregar tarefas significativas no contexto da vida real doaprendiz [9].

Segundo a teoria do Construtivismo Alinhado [10], osobjetivos de aprendizagem, os métodos de ensino-aprendizagem e as atividades de avaliação devem seralinhados, ou seja, deve-se definir os objetivos a seremalcançados, os métodos de ensino-aprendizagem que darãosuporte para que os aprendizes alcancem tais objetivos e asatividades de avaliação que serão propostas para motivarem osaprendizes a aprenderem de uma forma que favoreça aobtenção dos resultados desejados. Segundo Shuel (apud[10]), “se os aprendizes devem aprender alguma habilidadede forma efetiva, então o professor tem a tarefa fundamentalde fazer o aprendiz se engajar em atividades de aprendizagemque possibilitem a aprendizagem da habilidade desejada”. Atabela 1 apresenta um resumo da relação entre métodos deavaliação e objetivos de aprendizagem avaliados proposta porBiggs:

TABELA 1- MÉTODO DE AVALIAÇÃO X OBJETIVOS DE APRENDIZAGEM

Método de avaliação Objetivos de aprendizagemavaliados

Testes objetivos• questões de múltipla

escolha• reconhecimento, estratégia,

compreensão, coberturaAvaliação da performance• prática

• seminário, apresentações• entrevista• projetos• estudo de caso, problemas• posters

• portfólio

• habilidades necessárias na vidareal

• habilidade de comunicação• responder interativamente• aplicação, habilidades de

pesquisa• aplicação, habilidades

profissionais• concentração em pontos

relevantes, aplicação• reflexão, criatividade

Avaliação rápida• mapas conceituais• diagramas de Venn

• cobertura, relacionamento• relacionamento

Essas tendências são refletidas nos cursos à distância,havendo uma busca por métodos de avaliação mediada porcomputador que possibilitem a avaliação formativa e aavaliação baseada em performance.

Ambientes de suporte à Educação à Distância (EaD) como oTelEduc2 [11, 12], possuem ferramentas de comunicaçãoprojetadas para possibilitarem a realização de atividades deaprendizagem baseadas na construção colaborativa deconhecimentos, e a realização de uma avaliação formativa pormeio do acompanhamento das interações dos aprendizesdurante o desenvolvimento destas atividades.

Neste artigo é apresentado o suporte atual do ambienteTelEduc à avaliação formativa, bem como as pesquisas queestão sendo desenvolvidas no grupo TelEduc a fim de proversuporte mais efetivo a esta forma de avaliação. Dessa forma, aseção II apresenta uma análise das formas de avaliação quevêm sendo praticadas em EaD. Na seção III é apresentado oambiente TelEduc, dando um enfoque na sua estrutura atualde apoio ao desenvolvimento de atividades e de suporte àavaliação formativa. Na seção IV é apresentado um relato deexperiência de uso do TelEduc em um curso totalmente adistância, baseado na construção colaborativa doconhecimento e na avaliação formativa. A seção V apresentauma visão dos projetos em andamento nesta linha de pesquisa,dentro do grupo TelEduc. Finalizando, na seção VI sãoapresentadas algumas considerações finais.

II. AVALIAÇÃO EM EAD

Resumidamente, a avaliação em EaD pode ser realizada de trêsformas principais [13]:

• Presencial: a avaliação é feita por meio de uma prova, napresença do formador ou de outra pessoa responsável,para garantir a legitimidade da mesma;

• Virtual com aplicação de testes online: a avaliação éfeita por meio de mecanismos de testes online a seremrespondidos e enviados posteriormente para o formadorpor meio de e-mail ou de formulários de envio;

• Avaliação ao longo do curso (contínua): a avaliação éfeita de modo contínuo, baseada em componentes queforneçam subsídios para o formador avaliar seusaprendizes de modo processual, tais como as atividadesrealizadas, os comentários postados, as participações emgrupos de discussão e em chats, as mensagens postadas nocorreio, etc.

As avaliações presenciais, em geral, são realizadas de formasomativa, apenas para verificar a aprendizagem dos pontosprincipais do conteúdo e determinar a promoção do aprendizno final de um módulo ou curso. Neste caso, a avaliação ficapresa ao modelo tradicional de exames e testes. No Brasil, alegislação que regulamenta os cursos de educação à distância[14] determina que a avaliação da aprendizagem deve incluiros exames presenciais:

2 Disponível em http://teleduc.nied.unicamp.br

Page 3: Suporte à Avaliação Formativa no Ambiente de Educação à Distância TelEduc

Suporte à Avaliação Formativa no Ambiente de Educação à Distância TelEduc 3

Decreto 2.494 de 1998, artigo 7 – “A avaliação dorendimento do aprendiz para fins de promoção,certificação ou diplomação, realizar-se-á no processopor meio de exames presenciais, de responsabilidadeda Instituição credenciada para ministrar o curso,segundo procedimentos e critérios definidos no projetoautorizado”.

Apesar desta lei não impedir o uso de outras formas deavaliação, muitas vezes esta é utilizada como forma única deavaliação, ou então principal, recebendo peso maior nadistribuição das notas.

Quando realizada à distância, a avaliação é mais complexa,por não ser possível ter o feedback das interações face a face,que possibilita uma avaliação informal do aprendiz, dandoindícios da compreensão e interesse deste. Também existe aquestão da autenticação do usuário, ou seja, como podemosgarantir que quem está realizando a avaliação é realmentequem diz ser?

Quando realizada por intermédio do computador, surgemnovos problemas, como a necessidade de acesso aos recursoscomputacionais, habilidades técnicas requeridas, a falta deriqueza de expressão da comunicação predominantementetextual, além dos problemas técnicos [15]. Por outro lado,pode-se citar várias vantagens do uso do computador comomeio para a avaliação à distância: a distribuição fácil e barata,a simplicidade e rapidez das atualizações, a grandeinteratividade possibilitada pelos mecanismos decomunicação, a facilidade para prover feedback e apossibilidade de registrar todas as interações para posterioranálise [16, 17].

Muitas pesquisas têm sido desenvolvidas para proversuporte à avaliação online, visando diminuir as suas restriçõese explorar as vantagens desta forma de avaliação. Duas linhasde pesquisa principais podem ser identificadas: o suporte àavaliação baseada em testes objetivos e o suporte à avaliaçãoao longo do curso.

A. Suporte à avaliação baseada em testes objetivos

Os testes objetivos são projetados para terem uma únicaresposta correta e, portanto, podem ser facilmenteautomatizados. Esta forma de avaliação ganhou grandepopularidade nos sistemas de EaD devido à rapidez efacilidade da aplicação e geração imediata de feedback.

Atualmente, grande parte das pesquisas desenvolvidas naárea de suporte a testes objetivos está concentrada no estudode formas de armazenamento que permitam maiorflexibilidade na apresentação dos testes. Segundo Brusilovisky[18], o estado da arte da tecnologia de armazenamento está nouso de banco de dados de questões armazenadas em umformato interno, ou seja, partes das questões (estrutura,respostas, e feedback) são armazenadas em tabelas de bancode dados e a questão é gerada pelo sistema no momento emque for apresentada para o aprendiz, podendo ser apresentadade diferentes formas.

Grupos de pesquisa têm desenvolvido estudos em busca dageração de testes mais individualizados. Uma linha depesquisa encontrada está relacionada com o uso de meta dadosde questões, ou seja, são armazenadas informações sobre asquestões (tipo, tópico avaliado, palavras-chave, peso oucomplexidade), e o sistema de avaliação gera questionáriospersonalizados sob demanda, de acordo com os parâmetrossolicitados pelo autor/professor [18, 19]. Outra linha depesquisa envolve o desenvolvimento de questões adaptativas.Esta solução é baseada na construção e análise do modelo doaluno, que representa o conhecimento do aluno em diferentesconceitos e tópicos do curso, e a partir deste modelo sãogeradas questões adaptadas ao seu nível de conhecimento [20].

Apesar de terem aplicações pedagógicas restritas porendereçarem conteúdos pontuais e encorajarem umaaprendizagem superficial [21], os testes objetivos são muitousados com o objetivo de enfatizar alguns termos e conceitosimportantes e que mereçam uma atenção extra [9].

B. Suporte à avaliação contínua

A avaliação contínua à distância pode ser realizada por meioda análise dos registros das participações dos aprendizes nocurso (atividades desenvolvidas, registro de interações ecolaboração entre os aprendizes). Esta forma de avaliação temespecial importância no contexto da EaD por possibilitar apercepção do comportamento do aprendiz, favorecer aidentificação de problemas, além de permitir alguma forma deautenticação da identidade do aprendiz, pela familiarizaçãocom o estilo e habilidades do mesmo.

Segundo Thorpe [17], a EaD baseada na ComunicaçãoMediada por Computador (CMC), também conhecida comoterceira geração da EaD, introduziu mudanças em termos “doque pode ser avaliado e como”. Os ambientes computacionaisde aprendizagem deixam de ser apenas locais de apresentaçãode informação e passam a ser locais de interações, decolaboração e de construção colaborativa do conhecimento,possibilitando a exploração de novos objetivos deaprendizagem como o desenvolvimento de habilidades decomunicação, trabalho em grupo e conhecimento emtecnologia da informação, que são habilidades de alta demandaatualmente. Hopper [22] cita três abordagens que envolvem ouso inovador do computador em educação, que podem serconsideradas no contexto da EaD, e apresenta ascorrespondentes concepções de avaliação contínuafreqüentemente adotadas nestas abordagens:

• Exploração e interação por meio de experiênciaspreviamente construídas: o exemplo mais conhecidodesta abordagem consiste nos Sistemas TutoresInteligentes, que permitem a criação de micromundosinteligentes, possibilitando a interação dos aprendizes comsimulações pré-construídas. Esses sistemas usam ainteligência artificial para construírem um modelo dascrenças do aprendiz, a fim de diagnosticarem eprescreverem as atividades dos aprendizes. Estaabordagem foca estratégias de avaliação baseadas nacaptura e análise automática das ações dos usuários,

Page 4: Suporte à Avaliação Formativa no Ambiente de Educação à Distância TelEduc

Suporte à Avaliação Formativa no Ambiente de Educação à Distância TelEduc 4

geralmente enfatizando dados sobre o estilo deaprendizagem, estratégia meta cognitiva e motivação(Reeves, 1992 e Feurzeig, 1987 apud [22]);

• Aprendizagem com foco na construção doconhecimento pelo aprendiz: esta abordagem éfreqüentemente associada com a metodologia pedagógicaconstrucionista de Papert [23], e tem como objetivo fazeros aprendizes construírem suas próprias representaçõesdos conhecimentos ao invés de interagirem com aquelascriadas por outras pessoas. Um exemplo é o uso dalinguagem de programação Logo para a construção demodelos matemáticos. A avaliação nesta abordagemgeralmente tem foco na avaliação baseada emperformance;

• Aprendizagem colaborativa: educadores que enfatizama aprendizagem colaborativa freqüentemente têm foco naavaliação da participação dos aprendizes em interaçõespor meio de ferramentas de comunicação eletrônica (e-mail, fóruns de discussões, news, chat, moos, etc). Há umgrande interesse no registro e monitoração de variáveiscomo o total de contribuições de um aprendiz, total dehoras online, número de logins, total de mensagensenviadas, quantidade e qualidade das interações e análisedos padrões de interação dos aprendizes por meio dediagramas [24].

O ambiente de suporte à Ead TelEduc possui ferramentas decomunicação projetadas para facilitar tanto o desenvolvimentode atividades baseadas na construção do conhecimento comotambém atividades colaborativas.

Todas as interações que ocorrem neste ambiente sãoregistradas a fim de possibilitar a avaliação formativa baseadano acompanhamento contínuo desses registros, bem como areflexão dos aprendizes sobre o processo de aprendizagem.

No entanto, apenas o registro das interações não é suficientepara prover suporte efetivo à avaliação formativa. Esseprocesso de avaliação demanda muito trabalho e tempo doformador no acompanhamento, análise e orientação dasatividades desenvolvidas ao longo do curso, o que consistenum dos principais problemas da avaliação formativa, seja elapresencial ou à distância.

Dessa forma, novas tecnologias computacionais vêm sendopesquisadas, a fim de explorar melhor os registros dasinterações dos aprendizes em ambientes de EaD e proversuporte para o formador na coleta, identificação, seleção eanálise de dados relevantes à avaliação formativa.

Na literatura encontramos pesquisas que estão sendodesenvolvidas visando facilitar o acompanhamento e análisedo grande volume de dados gerado pelas ações dos aprendizesnos cursos. Algumas pesquisas empregam a tecnologia deagentes de software que atuam filtrando e analisando asparticipações dos aprendizes por meio dos registros dasinterações [25], ou acompanhando, analisando e gerandofeedback [26, 27]. Também são encontradas pesquisas queenvolvem o registro das interações dos aprendizes e a

aplicação de técnicas de data mining para a extração einferência de padrões de comportamento [28, 29].

Na próxima seção é apresentado o ambiente de suporte àEaD TelEduc e sua estrutura atual de suporte à avaliaçãoformativa. Nas seções IV e V são apresentados,respectivamente, um relato de experiência de avaliaçãoformativa no TelEduc e as pesquisas em andamento no grupode pesquisa TelEduc, a fim de prover um suporte mais efetivoa esta forma de avaliação.

III. AVALIAÇÃO FORMATIVA NO TELEDUC

O TelEduc é um ambiente de criação, participação eadministração de cursos à distância na Web que vem sendodesenvolvido desde 1997, pelo Núcleo de Informática aplicadaà Educação (NIED) em parceria com o Instituto deComputação (IC), ambos da Unicamp. O TelEduc tem sidodesenvolvido de forma participativa, tendo todas as suasferramentas idealizadas, projetadas e depuradas segundo asnecessidades relatadas por seus usuários [12].

Nesta seção são apresentadas algumas ferramentas doTelEduc, dando enfoque a estrutura atual deste ambiente parao apoio ao desenvolvimento de atividades e à avaliaçãoformativa. Uma descrição completa do ambiente TelEduc éencontrada em [12].

Todo o processo de aprendizagem no TelEduc é organizadopor meio da ferramenta Agenda que apresenta a programaçãode um período do curso. Na Agenda o formador podedescrever os objetivos de aprendizagem a serem alcançados noperíodo em questão, as atividades planejadas para que oaprendiz alcance tais objetivos e os recursos disponibilizadospara apoiar o aprendiz no desenvolvimento das atividadesplanejadas. O aprendiz visualiza a Agenda atual sempre queentra no curso.

Figura 1 - Ferramenta Atividades do TelEduc: pastas de atividades

As atividades do curso são organizadas e disponibilizadaspor meio das ferramentas Atividades (Figura 1) e ParadaObrigatória. Essas duas ferramentas são diferenciadas maisconceitualmente do que computacionalmente, já que a segunda

Page 5: Suporte à Avaliação Formativa no Ambiente de Educação à Distância TelEduc

Suporte à Avaliação Formativa no Ambiente de Educação à Distância TelEduc 5

é usada quando o formador deseja fazer um fechamento dasprincipais idéias abordadas em um período do curso [12].

O TelEduc foi concebido para apoiar a aprendizagembaseada na resolução de problemas. Dessa forma, a ferramentaAtividades é o elemento central do ambiente, e ferramentascomo Material de Apoio, Leituras, Fóruns de Discussões,Bate-Papo, Mural, Perguntas Freqüentes e Portfólio, foramcriadas para apoiar o desenvolvimento das atividades (Figura2).

Figura 2 - Organização das Ferr

Uma atenção especiacomunicação Portfólio (aprendiz ou grupo deinformações, a fim de comresultado de seu trabalho

Figura 3 - Ferramenta Portfparticipantes de um curso

No Portfólio o aprentipo de arquivo e secompartilhamento: o possibilita que todos osacesso e comentar seuformadores permite o acedo curso; e o não compapessoas ou aos não comportfólios de grupos. Es

aprendiz ou grupo ainda não conseguiu o resultado final, istoé, trata-se ainda de um trabalho em andamento que apenas estáusando o espaço para armazenamento durante sua fase deconstrução. A organização dos aprendizes em grupos érealizada por meio da ferramenta Grupos.

No TelEduc todas as ferramentas de comunicação possuemregistro das interações, inclusive as salas de bate-papo. Tudo oque acontece em um curso é registrado (interações, conteúdos,acessos), portanto a avaliação pode ser formativa, por meio daanálise e orientação contínua das participações dos aprendizesdurante o desenvolvimento de atividades individuais e emgrupo.

A fim de facilitar a visualização de dados quantitativos dasinterações realizadas no ambiente foi criada a ferramentaInterMap, que utiliza técnicas de visualização de informaçãopara mapear a interação e a participação dos atores envolvidos

Atividades

em um curso no TelEduc, utilizando várias formas derepresentação gráfica, tais como grafos, gráficos de barra ecódigo de cores [24].

o

Fórum Bate-

amentas do

l deve Figura 3 aprend

unicar e recebe

ólio do T

diz/gruplecionarmodo particip trabalhsso somrtilhado ponentesta últim

Correi

Portfólio

TelEduc

ser dada à), que é umizes pode ao grupo e/or comentário

elEduc: lista

o pode arm um dos totalmente antes do co; o com

ente ao grupnão permite de um gr

a opção é

Mural

fea áorgu as e

dos

azetrêco

ursoparo d ac

upousad

Diário

Materialde Apoio

Leituras

Grupos

PerguntasFreqüentes

rramenta derea onde umanizar suas

o formador osugestões.

portfólios dos

nar qualquers tipos dempartilhado possam tertilhado come formadoresesso a outras, no caso dea quando o

Figura 4 - grafo criado pela ferramenta InterMap representando o fluxo demensagens de correio trocadas. Os vértices (nós) representam os participantesno curso e as arestas representam a troca de mensagens entre eles.

O InterMap facilita a visualização de dados quantitativosdas interações como, por exemplo, a visualização, por meio deum grafo, do fluxo das mensagens de correio trocadas entre osparticipantes do curso (Figura 4), ou a visualização dasmensagens diárias enviadas por cada aprendiz a umdeterminado fórum, que pode ser representado por uma tabelapreenchida por meio de uma técnica que define uma cor paracada quantidade de mensagens trocadas. Com o InterMap, oformador passa a ter “pistas” semelhantes àquelas que dispõeem aulas presenciais, como a falta de interação de algunsaprendizes, a formação de grupos e a identificação entre pares.

O TelEduc possui também a ferramenta Acessos, quepermite a geração de relatórios contendo o número de acessos,a data e hora do último acesso de cada participante ao curso, afreqüência dos acessos de cada participante durante umdeterminado período do curso (Figura 5), e os acessos dosaprendizes a cada uma das ferramentas do TelEduc. Esta

Page 6: Suporte à Avaliação Formativa no Ambiente de Educação à Distância TelEduc

Suporte à Avaliação Formativa no Ambiente de Educação à Distância TelEduc 6

ferramenta tornou-se necessária para possibilitar adiferenciação entre o “aprendiz calado” mas presente e o“aprendiz ausente”, que é extremamente importante noacompanhamento de um curso.

Figura 5 - Ferramenta Acessos do TelEduc: freqüência de acessos

Como será apresentado na próxima seção, a partir daatuação efetiva como formadores (juntamente com um grupode outros 17 formadores e 36 monitores) no oferecimento decursos à distância que empregaram a avaliação formativa, foipossível o levantamento das necessidades relativas àsferramentas de apoio a esta forma de avaliação. Apesar doTelEduc possibilitar o registro de todas interações dosaprendizes ao longo do curso, e análise quantitativa dessasinterações, é necessário prover suporte à análise qualitativadesses dados. Na seção V são apresentadas as pesquisas queestão em andamento no grupo TelEduc, a fim de preencheressa lacuna.

IV. RELATO DE EXPERIÊNCIA

Esta seção apresenta uma análise do processo de avaliação decursos de capacitação de professores em informática naeducação especial realizados pelo Núcleo de InformáticaAplicada à Educação (NIED) da Unicamp e o Núcleo deInformática na Educação Especial (NIEE) da UFRGS, noescopo do projeto Proinesp3 (Projeto de Informática naEducação Especial). Estes cursos foram realizados totalmenteà distância por meio do TelEduc, atendendo 18 turmas de 24aprendizes, estando estes distribuídos por todos os estadosbrasileiros.

A. Metodologia de Avaliação

Os cursos em questão seguiram a abordagem construcionista[23], que envolve o uso maciço e significativo do computador

3 O Projeto Proinesp vem sendo desenvolvido pela Secretaria de EducaçãoEspecial do governo federal do Brasil e Fundação Nacional das APAEs, como objetivo de contemplar, com laboratórios de informática e cursos decapacitação de professores, escolas que atendem pessoas portadoras denecessidades especiais.

no local onde o aprendiz atua, oferecendo condições para queele construa o conhecimento, contextualizado na sua realidadee de maneira contínua.

A realização destes cursos à distância permitiu odesenvolvimento de atividades de construção do conhecimentocontextualizadas no local de trabalho do professor-aprendiz, oque favoreceu a reflexão deste sobre a própria experiênciapedagógica. Também foi possível a descontextualização daprática pedagógica [30, 31], por meio do compartilhamentodos conhecimentos construídos por cada participante.

A seguir são apresentados os principais tipos de atividadesusadas nos cursos em questão, procurando mostrar a dinâmicadas atividades e sua relação com o uso das ferramentas doTelEduc [11, 12] que deram suporte a realização das mesmas:

• Projetos: envolveram o desenvolvimento de atividadespráticas usando ferramentas computacionais, bem como oplanejamento, realização e análise de atividades práticasdos professores-aprendizes com seus aprendizes. Osprojetos foram desenvolvidos individualmente ou emgrupo e publicados no curso por meio da ferramentaPortfólio. Todas as atividades compartilhadas noPortfólio eram comentadas pelos formadores e aprendizesde forma colaborativa e construtiva. O aprendiz eramotivado a entrar num ciclo de revisões seguidas decomentários, no qual tinha a oportunidade de construir edepurar os novos conhecimentos;

• Discussões online: realizados para promover a discussãode temas específicos do curso. Essas discussões foramrealizadas de 3 formas:

! Fórum: discussão assíncrona realizada por meio daferramenta Fórum de Discussões. Eram conduzidospelos formadores, que incentivavam as trocas deidéias e experiências. A natureza assíncrona do fórumfavoreceu a reflexão e a elaboração das participações,possibilitando maior qualidade e aprofundamento;

! Seminário Virtual: semelhante à atividade Fórum,no entanto nesta modalidade um ou dois gruposficavam responsáveis por propor as questões a seremdiscutidas, conduzir as discussões do fórum, fazeruma análise e avaliar a participação dos colegas;

! Bate-Papo: discussão síncrona realizada por meio daferramenta Bate-Papo para discutir tópicosrelacionados ao curso. A natureza síncrona do Bate-Papo gerou participações curtas e pouco elaboradas,no entanto demonstrou aumentar a proximidade entreos participantes do curso, contribuindo para aumentara colaboração;

• Relatos: reflexões do aprendiz sobre o próprioprocesso de aprendizagem, por meio de relatos de suasexperiências. Foi usada a ferramenta Diário de Bordo,que permite leitura e comentário apenas de formadores.

Atendendo à legislação brasileira [14], foi realizada umaavaliação presencial no final do curso, a qual correspondeu a

Page 7: Suporte à Avaliação Formativa no Ambiente de Educação à Distância TelEduc

Suporte à Avaliação Formativa no Ambiente de Educação à Distância TelEduc 7

30% da nota final do aprendiz, os 70% restantes foram obtidospor meio da avaliação formativa do aprendiz ao longo docurso.

B. Reflexões sobre a experiência

Nesta experiência pôde ser feito um levantamento dasprincipais tarefas desempenhadas pelos formadores durante oprocesso de avaliação formativa [32].

O trabalho do formador no processo de avaliação formativainicia na elaboração das atividades de avaliação, e essa etapamerece muito cuidado, já que as atividades têm o potencial dedirecionar a atenção dos aprendizes para conteúdos específicose para a prática de habilidades particulares. A variedade deferramentas de comunicação disponíveis no TelEducpossibilita a exploração de diversos métodos de avaliação, deacordo com os objetivos pedagógicos do formador.

Em um curso à distância o acompanhamento dos aprendizesé muito mais difícil que em cursos presenciais, já que oformador só tem a percepção do comportamento edesenvolvimento do aprendiz quando este participa ativamentedo curso, expondo dúvidas, participando de discussões,realizando as tarefas ou contribuindo com os colegas. Logo,para acompanhar o desenvolvimento dos aprendizes énecessário rastrear um grande volume de dados gerados pelasinterações e atividades dos aprendizes no curso. O formadortem um grande trabalho procurando, coletando e analisandoinformações relevantes ao acompanhamento do curso. Énecessário acompanhar cada nova ação dos aprendizes, alémde estar atento para detectar possíveis problemas no processode aprendizagem (como a falta de acesso, falta departicipação, atraso de tarefas, falta de participação no grupo).Além disso, o formador freqüentemente tem que elaborarrelatórios resumindo as observações de acompanhamento dosaprendizes, como a freqüência de acesso, participação emfóruns e bate-papos e o andamento das atividades agendadas.

Como facilitador do processo de aprendizagem à distância,o formador deve orientar o aprendiz sobre a dinâmica docurso, sobre a participação esperada, conscientizando-o daimportância de sua participação ativa neste contexto deaprendizagem. Além disso, o formador deve estarconstantemente orientando e motivando a aprendizagem, pormeio do auxílio na resolução de dúvidas, promoção dediscussões, promoção da colaboração e principalmente pormeio dos comentários dados às atividades dos aprendizes. Oscomentários são elementos importantes no processo deconstrução do conhecimento, orientando a depuração do novoconhecimento, realizada durante um ciclo de várias revisões ecomentários de uma mesma atividade.

Ao final do desenvolvimento de uma atividade, geralmenteé necessário que o formador analise o aproveitamento doaprendiz durante o desenvolvimento da atividade e estabeleçaalgum tipo de conceito para a mesma. De acordo com oformador, a turma, os objetivos e o contexto de aprendizagem,a atribuição de conceitos pode ser realizada de diferentesformas (alguns levam em consideração o nível de

conhecimento inicial do aprendiz e o seu desenvolvimentodurante a realização da atividade; outros consideram critérioscomo data de entrega da atividade, número de participaçõesem fóruns relacionados, número de participações relevantesem um determinado fórum; outros ainda consideram fatorescomo interesse, empenho, participação, colaboração com oscolegas, etc). Portanto para atribuir o conceito de umaatividade, geralmente o formador necessita buscar e analisaruma grande quantidade de informações relevantes para atribuirum conceito final, de acordo com os seus objetivospedagógicos.

Dessa forma, apesar do curso ter sido estruturado empequenas turmas de 24 aprendizes, cada uma acompanhadapor três formadores, notou-se uma grande sobrecarga detrabalho para os formadores, devido a grande quantidade dedados a serem coletados e analisados.

Destas constatações e experiência, o grupo de pesquisa doprojeto TelEduc iniciou um estudo no sentido de viabilizar aimplementação de tecnologia adequada ao auxílio destastarefas do processo de avaliação formativa. Na próxima seçãodescrevemos estas pesquisas e conseqüentes propostas denovas ferramentas tecnológicas.

V. A CAMINHO DE SOLUÇÕES PARA APOIAR A AVALIAÇÃO

FORMATIVA NO TELEDUC

Como visto anteriormente, o TelEduc, possui ferramentasde comunicação projetadas para facilitar tanto as interaçõesentre os participantes de um curso à distância como avisualização do registro dessas interações para uma posterioranálise. Um auxílio à análise quantitativa das interações éfornecido pelas ferramentas InterMap e Acessos, no entanto oprocesso de avaliação formativa no TelEduc ainda demandamuito tempo e trabalho dos formadores, principalmente naanálise qualitativa das participações dos aprendizes.

Na avaliação formativa baseada no acompanhamento daperformance dos aprendizes no desenvolvimento deatividades, os métodos e os critérios de avaliação variam deacordo com os objetivos de aprendizagem dos formadores.Dessa forma, prover suporte à análise qualitativa nestecontexto é uma tarefa complexa: como não é possível e nemdesejável a pré-determinação de um conjunto de tipos deatividades e critérios de avaliação que atendam aos objetivosde qualquer curso, fica difícil a previsão do suporte maisadequado em cada caso. Logo existe uma demanda porsoluções adaptáveis a cada curso, de acordo com os objetivosde aprendizagem dos formadores.

Em busca desta flexibilidade, estamos desenvolvendopesquisas de suporte à avaliação formativa empregando atecnologia de agentes de software, que são entidades desoftware que atuam de forma contínua e autônoma em umdeterminado ambiente, sendo capazes de intervir nesteambiente, de forma flexível e inteligente, sem necessidade daconstante orientação humana [33]. Mais especificamente, estãosendo usados agentes de interface, que são aqueles que

Page 8: Suporte à Avaliação Formativa no Ambiente de Educação à Distância TelEduc

Suporte à Avaliação Formativa no Ambiente de Educação à Distância TelEduc 8

aprendem observando e monitorando as ações dos usuários emuma interface, e atuam como assistentes pessoais, colaborandocom o usuário e com outros agentes na realização dedeterminadas tarefas [34].

Assim, o foco das pesquisas que vêm sendo desenvolvidasno Projeto TelEduc na área de suporte à avaliação, é facilitara atuação do formador, provendo suporte flexível às principaistarefas desenvolvidas pelos formadores no processo deavaliação formativa, principalmente na análise qualitativa dasparticipações dos aprendizes.

As pesquisas do grupo TelEduc estão sendo desenvolvidasem duas pontas: por um lado espera-se facilitar o registro erecuperação das avaliações (notas e comentários) realizadas aolongo do curso pelos formadores e, por outro lado, espera-sereduzir a quantidade de informações a serem analisadas efacilitar o formador na identificação e recuperação deinformações quantitativas e qualitativas relevantes àavaliação, de acordo com os seus critérios .

Nas subseções seguintes apresentaremos uma brevedescrição dos três projetos que estão sendo desenvolvidosnesta área. O primeiro é um projeto de (re)design dasferramentas de comunicação do TelEduc que visa facilitar oregistro e a recuperação das informações das avaliaçõesrealizadas pelos formadores ao longo de um curso [35]. Osoutros dois projetos empregam a tecnologia de agentes deinterface para facilitar a filtragem e recuperação deinformações relevantes à avaliação: um projeto trataespecificamente do suporte à filtragem de participaçõesrelevantes nos registros de sessões de bate-papo, de acordocom o interesse do formador [36, 37]; e o outro projetoengloba os dois projetos anteriores, visando prover suporteadaptativo à recuperação de informações relevantes a partirdos registros das interações e das avaliações, a fim de facilitara análise qualitativa das participações dos alunos, bem como adetecção de problemas de aprendizagem e a construção doperfil de aprendizagem do aluno, de acordo com asnecessidades do formador [38, 39].

A. (Re)design das ferramentas de comunicação: interfacepara auxiliar o registro e análise de avaliações

Conforme descrito na seção III e exemplificado na seção IV,a avaliação formativa no Teleduc é baseada na análise daparticipação dos aprendizes durante o desenvolvimento deatividades individuais e em grupo, por meio dos registros deferramentas de comunicação.

Como visto, a avaliação qualitativa de uma atividade decorrediretamente das observações realizadas pelo formador duranteo acompanhamento do desenvolvimento da mesma, ao longodo curso. No entanto, no TelEduc atualmente não existe umrecurso que permita o registro dessas observações e esseprocesso é feito manualmente pelo formador, por meio deanotações paralelas fora do ambiente. Consequentemente,sempre que for necessário recuperar informações de avaliaçõesanteriores, o formador precisa buscar esses dados em suasanotações. Este processo pode ser bastante trabalhoso,

dependendo do número de atividades, alunos e ferramentas decomunicação envolvidas, além da própria organização doformador, podendo envolver a busca e análise de um enormevolume de informações. Daí a necessidade de criar um recursode armazenamento e recuperação dos dados de avaliaçõesrealizadas.

Desta forma, está sendo realizado um (re)design dasferramentas de comunicação Portfólio, Fórum de Discussão eBate-papo, a fim de prover uma interface que permita aavaliação de atividades por meio de conceitos e/oucomentários, no momento em que o formador acharnecessário. Também está sendo criada uma ferramenta quepermitirá o cadastro das atividades que serão avaliadas e osdados de avaliação das mesmas (ex: em quais ferramentas decomunicação a atividade será realizada, o valor da atividade, aqual agenda se refere, se a atividade é individual ou em grupo,etc).

Os resultados das avaliações poderão ser visualizados pormeio de gráficos, tabelas, grafos, planilhas, e outras formas aserem estudadas, de acordo com o tipo de informaçãosolicitada pelo formador. O objetivo será apresentar uma visãodo andamento da turma para o formador, tais como:aprendizes que já entregaram uma atividade, o desempenhodos aprendizes, aprendizes cujas notas estão entre um intervaloespecífico, assuntos que interessam ao grupo e a um aprendizparticular.

Assim, este trabalho visa facilitar o registro das avaliaçõesque são realizadas ao longo do curso, e também a posteriorrecuperação, consolidação e análise dos dados destasavaliações, facilitando assim o acompanhamento dosaprendizes nas atividades realizadas.

B. Uso de Agentes de Interface para o suporte à análise desessões de bate-papo

Além de facilitar o registro das avaliações ao longo do curso,é necessário prover recursos que auxiliem na filtragem deinformações relevantes à avaliação, diminuindo o volume deinformações a serem analisadas durante o processo deavaliação formativa.

Esta pesquisa focou primeiramente a filtragem decomentários na ferramenta de Bate-papo, já que esta, comoconcebida originalmente, é a ferramenta de comunicaçãomenos estruturada4 do TelEduc. Essa característica faz comque a interação se dê “de forma natural e informal, tendo emvista que é relativamente não-planejada, ou seja, aconstrução da interação vai sendo planejada e re-planejada acada novo lance do jogo da linguagem” [40], diferentementedo que, provavelmente, aconteceria se a opinião do

4 A única estruturação presente nos comentários dos bate-papos é comrelação a existência do nome da pessoa que enviou o comentário (remetente),da pessoa que recebeu o comentário (destinatário) e à entonação da fala(“pergunta para”, “fala para”, etc), além do próprio texto do comentário. Ex.:José pergunta para Maria: Que dia é hoje ?

Page 9: Suporte à Avaliação Formativa no Ambiente de Educação à Distância TelEduc

Suporte à Avaliação Formativa no Ambiente de Educação à Distância TelEduc 9

participante fosse postada via uma ferramenta de comunicaçãocomo o Correio ou Fórum de Discussões.

Essa naturalidade e informalidade na conversação permitemaos participantes de uma sessão de bate-papo dar uma vazãomaior às suas idéias o que, consequentemente, se reproduz emum número enorme de comentários. Quando usada no contextoda EaD, a ferramenta de bate-papo acaba originando umagrande sobrecarga para o professor, uma vez que ele tem queanalisar todos os comentários realizados em uma sessão debate-papo para poder avaliar adequadamente as contribuiçõesdos alunos.

A fim de diminuir a sobrecarga do formador no momento deanalisar o que foi discutido em uma sessão de bate-papo, foidesenvolvida uma ferramenta baseada na tecnologia de agentesde interface que possibilita a seleção automática decomentários do bate-papo por um agente de interface, deacordo com os interesses do formador. Essa capacidade deseleção é adquirida pelo agente a partir da observação doscritérios utilizados pelo formador na hora de selecionar umcomentário. Com base nessa observação, o agente é capaz deanalisar um comentário e decidir, por si só, se o seleciona ounão. Nas próximas subseções são apresentados o processo deaprendizagem do agente e alguns resultados iniciais deanálises de sessões de bate-papo efetuadas pelo agente.

1) O processo de aprendizagem do agente

O agente de interface desenvolvido possui duas formas deaprender os interesses do usuário na seleção dos comentáriosde uma sessão de bate-papo: pela observação e pelo feedbackdo usuário.

A aprendizagem por observação ocorre antes do agenteefetuar qualquer análise dos comentários de uma sessão. Oagente apresenta ao formador uma interface que permite aseleção de comentários de uma sessão de bate-papo registradano ambiente TelEduc (Figura 6). Por meio desta interface, oformador pode selecionar um conjunto de comentários eindicar, para cada comentário, os critérios que o levaram afazer a seleção. Os critérios passíveis de serem indicados peloformador como sendo o motivo para a seleção de umdeterminado comentário são: o apelido da pessoa que enviouou recebeu um comentário; a entonação da fala presente nocomentário; e qualquer uma das palavras presentes nocomentário. Esses critérios foram levantados por meio dapesquisa com diversos formadores que ministraram cursos viao ambiente TelEduc e da observação dos quesitos que eleslevavam em consideração na hora de selecionar umcomentário.

Figura 6 – Visualização do registro de uma sessão de bate-papo

Durante o processo de seleção do formador, o agente vai“observando” os critérios indicados para cada comentárioselecionado. A cada seleção, o agente atribui um peso a cadaum dos critérios indicados, em função da freqüência com queaparecem nos comentários já selecionados pelo formador. Esseconjunto de critérios e seus respectivos pesos são usados peloagente na construção do perfil do formador.

Já a aprendizagem por feedback ocorre após a análise deuma sessão de bate-papo pelo agente, quando o formadorrevisa a seleção feita pelo agente, marcando comentários nãoselecionados e/ou cancelando seleções realizadas pelo agente.Por meio desse processo, o agente aprende quais oscomentários que selecionou de “forma errada”, refinando operfil do usuário.

Vale ressaltar que nas primeiras sessões analisadas, o agentenão terá muitos subsídios para poder decidir sobre a seleçãoou não de algum comentário da sessão. No entanto, à medidaque o agente vai observando o usuário em análises de váriassessões de bate-papo de um mesmo contexto de curso, oagente consegue refinar o perfil do usuário e torna-se capaz defornecer resultados mais efetivos na seleção de comentáriosrelevantes ao usuário. Na próxima subseção são apresentadosalguns resultados iniciais obtidos em testes preliminares forade situações reais de curso.

2) Resultados Iniciais

No intuito de validar o agente foram realizados alguns testesem cima de sessões de bate-papos realizadas em cursosoferecidos por meio do TelEduc. O objetivo principal dostestes foi verificar se o agente, efetivamente, selecionava oscomentários mais adequados aos interesses de um formador.

Nos testes, fez-se com que o agente analisasse as sessões debate-papo de dois modos diferentes, segundo a forma depreenchimento da base de conhecimentos do agente na hora daanálise. Na primeira análise, todos os critérios indicados por

Page 10: Suporte à Avaliação Formativa no Ambiente de Educação à Distância TelEduc

Suporte à Avaliação Formativa no Ambiente de Educação à Distância TelEduc 10

cada formador foram armazenados na base de conhecimentosdo agente antes da análise. Na outra análise, os critérios foramsendo acrescentados a base de conhecimentos do agentepaulatinamente, um a um e, a cada novo critério adicionado,era pedido para que o agente analisasse novamente as sessões.Essas situações de teste foram projetadas dessa forma com ointuito de ver como o agente reagia a duas situações práticasde uso.

A primeira situação de teste espelha o caso de umadisciplina ou de um curso à distância que seja ministradoregularmente. Neste tipo de curso, a discussão de umdeterminado assunto por meio da ferramenta de bate-paposempre contém temas e tópicos comuns a todas as discussões.Essa é uma situação na qual, sendo o agente capaz de aprendercom uma turma do curso o interesse do formador, é possívelaplicá-lo nos cursos futuros para selecionar os comentários dasturmas seguintes. Além disso, essa situação de teste tambémpermite se visualizar qual a amostra inicial de comentáriosnecessária que o agente observe para que comece a apresentarresultados efetivos.

A segunda situação de teste foi projetada com o intuito deverificar qual a importância do formador olhar, literalmente,todos os comentários um a um de uma sessão, para que oagente o observe e construa o seu perfil.

Na primeira situação de teste o agente apresentou uma taxade cobertura de 70% na turma em que pior se saiu e 75% namelhor. Essa taxa de cobertura diz respeito aos comentáriosque o agente selecionou e que também foram selecionadospelos formadores quando das suas análises. Além disso, oagente desprezou, aproximadamente, 2/3 do número total decomentários, fração semelhante à dos comentários excluídospelos formadores.

O resultado da outra situação de teste permitiu ver que oagente melhorava a sua seleção a cada novo critério que eraacrescentado a sua base de conhecimentos. No entanto, essamelhora era mínima globalmente e máxima localmente a cadanovo critério adicionado. Em outras palavras, o acréscimo deum novo critério, afetava fortemente os comentários próximosao comentário de onde se originou o critério que tinha acabadode ser adicionado à base de conhecimentos do agente e afetavamuito pouco os comentários mais afastados. Com base nisso,foi visto que não importa a ordem em que são selecionados oscomentários, mas sim a localização dos comentáriosselecionados dentro da sessão. Isso implica que é melhor oformador selecionar amostras de comentários de toda a sessãodo que só de uma parte dela para que o agente possaapresentar resultados mais efetivos.

É possível dizer que, por meio dos resultados preliminaresobtidos, a tecnologia de agentes de interface se aplicou bem aoproblema de filtragem adaptativa de comentários em sessõesde bate-papos, de acordo com o perfil de seleção do usuário.Isso ocorreu mesmo sendo o bate-papo, a ferramenta decomunicação menos estruturada do TelEduc. O desafio daanálise de uma sessão de bate-papo é, justamente, o fato destaferramenta não apresentar estruturas que auxiliem na seleção

de comentários relevantes, tais como, as encontradas em outrasferramentas (por exemplo, na ferramenta Correio, o conteúdodo campo assunto normalmente dá uma dica sobre o teor doconteúdo da mensagem). Por isso, os resultados positivosobtidos com esta ferramenta apontam para a extensão daaplicação do agente para as outras ferramentas do ambiente.

C. Uso da tecnologia de Agentes de Interface no suporte àrecuperação de informações relevantes à avaliaçãoformativa.

Como nos cursos à distância as interações são necessárias, efortemente motivadas, o volume de informações geradas pelasinterações geralmente é muito grande, e o acompanhamentodestas sobrecarrega o formador, muitas vezes comprometendoa sua atuação no processo de avaliação formativa, como pôdeser observado na experiência de curso relatada na seção IV.

Os resultados positivos obtidos na pesquisa apresentadaanteriormente dão indicativos da viabilidade do uso datecnologia de agentes de interface para prover uma soluçãomais ampla para o suporte flexível à avaliação formativa.Dessa forma, está sendo desenvolvido um projeto que englobaresultados dos dois projetos anteriores para prover suporteadaptativo à recuperação de informações relevantes a partirdos registros das interações e das avaliações.

A partir da recuperação destas informações espera-se proverauxílio em tarefas constantemente desempenhadas pelosformadores, a fim de liberá-los destas funções, diminuindo asobrecarga destes no processo de avaliação formativa.Levantamentos iniciais realizados em situação real de curso(seção IV) possibilitaram a observação de funções que sãoconstantemente desempenhadas pelos formadores e poderiamser “aprendidas” por agentes de interface. Desta forma, estásendo realizada a especificação de um sistema baseado emagentes que atuarão nas seguintes funções:

• Recuperação e análise de informações quantitativas equalitativas que sejam relevantes a cada formador, apartir dos registros das interações e das avaliaçõesrealizadas ao longo do curso;

• Construção dinâmica do Perfil do Aprendiz, refletindo odesenvolvimento do aprendiz ao longo do curso,segundo aspectos relevantes a cada formador (como acapacidade de aplicação de um novo conhecimento, acolaboração, a autonomia, etc). O Perfil de um aprendizpoderá ser constantemente validado e refinado, deacordo com as informações extraídas dos registros dasinterações e das avaliações. A construção deste perfilpossibilitará também a promoção da colaboração entreos aprendizes, por exemplo, por meio da busca deaprendizes que possam responder determinadas dúvidasno Fórum, ou fazer comentários em Portfólios;

• Auxílio na detecção de possíveis problemas (comoausência de acesso ao curso, falta de interação, atraso detarefas, falta de participação em atividades em grupo,etc), de acordo com os interesses de cada formador.

Page 11: Suporte à Avaliação Formativa no Ambiente de Educação à Distância TelEduc

Suporte à Avaliação Formativa no Ambiente de Educação à Distância TelEduc 11

No momento estão sendo realizadas a especificação dacomunidade de agentes que será desenvolvida para apoiar asfunções descritas acima, e a análise de viabilidade deintegração desta ao ambiente TelEduc.

VI. CONSIDERAÇÕES FINAIS

Um dos grandes desafios da avaliação formativa, tanto noensino presencial como à distância, é a sobrecarga de tarefaspara os formadores e, consequentemente, um alto custo deimplantação.

Vários pesquisadores têm usando o ambiente TelEduc paraprover cursos baseados em atividades de construçãocolaborativa de conhecimentos [31, 32, 41]. Nestes cursos aavaliação formativa tem sido possível por meio dos registrosdas ferramentas de comunicação e informações quantitativasdas interações obtidas pelas ferramentas Acessos e Intermap.No entanto, estas experiências mostraram a forte necessidadedo desenvolvimento de pesquisas visando diminuir asobrecarga dos formadores na recuperação, acompanhamento,análise e organização do enorme volume de dadosquantitativos e qualitativos gerados por essas interações.

Prover suporte à avaliação formativa é uma tarefacomplexa, pois não é possível e nem desejável a pré-determinação de um conjunto de tipos de atividades e critériosde avaliação que atendam aos objetivos de qualquer curso, emqualquer contexto. Logo existe uma demanda por soluçõesadaptáveis a cada curso, de acordo com os objetivos deaprendizagem dos formadores.

As pesquisas em andamento no grupo TelEduc exploram afacilidade de se registrar tudo o que ocorre em um curso àdistância mediado por computadores, bem como a exploraçãoda tecnologia de agentes de interface para filtrar e extrair,destes registros, as informações relevantes à avaliaçãoformativa, de acordo com os interesses e objetivospedagógicos do formador.

Os primeiros resultados obtidos com o uso da tecnologia deagentes de interface para prover suporte adaptativo à filtragemde registros de sessões de bate-papo trouxeram indicaçõespositivas sobre o uso desta tecnologia a fim de prover, noambiente TelEduc, suporte efetivo e flexível à avaliaçãoformativa.

REFERÊNCIAS BIBLIOGRÁFICAS

[1] Freire, P. (1996). Pedagogia da Autonomia: saberes necessários àprática educativa. São Paulo: Paz e Terra, 1996.

[2] Rego, T. C. (1995). Vygotsky: Uma Perspectiva Histórico-Cultural daEducação. Petrópolis, RJ: Vozes, 1995. 138p.

[3] Gipps, C. (1998). Avaliação de alunos e aprendizagem para umasociedade em mudança. In: Anais do Seminário Internacional deAvaliação Educacional. Brasília: INEP, 1998.

[4] Cerny , R.Z.(2001). Uma reflexão sobre a avaliação formativa naeducação a distância. UFSC, 2001.

[5] Perrenoud, P.(1999). Avaliação: da excelência à regulação dasaprendizagens entre duas lógicas. Porto Alegre: Artes Médicas, 1999.

[6] Gardner, H. (1994). Reinventing our schools: a conversation withHoward Gardner. Disponível em: http://www.education-world.com/a_issues/issues098.shtml.

[7] Wiggins, G. (1990). The case for authentic assessment. Eric Digest, no.ED328611.

[8] Haertel, E. (1999). Performance Assessment and Educational Reform.In: Phi Delta Kappan .

[9] Nelson, G. E. (1998). On-Line Evaluation: Multiple Choice,Discussion Questions, Essay, and Authentic Projects. In: ThirdTeaching in the Community Colleges Online Conference, KapiolaniCommunity College, Hawaii, April 7-9, 1998. (ED 430 695).

[10] Biggs, J (1999). Teaching for Quality Learning at UniversityBuckingham: SRHE and Open University Press.

[11] Teleduc (2002). Disponível no endereço:http://teleduc.nied.unicamp.br

[12] Rocha, H. V. (2002). O ambiente TelEduc para Educação à Distânciabaseada na Web: Princípios, Funcionalidades e Perspectivas dedesenvolvimento. In: Moraes, M.C. (Org). Educação à Distância:Fundamentos e Práticas. Campinas, SP:Unicamp/Nied, 2002, pp. 197-212.

[13] AulaNet (2002) AulaNet. Fundação Padre Leonel Franca – PUC-Rio.Disponível em: http://www.aulanet.com.br Consultado em 27/08/01.

[14] Ministério da Educação – Regulamentação da EAD no Brasil.Disponível por WWW:http://www.mec.gov.br/Sesu/educdist.shtm#regulamentação.

[15] Kerka, S.; Wonacott, M. (2000). Assessing Learners Online.ERIC/ACVE, 2000. Disponível em:http://ericacve.org/docs/pfile03.htm.

[16] Tarouco, L.; de Vit, A. R.; Hack, L.; and Geller, M. (2000). SupportingGroup Learning and Assessment through Internet. In: Trans-EuropeanResearch and Education Networking Association Conference, Lisboa,Portugal, Maio 2000.

[17] Thorpe, M. (1998). Assessment and 'Third Generation' DistanceEducation. Distance Education 19, no. 2 , 1998: 265-286. (EJ 582131).

[18] Brusilovsky, P.; Miller, P. (1999). Web-based Testing for DistanceEducation. In: Webnet World Conference on WWW and Internet,1999.

[19] Cardoso, R.; Lima, J.V. (2001). AvalWeb - Sistema interativo paragerência de questões e aplicação de avaliações na Web. In: Anais doVII Workshop de Informática na Escola, Fortaleza, Brasil, julho de2001.

[20] Karagiannidis, C.; Sampson, D.; Brusilovsky, P. (2001). LayeredEvaluation of Adaptive and Personalized Educational Applications andServices. In: International Conference on Artificial Intelligence inEducation, San Antonio, Texas, 2001.

[21] Atherton J S. (2002). Learning and Teaching: Disponívelem:http://www.dmu.ac.uk/~jamesa/learning/figures_behaviourism.htm.Consultado em 20/01/02.

[22] Hopper, M. (1998). Assessment in WWW-Based Learning Systems:Opportunities and Challenges. Journal of Universal Computer Science4, no. 4 (1998): 329-347. Disponível em:http://www.jucs.org/jucs_4_4/assessment_in_www_based/paper.html.

[23] Papert, S. (1994). A Máquina das Crianças. Repensando a escola naEra da Informática. Porto Alegre: Artes Médicas, 1994.

[24] Romani, L. A. (2000). Intermap: Ferramenta para Visualização daInteração em Ambientes de Educação a Distância na Web. Dissertação

Page 12: Suporte à Avaliação Formativa no Ambiente de Educação à Distância TelEduc

Suporte à Avaliação Formativa no Ambiente de Educação à Distância TelEduc 12

de Mestrado, IC/Unicamp, dez 2000.

[25] Jaques, P.; Oliveira, F.M. (2000). Um Experimento com Agentes deSoftware para Monitorar a Colaboração em Aulas Virtuais. Workshopde Informática na Escola, 2000.

[26] Musa, D.; Oliveira, J.; Vicari, R. (2001). Agente para auxílio aavaliação de aprendizagem em ambientes de ensino na Web.In:Workshop de Informática na Escola, 2001.

[27] Shen, R.., Tang, Y.; Zhang ,T. (2001). The Intelligent AssessmentSystem in Web_based Distance Learning Education In: 31thASEE/IEEE Frontiers in Education Conference, 2001.

[28] Silva, D. R.; Seno, W. P.; Vieira, M. T. P. (2001). Acompanhamentodo Aprendizado em Educação a Distância com Uso de Data Mining.In: Conferência Latinoamericana de Informática, Mérida, Venezuela,2001.

[29] Zaïane, O.; Luo, J. (2001). Towards Evaluating Learners’ Behaviour ina Web-Based Distance Learning Environment. In: ICALT 2001.

[30] Valente, J. A. (2000). Educação a Distância: Uma oportunidade paraMudança no Ensino. In: Maia, C. (Org.). Educação a distância noBrasil na era da Internet. São Paulo: Anhembi Morumbi Editora, 2000,pp. 97-122.

[31] Prado, M. E.; Valente, J. A. (2002). A educação a distânciapossibilitando a formação do professor com base no ciclo da práticapedagógica. In: Moraes, M.C. (Org). Educação à Distância:Fundamentos e Práticas. Campinas, SP:Unicamp/Nied, 2002, pp. 27-50.

[32] Otsuka, J. L. (2002) Análise do processo de avaliação contínua em umcurso totalmente a distância. In: Virtual Educa 2002, Valença,Espanha,2002.

[33] Bradshaw, J. M. (1997). An Introduction to software Agents. In:Bradshaw, J. M. (Ed.). Software Agents. Massachussetts: MIT Press1997.

[34] Maes, P. (1995). Agents that Reduce Work and Information Overload.Communications of the ACM. 38 (11), novembro, 1995, 108-114.

[35] Ferreira, T. B. (2001). Desenvolvimento de uma Ferramenta de Suporteà Avaliação em Ambientes de Ensino a Distância. Qualificação deMestrado, IC/Unicamp, 2001.

[36] Lachi, R. L. (2001) Uso de agentes de interface no gerenciamento deinformações em ambientes de ensino a distância. Qualificação deMestrado, IC/Unicamp, 2001.

[37] Lachi, R; Otsuka, J.; Rocha, H. (2002). Uso de Agentes de Interface noSuporte à Análise de Sessões de Bate-Papo. Artigo submetido ao IHC2002.

[38] Otsuka, J. L; Rocha, H.V. (2002a). A caminho de um modelo de apoioà avaliação contínua. In: Anais do WIE 2002 (a ser publicado),Florianópolis,2002.

[39] Otsuka, J. L; Rocha, H.V. (2002b). An Agent-based Approach toSupport Formative Assessment In: Proceedings of 2002 InternationalConference on Computers in Education, Doctoral ResearchConsortium, IEEE, Auckland, New Zealand, 2002 (a ser publicado).

[40] Dionisio, A. P. (2001). Análise da Conversação. In: MUSSALIM F. eBENTES, A. C. (Org.) Introdução à Lingüística: Domínios eFronteiras. São Paulo, SP: Cortez. V.2, cap.3, p.69-100.

[41] Almeida, M. E. B. de (2002). Incorporação da tecnologia deinformação na escola: vencendo desafios, articulando saberes, tecendoa rede. In: Moraes, M. C. (Org.). Educação a distância – Fundamentose Práticas. Nied – Unicamp, 2002, pp. 71-90.