proposiÇÃo e aplicaÇÃo de um sistema via web de avaliaÇÃo...

FFFFFACEF PESQUISA - vACEF PESQUISA - vACEF PESQUISA - vACEF PESQUISA - vACEF PESQUISA - v.10 - n.1 - 2007.10 - n.1 - 2007.10 - n.1 - 2007.10 - n.1 - 2007.10 - n.1 - 2007 55555

PROPOSIÇÃO E APLICAÇÃO DE UM SISTEMAVIA WEB DE AVALIAÇÃO COMPLEMENTAR DO

PROCESSO DE ENSINO/APRENDIZADO

Henrique FREITASProfessor do PPGA/EA/UFRGS e pesquisador CNPq, Doutor em Gestão (UPMF - França)

[email protected]

Ricardo Simm COSTADoutorando em Administração pelo PPGA/EA/UFRGS

[email protected]

Raquel JANISSEK-MUNIZProfessora do PPGA/EA/UFRGS, Doutora em Gestão (UPMF - França)

[email protected]

Resumo

A Tecnologia da Informação (TI) vem trazendoimportantes contribuições ao processo de ensino eaprendizagem. Com relação aos procedimentos deavaliação, os recursos da TI permitem odesenvolvimento de novos instrumentos e técnicasde avaliação, que extrapolam a simples mensuraçãodo desempenho dos alunos. Assim, é objetivo desteestudo propor um sistema de avaliaçãocomplementar via web. Para tanto, apresentam-seprocedimentos e etapas importantes para odesenvolvimento do sistema de avaliação propostoe realiza-se a aplicação de quatro avaliaçõesespecíficas, em turmas de duas disciplinas do cursode graduação em Administração. A validação érealizada por meio de entrevistas com os professorese com 28 alunos das duas disciplinas nas quais foramaplicadas as avaliações. Ao final, apresentam-sealgumas considerações feitas por alunos e pelosprofessores com relação à experiência de realizaçãodessa atividade.

Abstract

Information Technology (IT) has been bringingimportant contributions to the process of teachingand learning. Regarding evaluation procedures,IT allows the development of new instruments andevaluation techniques, which go beyond simplemeasurements of students’ performance. The goalof this study is to propose a web-basedcomplementary evaluation system. To achieve thispurpose, procedures and important steps for thedevelopment of the evaluation system proposedhere are presented and the system is applied tofour specific evaluations, in two groups ofundergraduate students in a businessadministration course. The validation is carriedout by means of interviews with professors andwith 28 students from the two groups in whichthe evaluation was applied. Finally, some of theconsiderations offered by the students andprofessors concerning the experience in theactivity are presented.

Palavras-chave: Processo de Avaliação – WEB –Ensino e Aprendizagem.

Key-words: Evaluation process – WEB – Teachingand Learning.

recebido em 08/2006 - aprovado em 02/2007

PROPOSING AND APPLYING A WEB-BASED TEACHING AND LEARNINGCOMPLEMENTARY EVALUATION SYSTEM

FFFFFACEF PESQUISA - vACEF PESQUISA - vACEF PESQUISA - vACEF PESQUISA - vACEF PESQUISA - v.10 - n.1 - 2007.10 - n.1 - 2007.10 - n.1 - 2007.10 - n.1 - 2007.10 - n.1 - 200766666

PROPOSIÇÃO E APLICAÇÃO DE UM SISTEMA VIA WEB DE AVALIAÇÃO COMPLEMENTAR DO PROCESSO DE ENSINO/APRENDIZADO

Introdução

A avaliação é um procedimento complexo e vitalno processo de ensino e aprendizagem (KWOK eMA, 1999). Além de oferecer um feedback aosalunos com relação aos conteúdos importantes naaprendizagem, a avaliação deve auxiliar também oprofessor a tomar decisões com relação à conduçãode seu trabalho. Nessas duas funções da educação,a Tecnologia da Informação (TI) pode agregarimportantes facilidades, principalmente relacionadasao controle e armazenamento de dados einformações, redução de custos e uso de mídiasdiferenciadas (ARAÚJO, 2004). A construção emanutenção de um banco de dados dos alunos e oconseqüente cruzamento com dados dodesempenho desses alunos na avaliação sãorecursos computacionais que permitem oferecer aosprofessores subsídios para o planejamentopedagógico jamais antes imaginados (TINOCO,FOX e BARNETTE, 1997).

Contudo, apesar das vantagens da TI na educação,seu uso prático acaba restrito basicamente aodesenvolvimento de plataformas e ambientes deeducação à distância (RODRIGUES, 2000). Ficaevidente, portanto, a necessidade e oportunidadedo desenvolvimento de técnicas e ferramentas quepermitam a elaboração de avaliações por parte dosprofessores de forma que possam ser colhidosmelhores resultados através de sua aplicação(CARDOSO, 2001).

Assim, é objetivo deste trabalho propor um sistemade avaliação via web, apresentando os resultados desua aplicação em quatro turmas de duas disciplinasde graduação de um curso de Administração.

Na seção seguinte, apresenta-se uma breve revisãoacerca do processo de avaliação e do uso da webnesse processo. Os procedimentos para concepçãoe operacionalização do sistema de avaliação sãoapresentados na seção 3. Em seguida, na seção 4,descreve-se a aplicação do sistema na avaliaçãodos alunos das duas disciplinas e os resultadosobtidos. Por fim, são apresentadas algumasconsiderações finais e sugestões de melhorias nosistema e estudos futuros.

1 Processos de Avaliação

Com relação aos objetivos da avaliação, Haydt(1997) apresenta duas dimensões complementares,a saber:

a) Do ponto de vista docente, a avaliação precisapermitir que: (1) o professor monitore orendimento dos alunos e verifique se essesrendimentos foram satisfatórios em comparaçãoao nível de conhecimento e habilidades esperado;(2) avaliar se os métodos e formatos deapresentação do material didático foramutilizados de forma correta e de fácilentendimento.

b) Do ponto de vista discente, a avaliação precisapermitir que o aluno: (1) identifique na avaliaçãouma oportunidade de aprendizado e possa focar-se nos pontos em que precisa melhorar; (2)perceba necessidades de novos conhecimentose tenha autonomia para buscá-los.

Assim, ressalte-se que a importância da avaliaçãovai muito além de mensurar o desempenho de umdeterminado aluno e que, se utilizadaadequadamente ao longo do processo de ensino eaprendizagem (e não apenas ao final), podeimpactar positivamente na maneira como umconteúdo é assimilado pelo estudante e aconseqüência desse no conhecimento (KWOK eMA, 1999).

Na visão de Bercht (1997), a importânciafundamental da avaliação reside no subsídiooferecido para a tomada de decisão. É por meio daavaliação que um professor pode optar pelarealização de atividades de reforço, mudança depostura e de técnicas pedagógicas, oferecimento deleituras complementares e pontuais com base nospontos fracos identificados, enriquecimento da aulacom exemplos práticos ou considerar o aluno aptoem relação ao conteúdo ou à habilidade trabalhada.

Na visão de Shaewitz (apud SAFOUTIN et al,2000), o primeiro passo para a elaboração de umadequado processo de avaliação é a definição deum plano de avaliação, o qual precisa estar pautadoem três principais aspectos: (1) a definição clara


Henrique FREITASRicardo Simm COSTA

Raquel JANISSEK-MUNIZ

dos objetivos educacionais; (2) um conjunto válidode técnicas e instrumentos que permitamacompanhar o andamento do trabalho e suaaderência aos objetivos e (3) um plano deincorporação das melhorias no processoeducacional advindas do feedback da avaliação.

Uma avaliação precisa, portanto, ser coerente com osobjetivos do curso e com o projeto pedagógicoadotado, estar, clara e adequadamente, definida, possuiruma estrutura modular baseada em grandes temas,utilizar vocabulário de domínio do público avaliado(incluindo, se necessário, recursos multimídia) e permitira auto-avaliação do aprendizado (EDUTECNET,2003). Complementarmente, Albuquerque et al(1995) colocam que um processo adequado deavaliação deve ser composto de diferentes instrumentose técnicas, que permitam ao professor avaliar diferentesdimensões do aprendizado. No entanto, oacompanhamento dos alunos por meio de avaliaçõesé uma tarefa complexa, trabalhosa e demorada(CARDOSO, 2001). Nesse ponto, percebe-se quealguns recursos e ferramentas disponíveis na webpermitem, dependendo do contexto de aplicação,facilitar a execução dessas tarefas.

1.1 O Uso de Ferramentas Web emInstrumentos de Avaliação

Conforme destaca Araújo (2004), as instituiçõesainda usam a avaliação eletrônica de maneirabastante restrita. Na visão do autor: “algumas apenasutilizam este artifício [sistemas de avaliaçãoeletrônica] como seleção em vestibulares e outrasapenas como teste de conhecimento de conteúdo,apenas no sentido de aprovar/reprovar” (ARAÚJO,2004: p. 183). No entanto, justamente em atividadescomplementares à mensuração de desempenho eao aferimento de notas que os sistemas de avaliaçãoeletrônica podem trazer especiais contribuições.Cardoso (2001) destaca, por exemplo, aincorporação de recursos estatísticos e a geraçãoautomática de relatórios consolidados, que permitemaos professores analisar os resultados da avaliaçãoem uma perspectiva que vai além da consulta àsnotas, erros e acertos individuais.

Nessa linha, Tinoco et al. (1997) colocam que ouso de ferramentas on-line no processo deavaliação facilita e dinamiza a verificação dedeficiências de aprendizado dos alunos, permitindoa aplicação mais freqüente de testes e exercícios.A verificação instantânea dos resultados e acomparação desses resultados ao longo dasdiferentes aplicações da avaliação permitemacompanhar o progresso dos alunos e, assim,explicitar a necessidade de correções e demudanças de curso no processo de ensino – porparte do professor – e aprendizagem – por partedo aluno (SEAL, 2001).

Em uma reflexão sobre sistemas de avaliação viaweb, Cardoso (2001), consolida diversasvantagens e desvantagens de seu uso.

O autor destaca as seguintes vantagens:

a) Acesso facilitado a avaliações já realizadas;b) Facilidade de distribuição, coleta e análise de

dados;c) Verificação da integridade e validade dos

dados;d) Inserção de campos de resposta obrigatória;e) Avaliação concomitante de diferentes

aspectos e comparação;f) Julgamento objetivo e rápido;g) Submissão dos resultados a tratamentos

estatísticos de forma mais automatizada;h) Reformulação de estratégias de ação com

base no histórico das avaliações;i) Independência geográfica;j) Acompanhamento centralizado de resultados;k) Fácil utilização;l) Independência de aspectos temporais.

Como desvantagens, são levantados os seguintesaspectos pelo autor:

a) Maior esforço de preparação e elaboração;b) Dificuldades técnicas de acesso;c) Dificuldade maior de assegurar a efetiva

autoria do aluno;

FFFFFACEF PESQUISA - vACEF PESQUISA - vACEF PESQUISA - vACEF PESQUISA - vACEF PESQUISA - v.10 - n.1 - 2007.10 - n.1 - 2007.10 - n.1 - 2007.10 - n.1 - 2007.10 - n.1 - 200788888


d) Impossibilidade de avaliação de habilidadesde expressão;

e) Restrição de resposta dos alunos;f) Necessidade de acesso a computadores e a

internet;g) Necessidade de material digital;h) Dependência do software no qual foi

construída a avaliação;i) Necessidade de treinamento para o instrutor;j) Possibilidade de vírus.

Em uma análise comparativa dos sistemas deavaliação via web existentes, Justulin et al.(2004) levantam alguns critérios para aavaliação desse tipo de sistema. Apesar de osautores focarem na avaliação eletrônica para oensino a distância, seus critérios de avaliaçãosão, na sua maioria, úteis também para aavaliação de sistemas para avaliação de ensinopresencial. O quadro 1 apresenta os critériosde avaliação utilizados pelos autores e a posiçãodos diferentes sistemas avaliados.

Quadro 1 - Comparação de sistemas de avaliação existentes

CritériosInterface amigávelPermite interagir remotamentePossui permissão de acessoAs senhas são fornecidas pelos professoresPossui vários tipos de questõesAs questões apresentam índice de dificuldadeAs questões apresentam índices de dificuldade/facilidade progressivaGera o índice de dificuldade da avaliaçãoGera relatórios de desempenho do aluno ao professorGera a correção da avaliação ao alunoApresenta a correção gerada pelo professorpara esclarecimentos das dúvidas dos alunosEnvia resultados da avaliação por e-mail

Sisa-WebXXX

X

X

AvalWebXXXXXX

X

XXX

X

WebtestXXX

XX

HotPotatoesXX

XXX

X

X

X

X

Fonte: Justulin et al. (2004)

2 Concepção do Sistema de Avaliação via Web

A partir do levantamento das funções das técnicasde avaliação no processo de ensino e aprendizagem,buscou-se desenvolver um sistema via web paraapoio a atividades complementares de avaliação.Optou-se pelo desenvolvimento de um sistema (emdetrimento do uso de um sistema já existente) pordois motivos principais: (1) maior flexibilidade naincorporação das vantagens destacadas na literaturano sistema proposto e (2) facilidade técnica dosautores na elaboração de sistemas web.

O primeiro passo para a elaboração da avaliação éa construção da lista de questões que irá compô-la,bem como o peso relativo dessas questões no cálculodo resultado final. Diferentes tipos de questõespodem ser desenvolvidos dependendo da naturezae do objetivo da avaliação. A Figura 1 ilustra oambiente de confecção das questões.




Campo para definição do enunciado da questão

Campo para definição de um resumo da questão aser utilizado posteriormente pelo professor nos

tratamentos, análises e estatísticas

Campo para seleção do tipo de questão. Podem-se desenvlover questões de escolha múltipla ou

dissertativas

Campo para definição das alternativas de resposta(no caso de questões de escolha múltipla

Figura 1 - Ambiente de definição das questões

Entre os principais tipos de questões disponíveis,destacam-se:Fechada (única): oferece um conjunto de alternativase permite ao aluno optar por apenas uma.Fechada (múltipla): oferece um conjunto dealternativas e permite ao aluno a marcação de maisde uma das alternativas.

Numérica: o aluno insere a sua resposta na formade um número. Não há o oferecimento dealternativas de resposta

Texto: O aluno insere a sua resposta na forma detexto, podendo discorrer livremente sobre o temada questão.

Para as questões fechadas, faz-se necessária a definiçãode qual alternativa é a correta - no caso das questõesdo tipo “Fechada (única)” - ou quais as alternativassão as corretas, no caso das questões do tipo “Fechada(múltipla)”. Tal procedimento é realizado por meio daatribuição de valor “0” às alternativas erradas e valor“1” à(s) alternativa(s) correta(s). A Figura 2 ilustra oprocedimento de atribuição de valor.

Figura 2 - Ambiente de atribuição de valor às alternativas

Para as questões dissertativas, é necessário criarquestões adicionais (que não farão parte da listade questões da avaliação) para que o professorrealize a correção posterior. Assim, para cadauma das questões desse tipo, cria-se uma

questão relacionada, utilizada pelo professorpara fins de correção. A atribuição de valortambém precisa ser realizada nessas questões,para que façam parte da composição do cálculodo desempenho final do aluno.

FFFFFACEF PESQUISA - vACEF PESQUISA - vACEF PESQUISA - vACEF PESQUISA - vACEF PESQUISA - v.10 - n.1 - 2007.10 - n.1 - 2007.10 - n.1 - 2007.10 - n.1 - 2007.10 - n.1 - 20071 01 01 01 01 0


O cálculo do desempenho dos alunos é realizadopor meio da criação de variáveis do tipo “numérica”e da definição de fórmulas em linguagem Basic.Podem ser criadas diversas variáveis de mensuraçãode desempenho, envolvendo questões de diferentespartes do conteúdo nas fórmulas. Para acomposição do cálculo, são levados emconsideração os valores “0” e “1” atribuídosanteriormente. A definição do peso das questõesno cálculo do desempenho é realizada nessa etapa,em função da fórmula definida.

Após a definição das questões que compõem aavaliação, parte-se para a definição das variáveis decontrole (identificação) e monitoramento do processode avaliação. Tais variáveis são relevantes para arealização de controles de acesso dos alunos e parainserção de informações adicionais sobre o aluno aserem utilizadas na construção dos relatórios. Essasvariáveis já devem estar previstas no banco de dadosdo sistema de avaliação e devem ser preenchidaspelo professor em um formulário específico. Oambiente de definição dessas variáveis é o mesmoambiente de definição das questões já apresentadona figura 1. Assim, esse ambiente possui tambémoutros tipos de variáveis, para usos específicos:

Fechada (escalar): Variáveis contendo alternativas queseguem uma graduação específica. Tipo adequado parainserção de variáveis referentes à avaliação do professorcom relação à participação do aluno em sala de aula.Código: Variáveis para inserção de códigos. Tipoadequado para inserção de códigos de controle

Figura 3 - Matriz de dados da avaliação

Variáveis de controle (identificação) Variáveis de monitoramento Questões da avaliação

Posteriormente, parte-se para o desenvolvimentoda interface dos formulários para preenchimento dasvariáveis e questões. São desenvolvidos doisformulários distintos:

1) Para o professor, contendo as variáveis demonitoramento do andamento do aluno;

2) Para o aluno, contendo as questões específicasque compõem a avaliação.

(tais como o número de matrícula do aluno oucódigo do curso).Data/hora: Variáveis para inserção ou cálculo dedatas e horários. Variáveis adequadas para ocálculo do tempo discorrido nas respostas ou entreo início e o término da avaliação.Após a definição das questões da avaliação e dasvariáveis de controle e monitoramento, parte-se para ainserção dos dados de identificação dos alunos queparticiparão da avaliação, dados esses que serãoutilizados para o controle de acesso. Cada aluno precisater um código único de acesso à avaliação, o qual podeser o número de sua matrícula na instituição ou um códigoespecífico criado pelo professor. A importação dosdados dos alunos para o sistema pode ser realizada pormeio de uma matriz de dados contendo os campos“Código” e “Nome”. Adicionalmente, a importação dedados complementares, tais como o “Curso do Aluno”e “Ano de ingresso”, pode ser muito útil nos tratamentose análises dos dados. Nesse caso, é necessário que essesdados a serem importados estejam também previstosem campos específicos do banco de dados do sistema.Ao final, tem-se uma base de dados composta pelasquestões da avaliação e pelas variáveis complementaresde controle e monitoramento pelo professor. As célulascorrespondentes às questões da avaliação e às variáveisde monitoramento devem ser mantidas vazias, parapreenchimento posterior (pelo aluno e pelo professor,respectivamente). As células correspondentes àsvariáveis de identificação já devem estar preenchidas. AFigura 3 apresenta uma representação da matriz dedados do sistema de avaliação.

FFFFFACEF PESQUISA - vACEF PESQUISA - vACEF PESQUISA - vACEF PESQUISA - vACEF PESQUISA - v.10 - n.1 - 2007.10 - n.1 - 2007.10 - n.1 - 2007.10 - n.1 - 2007.10 - n.1 - 2007 1 11 11 11 11 1



Figura 4 - Interface para os alunos e para os professores

Instrumento para preenchimento pelo professor dedados de monitoramento do aluno

Instrumento de avaliação a serpreenchido pelo aluno

Albuquerque (1995) destaca que o recebimentoimediato de informações sobre os resultados daavaliação pode melhorar o processo deaprendizagem. Assim, procurou-se desenvolverum formulário específico para apresentação aosalunos dos resultados da avaliação, ilustrado na

Figura 5 - Interface do formulário de resultados

Os formulários foram desenvolvidos utilizando umsoftware específico (FREITAS et al, 2002) epublicados em linguagem de programação Java, para

execução a partir de navegadores internet padrão.A Figura, a seguir, apresenta a tela de interface parao professor e para o aluno.

figura 5. Por meio da programação em Basic, épossível inserir conselhos automáticos baseadosnas respostas dos indivíduos. Assim, pode-sefornecer indicação de leituras complementarese de reforço imediatamente após a realizaçãoda avaliação.



Adicionalmente, cria-se um formulário a ser utilizadopelo professor para consulta individual às respostasdos alunos e eventual preenchimento das avaliaçõesrelacionadas às questões dissertativas. Esseformulário é importante para que o professoracompanhe os alunos individualmente com relaçãoà sua aprendizagem (HAYDT, 1997).

Com base nas questões da avaliação e nas variáveisde controle, parte-se para a concepção dos

relatórios ao professor. Podem-se criar diferentesrelatórios, para diferentes perspectivas de análise.

O primeiro relatório desenvolvido é de caráterglobal, o qual apresenta uma listagem de todos osalunos com os seus respectivos desempenhos.Adicionalmente, a construção de uma tabela dedistribuição de freqüência permite ao professoridentificar o desempenho da turma como um todo.A Figura 6 ilustra esses dois tipos de tabela.

Figura 6 - Exemplo de tabelas do relatório global

Listagem do desempenho dos alunos Distribuição dos alunos por faixa de desempenho

Posteriormente, cria-se um relatório dadistribuição de freqüência dos alunos com relaçãoàs alternativas de resposta de cada questão daavaliação. Por meio desse relatório, pode-severificar se a maioria dos alunos compreendeu

os conteúdos desenvolvidos na disciplina. Esserelatório é também útil para os professoresverificarem se a explicação dada em sala de aulafoi adequada para que os alunoscompreendessem o conteúdo.

Figura 7 - Exemplo de tabela de distribuição de freqüência para questões da avaliação

Alternativacorreta




A partir do cruzamento de dados, um segundotipo de relatório pode ser desenvolvido. Aconstrução de tabelas de dupla entradaenvolvendo as questões da avaliação, as variáveisde desempenho e as variáveis de identificação

permite ao professor comparar o desempenhogeral ou específico de diferentes grupos de alunos,verificando táticas didáticas e pedagógicas quepossam ser mais efetivas a cada grupo de alunos(SEAL, 2001).

Após a concepção do sistema, buscou-se avaliá-lo a partir dos critérios definidos por Justulin etal (2004). O quadro 2 mostra que o sistemaatendeu a quase totalidade dos critérios definidospor Justulin et al (2004). O único critério nãoatendido pelo sistema refere-se ao envioautomático de resultados por e-mail. No entanto,logo após a finalização da avaliação, o sistemadireciona o aluno para o formulário de resultados,

Figura 8 - Exemplo de cruzamento entre variável de desempenho e variável de identificação

contendo a sua nota, o gabarito da prova eindicação de leituras adicionais a partir dos errose acertos obtidos. Para contornar o não envioautomático de e-mail com os resultados daavaliação, disponibilizou-se o formulário deresultados em um link independente, que podeser acessado posteriormente pelo aluno a partirdo mesmo código de acesso utilizado por estepara acessar a sua avaliação.

Quadro 2 - Critérios atendidos pelo sistema de avaliação proposto

CritériosInterface amigávelPermite interagir remotamentePossui permissão de acessoAs senhas são fornecidas pelos professoresPossui vários tipos de questõesAs questões apresentam índice de dificuldadeAs questões apresentam índices de dificuldade/ facilidade progressivaGera o índice de dificuldade da avaliaçãoGera relatórios de desempenho do aluno ao professorGera a correção da avaliação ao alunoApresenta a correção gerada pelo professor para esclarecimentos das dúvidas dos alunosEnvia resultados da avaliação por e-mail

XXXXXXXXXXX

Fonte: Adaptado de Justulin et al. (2004)



3 Aplicação do Sistema

A partir do desenvolvimento do sistema, buscou-sevalidá-lo por meio da sua implantação em duasdisciplinas do curso de graduação em administraçãodurante dois semestres consecutivos (2005/1 e2005/2). As avaliações foram aplicadas em umaetapa intermediária da condução da disciplina ecompunham cerca de 40% da nota final do aluno.A aplicação foi realizada de forma presencial, emum dos laboratórios de informática da instituição.Apesar de o sistema permitir o acesso remoto,optou-se pela aplicação presencial em função damaior possibilidade de controle por parte doprofessor (CARDOSO, 2001; BERCHT, 1997).

As questões e o gabarito foram incluídos no sistemacom base no instrumento de avaliação desenvolvidopelos professores das disciplinas. Inicialmente, foidesenvolvido um protótipo da avaliação, o qual foiavaliado pelos professores antes da publicaçãodefinitiva. Por meio do contato estabelecido comos professores no momento da apresentação doprotótipo, foi possível, além de coletar críticas esugestões referentes à avaliação específica,identificar a suas percepções com relação ao sistemade avaliação desenvolvido.

Foram realizadas entrevistas estruturadas com 28alunos das disciplinas acerca da experiência daavaliação. Um roteiro das entrevistas encontra-se noapêndice. Adicionalmente, realizaram-se entrevistasnão estruturadas com os professores das duasdisciplinas versando sobre as vantagens, desvantagense motivações para o uso de avaliações via web.

Os resultados foram buscados através da análise deconteúdo, utilizando-se mais especificamente a técnicade análise categorial, que se baseia na decodificaçãode um texto em diversos elementos, os quais sãoclassificados e formam agrupamentos (BARDIN,1977). O critério de seleção das unidades de registrosé o por tema (análise temática). A análise temáticavisa identificar núcleos de sentidos nas comunicaçõese, nesse caso, nas entrevistas transcritas. Utilizou-seum protocolo definido a priori, baseado nasvantagens e desvantagens do uso de sistemas deavaliação via web evidenciadas por Cardoso (2001).

3.1 Percepção dos Alunos

A partir das entrevistas realizadas com os alunos,identifica-se que esses se focaram essencialmentenos elementos referentes à interface dos formuláriosque compunham a avaliação. Poucos alunosabordaram o potencial de mudança no processode aprendizado que a avaliação pode trazer.

Os alunos entrevistados evidenciam como vantagem,principalmente, a possibilidade de recebimentoinstantâneo da nota, do gabarito e de leituras dereforço. Dos 28 alunos que participaram dolevantamento, 22 espontaneamente evidenciaramesse recurso. As sentenças, a seguir, ilustram tal tipode manifestação:

“... o resultado da prova é bastante rápido ea forma de receber a nota era prático. Jávinha um gabarito com a minha resposta e aresposta certa, e eu pude acessar de casa olink do gabarito para estudar depois.”

“... o feedback instantâneo, agilidade naanálise para que seja possível recuperartemas em que toda a turma não foi bem.Muitas vezes isso só ocorre no semestreseguinte, e os alunos que do semestre atualacabam não tendo a oportunidade de reforçaralguns temas.”

Ainda, outro ponto evidenciado pelos alunos é ainterface amigável do formulário no qual foidesenvolvida a avaliação e do formulário deresultados. O uso de imagens, esquemas e adistribuição mais arejada das questões tornam ainterface bastante amigável. A seguir, apresenta-seo comentário de um aluno que resuma esse ponto:

“... as questões ficam distribuídas de formamais clara. Além disso, a imagem da prova émais bonita e faz com que o preenchimentoda avaliação seja mais agradável. O gabaritoda prova com a retomada da minha respostae a marcação, ao lado, da resposta certa, comcomentários sobre a questão, facilita acompreensão do que eu errei.”

Os alunos destacaram também, como vantagem darealização de uma avaliação via web a abolição do




uso de papel. Esse ponto é ressaltando pelos alunostanto no sentido de organização do material dadisciplina quanto no sentido de economia. Assentenças abaixo retratam esse ponto:

“... como a prova fica disponível na tela docomputador, a universidade economiza empapel e impressão”

“... eu posso acessar o gabarito a qualquermomento pelo computador, através dapágina da disciplina, assim, não fico compapel guardado, que muitas vezes se perde.”

Outros pontos ainda levantados pelos alunosreferem-se a: desburocratização da avaliação,praticidade para responder às questões e rapidezno preenchimento.

Com relação às desvantagens, os alunosevidenciam, principalmente, o maior esforço devisualização das questões em um monitor devídeo. Como as avaliações nas duas disciplinasforam rápidas (52 minutos, em média), esse nãochegou a ser um problema, mas certamente é umponto a ser considerado na concepção deavaliações mais longas. A sentença, a seguir,ilustra essa colocação:

“Eu, particularmente, não tenho tantaatenção quando olho para o monitor emcomparação quando baixo a cabeça e olhopara o papel. O monitor fica estático, nãoposso mudá-lo de posição para buscar ummaior conforto.”

Outra desvantagem freqüentemente colocada pelosalunos com relação à avaliação realizada é adificuldade de manuseio da avaliação. No entanto,esse ponto refere-se mais a uma restrição impostapor um dos professores de não permitir aos alunoso retrocesso às telas anteriores do que a umalimitação do sistema.

“... é bastante ruim não poder voltar às questõesjá respondidas. Acho que, para revisão final doaluno, antes de enviar suas respostas, deveriater uma tela para visualização geral doconteúdo de toda a prova.”

Identifica-se, assim, que a cultura de ler e passar aspáginas em papel parece ainda bastante presentenos alunos e que precisa ser levada em consideraçãono desenvolvimento de avaliações utilizandocomputadores. Esse é um ponto que já foi bastantedebatido no momento da operacionalização deAmbientes Virtuais de Aprendizagem (TESTA,2006) e que merece reflexão no desenvolvimentode avaliações.

3.2 Percepção dos Professores

Os professores entrevistados mostraram-se bastanteinteressados na economia de tempo proporcionadapela realização da atividade via web, tanto nacorreção quanto na realização de avaliaçõesposteriores.

O sistema desenvolvido buscava atender a umacarência de análises consolidadas e estatísticas quepermitissem ao professor um apoio na decisãopedagógica. Na visão de Safoutin (2000), é latentea necessidade de exploração dos dados daavaliação para fins de monitoramento e eventualmudança de táticas pedagógicas. No entanto, essenão foi um elemento muito discutido pelosprofessores. A maioria das análises realizadas e doscomentários realizados nos contatos com os autoresreferia-se a usos básicos de relatórios, no plano dasdistribuições de freqüência em cada questão.

Uma das ocasiões destacadas por um dosprofessores em que os resultados gerados pelosistema podem contribuir mais efetivamente foi naanálise individual dos desempenhos dos alunos. Aanálise conjunta em um mesmo ambiente de dadosreferentes ao andamento do aluno e dados dedesempenho na avaliação permitiu ao professoranalisar com maior probidade um aluno com bomdesempenho nas aulas mas que não demonstroubom desempenho na avaliação. Fato esse quefacilitou a indicação de atividades complementaresde reforço ao aprendizado do aluno. Uma entrevistacomplementar foi realizada com o aluno em questão,ocasião na qual se pôde verificar o foco dadeficiência.



A partir do protocolo definido a priori ebaseado nas vantagens do uso de sistemas deavaliação via web evidenciadas por Cardoso(2001), construiu-se o quadro 3 a seguir

apresentado. A segunda coluna do quadroapresenta a evocação espontânea da referidavantagem por parte dos professores dasdisciplinas em que foi aplicado o sistema.

Quadro 3 - Vantagens identificadas pelos professores com o uso do sistema proposto

X: vantagem evocada por um dos professores; XX: vantagem evocada pelos dois professoresFonte: Adaptado de Cardoso (2001)

Vantagens do uso de sistemas de avaliação via webAcesso facilitado a avaliações já realizadasFacilidade de distribuição coleta e análise de dadosVerificação da integridade e validade dos dadosInserção de campos de resposta obrigatóriaAvaliação concomitante de diferentes aspectos e comparaçãoJulgamento objetivo e rápidoSubmissão dos resultados a tratamento estatístico de forma mais automatizadaReformulação de estratégias de ação com base no histórico das avaliaçõesIndependência geográficaAcompanhamento centralizado de resultadosFácil utilizaçãoNão depende de aspectos temporais

Identificação pelos professoresXX

XXXXX

XXXXX

XXXX

Percebe-se que as vantagens destacadas pelosprofessores do uso do sistema proposto focaram-se basicamente na potencial economia de tempo,tanto por meio da correção automática daavaliação (no caso da realização de avaliaçõesobjetivas) quanto por meio do aproveitamentode avaliações anteriores.

Adicionalmente, identificaram-se as seguintesvantagens: possibilidade de criação de um bancode questões para aproveitamento posterior,possibilidade de comparação do desempenho entreturmas de semestres anteriores ou entre diferentesturmas do mesmo semestre, dificuldade de “cola” ede fraude por parte dos alunos.

Com relação às desvantagens, identifica-se umfoco na infra-estrutura da instituição para suporteao desenvolvimento mais freqüente desse tipo

de avaliação ao longo do andamento dadisciplina. A necessidade de reserva dolaboratório de informática e o número demáquinas do laboratório dificultam a realizaçãoda atividade de avaliação. Ainda, a falta deformalização dos procedimentos técnicos paraoperacionalização do sistema de avaliação é umponto bastante criticado pelos professores, queprecisaram, no semestre inicial, recorrerfreqüentemente ao suporte dos autores, nãosomente para o desenvolvimento do instrumentode avaliação, mas também para a análise dosdados consolidados e individuais.

O Quadro 4, a seguir, resume as desvantagens douso do sistema de avaliação proposto. A segundacoluna do quadro apresenta a evocação espontâneados professores com relação às desvantagenslevantadas por Cardoso (2001).




Quadro 4 - Desvantagens identificadas pelos professores com o uso do sistema proposto

Desvantagens do uso de sistemas de avaliação via webMaior esforço de preparação e elaboraçãoDificuldades técnicas de acessoDificuldade maior de assegurar a efetiva autoria do alunoImpossibilidade de avaliação de habilidades de expressãoRestrição de resposta dos alunosNecessidade de acesso a computadores e a internetNecessidade de material digitalDependência do software no qual foi construída a avaliaçãoNecessidade de treinamento para o instrutorPossibilidade de vírus

Identificação pelos professoresXXX

XX

XXX

XX

X: desvantagem evocada por um dos professores; XX: desvantagem evocada pelos dois professoresAdaptado de: Cardoso (2001)

Adicionalmente, identificaram-se as seguintesdesvantagens: Restrição de máquinas no laboratórioe incertezas com relação à estabilidade da rede dainstituição.

4 Conclusão

É evidente a necessidade de os professoresmonitorarem suas práticas didáticas e pedagógicasao longo do processo de aprendizagem de umaturma (MELCHIOR, 1994; ALBUQUERQUE,1995). A contribuição principal deste trabalho vemda aplicação efetiva e do acompanhamento dosatores envolvidos na avaliação, buscando suapercepção e uso da ferramenta, de modo a viabilizarum uso mais intensivo dos recursos da web nosprocessos de avaliação.

Cardoso (2001) destaca que “a avaliação de alunosem ambientes de ensino tradicionais é uma dastarefas que demandam bastante tempo e consomeum esforço enorme por parte dos professores, fatoque se agrava quando se tratam de turmas commuitos alunos, tornando-se bastante trabalhosa acorreção das provas” (p. 97). Assim, se a correçãoe a mensuração de desempenho já é uma tarefatrabalhosa ao professor, a realização de tratamentose análises mais refinadas dos dados colhidos nasavaliações exige muito mais trabalho. No entanto,

são tarefas importantes por permitirem ao professore aos alunos a obtenção de informações adicionaissobre o andamento do processo de ensino e deaprendizagem. Nesse ponto, percebe-se que algunsrecursos e ferramentas disponíveis na web podemfacilitar a execução dessas tarefas, desde que sejamadequadamente utilizados. Especificamente comrelação ao sistema proposto, identifica-se que apossibilidade de realizar diferentes avaliações aolongo do semestre, de diferentes conteúdos podefacilitar ao professor acompanhar a evoluçãoindividual dos alunos (por meio da configuração derelatório e do posterior cruzamento com a etapa oua data de aplicação da avaliação).

Morais et al. (2005) atentam para a necessidadede intensificar o uso das ferramentas de avaliaçãovia web disponíveis, buscando uma melhor avaliaçãoe refinamento. Torna-se necessário um investimentode validação e refinamento dos sistemas existentespara que esses se tornem, de fato, instrumentos úteisao professor, não somente no aspecto de economiade tempo, mas, principalmente, na maior exploraçãodos resultados da avaliação. O contato comprofessores e alunos submetidos a tais técnicas deavaliação é, portanto, imprescindível, e precisa serintensificado. Nas aplicações realizadas para esteestudo, verificou-se que a apresentação automáticada nota, ao mesmo tempo em que é vista como



uma vantagem, por outro lado faz com que oprofessor não utilize a aplicação em seu potencial(de forma periódica e complementar a outrosinstrumentos de avaliação). Isto, pois, a atribuiçãode uma nota já é vista culturalmente pelo aluno comorelacionada ao seu desempenho e não ao seuprocesso de ensino-aprendizagem. Cabe aosprofessores utilizarem os relatórios de forma maisintensa, por meio de comparações individuais aolongo da disciplina ou por meio de comparaçõesglobais acerca de determinadas questões. O que seidentificou nas aplicações do sistema realizadas paraeste estudo foi o uso predominante da tabela denotas. Outros relatórios até foram percebidos comorelevantes, mas levá-los em consideração exige umamudança de posicionamento por parte dosprofessores.

A partir da experiência de aplicação do sistema,percebe-se que muito esforço ainda precisa serrealizado no sentido de mudar a cultura dos alunose professores de que os sistemas de avaliação viaweb apenas trazem mudanças no meio utilizado paraa realização da avaliação. O potencial de mudançasno processo de ensino e aprendizagem é grande,mas precisa ser percebido pelos atores envolvidose incorporados a suas atividades. A intensificaçãodo uso de informações referentes à avaliaçãodestacada por Tinoco, Fox e Barnette (1997) aindaencontra-se em estágio incipiente.

Não se pretende, de forma alguma, substituir oudesprezar a subjetividade do professor nomonitoramento de sua turma. Pelo contrário, aexploração mais aprofundada dos resultados deprovas e exercícios passa pela comparação comdados subjetivos. A finalidade do sistema deavaliação proposto neste estudo é complementara outras técnicas e instrumentos de avaliaçãoutilizados pelos professores, uma vez que,conforme destaca Albuquerque (1995), quantomais recursos forem utilizados na avaliação, maisconfiável e justa essa será.

É importante, dado essa primeira experiência,aplicar o sistema em outras disciplinas e cursos,de modo a poder realizar outras comparações.

Ainda, a consolidação do uso do sistema nasdisciplinas permitirá um acompanhamentolongitudinal dos desempenhos das turmas, abrindooportunidades para novas análises, que extrapolama avaliação em disciplinas específicas e passam aabranger o desempenho acadêmico do aluno emtoda a sua graduação.

Pretende-se, ainda, avaliar os recursos existentes nosistema para incorporação de questões dissertativas.No entanto, a incorporação de questões dissertativasvai de encontro às principais vantagens destacadas,até então, pelos professores, uma vez que essasexigem um esforço de correção posterior.

BibliografiaALBUQUERQUE, Ivanise Maciel de et al.Avaliação no processo de ensino-aprendizagem– Abordagem e tendência na escola de 1º e 2ºGraus. 75f. Monografia doCurso de Especializaçãoem Planejamento Educacional. Fortaleza, 1995.Disponível em: < http://www.roadnet.com.br/pessoais/jalfredo/monografiaivanise.html > Acessoem: 23/6/2002.

ARAÚJO, Everton Coimbra de. AvaliaçãoEletrônica: Uma contribuição ao diagnósticoevolutivo do aluno. In: Congresso Brasileiro deComputação (CBCOMP), IV, 2004, Itajaí.Anais… Itajaí, p. 124-129, 2004.

BARDIN, Laurence. Análise de Conteúdo.Lisboa: Edições 70, 1977.

BERCHT, Magda. Avaliação pedagógica comofator para construção de estratégias de ensinoem ambientes de ensino e aprendizagemcomputadorizados. 1997. Exame de Qualificação– Programa de Pós Graduação em Computação,Universidade Federal do Rio Grande do Sul, PortoAlegre, 1997.

CARDOSO, Rodrigo Ferrugem. Avalweb –Sistema Interativo para gerência de questõese aplicação de avaliações na web. 2001, 111f.Dissertação de Mestrado em Ciência daComputação. Instituto de Informática, UniversidadeFederal do Rio Grande do Sul, Porto Alegre, 2001.




EDUTECNET – Educação à distância. Centro deExcelência em Educação à distância da UFRJ.Disponível em: < http://www.cciencia.ufrj.br/edutecnet >. Acesso em: 23 mai. 2003.

FREITAS, Henrique, JANISSEK, Raquel,MOSCAROLA, Jean e BAULAC, Yves.Pesquisa interativa e novas tecnologias paracoleta e análise de dados usando o Sphinx.Porto Alegre/RS: Sphinx, p.384, 2002.

HAYDT, Regina Cazux. Avaliação do processode Ensino-Aprendizagem. São Paulo: Ática. 1997

JUSTULIN, Fernando, Costa, KELTON A. P.;BARROS, Renato C. O Perfil das Ferramentas deAvaliação para Instrução Baseada na Web. In:Workcomp Sul, 1, 2004, Florianópolis. Anais…Florianópolis, 2004.

KWOK, Ron C.; MA, Jian. Use of a group supportsystem for collaborative assessment. Computers& Education, Great Britain, v 32, p. 33-40, 1999.

MELCHIOR, Maria C.. Avaliação pedagógica:função e necessidade. Porto Alegre: MercadoAberto, 1994, p.152.

MORAIS, Carlos; LIMA, Jose V.; FRANCO,Sérgio R. K. AVALWEB – Sistema interativo paragerência de questões e aplicação de avaliação naWeb. CINTED-UFRGS, v. 3, n. 1, p. 1-4, maio,2005.

RODRIGUES, Alessandra P. O processo deAvaliação de Ensino-Aprendizagem em Ensino àDistância: trabalho Individual I. Porto Alegre: PPGCda UFRGS, p. 10, 2000.

SAFOUTIN, Michael. J. el al. A design attributeframework for course planning and learningassessment. IEEE Transitions on Education, v43, n. 2, p. 188-199, Maio , 2000.

SEAL, Kala C. et al. Using the World Wide Webfor teaching improvement. Computers &Education. Los Angeles. v. 36, p. 33-40, 2001.

TESTA, Mauricio Gregianin. A influência daspreferências por contato social e da auto-regulação dos recursos de aprendizagem doestudante na efetividade dos cursos

desenvolvidos na Internet. 2006, 253f. Tese deDoutorado em Administração Faculdade deAdministração. UFRGS, 2006.

TINOCO, Lúcio C.; FOX, Edward A.;BARNETTE, Dwight. On-line evaluation in WWW-based Courseware. In: Comunications of ACM.1997, Anais…, p. 194-198, 1997.

Apêndice

Roteiro das entrevistas com alunos

1) Quais as vantagens que você imagina ter arealização de uma prova na web?

Pensando na prova que você realizou (nãoconteúdo da prova), o que você aponta comovantagem?

2) Pensando na prova que você realizou(não noconteúdo da prova), o que você aponta comodesvantagem?

3) Você acredita ser possível (em um futuropróximo) realizar todas as atividades de avaliaçãopela web? Por favor, justifique sua resposta.

4) Você já realizou alguma outra prova pela web?Se sim, fale sobre a experiência. (Como foi,onde, como foi a correção, como eram asperguntas)

proposiÇÃo e aplicaÇÃo de um sistema via web de avaliaÇÃo...

Documents