esther pacitti, optimistic replication in pharos, umodelo ... · especialização, cada indivíduo...

62

UM MODELO PARA INCORPORAÇÃO DE

AUTOMONITORAMENTO DA APRENDIZAGEM EM STI

Optimistic Replication in Pharos,

a Collaborative Application on the Web

Esther Pacitti,

Olivier Dedieu

Resumo: Pesquisas em Educação têm evidenciado que a aprendizagemefetiva acontece quando os aprendizes têm o controle da própriaaprendizagem. O ensino de habilidades metacognitivas em conjunto com aavaliação contínua da aprendizagem e o respectivo feedback para o alunosão essenciais neste processo, de modo que o aluno aprenda a aprender.Este trabalho apresenta resultados iniciais de uma pesquisa em andamentoque tem por objetivo propor um modelo para a incorporação de mecanismosque possibilitem o automonitoramento de processos metacognitivos, aavaliação e o acompanhamento contínuo da aprendizagem em Sistemas deTutoria Inteligente.

Palavras-Chave: Avaliação Contínua, Automonitoramento, Metacognição.

Abstracts: Research in Education has evidenced that effective learninghappens when students have the control of their learning. Teachingmetacognitive skills in set with continuous learning assessment and therespective feedback to student are essential in this process, in way thatstudent can learn how to learn. This paper presents the initial results of aresearch in progress that aims to design a model to add in Intelligent TutorialSystems tools that make possible metacognitive processes self-monitoring,assessment and continuous learning accompaniment.

Keywords: Continuous Assessment, Self-Monitoring, Metacognition

1 INTRODUÇÃO

O conhecimento sobre o próprio conhecimento éfundamental para que se tenha uma aprendizagem comqualidade. A este conhecimento Flavell atribuiu a designaçãode metacognição [1]. Muitos pesquisadores têm estudado sobreo desenvolvimento de capacidades metacognitivas, quetransfere para o aprendiz o controle da própria aprendizagematravés do monitoramento do próprio conhecimento, avaliaçãoda aprendizagem, seleção de estratégias e planejamento daaprendizagem. A literatura em educação sugere que estudantesque são engajados ativamente no processo tendem a ter maissucesso. A abordagem da aprendizagem ativa enfatiza o com-prometimento do estudante no processo de aprendizagem [2].

Mudanças cognitivas não resultam de meroacréscimo de informação, mas de processos envolvendoreorganização conceitual [3]. Segundo David Ausubel, ofator mais importante influenciando a aprendizagem é aquiloque o aprendiz já sabe [4]. É necessário então determinarcontinuamente o que o aluno conhece e ensiná-lo de acordo.Tudo que o aluno construiu em sua vida deve servir depatamar para continuar a construir novos conhecimentos.Para Rosenberg [5], o sistema tradicional de sala-de-aulanão consegue mais atender de maneira eficiente as

exigências da sociedade do conhecimento. Em uma era deespecialização, cada indivíduo precisa de um planopersonalizado de aprendizagem, pois a velha abordagemde pulverizar todo mundo com o mesmo conteúdo e rezarpara que seja fixado, precisa e pode ser superada.

Este trabalho apresenta resultados iniciais de umapesquisa em andamento que tem por objetivo propor um modelopara a incorporação em Sistemas de Tutoria Inteligentes (STI)de ferramentas que permitam o automonitoramento etreinamento de habilidades metacognitivas além doacompanhamento contínuo da aprendizagem. A avaliação comosuporte para a aprendizagem é central nesta pesquisa uma vezque permite feedback continuo ao aprendiz, indicando seu Nívelde Aquisição de Conhecimentos (NAC) e a sua predisposiçãopara novos aprendizados num domínio específico. Define-seNAC como uma medida capaz de indicar o grau deconhecimento do aprendiz em num determinado conteúdo deum domínio de conhecimento.

Com o objetivo de fazer as validações iniciais domodelo, experimentos têm sido realizados com um grupode alunos do segundo ano de Ciência da Computação, nodomínio de Lógica de Programação. Espera-se com isto,identificar técnicas que permitam ao aprendiz desenvolver

Edson Pinheiro PimentelDivisão de Ciência da ComputaçãoInstituto Tecnológico de AeronáuticaSão José dos Campos - SPUniversidade IMESSão Caetano do Sul – [email protected]

Nizam OmarUniversidade Presbiteriana MackenzieSãoPaulo - [email protected]

Vilma Fernandes de FrançaDivisão de Ciência da ComputaçãoInstituto Tecnológico de AeronáuticaSão José dos Campos – [email protected]

63

Revista Brasileira de Informática na Educação

Volume 13 - Número 1 - Março de 2005

a sua capacidade de prever o próprio desempenho diantede problemas e assim criar mecanismos que ajudem aidentificar lacunas de aprendizagem, destacando o papeldos conhecimentos prévios no processo.

A escolha do domínio de Lógica de Programação paraa realização dos experimentos deu-se pelo fato de que aaprendizagem de programação de computadores ocorrepraticamente durante todo o curso, numa cadeia dedisciplinas, e assim permitiria uma acompanhamento contínuodo aprendiz, pelo menos a médio prazo. Além disso, o baixoíndice de desempenho dos estudantes nas disciplinas cujosrequisitos exigem o conhecimento de programação tem sidoum grande problema enfrentado em muitas instituições.Rocha [6] afirma que estamos tendo um fracasso no ensinode programação e Mendes e Gomes [7] falam do insucessogeneralizado verificado na aprendizagem de programação.Pesquisas têm revelado que o uso STIs podem dar aosprogramadores iniciantes a atenção necessária para superaras dificuldades de aprendizagem. Estes ambientes maisespecíficos, chamados de IPTs (Intelligent ProgrammingTutors) são descritos e exemplificados por Pillay [8].

O artigo está organizado da seguinte forma. A seção 2destaca o papel da avaliação como suporte para a aprendizagem.Na seção 3 apresentam-se elementos sobre metacognição eautomonitoramento da aprendizagem. A seção 4 descreve aproposta inicial de um modelo para a incorporação deautomonitoramento da aprendizagem em STIs. Na seção 5, sãoapresentados os dados coletados sobre habilidadesmetacognitivas através de um experimento realizado no domíniode programação. Na seção 6 são feitas algumas consideraçõesacerca deste trabalho e os aprofundamentos necessários.

2. AVALIAÇÃO COMO SUPORTE

PARA A APRENDIZAGEM

Avaliação pode ser definida como qualquer métodousado para melhor compreender o conhecimento atual queum estudante possui [9]. A idéia de conhecimento atualimplica que aquilo que o estudante sabe está mudandosempre sendo possível estabelecer comparações de suaevolução num período de tempo. A figura 1 tenta esboçaresta evolução mostrando que num momento T

x o aluno

possui um determinado conhecimento (sabe “menor”) eque este conhecimento pode ser ampliado (sabe “maior”)num momento T

x+1 se houver uma atuação sobre as suas

lacunas de aprendizagem.

Figura 1 : Evolução do Conhecimento

A primeira grande característica de um processo deavaliação é que ele deve estar integrado ao processo deaprendizagem, como um elemento de motivação para aaprendizagem e não apenas como uma ferramenta paracontabilizar notas e identificar resultados obtidos [10]. Épreciso que se faça uma clara distinção entre “Avaliaçãoda Aprendizagem”, para fins de nota, com seusprocedimentos próprios, bem estabelecidos e a “Avaliaçãopara a Aprendizagem” que requer diferentes prioridades,novos procedimentos e novos comprometimentos [11].

Pesquisas em educação indicam que avaliação efeedback são fatores importantes para ajudar as pessoas aaprender, mas para isto deveriam acontecer continuamentecomo parte do processo de ensino e aprendizagem e não apenasde modo intruso, em pontos estanques. Para Masetto [10],provas e trabalhos são usados para medir informações que osalunos dispunham em determinado momento, em circunstânciasde tensão, nervosismo e outros fatores. Da maneira comoacontece hoje, os estudantes se mostram mais preocupadosem saber o que vai cair na prova do que propriamente com aaprendizagem. Isto porque, a arte de ser “bom aluno” pareceestar vinculada a capacidade de obter boas notas e em seantecipar sobre o que será testado [3].

Muitas práticas atuais de sala-de-aula falham emfornecer avaliação para a aprendizagem. A grande atençãodada à nota, por exemplo, é um fator inibidor edesestimulador da aprendizagem, principalmente para osalunos com mais dificuldade, pois tende a diminuir a suaauto-estima, principalmente quando ele se enxerga emestatísticas negativas. A saída está em utilizar os resultadosda avaliação como uma ferramenta capaz de identificarlacunas de pré-requisitos que impedem a aprendizagem eassim criar novas oportunidades de aprender, gerando, porexemplo, um plano personalizado de aprendizagem.

A avaliação continua da aprendizagem, como partedo processo, deve ser vista como uma ferramenta capaz dedar feedback continuo ao aprendiz, indicando o seu NAC,em cada conteúdo, diagnosticando as lacunas deaprendizagem que necessitam ser preenchidas para queele possa dar o próximo passo. Não se pode, no entanto,encarar a avaliação continua apenas como um aumento daquantidade de testes, mas utilizar as informações obtidascom as avaliações formais e informais como uma maneirade aprender sobre a maneira que os alunos estãocompreendendo os conteúdos.

Pesquisas atuais sobre aprendizagem reconhecemtambém que os aprendizes devem ser responsáveis pelaprópria aprendizagem. Deve-se portanto caminhar para umcurrículo mais voltado para o “aprender a aprender”, e assimdesenvolver atitudes e ações que ajudem as pessoas adescobrir a importância de uma aprendizagem contínua.

O fato é que muitas pesquisas em educação nãosão implementáveis pois esbarram na complexidade dosistema educacional em vigor, com a falta de recursos ecom salas de aula lotadas. Talvez um atalho possível parase caminhar para o ideal seja a descentralização do

64

monitoramento da aprendizagem, envolvendo cada alunonesta tarefa, desenvolvendo no aluno aspectosmetacognitivos, ensinando o aluno a tomar consciência daprópria aprendizagem e a desenvolver a habilidade dedirigir-se por si mesmo. Envolver os alunos desta maneira,dá um novo sentido para a palavra feedback no processode avaliação.

3. METACOGNIÇÃO E AUTOMONITORAMENTO

DA APRENDIZAGEM

Conhecer o que se sabe e o que não se sabe é oprimeiro passo para melhorar a aprendizagem. Oconhecimento sobre o próprio conhecimento é possívelatravés do monitoramento da aprendizagem, que é um dosaspectos da Metacognição, que, segundo Flavel [12]constitui a habilidade das pessoas em monitorar, avaliar eplanejar a própria aprendizagem.

Os processos metacognitivos podem ser divididosem três componentes: conhecimento sobre metacognição,monitoramento sobre o próprio processo de aprendizageme o controle destes processos. Conforme ilustração da figura2, Tobias e Everson [13] propõem um modelo hierárquicode metacognição e acreditam que o monitoramento dosconhecimentos prévios, na base da pirâmide, é um processometacognitivo fundamental. Se os estudantes nãoconseguem diferenciar com precisão o que eles sabem, doque eles não sabem, dificilmente eles irão conseguir secomprometer em atividades metacognitivas avançadas,como avaliar, planejar e controlar a própria aprendizagem.

A incorporação, nos ambientes interativos deaprendizagem, de mecanismos que promovam odesenvolvimento de habilidades metacognitivas éfundamental. Isto permitirá ao aprendiz, definir seusobjetivos e estruturar melhor a sua forma de aprender [14].Estes ambientes devem propiciar também o monitoramentodos aspectos metacognitivos, ou seja, se estão sendousados ou não, e se estão ou não sendo aprimorados.

Figura 2:.Modelo Hierárquico de Metacogniçãode Tobias e Everson

O desenvolvimento de métodos eficientes para avaliarmetacognição tem sido uma tarefa difícil. Processosmetacognitivos são geralmente avaliados fazendo inferênciasdas observações dos estudantes, através de entrevistas ou atémesmo de auto-avaliações. Tobias e Everson [13] criaram umíndice denominado KMA (Knowledge Monitoring Accuracy)para medir e avaliar a diferença ente as estimativas do aprendizsobre seu conhecimento num domínio particular e seuconhecimento atual determinado por desempenho em avaliações.Gama [15] incrementou a maneira de calcular o KMA adicionandoa possibilidade de prever e desempenhar também a resoluçãoparcial de problemas. Além disso, Gama criou o índice KMB(Knowledge Monitoring Bias), para medir e identificar o tipo dedesvio do aprendiz no monitoramento do seu conhecimento.Isto permite saber, por exemplo, se um aprendiz que tem um KMAbaixo é pessimista - prevê que vai errar e acerta, ou otimista –prevê que vai acertar e erra. Este tipo de informação permite umfeedback mais adequado para cada aprendiz e também a adoçãode estratégias que possam ajudar a melhorar o seu desempenho.

Um modelo para o uso de Metacognição e Reflexãoem Sistemas Tutores Inteligentes com o objetivo deaumentar a consciência e melhorar a aprendizagem éapresentado num estudo de Gama [16]. Para testar estemodelo, Gama desenvolveu o MIRA (MetacognitiveInstruction with a Reflective Approach), um softwareeducacional que apresenta problemas de álgebra e oferecerecursos para elaboração de equações lineares. As açõesdos estudantes são monitoradas ajudando-os a refletirsobre seu próprio aprendizado e características. Istoincentiva o desenvolvimento metacognitivo do aluno [15].

Um modelo de referência para melhorar aaprendizagem por exemplos, com o suporte de auto-explicação é apresentado por Conati e Vanlehn [17] Auto-explicação é o processo de gerar explicações e justificativaspara si mesmo, quando se estuda um exemplo. Muitosestudos têm mostrado que estudantes que se “auto-explicam” aprendem mais.

Já o uso de metacognição no domínio deprogramação é ainda uma área pouco explorada. O trabalhode Shaft [18] investiga o uso de metacognição porprogramadores na escolha de uma estratégia para acompreensão dos programas. Os resultados do estudo deShaft mostram que os programadores usam metacogniçãoquando estão estudando programas de computador. Osresultados sugerem também que o uso de metacogniçãoinfluencia o quão bem eles compreendem os programas.

4. UM MODELO DE UM STI PARA

INCORPORAR AUTOMONITORAMENTO

O acompanhamento contínuo da aprendizagem e otratamento personalizado a cada estudante podem serfacilitados com o uso de sistemas inteligentes compu-tadorizados. Os processos de aprendizagem inteligente-mente auxiliados por computador requerem a imple-mentação de sistemas dinâmicos e adaptativos. Estessistemas devem ser capazes de se adequar ao estado mental

Um Modelo para Incorporação de

Automonitoramento da Aprendizagem em STI

Edson Pinheiro Pimentel, Nizam Omar

e Vilma Fernandes França

65



de cada estudante, num dado instante, a partir de um modelohistórico e do desempenho instantâneo do aprendiz.Atualmente, os STIs são os que melhor respondem a estasexigências [19].

McCalla [20] destaca a importância daadaptabilidade, flexibilidade e individualização em um STI,principalmente na seleção e sequenciamento doconhecimento a fim de definir quais instruções são maisadequadas ao assunto a ser ensinado e ao estado doestudante alvo das instruções.

A arquitetura do STI que dará suporte aoautomonitoramento e acompanhamento contínuo deaprendizagem ainda está sendo projetada, mas deverá terquatro módulos básicos (domínio, estudante, tutor,comunicação) e um módulo adicional, denominado de“Módulo Avaliador”. O esquema gráfico da arquiteturaproposta para o STI é apresentado na Figura 3.

A seguir, apresenta-se uma breve descrição dealguns serviços a serem realizados pelo núcleo do STI emseus módulos principais:

· Módulo do Domínio – Deverá conter arepresentação do conhecimento no domínio a sertutorado, disposto de maneira que seja possívelidentificar os pré-requisitos em cada conteúdo.Além disso, conterá o modelo do especialista,considerando-se as habilidades e competênciasque cada estudante deve atingir para obter o nívelde aprendizagem requerido.

· Módulo do Estudante - Deverá descrever o estadomental do aprendiz, armazenando informaçõeshistóricas referentes ao que o estudante conhecesobre os vários tópicos do domínio deconhecimento, resultado de um processo deavaliação contínua. Além disso, conterá tambéminformações detalhadas sobre as habilidadesmetacognitivas do aprendiz.

· Módulo do Tutor - Conterá o plano pedagógico dasdisciplinas, sendo responsável pela decisão sobrecomo e que atividades pedagógicas serãoapresentadas, sempre interagindo com os módulosdo estudante e domínio, podendo fazer ainda usode planos de personalizados de aprendizagem.

Figura 3: Proposta de arquitetura para o STI

· Módulo Avaliador: A partir de informaçõesoriundas do Módulo do Estudante e do Domínio, oMódulo Avaliador possibilitará a geração deavaliações que permitam a incorporação de aspectosque guiem o aprendiz na reflexão sobre osconhecimentos prévios e conseqüentemente odesenvolvimento de habilidades metacognitivas. Asmedidas metacognitivas obtidas (KMA e KMB),deverão servir de base para a composição e seleçãode avaliações diferenciadas de desempenho queestejam de acordo com o estado cognitivo emetacognitivo do aprendiz. Além disso, o diagnósticode lacunas de aprendizagem dará subsídio para aelaboração de planos personalizados deaprendizagem, de tal modo que estas lacunas possamser preenchidas colocando o aprendiz em condiçõesde prosseguir no aprendizado requerido.

A figura 4 mostra a estrutura básica de funcionamentodo modelo proposto organizado em quatro fases: previsão dedesempenho, resolução do problema, verificação da soluçãoe reflexão sobre as estratégias de resolução do problema. Destaforma, pelo menos duas habilidades metacognitivas sãoexplicitamente treinadas: o monitoramento do conhecimentoe a avaliação da experiência de aprendizagem.

A estrutura baseia-se nas fases seguidas porGama[15] na implementação da ferramenta MIRA,abrangendo o domínio de Álgebra.

Figura 4: Estrutura Básica de Funcionamento do Modelo

5. ESTUDO DE CASO

Com o objetivo de coletar dados que possam fornecersubsídios conceituais mais apurados sobre Metacognição eAvaliação Contínua da Aprendizagem para fins de implementação

66

de futuros protótipos iniciou-se um trabalho de acompanhamentoda aprendizagem com uma turma de segundo ano do curso deCiência da Computação na disciplina de Estruturas de Dados I(ED-I). Neste estudo de caso, aplicou-se o modelo apresentadoacima para fins de validação.

A disciplina escolhida faz parte de um rol dedisciplinas de Programação existentes no curso, o quepermite o acompanhamento contínuo, conforme expostoanteriormente. A escolha desta turma se deu pelo fato deque estes alunos já haviam cursado pelo menos umadisciplina de Programação no primeiro ano, uma vez que aoavaliar metacognição num determinado domínio, énecessário que os alunos já tenham algum conhecimentono mesmo ou então que sejam instruídos.

5.1 METODOLOGIA

Os dados descritos e analisados a seguir foramcoletados em duas sessões realizadas em dias diferentes,com 13 alunos, através da aplicação de testes deprogramação, seguindo as quatro fases da estrutura básicade funcionamento do modelo (figura 4).

Duas categorias de problemas foram usadas nestasduas sessões: escrita de programas para geração de sériese teste de programas envolvendo estruturas de condição erepetição. Teve-se a preocupação de se escolher problemasde programação, supostamente simples, envolvendo graucrescente de dificuldade. A Tabela 1 apresenta trêsproblemas, de um total de seis aplicados nas duas sessões.

No início de cada sessão, os alunos foraminformados de que o objetivo dos testes era o de levantaralguns elementos sobre o seu atual estágio em “Lógica deProgramação” e identificar possíveis lacunas deaprendizagem, a fim de propor melhorias no processo.Informou-se também que o seu desempenho no teste emnada afetaria a sua nota na disciplina ED-I. e que, portanto,deveriam tentar ser o mais preciso possível em suasrespostas. A seguir, o detalhamento de cada fase.

a)Fase I – Previsão de Desempenho

Nesta fase, os enunciados dos problemas foramapresentados aos alunos, e solicitou-se que estes nãotentassem resolver o problema, mas apenas ler e entendero que cada problema pedia como solução. Em seguida,deveriam assinalar uma alternativa que indicasse o maisrealisticamente possível a sua confiança na resolução decada problema, conforme as opções da Tabela 2.

A previsão de desempenho é o primeiro passo paraa obtenção do índice KMA (Knowledge MonitoringAccuracy), criado por Tobias e Everson [13], para medir adiferença entre a previsão e o desempenho de cada aprendizdeterminado por desempenho em avaliações. Além disso,permite calcular também o índice KMB (KnowledgeMonitoring Bias), criado por Gama [15] para medir eidentificar o tipo de desvio do aprendiz no monitoramentodo próprio conhecimento: pessimista, realista ou otimista.

Tabela 1: Tipos de Problemas de Programação

Tabela 2: Alternativas para a etapa de previsão





67



Na ferramenta MIRA, tomada como base para esteexperimento, nesta primeira fase o aprendiz também é con-vidado a especificar algumas estratégias que utilizaria pararesolver o problema. Optou-se, neste estágio, por ser umprocedimento inicial e manual, a não requisitar estas infor-mações, apesar de reconhecer o seu valor na avaliação deprocessos metacognitivos.

b) Fase II – Resolução do Problema

Nesta etapa, solicitou-se aos alunos que tentassemresolver os problemas para que fosse possível identificar oseu NAC. O desempenho do aluno nesta etapa permitirá acomparação com a sua previsão (fase anterior) para a ob-tenção dos índices KMA e KMB

Convém lembrar que problemas de programaçãopodem gerar respostas distintas, uma vez que envolvemcompreensão do enunciado e raciocínio lógico. Dependen-do do caminho escolhido, pode-se chegar a soluções maissimples ou mais complexas. No entanto, entende-se que,para os problemas propostos, as soluções tenderiam a teraspectos mais ou menos padronizados.

c) Fase III – Verificação da Solução

Nesta etapa, os alunos foram convidados a analisara solução do professor, para cada problema, e a compararcom a sua solução, assinalando uma alternativa com op-ções similares às da Tabelas 3.

Tabela 4: Estratégias para a Resolução de Problemas

d)Fase IV – Reflexão sobre a Resolução do Problema

Por fim, nesta fase, os alunos foram convidados arefletir e relatar as suas percepções sobre todo o processoe, mais detalhadamente sobre a fase de resolução doproblema (fase II). O objetivo desta etapa foi colhersubsídios para aprimorar o processo de avaliação dehabilidades metacognitivas no domínio de programação decomputadores. A Tabela 4 apresenta algumas perguntas queguiaram esta reflexão.

5.2 ANÁLISE DAS MEDIDAS METACOGNITIVAS

A Fase-I coletou dados conforme Tabela 5, indicandonas colunas “Sim”, “+/-“ e “Não” respectivamente opercentual de alunos que previu resolver completamente,resolver parcialmente ou não resolver o problema.. Algunsnúmeros próximos dos limites, inferior (zero) e superior (100),chamam a atenção. Eis alguns exemplos:

Tabela 3: Solução do Professor x Aprendiz

Tabela 5: Previsão de Desempenho

A Tabela 6 apresenta os dados da Fase-II. As colu-nas “Certo”, “+/-“ e “Errado” indicam, respectivamente, opercentual de alunos que resolveram completamente, parci-almente ou erraram a solução do problema. Tomando porbase os mesmos problemas analisados acima, na fase I, nota-se que :

· 38% dos alunos erraram a solução do problemaP1, contra a previsão de 0%

· 15% dos alunos acertaram parcialmente a soluçãodo problema P2 contra uma previsão de 85%

· 62% dos alunos acertaram completamente a solu-ção do problema P3 contra uma previsão de 92%.

· 100% dos alunos acreditavam resolver oproblema P1- parcialmente (38%) oucompletamente (62%)

· 85% acreditavam resolver apenas parcialmenteo problema P2

· 92% dos alunos confiavam na sua capacidadeem resolver o problema P3.

Os números dos problemas da segunda sessão (P4,P5 e P6) para a fase I são mais equilibrados, ou seja, não tãopróximos dos limites. Isto pode indicar que na segundasessão os alunos foram mais reflexivos e cuidadosos oupodem indicar também o grau de dificuldade dos alunos nacompreensão dos enunciados.

68

Tabela 6: Desempenho realizado

A Tabela 7 apresenta uma fotografia mais real sobrea precisão dos alunos no monitoramento da aprendizagem,ou seja, a sua capacidade de prever o desempenho compa-rado ao real desempenho na resolução dos problemas. Acoluna “AP” indica o acerto na previsão : o desempenhorealizado na fase II em relação ao desempenho estimadofase I .

A tabela 7 permite ainda fazer algumas leituras indi-vidualizadas a respeito de cada aluno, por exemplo:

· O aluno com ID=9 acertou todas as suas previ-sões nos seis problemas e por isto apresenta umíndice KMA=1.0 (KMA alto), sendo 100% preci-so. Assim, o mesmo aluno possui um índiceKMB=0.0, indicando ausência de desvios na pre-visão.

· O aluno com ID=5 também possui KMB=0.0, masisto não significa que tenha ausência de desviosna previsão, pois o mesmo possui um KMA =0.50 (KMA médio), indicando que o aluno às ve-zes estima corretamente seu conhecimento e àsvezes comete erros. Este aluno obteve 4 acertosno seu desempenho, 1 erro médio otimista e 1erro médio pessimista.

O erro otimista indica uma previsão acima do de-sempenho e o erro pessimista indica o contrário.Portanto, os índices KMA e KMB devem ser calculadosanalisados e interpretados em conjunto, conforme orienta-ções e fórmulas presentes respectivamente nas Tabelas 8 e9 baseadas em Tobias e Everson [13] e Gama [15].

A análise destes resultados, com apenas seis pro-blemas testados, não permitem conclusões definitivas, nemmesmo a respeito destes 13 alunos. É necessário continuaros testes e acompanhar o progresso dos alunos fornecen-do a estes feedback constante, para que possam tambémauto-avaliar o seu conhecimento sobre o próprio conheci-mento. A incorporação de mecanismos que permitam estesregistros e acompanhamentos em um Ambiente Interativode Aprendizagem, poderá contribuir para o desenvolvimen-to de Habilidades Metacognitivas.

A simples comparação das mesmas colunas dasTabelas 5 e 6 não permite saber se os alunos acertaram ounão a previsão. Esta informação pode ser obtida apenascom o cálculo dos índices KMA e KMB que indicam res-pectivamente precisão e desvio no monitoramento da pró-pria aprendizagem

Tabela 7: Índices Metacognitivos (KMA e KMB)

Tabela 8: KMA: Classificação, interpretação e fórmula





69



Tabela 9: KMB: Classificação, interpretação e fórmula

5.3 ANÁLISE DE DESEMPENHO

Para se chegar a uma medida que permitisse analisaro desempenho dos alunos na resolução dos problemas efazer uma comparação com os índices metacognitivos, atri-buiu-se pesos para cada problema, de acordo com o seugrau de dificuldade. Chegou-se a uma medida acumulativa,não detalhada por tópicos, denominada de NAC-G (NACGeral).

Na correção de cada problema consideraram-se trêsníveis de respostas: correto, meio-certo e errado. A Tabela10 apresenta o NAC-G, de cada aluno, em ordem decrescen-te, ao lado dos respectivos KMA e KMB.

Tabela 10: Comparativo entre NAC-G, KMA, KMB

Ao observar as colunas NAC-G, KMA e KMB nota-se que os alunos que estão no topo da tabela (maior NAC-G) possuem também KMA-alto e KMB-realista (comexcessão do aluno com ID-13 que possui KMA-médio e éKMB-otimista). Outra informação que pode ser obtida éque não há nenhum aluno com KMB-pessimista, mesmo osalunos com NAC-G próximo de zero.

No entanto, a análise destes resultados não permiteconclusões definitivas, mas apenas indícios. É necessáriocontinuar os testes e acompanhar o progresso dos alunosfornecendo-lhes feedback constante. Supõe-se que aincorporação de mecanismos que permitam estes registrose acompanhamentos em um Ambiente Interativo deAprendizagem poderá contribuir para o desenvolvimentomais acelerado de Habilidades Metacognitivas.

Os dados obtidos na Fase-III em que os alunosfizeram a reflexão sobre a similaridade ou não de suasrespostas com a solução do professor e os dados obtidosna fase IV sobre suas estratégias de resolução ainda estãoem fase de tabulação e análise.

6. CONCLUSÕES E APROFUNDAMENTOS

NECESSÁRIOS

A incorporação de ferramentas de automonito-ramento da aprendizagem em Ambientes Interativos deAprendizagem ou Sistemas de Tutoria Inteligente certamentecriará melhores condições para que as pessoas tenham ocontrole da própria aprendizagem, ingrediente essencialtanto para o dia-a-dia da educação formal quanto para aaprendizagem continuada ao longo da vida.

O domínio de conhecimento de “Lógica deProgramação”, em cursos de graduação em Informática, peladificuldade de aprendizagem dos alunos, visível nos altos índicesde reprovação, tem demonstrado ser um terreno fértil parapesquisas que busquem o aumento dos padrões de aprendizado.Nesta área, o monitoramento dos conhecimentos prévios, umprocesso metacognitivo fundamental, parece ser ainda maisindicado. Por isto mesmo, esta pesquisa ainda em fase inicial,tem procurado coletar dados, com o objetivo de obter subsídiosque permitam a verificação e o desenvolvimento dehabilidades metacognitivas neste domínio.

Os dados coletados e apresentados neste artigodemonstram que os índices KMA e KMB podem ser úteispara o automonitoramento do aluno em relação ao seudesempenho. A incorporação destes mecanismos emAmbientes Computacionais poderão contribuir positivamentepara o desenvolvimento dos processos metacognitivos.

Como aprofundamentos necessários, pretende-seintensificar a aplicação de testes, utilizando diferentes categoriasde problemas de programação, que permitam ao grupo de alunosdesenvolver habilidades metacognitivas através de feedbackcontínuo. A avaliação contínua em conjunto com os processosde reflexão que fazem parte dos estudos em metacogniçãopode fornecer dados valiosos para a pesquisa. Pretende-se

70

ainda implementar um módulo avaliador para o domínio emquestão, que permita o registro e tratamento dos dadoscoletados de uma maneira mais simples e organizada. Asinformações metacognitivas coletadas servirão de base tambémpara a proposição de planos de aprendizado personalizado.

REFERÊNCIAS

[1] C. Ribeiro. Metacognição: um apoio ao processo deaprendizagem. Psicologia: Reflexão e Crítica, 16(1) :109-116, 2003, ISSN 0102-7972.

[2] Y. Shang, H. Shi, S. Chen. An Intelligent DistributedEnvironment for Active Learning. ACM Journal ofEducational Resources in Computing, 1(2) : 4, 2001.

[3] J.D. Bransford et al. How People Learn – Brain, Mind,Experience, and School. National Academy Press,Washington, 2003, ISBN: 0-309-07036-8

[4] M.A. Moreira, E.F.S. Masini. AprendizagemSignificativa: a teoria de David Ausubel. CentauroEditora, São Paulo, 2002, ISBN 85-88208-24.

[5] M.J. Rosenberg. E-learning – Estratégias para atransmissão do conhecimento na era digital. MakronBooks, São Paulo , 2002, ISBN 85-346-1383-4.

[6] H. V da Rocha. Representações Computacionaisauxiliares ao entendimento de conceitos deprogramação. In: J.A.Valente, Computadores eConhecimento: repensando a educação. GráficaCentral da Unicamp, Campinas, 1993.

[7] A.J.N. Mendes e A.J. Gomes, A. . Suporte àaprendizagem da programação com o ambienteSICAS. In Actas do V Congresso Ibero-Americanode Informática Educativa, Viña del Mar, 2000.

[8] N. Pillay. Developing Intelligent Programming Tutors forNovice Programmers. In ACM SIGCSE Bulletin, 35(2): 78-82, ACM Press, 2003, ISSN 0097-8418.

[9] R.J. Dietel, J.L. Herman, and R.A. Knuth. What doesResearch say about Assessment ? North CentralRegional Educational Laboratory, Oak Brook,. 1991.

[10] M. T. Masetto. Competência Pedagógica do ProfessorUniversitário. Summus, São Paulo, 2003, ISBN 85-323-0831-7.

[11] P. Black and D. William. Inside the black box,.raisingstandards through classroom assessment. InJournal Phi Delta Kappan, 80(2) : 139-149, 1998.

[12] J. H. Flavell. Metacognition and cognitive monitoring:A new area of cognitive-developmental Inquiry.American Psychologist, 34, 906 – 911, 1979.

[13] S. Tobias, and H. T Everson. Knowing what youknow and what you don’t: further research onmetacognitive knowledge monitoring. College BoardResearch Report 2002-3, College EntranceExamination Board, New York, 2002.

[14] S. J. Derry. Metacognitive models of learning andinstructional systems design. In M. Jones and P. H.Winne (eds.), Adaptative Learning Environments -Foundations and Frontiers, F85: 257-286, Springer,Verlag Berlin Heidelberg, 1992.

[15] C. Gama.. Integrating Metacognition Instruction inInteractive Learning Environments. Tese deDoutorado. University of Sussex, Inglaterra, 2004.

[16] C. Gama. Metacognition and reflection in ITS:increasing awareness to improve learning. In J.D.Moore (ed.), Proceedings of the ArtificialIntelligence in Education Conference, pp. 492–495,CA. IOS Press, Montreal, 2001.

[17] C. Conati and K.; Vanlehn. Toward computer-based supportof meta-cognitive skills: a computational framework tocoach self-explanation. International Journal of ArtificialIntelligence in Education,11: 398-415, 2000.

[18] T. M. Shaft. Helping Programmers UnderstandComputer Programs: The Use of Metacognition. DataBase Advances, 26(4): 25-46, 1995.

[19] Leite, A. de Sá (1999). Um Modelo de SistemaEducativo Cognitivista Baseado em TutoriaInteligente Adaptativa Via Aderência Conceitual.Tese de Doutorado. São José dos Campos: InstitutoTecnológico da Aeronáutica, 1999.

[20] G. McCalla. The search for adaptability, flexibility, andindividualization: Approaches to curriculum in intelligenttutoring systems. In: NATO ASI Series. AdaptiveLearning Environments - Foundations and Frontiers,F85:. 91-121. Springer, Verlag Berlin Heidelberg, 1992.





esther pacitti, optimistic replication in pharos, umodelo ... · especialização, cada indivíduo...

Documents