sistema multi-agentes para acompanhamento e auxílio de ... · sistema multi-agentes para...

14/12/2004 Rodrigo Filev Maia / Márcio Lobo Netto

EP

US

PE

PU

SP

Sistema Multi-Agentes para Acompanhamento e Auxílio de Avaliação de Alunos em Ambientes de Ensino à Distância

Sistema Multi-Agentes para Acompanhamento e Auxílio de

Avaliação de Alunos em Ambientes de Ensino à Distância

Apresentação da Dissertação de MestradoCandidato: Rodrigo Filev MaiaOrientador: Prof. Dr. Márcio Lobo NettoLaboratório de Sistemas IntegráveisEscola PolitécnicaUniversidade de São Paulo


EP

US

PE

PU

SP


Sumário

• Fundamentos da pesquisa:– Avaliação e Educação;– Agentes e Sistemas Multi-Agentes;– Sistemas Tutores Inteligentes como uma sociedade

multi-agentes;

• Aplicação Proposta.• Resultados e Considerações Finais.


EP

US

PE

PU

SP


Avaliação e Educação

• Piaget – desenvolvimento individual• Vygotsky – coletivo como forma de aprendizado• Parte do aprendizado advém do esforço próprio do

indivíduo, enquanto outra parte surge da troca de experiências entre indivíduos.

• Um sistema eletrônico com fins educacionais, idealmente permitiria ambos os desenvolvimentos.


EP

US

PE

PU

SP



• Avaliação escolar deve verificar, pelo menos, se os objetivos educacionais foram alcançados.

• Segundo Bloom, há três categorias de avaliação:– Diagnóstica;– Formativa;– Somativa.

• Taxionomia de Bloom: auxilia na classificação dos objetivos educacionais, auxiliando na definição de mensurações apropriadas.


EP

US

PE

PU

SP



• Modelo computacional necessário para atender Piaget e Vygotsky, além de manipular avaliações conforme Bloom, é bastante complexo.

• Tecnologia multi-agentes pode:– facilitar a interação entre alunos de perfis semelhantes;– acompanhamento individualizado sem necessidade de

um canal de comunicação ativado de forma permanente.


EP

US

PE

PU

SP


Sumário


multi-agentes;



EP

US

PE

PU

SP


Tecnologia Agentes

• “…entidade de software que funciona de forma autônoma e contínua em determinado ambiente…”

• Característica fundamental de um agente: autonomia.

• Características importantes: – Continuidade temporal;– Comportamento cooperativo.


EP

US

PE

PU

SP


Classificação de Agentes

• Puramente Reativos: executam uma ação baseada exclusivamente na observação feita no ambiente;


EP

US

PE

PU

SP


Classificação de Agentes

• Agente Baseado em Estados Internos: possuem uma máquina de estados responsável por determinar as ações do agente no meio.

Sens

ores

Atu

ador

es

Detecç

ãoAÇÃO

P*

Sens

ores

Atu

ador

es

Detecç

ãoAÇÃO

P*


EP

US

PE

PU

SP


Ambiente de um AgenteCategoria Tipo de ambiente

Acessibilidade

Acessível

Efetivamente acessível

Parcialmente acessível

Inacessível

Previsibilidade Determinístico

Não Determinístico

História Episódico

Não episódicoDinamicidade

(Ocorrência de Alterações)Estático

DinâmicoContinuidade

(Quantidade de estados possíveis)

Discreto

Contínuo


EP

US

PE

PU

SP


Padrão de Agentes FIPA

• Foundation for Intelligent Physical Agents.• Desenvolver os padrões de agentes e sistemas

baseados nestes, com foco em interoperabilidade.• 4 divisões na arquitetura:

– transporte de mensagens;– diretório de agentes;– diretório de serviços;– linguagem de comunicação entre agentes.


EP

US

PE

PU

SP


Sumário


multi-agentes;



EP

US

PE

PU

SP


Sistemas Tutores Inteligentes (STI)

Módulo de Interface (c/ usuário)

MóduloEstudante

MóduloTutor

Módulo de Domínio


EP

US

PE

PU

SP




MóduloEstudante

MóduloTutor

Módulo de Domínio

•Armazena informações individualizadas dos alunos.

•Deve possuir todas as informações relevantes para a evolução do aluno


EP

US

PE

PU

SP




MóduloEstudante

MóduloTutor

Módulo de Domínio

•Estratégicas e Táticasdo aprendizado.

•Obter dados relevantes do módulo aluno e optar por qual conhecimento do módulo de domínio apresentar.


EP

US

PE

PU

SP




MóduloEstudante

MóduloTutor

Módulo de Domínio

•Armazena o conhecimento do STI.

•Deve ser capaz de ser atualizado


EP

US

PE

PU

SP




MóduloEstudante

MóduloTutor

Módulo de Domínio

•É o ponto de interação do usuário.

•Ser adequado ao público alvo.


EP

US

PE

PU

SP


STI como uma Sociedade Multi-Agentes

• Agentes e LMS (Learning Management System):– LMS como um repositório central dos conteúdos a

serem estudados. Corresponde ao módulo de Domínio.– LMS possui parte das estratégias educacionais – parte

do módulo Tutor.– Agentes:

• módulo de Interface – para professor e aluno;• módulo Tutor – táticas educacionais do professor.• Módulo Estudante – armazena as informações do aluno.


EP

US

PE

PU

SP


STI como uma Sociedade Multi-Agentes

• STI formado exclusivamente por agentes:– Agente Aluno: módulos: Estudante, Interface, Tutor

(parte: seleciona quais estratégias e táticas para estudante);

– Agente Professor: módulos: Domínio, Tutor (parte: fornece as estratégias.

– Ambiente completamente distribuído.– Maior complexidade de comunicação.


EP

US

PE

PU

SP


Sumário


multi-agentes;



EP

US

PE

PU

SP


Arquitetura da Sociedade Multi-Agente

• Elaborar agentes para acompanhamento de estudantes.

Ag Aluno

Ag Gerenciador

Alunos

Sistemas LMS

RepositóriosDados

RepositóriosDados

Ag. Banco Dados

Ag Aluno

Ag Professor

Professor

Alunos

Ag Aluno

Ag Gerenciador

Alunos

Sistemas LMS

RepositóriosDados

RepositóriosDados

Ag. Banco Dados

Ag Aluno

Ag Professor

Professor

Alunos


EP

US

PE

PU

SP


Simulador SADE

• Elaborado para ativar os agentes e criar alunos virtuais, baseados em perfis.

• Perfis foram baseados em 31 turmas de alunos de um curso de Ciência da Computação.

• O simulador gera comportamentos característicos de alunos, determinados através dos dadoshistóricos dos estudantes do curso, utilizando um método estatístico.


EP

US

PE

PU

SP


Método Estatístico

• Os alunos são divididos por intervalo de notas

• Perfil considera o desempenho do estudante emrelação às duas avaliações.

0 10A B C

1I2I3I4I


EP

US

PE

PU

SP



• Aluno obtém uma probabilidade de aprovação:• Professor define três probabilidades:

– de Aprovação Sem Reforço:– de Reforço:– de Intervenção do Professor:

• As três probabilidades geram 4 intervalos de diagnóstico:– Aprovado: – Reforço Sugerido: – Reforço Obrigatório:– Intervenção do Professor:

apP r P Pa? ?

PaP r

Pi

apPi P Pr? ?

apP Pa?

apP Pi?


EP

US

PE

PU

SP



• Em cada avaliação, é calculada a probabilidade de aprovação do aluno, dada a nota da prova obtida.

• A probabilidade de aprovação do aluno estará emalgum dos intervalos de diagnóstico.

• Com isto o agente gera o diagnóstico do estudante e toma uma ação apropriada.


EP

US

PE

PU

SP


Arquitetura SADE

Ag. AlunosAg Professor Ag. Gerenciador

Gerador de Alunos Virtuais

Sociedade Multi-Agentes

SADEAg. Alunos

Ag ProfessorAg Professor Ag. Gerenciador

Gerador de Alunos Virtuais

Sociedade Multi-Agentes

SADE


EP

US

PE

PU

SP


Fluxo de operação do SADE

Preparação dos dados históricos da

simulação

Definição do parâmetros da

simulação

Criação dos alunos virtuais

Aplicação da primeira avaliação

Geração do diagnóstico da

primeira avaliação

Recomendação do tipo do reforço a ser feito (quando existir

a necessidade)

Aplicação da segunda prova

Resultados Finais da simulação

Preparação dos dados históricos da

simulação

Definição do parâmetros da

simulação

Criação dos alunos virtuais

Aplicação da primeira avaliação

Geração do diagnóstico da

primeira avaliação

Recomendação do tipo do reforço a ser feito (quando existir

a necessidade)

Aplicação da segunda prova

Resultados Finais da simulação


EP

US

PE

PU

SP


Plataforma JADE

•Segue o Padrão FIPA

•Agentes podem estar em mais de uma máquina na rede.

•Suporte à comunicação de agentes.


EP

US

PE

PU

SP


Sumário


multi-agentes;



EP

US

PE

PU

SP


Resultados Obtidos

• Para um determinado conjunto de parâmetros, foram executadas 10 simulações com 400 alunos cada uma.

• Dois tipos de cenários: – desempenho dos estudantes com aplicação de reforço; – desempenho dos estudantes sem a aplicação de reforço.


EP

US

PE

PU

SP


Resultados Obtidos – Sem ReforçoDesempenho Sem Reforco

100,0 98,3

61,3

0,0

94,8

46,5

0,0 0,0

51,5

0,0 0,0 0,0

33,8

0,0 0,0 0,00,01,7

38,7

100,0

5,2

53,5

100,0 100,0

48,5

100,0 100,0 100,0

66,2

100,0 100,0 100,0

0,0

10,0

20,0

30,0

40,0

50,0

60,0

70,0

80,0

90,0

100,0

I1_I1 I1_I2 I1_I3 I1_I4 I2_I1 I2_I2 I2_I3 I2_I4 I3_I1 I3_I2 I3_I3 I3_I4 I4_I1 I4_I2 I4_I3 I4_I4

Perfil do estudante

% Aprovados

Reprovados


EP

US

PE

PU

SP


Resultados Obtidos – Com Reforço - Sim.2 Desempenho Com Reforco

100,0 98,7

65,1

0,0

98,1

49,6

0,0 1,3

70,7

16,5

0,0 0,0

38,0

0,0 0,0 0,00,0 1,3

34,9

100,0

1,9

50,4

100,0 98,8

29,3

83,5

100,0 100,0

62,0

100,0 100,0 100,0

0,0

10,0

20,0

30,0

40,0

50,0

60,0

70,0

80,0

90,0

100,0


Perfil do estudante

% Aprovados

Reprovados


EP

US

PE

PU

SP


Resultados Obtidos – Com Reforço - Sim.3 Desempenho Com Reforco

99,8 98,7

60,7

0,0

96,7

47,2

0,0 0,0

70,2

14,9

0,0 0,0

31,0

0,0 0,0 0,00,2 1,3

39,3

100,0

3,3

52,8

100,0 100,0

29,8

85,1

100,0 100,0

69,0

100,0 100,0 100,0

0,0

10,0

20,0

30,0

40,0

50,0

60,0

70,0

80,0

90,0

100,0


Perfil do estudante

% Aprovados

Reprovados


EP

US

PE

PU

SP


Resultados Obtidos – Com Reforço - Sim.4Desempenho Com Reforco

100,097,9

71,6

0,0

98,5

47,7

0,0 0,0

73,8

18,8

0,0 0,0

46,6

0,0 0,0 0,00,02,1

28,4

100,0

1,5

52,3

100,0 100,0

26,2

81,2

100,0 100,0

53,4

100,0 100,0 100,0

0,0

10,0

20,0

30,0

40,0

50,0

60,0

70,0

80,0

90,0

100,0


Perfil do estudante

% Aprovados

Reprovados


EP

US

PE

PU

SP


Considerações Finais

• O simulador construído apresentou resultados satisfatórios nas simulações onde não existia reforço. Valores obtidos foram bastante próximos das turmas reais.

• Simulador indica que os alunos classificados como pertencentes ao intervalo e não tendem a necessitar de reforço.

1 2I I1 1I I


EP

US

PE

PU

SP



• Os alunos do intervalo definido entre os perfis e não apresentaram melhorias nos índices de aprovação, pois as notas obtidas, mesmo com reforço, não foram suficientes.

• Melhor nota na primeira prova poderia ser 3,0 e 5,0 na segunda avaliação. Com reforço, o aluno não alcançaria média 6,0 (considerada para as simulações).

4 2I I

4 4I I


EP

US

PE

PU

SP



• As melhorias com o reforço fizeram-se presentes em sua maioria para os estudantes com notas no intervalo principalmente nos perfis de

a . • Reforço proposto aumenta a nota entre 10% e 20%

em 80% dos casos.• Indica um aumento de na segunda

nota, se comparado com o resultado esperado do perfil.

3 7nota? ?1 3I I 4 1I I

0,0 2,0nota? ?


EP

US

PE

PU

SP



• Nos cenários estudados neste trabalho, um alunoque obtivesse nota 8,0 poderia com reforço chegara nota 10.

• Um aluno com nota 6,0 (nota na média de aprovação), poderia obter no máximo nota 7,5 se o reforço proposto resultasse no maior aumento possível.

• Considera-se que este aumento de nota é factível de um aluno obter.


EP

US

PE

PU

SP


Trabalhos Futuros

• Utilizar a sociedade multi-agentes em turmas de alunos e verificar as melhorias ao longo de um semestre letivo.

• Aumentar o número de avaliações para acompanhamento.

• Considerar interação entre alunos.• Analisar a manipulação de apostilas e materias do

curso pelos agentes.


EP

US

PE

PU

SP


OBRIGADO!

Rodrigo Filev MaiaProf. Dr. Márcio Lobo Netto

Laboratório de Sistemas IntegráveisEscola Politécnica

Universidade de São Paulo.


EP

US

PE

PU

SP


Aprendizagem Segundo Piaget

• Estruturas no organismo, responsáveis pelo pensamento que evoluem, assim como ocorre com outras estruturas.

• Os estímulos biológico recebidos fazem com que estas estruturas evoluam – chamado de desenvolvimento cognitivo.

• Evolução ou criação de esquemas.


EP

US

PE

PU

SP


Aprendizagem Segundo Piaget

• Fases do Desenvolvimento Cognitivo:– sensório-motor;– pré-operacional;– operações concretas;– operações formais.

• Piaget considera evolução baseada exclusivamente no indivíduo.


EP

US

PE

PU

SP


Aprendizagem Segundo Vygotsky

• Ponto de divergência de Piaget: o ambiente é fator preponderante na aprendizagem (desenvolvimento cognitivo).

• Há evolução da aprendizagem dependente de processo biológico, porém conhecimentos mais complexos dependem do processo cultural do meio.


EP

US

PE

PU

SP


Aprendizagem Segundo Vygotsky

• Há dois tipos de desenvolvimento:– Real ou efetivo;– Potencial;

• A diferença entre os dois desenvol-vimentosforma a Zona de Desenvolvimento Proximal (ZDP), resultado do fruto da interação com o meio.


EP

US

PE

PU

SP


Avaliação

• A avaliação deve verificar se:– os objetivos foram alcançados;– o programa foi cumprido;– o tempo foi suficiente;– objetivos indiretos foram alcançados.

• Avaliação deve ser um processo contínuo, com metas claras, simples e precisas.


EP

US

PE

PU

SP


Modalidades de Avaliação– Diagnóstica: averigua se existe ou não a

presença de determinado conhecimento ou habilidade;

– Formativa: se o aluno absorveu ou não determinado conhecimento;

– Somativa: classificar os alunos ao final de um período de tempo, segundo critérios de aproveitamento.


EP

US

PE

PU

SP


Tipos de questões• Cada tipo de questão é adequada a um

determinado tipo de avaliação e objetivo:– Dissertativa;– Objetiva:

• Verdadeiro-Falso• Múltipla escolha• Ordenação ou Associação• Itens de Interpretação


EP

US

PE

PU

SP


Taxonomia de Bloom

• Taxonomia dos objetivos educacionais compreende o domínio cognitivo.

• O caráter hierárquico permite a professor e aluno entenderem com maior clareza a localização de um objetivo educacional, o que se pretende atingir, e com isto a avaliação pode se melhor dimensionada e entendida por todos.


EP

US

PE

PU

SP


Hierarquia da Taxonomia

• Conhecimento:– Estruturas específicas e

universais– Privilegia memória


EP

US

PE

PU

SP



• Compreensão:– Trata capacidades e

habilidades de organizar operações e técnicas para tratar com problemas.


EP

US

PE

PU

SP



• Aplicação: – Uso de abstrações em

situações reais.– Princípios e operações

utilizados para compreender um fenômeno.


EP

US

PE

PU

SP



• Análise:– Desdobramento de idéias.– Relacionar conceitos e

implicações.


EP

US

PE

PU

SP


Hierarquia da Taxonomia• Síntese:

– Estudante é capaz de combinar todos os conhecimentos e formar uma nova estrutura de conhecimento, antes não conhecida e não trivial.


EP

US

PE

PU

SP


Hierarquia da Taxonomia• Avaliação:

– Métodos e materiais utilizados para aferir o aprendizado segundo algum critério.


EP

US

PE

PU

SP


Agentes e suas Características• “Um agente refere-se a um componente de

software ou hardware que é capaz de executar tarefas em nome do usuário”.

Propriedades:

ReatividadeComportamento CooperativoCapacidade de ComunicaçãoCapacidade Inferência

Continuidade TemporalPersonalidadeMobilidadePró-atividade


EP

US

PE

PU

SP


O que é inteligência

• Pode ser considerada como a possibilidade do agente comportar-se de acordo com a forma desejada pelo programador, e não da forma por ele definida.


EP

US

PE

PU

SP


Ambiente dos agentes

• O ambiente é a estrutura onde os agentes realizam suas ações e recebe sinais enviados de outras entidades com as quais se relaciona.

• Ambiente é composto de diversos agentes e outros objetos dos quais as interações resultam em alterações dos estados do ambiente.


EP

US

PE

PU

SP


Classificação Agentes

PuramenteReativos:

EstadosInternosSe

nsor

es

Atu

ador

es

Detec

ção AÇÃO

P*

Sens

ores

Atu

ador

es

Detec

ção AÇÃO

P*

Sens

ores

Atu

ador

es

Detec

ção

AÇÃOModelo

MundoSens

ores

Atu

ador

es

Detec

ção

AÇÃOModelo

Mundo


EP

US

PE

PU

SP


Tipos de agentes

• Colaborativos: – autonomia e Cooperação para realizar tarefas

complexas.– em geral não possuem grande capacidade de

aprendizagem• Interface:

– apoio ao usuário;– monitora ações;– gera feedback;– Recebe instruções diretas


EP

US

PE

PU

SP


Sistemas Multi-Agentes (SMA)

• Sistema composto de mais de um agente;• Característica o surgimento de

comportamentos globais não programados em nenhum agente;

• Necessária a coordenação entre os agentes.• Conhecimento distribuído na sociedade.• Aprendizado pode ser centralizado ou

descentralizado.


EP

US

PE

PU

SP


Aprendizagem em SMA• Centralizado: todo o aprendizado é gerado por

um único agente;• Descentralizado: diversos agentes participam do

esforço de aprendizagem;• O agente também pode aprender através do

cadastro do conhecimento em sua base de dados.


EP

US

PE

PU

SP


Aprendizagem do Agente• Aprendizagem pode ser:

– por instrução;– por analogia;– por descoberta;

• Análise da interação com o meio:– aprendizado supervisionado;– aprendizado por reforço;

– aprendizado sem supervisão.


EP

US

PE

PU

SP


Comunicação em SMA

• Para a efetiva comunicação são necessários mecanismos de:– regulação:

• síncronos ou assíncronos

– protocolos:• regras de conversação;

– padrões de linguagem:• o que entender da comunicação (ontologia)


EP

US

PE

PU

SP


Mecanismos de Cooperação

• Mercado:– tarefa possui um preço;– agentes são produtores ou consumidores

• Quadro de avisos:– agente publica a demanda;– Outros agentes executam a tarefa (ou parte) e

publicam a resposta no quadro.

• Rede de contrato:– Agente contrata um terceiro para realizar a tarefa.


EP

US

PE

PU

SP


Mecanismos de Cooperação

• Os mecanismos não garantem a realização da tarefa:– não há agente com habilidade;– todos os agentes estão comprometidos.

• Falta de recurso pode levar ao colapso da sociedade. Nestes casos um agente supervisor pode se fazer necessário.


EP

US

PE

PU

SP


Protocolo KQML• Idealizado para a comunicação entre os agentes.• Permite a troca de ontologias• Tipos de mensagens:

– consultas;– respostas;– informativo geral;– de rede;– dentre outras.

• Toda mensagem possui origem, destino, linguagem, ontologia e conteúdo.


EP

US

PE

PU

SP


Plataforma de Agentes FIPA

• Organização que estabelece padrões para a criação de agentes.

• Possui os serviços necessários ao estabelecimento de comunicação entre os agentes, bem como serviços e ACL.


EP

US

PE

PU

SP


sistema multi-agentes para acompanhamento e auxílio de ... · sistema multi-agentes para...

Documents