defesa de mestrado 2015 foca uma metodologia que utiliza princípios da representação do...
TRANSCRIPT
Uma Metodologia que utiliza princípios da Representação do Conhecimento
para Avaliação de ontologias
Judson Melo Bandeira
Orientação
Ig Ibert BittencourtPatricia Ospina
Judson Melo Bandeira [email protected]
2
Agenda• Introdução• Problemática• Proposta• Validação• Conclusões• Artigos• Referências
Judson Melo Bandeira [email protected]
Agenda
5
Introdução• Na Filosofia: [Thomasson, 2004]
• Entendida por “O estudo do ser”;
• Tentativa de filósofos de definir cada coisa existente no mundo;
• Categorias de Aristóteles e Kant: Questionamento e Julgamento;
• Filósofos Contemporâneos: Abstração Sucessiva.
Judson Melo Bandeira [email protected]
Bicicleta
Veículo
Objeto
Coisa
Introdução
6
Introdução• Na computação:
• Entendida por “uma especificação formal e explícita de uma conceitualização” [Gruber, 1993];
• Ou por “explícita e parte de uma descrição de uma conceitualização”; [Guarino, 1998] ;
• Consenso, Reúso;
• Uma outra forma de entender o conceito de ontologia é através dos papeis da representação do conhecimento [Davis, 1993]
Judson Melo Bandeira [email protected]
Introdução
7
IntroduçãoJudson Melo Bandeira [email protected]
ontologia
Substituto
Compromissos
Ontológicos
Raciocínio Inteligente
Computação Eficiente
Expressão Humana
fast
Introdução
8
Introdução• Web Semântica: Extensão da web atual, que traz estrutura para o conteúdo significativo
das páginas da Web, criando um ambiente em que os agentes de software a partir de uma página para outra podem facilmente realizar tarefas sofisticadas para os usuários; [Berners-Lee, 2001].
Judson Melo Bandeira [email protected]
imagem
• Imagem de uma bicicleta,• Que tem a cor verde,• Que tem guidão de cor amarela, • Que não tem marchas...
Introdução
9
Problemática• Porém, modelar uma ontologia é uma tarefa
árdua, pois
• É necessário estudar o domínio profundamente;
• Evitar o problema da inconsistência (intersecção).
Judson Melo Bandeira [email protected]
Problemática
11
Problemática• Assim, é necessário uma metodologia para
engenharia de ontologias. Porém...
Judson Melo Bandeira [email protected]
[Cardoso, 2007]
Problemática
12
Problemática• E assim...
Judson Melo Bandeira [email protected]
Complexidade
Qualidade
Desta forma, é necessário avaliar a qualidade da ontologia após sua modelagem.
Problemática
13
ProblemáticaJudson Melo Bandeira [email protected]
[Obrst, 2007]
•Cobertura, •Complexidade, •Granularidade, •Casos de Uso, •Cenários, •Requisitos, •Aplicações, •Consistência e•Completude.
[Gangemi, 2006]
•Acordo, •Satisfação do usuário, •Tarefa, •Tópico e•Modularidade.
[Gruber, 1995]
•Clareza,•Coerência,•Estendibilidade,•Mínimo Viés de Codificação e•Compromisso ontológico mínimo.
[Gómez-Pérez, 2001]
•Completude,•Concisão,•Expansibilidade.
Problemática
14
Problemática• [Vrandečić, 2009] organizou todos esses
critérios em 8 principais, seguidos com questões:
• Precisão;• Adaptabilidade;• Clareza;• Completude;• Eficiência Computacional;• Concisão;• Consistência;• Aptidão Organizacional.
Judson Melo Bandeira [email protected]
Problemática
15
Problemática• Porém, todos estes trabalhos apenas
apresentam os critérios;
• Poucos deles possuem um passo-a-passo de como executar esses critérios;
• Eles não possuem métricas para avaliar a ontologia.
Judson Melo Bandeira [email protected]
Problemática
16
Problemática• Aumenta o esforço por parte do avaliador;
• Dependente da experiência do avaliador;
• Imprecisão sobre a qualidade da ontologia;
Judson Melo Bandeira [email protected]
Problemática
17
Proposta
Uma Metodologia que utiliza princípios da Representação do Conhecimento para Avaliação de
Ontologias
Judson Melo Bandeira [email protected]
Proposta
19
Proposta• A metodologia contribui para:
• Diminuir o esforço do avaliador;
• Útil para avaliadores com qualquer experiência;
• Tornar a avaliação mais precisa.
Judson Melo Bandeira [email protected]
Proposta
20
Proposta• Passo 1: Verificação do Tipo da ontologia
Nem toda ontologia precisa executar todos os critérios. Pois existem critérios que são contraditórios. [Vrandečić, 2009]
• Tipo 1: Ontologia de domínio ou tarefa: Domínio mais geral (como bicicleta).
• Tipo 2: Ontologia de aplicação: Domínio mais específico (como um sistema de computador).
• Inspirado em [Guarino, 1998]
Judson Melo Bandeira [email protected]
Proposta
21
Proposta• Passo 2: Verificação das Questões e Mensurar
• É onde a avaliação ocorre de fato;
• Cada questão possui uma nota associada e um goal associado, com um passo-a-passo;
• Avaliação no formato G.Q.M [Basili, 1992].
Judson Melo Bandeira [email protected]
Proposta
22
Proposta• Passo 2: Verificação das Questões e Mensurar
Judson Melo Bandeira [email protected]
Proposta
23
Proposta- Goal 1: Verificar se a ontologia cumpre Substituto.
- Question 1: As competências da ontologia foram definidas?
- Metric 1: Completude - Como verificar: Primeiramente, verifique se existe algum documento que
explique as competências da ontologia. Se não existir, a nota será automaticamente 0. Se existir, verifique:
• Se define o objetivo da ontologia (por ex: esta ontologia modela o domínio de...) Notas: 25, 50, 75, 100 • Se define o público alvo da ontologia (por ex: esta ontologia será utilizada por...) Notas: 25, 50, 75, 100 • Se define cenários de uso desta ontologia (ou seja, em que situações ela deve
ser utilizada). Notas: 25, 50, 75, 100
Judson Melo Bandeira [email protected]
Proposta
24
Proposta• Passo 2: Verificação das Questões e Mensurar
Judson Melo Bandeira [email protected]
Proposta
25
Proposta• Passo 2: Verificação das Questões e Mensurar
Judson Melo Bandeira [email protected]
Proposta
26
Proposta• Passo 2: Verificação das Questões e Mensurar
Judson Melo Bandeira [email protected]
Proposta
29
Proposta• Passo 2: Verificação das Questões e Mensurar
Judson Melo Bandeira [email protected]
Proposta
30
Proposta• Passo 3: Verificação da Qualidade da ontologia
Judson Melo Bandeira [email protected]
• Qualidade total;
• Qualidade parcial.
Proposta
31
Validação - Experimento• Foram modeladas quatro ontologias;
• Domínio: Sistema de Currículos Lattes;
• Foram selecionadas seis pessoas, de diferentes experiências;
• Vasta, Grande, Média, Pouca e Pouquíssima.
Judson Melo Bandeira [email protected]
Validação
33
Validação• Todas as notas de todos os participantes foram
coletadas;
• Surgiu uma questão: A metodologia explica os valores dados no documento SEM MODELO, ou seja, a metodologia é adequada?
• Duas Hipóteses: • É possível criar um escore Global para a ontologia?• É possível criar um escore Parcial para a ontologia?
Judson Melo Bandeira [email protected]
Validação
37
Validação• Utilizar as notas subjetivas e objetivas para criar
um modelo de regressão;
• O modelo de regressão servirá para as notas objetivas explicarem as notas subjetivas;
• A metodologia será validada quando conseguirmos ajustar o modelo adequadamente e verificar se os resíduos estão próximos de zero.
Judson Melo Bandeira [email protected]
Validação
39
Validação
• Encontrar os BETAS (pesos);
• Estimar o valor de ;
• Fazer ee e observar os resíduos;
• Se os resíduos forem próximos de 0, as notas objetivas conseguem explicar as notas subjetivas, validando a metodologia.
Judson Melo Bandeira [email protected]
Validação
41
ValidaçãoJudson Melo Bandeira [email protected]
Validação
Substituindo os BETAS encontrados, temos:
42
Validação – Ameaças à Validade• Apenas um domínio poderia não ter sido o suficiente para o
experimento;
• Apenas praticamente uma pessoa de cada experiência pode ter afetado a precisão dos valores obtidos no experimento;
• Alguns participantes sentiram-se cansados durante a execução do experimento, o que pode ter afetado as notas dadas por eles.
Judson Melo Bandeira [email protected]
Validação
43
Conclusões - Vantagens• Foi possível criar os dois escores, validando a metodologia
estatisticamente;
• Agora a comunidade de ontologias possui uma metodologia para avaliação com passo-a-passo e estabelecimento de nota;
• Agora a comunidade de ontologias possui uma metodologia que independe da experiência do avaliador.
Judson Melo Bandeira [email protected]
Conclusões
44
Conclusões - Limitações• A metodologia não possui questões suficientes para diferenciar bem os
dois tipos de ontologia;
• A verificação de duas ou mais ontologias, pode se tornar um processo um pouco cansativo.
Judson Melo Bandeira [email protected]
Conclusões
45
Conclusões – Trabalhos Futuros• Inserir o tipo Top Ontology, para completar os três tipos enunciados por
Guarino;
• Inserir mais questões para tornar mais precisa a avaliação de acordo com os tipos;
• Automatizar ou semi-automatizar o processo, para diminuir a exaustão.
Judson Melo Bandeira [email protected]
Conclusões
46
Artigos• Capítulos de Livro:
• Dados Abertos Conectados para a Educação (JAIE – 2015);• Dados Abertos Conectados (SBTI – 2014);
• Artigos• Desafios no uso de Dados Abertos Conectados na Educação
Brasileira (DesafIE – 2015)
• Artigo Aceito (porém não publicado)• Lessons Learned About Ontology Development Using Methontology
(ICEIS – 2015)
• À submeter• Artigo da dissertação.
Judson Melo Bandeira [email protected]
Conclusões
47
Referências• Gruber, Thomas R. "A translation approach to portable ontology specifications." Knowledge acquisition
5.2 (1993): 199-220. • Cardoso, Jorge. "The semantic web vision: Where are we?." Intelligent Systems, IEEE 22.5 (2007): 84-
88. • Vrandečić, Denny. Ontology evaluation. Springer Berlin Heidelberg, 2009. • Thomasson, Amie L. "Methods of categorization." Proceedings of the 3rd International Conference
(FOIS'04). 2004. • Guarino, Nicola. Formal ontology in information systems: Proceedings of the first international
conference (FOIS'98), June 6-8, Trento, Italy. Vol. 46. IOS press, 1998. • Davis, Randall, Howard Shrobe, and Peter Szolovits. "What is a knowledge representation?." AI • Berners-Lee, Tim, James Hendler, and Ora Lassila. "The semantic web."Scientific american 284.5
(2001): 28-37. • Obrst, Leo, et al. "The evaluation of ontologies." Semantic Web. Springer US, 2007. 139-158. • Gangemi, Aldo, et al. Modelling ontology evaluation and validation. Springer Berlin Heidelberg, 2006. • Gruber, Thomas R. "Toward principles for the design of ontologies used for knowledge sharing?."
International journal of human-computer studies 43.5 (1995): 907-928. • Gómez‐Pérez, Asunción. "Evaluation of ontologies." International Journal of intelligent systems 16.3
(2001): 391-409. • Ferrari, Silvia, and Francisco Cribari-Neto. "Beta regression for modelling rates and proportions."
Journal of Applied Statistics 31.7 (2004): 799-815. • Espinheira, Patrícia L., Luana Cecília Meireles da Silva, and Alisson de Oliveira Silva. "Prediction
Measures in Beta Regression Models." arXiv preprint arXiv:1501.04830 (2015). • Basili, Victor R. "Software modeling and measurement: the Goal/Question/Metric paradigm." (1992).
Judson Melo Bandeira [email protected]
Referências