Post on 12-Feb-2019
Avaliação de Ontologias
Ricardo de Almeida Falbo
Engenharia de Ontologias Departamento de Informática
Universidade Federal do Espírito Santo
Agenda
• Avaliação de Ontologias
• Processo de Avaliação da Qualidade de Ontologias
• Critérios para Avaliação de Ontologias
• Tipos de Técnicas de Avaliação de Ontologias
• Beleza em Ontologias
Avaliação de Ontologias
• Como qualquer artefato de engenharia, ontologias precisam ser avaliadas.
• Diferentes Perspectivas:
– Seleção de Ontologias Existentes
– Garantia da Qualidade no Desenvolvimento de Ontologias
Seleção de Ontologias Existentes
• A avaliação de ontologias é o problema de valorar uma dada ontologia a partir do ponto de vista de um particular critério de aplicação, tipicamente para determinar qual, dentre diversas ontologias, seria a mais adequada para um propósito específico (Brank et al., 2005).
• Usuários de ontologias, diante de uma variedade de ontologias, precisam ter um meio de avaliá-las (assess) e decidir qual melhor atende seus requisitos (Brank et al., 2005).
Seleção de Ontologias Existentes
• Usuário procurando por ontologias, muitas vezes, não têm ideia a cerca de:
– sua cobertura,
– sua inteligibilidade por usuários humanos,
– sua validade e solidez,
– sua consistência,
– os tipos de inferências que elas suportam,
– Sua habilidade de ser adaptada e reusada para propósitos variados.
(Obrst et al., 2007)
Garantia da Qualidade na EO
• Pessoas construindo ontologias necessitam de um modo de avaliar a ontologia resultante e possivelmente de guiar o processo de construção (Brank et al., 2005).
• Neste caso, avaliação de ontologias refere-se à atividade de checar a qualidade técnica de uma ontologia em relação a uma moldura de referência (Sabou; Fernandez, 2012).
Garantia de Qualidade na EO
• Envolve duas perspectivas principais (Sabou; Fernandez, 2012):
– Verificação: está-se construindo corretamente a ontologia?
– Validação: está-se construindo a ontologia correta?
• Validação é o único meio de assegurar a correção do conhecimento capturado em uma ontologia.
• Abordagens de validação requerem, portanto, a estreita cooperação com especialistas de domínio (Vrandecic, 2009).
Avaliação de Ontologias de Referência
• Engenharia de Software: artefatos não executáveis são avaliados tipicamente por meio de revisões técnicas ou inspeções.
• Esses mesmos procedimentos podem ser aplicados para a avaliação de ontologias de referência. A questão básica é definir o que avaliar em uma ontologia.
• Algumas abordagens simples:
– Verificação da Competência: elaboração de uma tabela relacionando elementos da ontologia (conceitos, relações, propriedades e axiomas) usados para responder cada questão de competência.
– Instanciação da Ontologia: elaboração de uma tabela mostrando instâncias dos conceitos, extraídas de situações de mundo real.
Processo de Avaliação de Ontologias
• Tarefa 1: Selecionar componentes individuais da network de ontologias: identificar os elementos críticos e quais deles podem ser realmente avaliados (existência de um frame de referência).
• Tarefa 2: Selecionar um objetivo e uma abordagem de avaliação.
– Possíveis objetivos de avaliação: • Cobertura do domínio
• Qualidade do Processo de Desenvolvimento da Ontologia e Critérios de Qualidade de Design de Ontologias
• Adequação a uma aplicação / tarefa
• Adoção e uso (para o caso de seleção de ontologias)
Processo de Avaliação de Ontologias
• Tarefa 3: Identificar um frame de referência e métricas de avaliação.
– Frame de referência: denota o conjunto de recursos representativos que estabelece uma baseline contra a qual a ontologia será comparada. Depende da abordagem a ser usada: gold standard, baseada em aplicação, dirigida a dados, avaliação por humanos, etc.
– Métricas de avaliação: Indicam como medir uma característica de qualidade da ontologia a ser comparada.
• Tarefa 4: Aplicar a abordagem de avaliação selecionada.
• Tarefa 5: Combinar e apresentar os resultados de avaliações individuais. Indicar ações corretivas, melhorias e indicações para futuras evoluções da ontologia.
Classificação de Abordagens de Avaliação de Ontologias segundo Brank et al.
• Comparação da ontologia a um “golden standard” (que pode ser ele mesmo uma ontologia). P.ex., uso do WordNet
• Baseada no uso da ontologia em uma aplicação (Application-based)
• Comparação com fontes de dados (p.ex. uma coleção de documentos) sobre o domínio a ser coberto pela ontologia (Data-driven)
• Feita por humanos que tentam avaliar quão bem a ontologia satisfaz um conjunto pré-definido de critérios, padrões, requisitos etc. (Assessment by humans)
(Brank et al., 2005)
Critérios para Avaliação de Ontologias
• Cobertura do domínio e riqueza, complexidade e granularidade dessa cobertura
• Casos de uso, cenários, requisitos, aplicações e fontes de dados que a ontologia procura endereçar
• Consistência e completude
• Linguagem de representação usada
• Mapeamento para uma ontologia de fundamentação / Teoria filosófica subjacente
• Tipos de métodos de raciocínio que podem ser aplicados
(Obrst et al., 2007)
Critérios para Avaliação de Ontologias
• Acurácia: A ontologia captura e representa corretamente aspectos do mundo real? Seus axiomas estão aderentes ao conhecimento dos especialistas de domínio?
• Adaptabilidade: A ontologia antecipa seus usos? Ela pode ser estendida ou especializada sem a necessidade de remover elementos? A ontologia está aderente a procedimentos de extensão, integração e adaptação?
• Clareza: A ontologia comunica efetivamente o significado pretendido de seus termos? As definições de termos são objetivas e independentes de contexto? As definições estão documentadas? A ontologia é compreensível?
(Vrandecic, 2009)
Critérios para Avaliação de Ontologias
• Completude / Competência: O domínio de interesse é adequadamente coberto? Questões de competência são definidas? A ontologia é capaz de respondê-las? A ontologia inclui todos os conceitos relevantes?
• Concisão: A ontologia inclui elementos irrelevantes ou redundantes? Ela define apenas os elementos essenciais (comprometimento ontológico mínimo)? Quão alinhada está a ontologia à teoria filosófica subjacente a ela?
• Eficiência Computacional: Quão fácil e bem sucedidamente um reasoner pode processar a ontologia? Quão rapidamente?
(Vrandecic, 2009)
Critérios para Avaliação de Ontologias
• Consistência / Coerência: Há contradições? As descrições formais e informais são consistentes? A ontologia incorpora aspectos de codificação, i.e., escolhas de representação são feitas puramente por conveniência de notação ou implementação (encoding bias)?
• Adequação à organização / Acessibilidade comercial: A ontologia é facilmente desenvolvida na organização? As ferramentas usadas na construção impõem restrições para a ontologia? Um processo adequado é usado em sua construção? A ontologia é certificada (quando requerido)? Ela satisfaz requisitos legais? É de fácil acesso? Está alinhada a outras ontologias em uso? É compartilhada por potenciais interessados?
(Vrandecic, 2009)
Critérios para Avaliação de Ontologias
• Esses critérios de qualidade definem uma boa ontologia. Eles são todos características desejáveis e, portanto, metas para guiar a construção e a avaliação de ontologias. Contudo, nenhum deles pode ser medido diretamente.
• Uma boa ontologia não vai satisfazer igualmente bem todos esses critérios, uma vez que alguns critérios são conflitantes.
• O avaliador precisa escolher os critérios relevantes para uma dada avaliação e então escolher os métodos de avaliação apropriados para avaliar quão bem a ontologia satisfaz os critérios escolhidos.
(Vrandecic, 2009)
Avaliação de Ontologias
• A avaliação de ontologias se mantém um importante problema em aberto.
• Não há uma abordagem única ou preferida para a avaliação de ontologias. Ao contrário, a escolha da abordagem mais adequada depende do propósito da avaliação, da aplicação na qual a ontologia será usada, e em relação a quais aspectos de uma ontologia estamos tentando avaliá-la (Brank et al., 2005).
Avaliação de Ontologias
• Nenhum dos métodos atualmente existentes, sozinhos ou combinados, pode garantir uma boa ontologia. Contudo, eles podem, pelo menos, reconhecer partes problemáticas de uma ontologia.
• Vários critérios de qualidade têm sido sugeridos na literatura, assim como métodos de avaliação. Entretanto, a real relação entre eles é apenas fracamente compreendida e superficialmente investigada, se tanto.
• A falta de evidência empírica casando métodos e critérios dificulta avaliações significativas de ontologias.
• Entender o efeito de certas características na qualidade de uma ontologia ainda permanece um desafio em aberto.
(Vrandecic, 2009)
Há beleza em Ontologias?
• A ideia é entender um pouco melhor como uma ontologia pode ser vista, não apenas sob a ótica de suas características formais e computacionais, mas também olhar o que a torna especialmente interessante e como ela pode se tornar uma solução elegante para um problema de modelagem.
• Beleza é uma noção subjetiva, que só pode ser compreendida em relação a exemplos concretos.
• Ser uma “boa ontologia” não necessariamente implica em ser uma “bela ontologia” – ainda que uma ontologia de má qualidade geralmente não será bela.
(d’Aquin; Gangemi, 2011)
Há beleza em Ontologias?
• d’Aquin e Gangemi revisaram 32 conjuntos de justificativas apoiando a inclusão de certas ontologias na página de “Ontologias Exemplares” do site ontologydesignpattern.org.
• Dimensões consideradas:
– Estrutura
– Cobertura Conceitual
– Tarefa Conceitual
– Sustentabilidade Social
– Sustentabilidade Pragmática
Beleza em Ontologias
• Estrutura:
– Reusar ontologias de fundamentação
– Ser formalmente rigoroso
– Implementar relações não taxonômicas
– Ser modular (ou estar embutida em um arcabouço modular)
– Ser projetada seguindo princípios
– Seguir estritamente um método de avaliação
Beleza em Ontologias
• Cobertura Conceitual:
– Ter uma boa cobertura do domínio
– Prover importantes distinções reutilizáveis
– Prover uma organização para domínios não estruturados ou pobremente estruturados
– Implementar um padrão internacional (p.ex., ISO)
Beleza em Ontologias
• Tarefa Conceitual:
– Ser explicitamente orientada a uma tarefa
– Ter requisitos obtidos a partir de cenários
– Ser baseada em questões de competência
• Sustentabilidade Social:
– Ser o resultado de evolução (muitas revisões)
– Ter uso ou aceitação ampla
– Ter impacto comercial
– Ser recomendada pela indústria
– Implementar conhecimento científico
Beleza em Ontologias
• Sustentabilidade Pragmática:
– Ter aplicações construídas utilizando a ontologia / haver experiências bem sucedidas na construção de aplicações usando a ontologia
– Projetada para responder questões eficientemente
– Manter a expressividade original dos dados e aperfeiçoar ou enriquecê-los
– Capaz de desfazer-se de construtos inadequados a quaisquer propósitos ou superar limitações de expressividade
– Ser bem documentada
– Resolver outros aspectos técnicos
Observações sobre Beleza em Ontologias
• Os critérios mais frequentemente usados nas justificativas foram aqueles relacionados à tarefa conceitual e sustentabilidade social, seguido de perto por requisitos estruturais.
Observações sobre Beleza em Ontologias
• Beleza e qualidade são conceitos diferentes, mas que se sobrepõe de alguma maneira. Neste sentido, não é fácil distinguir o que é um e o que é outro.
– Uma ontologia bela deve satisfazer alguns (possivelmente muitos) critérios de qualidade, mas pode faltar beleza a uma boa ontologia porque ela falha em algum importante critério de qualidade.
– Provavelmente nem todos os critérios de qualidade têm o mesmo impacto na beleza, pelo menos em um dado momento.
Observações sobre Beleza em Ontologias
• Beleza está relacionada a sucesso or aplicabilidade.
– Uma característica necessária de uma bela ontologia é que ela não é apenas um exercício de conceituação abstrata em completa desconexão com a prática. Muitas “ontologias leves” têm sido desenvolvidas focando de modo bem sucedido neste aspecto (p.ex., FOAF), implementando designs singelos e não especialmente elegantes.
• Beleza não vem diretamente do domínio.
– Não é o domínio que dita diretamente o modo como belas ontologias são construídas.
Conclusão
• Ontologias belas são ontologias que apresentam uma boa qualidade geral.
• Elas satisfazem requisitos relevantes, têm boa cobertura do domínio alvo, são frequentemente facilmente aplicáveis em algum contexto e são estruturalmente bem projetadas.
• Frequentemente, seus domínios também introduzem restrições que levam a soluções de modelagem não triviais.
Referências
• Sabou, M., Fernandez, M., Ontology (Network) Evaluation, In: Ontology Engineering in a Networked World. Springer, Berlin, 2012.
• Brank, J., Grobelnik, M., Mladenić, D., A Survey of Ontology Evaluation Techniques, In: Proceedings of the Conference on Data Mining and Data Warehouses (SiKDD 2005), 2005.
• Obrst, L., Ashpole, B., Ceusters, W., Mani, I., Ray, S., Smith, B., The Evaluation of Ontologies - Toward Improved Semantic Interoperability, In: Semantic Web: Revolutionizing Knowledge Discovery in the Life Sciences, Baker, C.J.O., Cheung, K-H. (eds), Springer, 2007.
• Vrandecic, D., Ontology Evaluation, In: Handbook on Ontologies, Second edition, Staab, S., Studer, R. (Eds.), Springer, 2009, pp. 293 – 313.
• d’Aquin, M., Gangemi, A., Is there beauty in ontologies? Applied Ontology, 6(3), 2011, pp. 165–175.