Post on 21-Oct-2015
BRAIN MAP | Entidade Promotora: Parceiros:
0/1 Projecto em curso com o apoio de:
14-05-2010
Plataformas existentes com abordagens parciais ao problema
BRAIN MAP | Entidade Promotora: Parceiros:
1/1 Projecto em curso com o apoio de:
Índice
Tabela de Figuras ...........................................................................................................................................2
Introdução .....................................................................................................................................................4
Ferramentas para a Manipulação e Análise de Informação .........................................................................5
WEKA .........................................................................................................................................................5
Protégé ......................................................................................................................................................8
TGViz ......................................................................................................................................................9
SOVA ................................................................................................................................................... 10
OntoGraf ............................................................................................................................................. 11
OlwPropViz ......................................................................................................................................... 13
NavigOWL ........................................................................................................................................... 14
Pentaho .................................................................................................................................................. 15
Avizo ....................................................................................................................................................... 17
IBM OpenDx ........................................................................................................................................... 21
ParaView ................................................................................................................................................. 23
VTK .......................................................................................................................................................... 28
VisIt ......................................................................................................................................................... 31
TouchGraph Navigator ........................................................................................................................... 35
Visifire ..................................................................................................................................................... 37
Minner 3d ............................................................................................................................................... 41
Viscovery ................................................................................................................................................ 45
Wolfram Mathematica ........................................................................................................................... 48
BRAIN MAP | Entidade Promotora: Parceiros:
2/1 Projecto em curso com o apoio de:
Tabela de Figuras
Figura 1: Gráficos de análise e de dispersão do WEKA .................................................................................6
Figura 2: Gráfico de Análise do WEKA ...........................................................................................................7
Figura 3: Ferramenta de visualização e manipulação TGViz .........................................................................9
Figura 4: Ferramenta de visualização e manipulação SOVA ...................................................................... 10
Figura 5: Ferramenta de visualização e manipulação OntoGraf ................................................................ 11
Figura 6: Ferramenta de visualização e manipulação OntoGraf com filtros .............................................. 12
Figura 7: Ferramenta de visualização e manipulação OntoGraf com meta-dados .................................... 12
Figura 8: Ferramenta de visualização e manipulação OwlPropViz ............................................................ 13
Figura 9: Ferramenta de visualização e manipulação NavigOWL .............................................................. 14
Figura 10: Análises analíticas da informação pela aplicação Pentaho, com exportação para dispositivos
móveis ........................................................................................................................................................ 15
Figura 11: Exemplos de DashBoards, criados pela aplicação Pentaho ...................................................... 16
Figura 12: Exemplo de aplicação do Avizo com workflow de controlo na versão standard ...................... 18
Figura 13: Exemplo de aplicação do Avizo com workflow de controlo na versão Fire .............................. 19
Figura 14: Exemplo de aplicação do Avizo na variante Earth..................................................................... 20
Figura 15: Exemplo de output obtido e workflow de controlo sobre esses dados .................................... 21
Figura 16: Exemplo composto do OpenDx ................................................................................................. 22
Figura 17: Exemplo de visualização de Data Mining na área de moléculas orgânicas............................... 23
Figura 18:Visualização 3D ParaView........................................................................................................... 24
Figura 19: Janela do ParaView na analise de fluidos .................................................................................. 25
Figura 20: Gráfico de temperatura e pressão ............................................................................................ 26
Figura 21: Representação gráfica de um output ........................................................................................ 26
Figura 22: Diferentes representações ParaView ........................................................................................ 27
Figura 23:Gráfico criado no Paraview utilizando o VTK ............................................................................. 28
Figura 24: Gráfico criado no VisIt utilizando o VTK .................................................................................... 29
Figura 25: Gráfico gerado no VTK ............................................................................................................... 30
Figura 26: Exemplo de mapa no VisIt ......................................................................................................... 31
Figura 27: Configuração da tonalidade do mapa ....................................................................................... 32
Figura 28: Exemplo de uma analise de dados em 2D e em 3D .................................................................. 33
Figura 29: Menu de criação de views ......................................................................................................... 34
Figura 30: Navigator executado no browser .............................................................................................. 35
Figura 31: Fases do processamento dos dados .......................................................................................... 36
Figura 32: Ferramenta para criação de gráficos no browser ..................................................................... 37
Figura 33: Gráfico de área .......................................................................................................................... 38
Figura 34: Gráfico em funil ......................................................................................................................... 38
Figura 35: Gráfico de barras com Live Updates ......................................................................................... 39
BRAIN MAP | Entidade Promotora: Parceiros:
3/1 Projecto em curso com o apoio de:
Figura 36: Zoom in realizado ao gráfico de barras ..................................................................................... 40
Figura 37: Interface do Miner 3D ............................................................................................................... 41
Figura 38:Gráfico desenvolvido no Miner3D Basic .................................................................................... 42
Figura 39: Gráfico mais elaborado desenvolvido em Miner3D Enterprise ................................................ 43
Figura 40: Exemplo de dados analisados com recurso ao K-Means .......................................................... 44
Figura 41: interface gráfica do Viscovery Profiler ...................................................................................... 45
Figura 42: Output da análise dos acessos a um site ................................................................................... 46
Figura 43: Interface da ferramenta Decision Maker .................................................................................. 47
Figura 44: Interface do Wolfram Mathematica ......................................................................................... 48
Figura 45:Exemplos de gráficos obtidos do Wolfram Mathematica .......................................................... 49
Figura 46: Wolfram ligado à base de dados ............................................................................................... 50
BRAIN MAP | Entidade Promotora: Parceiros:
4/1 Projecto em curso com o apoio de:
Introdução
Pretende-se com o presente documento, efectuar o estudo e análise de plataformas que tenham em si,
abordagens parcialmente semelhantes aos conceitos envolvidos no projecto do Brain Map. Essa análise
será direccionada sobre ferramentas comerciais e ferramentas open source de modo a garantir um
levantamento completo e profundo nestas duas vertentes de desenvolvimento de software.
Este estudo prévio, tem como objectivo criar um conhecimento geral sobre o contexto onde o Brain
Map se insere, e desta análise, ser possível, extrair os melhores conceitos e procedimentos que
eventualmente possam refinar a ideia de projecto Brain Map, conforme inicialmente descrita em sede
de candidatura.
Ao nível de contextualização no projecto QREN Brain Map, este documento, encontrasse enquadrado na
actividade de “Estudos Preliminares”
BRAIN MAP | Entidade Promotora: Parceiros:
5/1 Projecto em curso com o apoio de:
Ferramentas para a Manipulação e Análise de Informação
No presente capítulo será feita a análise de diversas ferramentas de manipulação e de visualização de
informação de diferentes domínios e áreas do saber humano. Serão analisadas em maior profundidade
as suas funcionalidades e a interface gráfica com o utilizador.
WEKA
O Weka (Waikato Environment for Knowledge Analysis), é uma ferramenta de aprendizagem
automática, que numa só aplicação reúne vários algoritmos e abordagens. Recorrendo a técnicas de
mineração de dados (exploração de grandes quantidades de dados) e aprendizagem automática permite
analisar a informação e efectuar modelação preditiva por indução.
O Weka dispõe de um interface gráfico bastante completo e elaborado que permite analisar e fazer
comparações entre os resultados dos vários algoritmos, pois possui boas ferramentas de análise
numérica e gráfica para fazer a correcta avaliação dos seus resultados.
No contexto do Brain Map, a componente de relevo do Weka não se prende com os algoritmos de
aprendizagem automática em si, mas sim com os diversos métodos de visualização e análise sobre
grandes quantidades de informação para avaliação dos algoritmos que o WEKA dispõem.
O Weka é uma ferramenta de software livre desenvolvida em Java pela Universidade de Wakato da
Nova Zelândia, e como tal não pode ser considerado uma ferramenta comercial pois é desenvolvida e
mantida por uma comunidade de programadores e investigadores.
Nativamente trabalha com os dados no formato.ARFF, no entanto também permite importar dados em
formato csv, libsvm, bsi e xrff. Dispõe ainda de um pré-processador que permite transformar e importar
dados em outros formatos.
BRAIN MAP | Entidade Promotora: Parceiros:
6/1 Projecto em curso com o apoio de:
Figura 1: Gráficos de análise e de dispersão do WEKA
BRAIN MAP | Entidade Promotora: Parceiros:
7/1 Projecto em curso com o apoio de:
Figura 2: Gráfico de Análise do WEKA
Na Figura 1 e na Figura 2 é possível ver alguns exemplos de visualizações possíveis sobre os dados de
saída do WEKA em que é possível visualizar a distribuição de uma amostra em relação a duas variáveis.
Nesta aplicação os outputs gráficos são relativamente pobres esteticamente, tornando-se pouco
apelativos (e até intimidadores para o utilizador inexperiente). No entanto este output gráfico é
pensado e desenvolvido apenas na funcionalidade e na simplicidade e são considerados pelos
especialistas bastante eficazes.
Do ponto de vista de interacção com o utilizador são bastante pobres, pois para exercer qualquer efeito
de rotação, zoom ou de movimento o utilizador é obrigado a interagir com as diversos controlos (sob a
forma de Combo Boxes ou de diversos sliders). Assim, nesta aplicação, não é possível manipular a
informação directamente, apenas de uma forma indirecta através de controlos.
BRAIN MAP | Entidade Promotora: Parceiros:
8/1 Projecto em curso com o apoio de:
Protégé O Protégé é uma ferramenta de software que tem como objectivo ser um sistema de extracção de
conhecimento que permita criar, editar, visualizar e manipular ontologias em diversos formatos.
É uma ferramenta analisada no contexto do Brain Map porque tem muitas funcionalidades e
ferramentas de manipulação e visualização de informação. A ferramenta em si é focada no domínio das
ontologias, mas os conceitos e ideias podem ser facilmente utilizados noutros contextos em que existam
grandes conjuntos de dados e informações.
O Protégé é uma ferramenta desenvolvida em JAVA e utiliza a API Swing de JAVA para o
desenvolvimento do seu interface gráfico. No entanto, devido a ter uma grande comunidade de
desenvolvimento, existe um número elevado de outros plugins, sendo nesses que se encontra a maioria
das ferramentas de visualização e manipulação de grandes quantidades de informação.
A aplicação começou a ser desenvolvida para ser utilizada em áreas de biomedicina pela Universidade
de Stanford em colaboração com a Universidade de Manchester. No entanto, devido ao sucesso da
aplicação depressa foi adoptada nas mais diversas áreas onde seja possível criar uma ontologia para
representar relações de conhecimento num determinado domínio.
A forma mais difundida com que o Protégé consome os dados e a informação é recorrendo ao formato
OWL. Esta abordagem utiliza o standard do consórcio World Wide Web Consortium (W3C) para a Web
Semântica, o OWL (Web Ontology Language) para registar a estrutura do conhecimento de um
determinado domínio. O OWL é ainda uma derivação de RDF, que por sua vez é um dialecto de XML.
De seguida serão descritas algumas das funcionalidades de interesse do Protégé no que diz respeito a
manipulação e visualização de dados e de informação.
BRAIN MAP | Entidade Promotora: Parceiros:
9/1 Projecto em curso com o apoio de:
TGViz
Figura 3: Ferramenta de visualização e manipulação TGViz
A Figura 3 mostra o exemplo de uma ferramenta de visualização e manipulação dentro do Protégé, em
que é desenhado um grafo ou uma constelação sobre a informação presente na ontologia. (Para mais
informação sobre constelações, consultar o Documento “Mecanismos de visualização e interacção
existentes no domínio da solução”).
Neste caso as instâncias das diversas classes estão ocultas e só é possível ver os nós e ramos a uma
profundidade 2 em relação á raiz. Desta forma é possível observar algumas das principais classes dos
dados presentes evitando o excesso de informação e de entropia visual.
A interacção com o utilizador é indirecta, através de botões de zoom e de um slider para efectuar
rotações sobre a constelação. Já a qualidade gráfica da aplicação é bastante pobre.
BRAIN MAP | Entidade Promotora: Parceiros:
10/1 Projecto em curso com o apoio de:
SOVA
Figura 4: Ferramenta de visualização e manipulação SOVA
A Figura 4 mostra outro exemplo de ferramenta de visualização de informação proveniente do Protégé.
Esta aplicação já tem uma qualidade gráfica melhor que a ferramenta anteriormente analisada e é mais
atractiva para o utilizador. Esta ferramenta tem algumas limitações na capacidade de filtragem dos
elementos apresentados, podendo em alguns casos criar alguma entropia visual devido ao excesso de
elementos. A visualização pode ser feita sobre todos os elementos presentes ou indicando um nó ou
elemento da estrutura em que são apresentados todos os elementos descendentes.
Nesta aplicação o utilizador não pode interagir directamente com os dados apresentados, apenas pode
clicar sobre um botão que inicia ou pára um movimento de rotação da constelação.
BRAIN MAP | Entidade Promotora: Parceiros:
11/1 Projecto em curso com o apoio de:
OntoGraf
O OntoGraf é mais uma ferramenta adicional do Protége que permite visualizar e manipular os dados e
a informação pressentes numa ontologia. É semelhante aos anteriormente analisados, no entanto esta
ferramenta tem uma componente gráfica mais elaborada e sobretudo uma componente de
interactividade e de manipulação nos dados directamente pelo utilizador.
Na Figura 5 é possível visualizar o aspecto normal durante a visualização normal das ontologias.
Figura 5: Ferramenta de visualização e manipulação OntoGraf
BRAIN MAP | Entidade Promotora: Parceiros:
12/1 Projecto em curso com o apoio de:
Figura 6: Ferramenta de visualização e manipulação OntoGraf com filtros
Nesta ferramenta a componente de interacção com o utilizador está muito desenvolvida. O utilizador
pode manipular directamente a constelação da ontologia, arrastando, fazer zoom, efectuar rotações e
mudar elementos de sítio. Quando o utilizador muda elementos de sítio, a aplicação automaticamente
rearranja toda a estrutura e as ligações entre os diversos elementos.
Figura 7: Ferramenta de visualização e manipulação OntoGraf com meta-dados
BRAIN MAP | Entidade Promotora: Parceiros:
13/1 Projecto em curso com o apoio de:
O utilizador pode ainda aplicar filtros sobre os elementos da ontologia tendo a visualização dessas
acções e alterações em tempo real, como pode ser visto na Figura 6. Pode ainda configurar quais os
meta-dados a aparecer sobre cada elemento, e as famílias de objectos que irão apresentar meta-dados,
como pode ser visualizado na Figura 7.
OlwPropViz
O OwlPropViz é outra ferramenta do Protégé, que é semelhante às anteriormente analisadas, mas tem
um foco maior nas ligações e relações entre os objectos e instâncias das ontologias.
Ao nível de interacção é relativamente pobre pois apenas permite activar a exibição ou ocultação dos
elementos descendentes ou ascendentes de um determinado objecto. No entanto tem a possibilidade
de fazer alterações nas relações exibidas directamente sobre o diagrama apresentado, o que se torna
uma mais-valia para o utilizador.
Esta aplicação pode ser visualizada na Figura 8.
Figura 8: Ferramenta de visualização e manipulação OwlPropViz
BRAIN MAP | Entidade Promotora: Parceiros:
14/1 Projecto em curso com o apoio de:
NavigOWL
Esta ferramenta de visualização de ontologias do Protégé permite construir constelações ontológicas.
Para além disso a ferramenta destaca-se das restantes porque tem a capacidade de construir e exibir as
representações gráficas de constelações de grande dimensão sem perda de performance. O utilizador
também pode manipular directamente os elementos com o rato e efectuar zoom, movimentos de
rotação e de translação da constelação.
Outra funcionalidade de destaque desta ferramenta é a aplicação de layouts pré-definidos. Esses layouts
permitem arrumar automaticamente os dados apresentados em diversas topologias. Os layout pré-
definidos são em forma de círculo, aleatório e pela força das ligações. Tal pode ser visualizado um
exemplo na Figura 9.
Figura 9: Ferramenta de visualização e manipulação NavigOWL
BRAIN MAP | Entidade Promotora: Parceiros:
15/1 Projecto em curso com o apoio de:
Pentaho O Pentaho é uma plataforma open source de Business Intelligence. A plataforma tem o objectivo de
ajudar empresas e organizações a gerirem a sua actividade comercial e de negócio.
O Pentaho permite importar grandes quantidades de informação em diversos formatos sobre a
actividade da empresa e posteriormente efectuar extracção e manipulação de informação, estudos e
análises sobre os dados fornecidos. A origem dessa informação pode vir de simples bases de dados SQL,
ficheiros CSV e de Excel, objectos OLAP, ficheiros XML e XUL.
A plataforma tem ainda ferramentas de Data Mining que permitem efectuar acções de machine learning
para classificação automática de dados e para realizar regressões e previsões.
A aplicação permite de uma forma fácil e intuitiva criar relatórios pontuais ou automáticos sobre os
dados e actividades da empresa. Esses relatórios podem ter componentes gráficas e de interacção com
o utilizador de modo a que seja possível analisar grandes quantidades de dados e relações.
Ainda na área gráfica, a plataforma permite criar Dashboards personalizados para permitir a arrumação
dos vários dados e reports disponíveis. Estes Dashboards pretendem ser uma forma ágil e eficaz de
centralizar toda a informação disponibilizada pela plataforma.
Figura 10: Análises analíticas da informação pela aplicação Pentaho, com exportação para dispositivos móveis
BRAIN MAP | Entidade Promotora: Parceiros:
16/1 Projecto em curso com o apoio de:
Na Figura 10 é possível visualizar algumas análises analíticas da informação presentes na plataforma.
Como os reports e dashboards são automaticamente criados em formato Web, estes podem ser
facilmente acedidos em qualquer dispositivo móvel.
Já a Figura 11 mostra o exemplo de dois dashboards com a aglomeração de vários reports e análises
analíticas dos dados em estudo.
Figura 11: Exemplos de DashBoards, criados pela aplicação Pentaho
BRAIN MAP | Entidade Promotora: Parceiros:
17/1 Projecto em curso com o apoio de:
Avizo
O software Avizo é um software especializado na visualização de dados de cariz científico e industrial. O
software é mantido e melhorado actualmente pelo VSG – Visualization Sciences Group. Inicialmente foi
concebido e desenhado pelo Visualization and Data Analysis Group at Zuse Institute Berlin (ZIB) com o
nome de Amira. A aplicação só passou a ser um produto comercial em Novembro de 2007.
O software Avizo permite aos utilizadores visualizarem grandes conjuntos de informação em formatos
tridimensionais. A modelação e controlo dos resultados de visualização obtidos, são efectuados através
de uma linguagem de programação visual da própria aplicação e pela criação de módulos de acção,
controlo ou processamento dos dados. Esses módulos posteriormente podem ser agrupados num
workflow que determinará os vários passos que a informação em bruto inicial sofrerá até se obter o
output gráfico final.
Devido à enorme diversidade de áreas em que pode ser aplicado a ferramenta foi sub-dividida em
diferentes áreas e diferentes pacotes de software com diferentes especializações. Tal medida pode ser
visto como uma vantagem e ao mesmo tempo uma desvantagem. É uma vantagem pois tendo a
aplicação dividida em áreas torna-se mais específica e focada numa área. No entanto tem a grande
desvantagem que com esse foco deixa de ser uma ferramenta genérica e qualquer utilização noutro
domínio não previsto poden-se tornar num problema. Para colmatar essa falha a Avizo na sua última
subversão criou um pacote genérico com o fim de ser polivalente a qualquer domínio.
As subversões que o Avizo tem são:
Avizo Earth para aplicações na área das geociências e da análise de recursos minerais e de
hidrocarbonetos;
Avizo Wind focado no estudo de comportamentos aerodinâmicos de objectos e de
comportamento de fluxos de gases;
Avizo Fire para o estudo das ciências dos materiais e compostos, assim como para a observação
de ignições e comportamento de chamas e de explosões;
Avizo Green dedicado ao estudo de ambientes e ecossistemas locais e globais;
Avizo Standard com o objectivo de ser genérico e polivalente em diversos domínios.
BRAIN MAP | Entidade Promotora: Parceiros:
18/1 Projecto em curso com o apoio de:
Figura 12: Exemplo de aplicação do Avizo com workflow de controlo na versão standard
A Figura 12 mostra um exemplo do Avizo, em que é possível visualizar à esquerda e a ocupar a maioria
do ecrã a visualização obtida dos dados inseridos na aplicação. Do lado direito do ecrã é possível
visualizar, no topo, o workflow de módulos de controlo e processamento dos dados. Por baixo, são
visíveis os atributos e parâmetros de um determinado objecto do workflow.
BRAIN MAP | Entidade Promotora: Parceiros:
19/1 Projecto em curso com o apoio de:
Figura 13: Exemplo de aplicação do Avizo com workflow de controlo na versão Fire
O exemplo da Figura 13 mostra um exemplo em que para além da visualização dos dados e do workflow
de processamento é possível observar uma simples tabela do tipo Excel com os dados referentes à
experiência. Também é possível visualizar os mesmos dados representados numa forma gráfica, neste
caso um simples gráfico e barras.
BRAIN MAP | Entidade Promotora: Parceiros:
20/1 Projecto em curso com o apoio de:
Figura 14: Exemplo de aplicação do Avizo na variante Earth
A Figura 14 mostra um exemplo de aplicação da variante Earth, dedicada ao estudo das geociências.
Neste caso a aplicação difere um pouco dos exemplos vistos anteriormente. Neste caso existe uma lista
de layers do lado esquerdo do ecrã que podem ser activados ou desactivados, ou alterar as suas
propriedades e visualizar imediatamente as alterações na visualização apresentada.
BRAIN MAP | Entidade Promotora: Parceiros:
21/1 Projecto em curso com o apoio de:
IBM OpenDx O OpenDX é um software científico para visualização de dados e de informação. Pode ser facilmente
aplicado a contextos complexos desde a representação de engenhos mecânicos à representação
limitada do funcionamento do cérebro humano. Os dados representados podem assumir a forma de
escalares, de vectores ou de campos vectoriais de múltiplas dimensões.
Uma das grandes características que diferenciou esta aplicação das restantes foi o facto de permitir que
os elementos em representações espaciais não têm de estar todos à mesma distância ou
homogeneamente distribuídos.
A aplicação é maioritariamente desenvolvida em C tendo em vista a performance e é desenvolvida
sobre a licença Publica da IBM (i.e. o software é open source e livre). Esta licença difere apenas em
alguns pontos da conhecida licença GPL.
Figura 15: Exemplo de output obtido e workflow de controlo sobre esses dados
BRAIN MAP | Entidade Promotora: Parceiros:
22/1 Projecto em curso com o apoio de:
Uma outra vantagem desta plataforma é o facto de ser genérica e ainda assim ser eficaz nos diversos
domínios em que pode ser utilizada.
A Figura 15 mostra um exemplo de um resultado obtido conjuntamente com os principais controlos da
aplicação. A maior ferramenta visível é um workflow com os vários módulos de processamento e de
tratamento dos dados. Por sua vez, cada elemento desse workflow é editável e configurável. Do lado
direito por cima da imagem de output existe um conjunto de controlos que permitem efectuar
movimentos e rotações sobre o resultado final. Por fim, em baixo do lado esquerdo, existe uma caixa
com algumas propriedades de visualização, nomeadamente o ângulo, e os tipos de projecção gráfica.
A Figura 16 mostra um exemplo de composição de diversos gráficos em 3D no espaço. Ao centro em
maior destaque o resultado final. No entanto é possível ver os gráficos das várias variáveis
independentes na periferia da imagem.
Já a Figura 17 mostra um exemplo complexo de representação de informação molecular no espaço, de
uma molécula orgânica.
Figura 16: Exemplo composto do OpenDx
BRAIN MAP | Entidade Promotora: Parceiros:
23/1 Projecto em curso com o apoio de:
Figura 17: Exemplo de visualização de Data Mining na área de moléculas orgânicas
ParaView
O ParaView é uma aplicação open source, distribuída gratuitamente que tem como principais
funcionalidades a visualização e análise de dados. O projecto do ParaView iniciou-se me 2000 com um
esforço colaborativo entre 2 grandes entidades, a empresa Kitware e o Laboratório Nacional de Los
Alamos fundado pelo departamento de energia norte-americano. A versão actual continua a ser
responsabilidade da Kitware, mas agora em conjunto com 2 novas entidades, o Sandia National Labs e a
CSimSoft. Este grupo de empresas tenta atingir 4 objectivos principais para o ParaView, são eles:
Desenvolvimento de uma ferramenta de visualização, open-source e multiplataforma
Suporte ao processamento de grandes quantidades de dados através da utilização de sistemas
distribuídos.
Criação de uma interface de utilizador flexível e intuitiva.
Desenvolver uma arquitectura base que possa ser extensível.
O facto de ser multiplataforma também é uma grande vantagem pois não limita a utilização a um tipo
de sistema operativo. De acordo com o site esta ferramenta encontra-se a correr em sistemas como
Windows, MAC OS X, Linux, IBM Blue Gene, Cray Xt3 e vários sistemas operativos para clusters e
supercomputadores.
BRAIN MAP | Entidade Promotora: Parceiros:
24/1 Projecto em curso com o apoio de:
Figura 18:Visualização 3D ParaView
Dirigido sobretudo para áreas científicas e de investigação, esta ferramenta baseia-se numa arquitectura
cliente-servidor de modo a facilitar aos utilizadores a configuração e manutenção das principais
funcionalidades de processamento dos dados. A manipulação e exploração dos dados no ParaView pode
ser feita utilizando as suas capacidade de visualização em 3D (Figura 18), que permite ao utilizador
trabalhar com os resultados de forma interactiva, mas também pode ser feita programaticamente
utilizado as capacidade de processamento automatizado, também chamado de batching.
BRAIN MAP | Entidade Promotora: Parceiros:
25/1 Projecto em curso com o apoio de:
Figura 19: Janela do ParaView na analise de fluidos
O ParaView é ideal para trabalhar com quantidades de dados extremamente grandes, e normalmente é
instalado em sistemas distribuídos ou super computadores devido ao grande processamento que
necessita realizar, sendo os processamentos mais complexos aplicados a conjuntos de dados como o
comportamento de fluidos (Figura 19) ou de dinâmica de temperaturas. Pode ser instalado em
computadores pessoais e portáteis, caso a quantidade de dados a analisar não seja muito elevada.
BRAIN MAP | Entidade Promotora: Parceiros:
26/1 Projecto em curso com o apoio de:
Figura 20: Gráfico de temperatura e pressão
As principais funcionalidades do ParaView estão organizadas por tipo. As mais importantes são:
capacidades de visualização de dados, formato de ficheiros de input e output, ferramentas de
interacção com o utilizador, computação distribuída e ferramentas de Scripting. De seguida vai-se
abordar mais detalhadamente as capacidades de visualização e a interface.
Todas as operações de tratamento de dados produzem um novo conjunto de dados como output. O
output pode ser apresentado graficamente com diversas formas, como setas, grafos, superfícies, entre
outras. O ParaView pode por exemplo analisar um campo de vectores e transformar esse campo,
consoante os filtros aplicados pelo utilizador em setas, linhas ou esferas, dependendo do tipo de dados
que se pretende analisar e do formato que melhor se adequa à situação em causa.
Figura 21: Representação gráfica de um output
BRAIN MAP | Entidade Promotora: Parceiros:
27/1 Projecto em curso com o apoio de:
A interface do utilizador é bastante flexível e variada. Na janela principal é possível ver os diferentes
tipos de representação para um conjunto de dados, desde tabelas, gráficos de barras ou de linhas, e
visualizações em 3D. A forma como são apresentados os dados pode ser alterada através dos filtros que
o utilizador personaliza. Também é permitido ao utilizador deslocar as várias janelas do programa de
modo a organiza-las como preferir.
Figura 22: Diferentes representações ParaView
BRAIN MAP | Entidade Promotora: Parceiros:
28/1 Projecto em curso com o apoio de:
VTK
O Visualization ToolKit, mais conhecido apenas por VTK, é um software/toolkit open-source, utilizado
em computação gráfica 3D e visualização/processamento de imagem e dados. O VTK possui uma vasta
biblioteca de classes em C++ ajustada nos princípios da programação orientada a objectos apresentando
também ao utilizador várias interfaces de interpretação para outra linguagens como é o caso do Java e
do Python.
Actualmente a empresa responsável pelo desenvolvimento e suporte desta ferramenta é a Kitware.
Inicialmente este software foi criado para acompanhar um livro intitulado "The Visualization Toolkit: An
Object-Oriented Approach to 3D Graphics". A extensa comunidade de utilizadores e programadores
envolvidos na execução da ferramenta tem sido o principal meio de desenvolvimento e crescimento da
mesma. Além de funcionar como uma ferramenta independente, a grande utilidade dada ao VTK é de
funcionar como base de outras ferramentas de visualização como é o caso do ParaView (Figura 23) e do
VisIt (Figura 24).
Figura 23:Gráfico criado no Paraview utilizando o VTK
BRAIN MAP | Entidade Promotora: Parceiros:
29/1 Projecto em curso com o apoio de:
Figura 24: Gráfico criado no VisIt utilizando o VTK
Sendo uma ferramenta multiplataforma, o VTK pode ser utilizado nos três sistemas operativos
principais: Windows, MAC OS e Linux. Normalmente é instalado em grandes servidores, com um poder
de processamento elevado pois o tipo e a quantidade de dados que trata são extremamente elevadas.
No caso da Figura 25, a matriz de dados que gerou o gráfico apresentado levou cerca de 200 segundos a
ser analisada com um processador de 8 cores.
BRAIN MAP | Entidade Promotora: Parceiros:
30/1 Projecto em curso com o apoio de:
Figura 25: Gráfico gerado no VTK
O VTK suporta uma grande variedade de algoritmos os mais importantes são:
Métodos escalares
Métodos vectoriais
Mapas de tensão
Algoritmos de análise de texturas e volumes
Algoritmos para suavização de malhas
Algoritmos de corte e contorno
Dezenas de algoritmos de processamento de imagem
BRAIN MAP | Entidade Promotora: Parceiros:
31/1 Projecto em curso com o apoio de:
VisIt
O VisIt é uma ferramenta desenvolvida pelo Departamento de Energia dos Estados Unidos da América
no âmbito de um programa de modernização e investigação chamado Advanced Simulation and
Computing Program. Foi colocado em produção em 2002 e actualmente encontra-se na versão 2.3. É
uma ferramenta multiplataforma e agora é mantida por um grupo de organizações, destacando-se o
Oak Ridge National Laboratory, Lawrence Berkeley National Laboratory e a Universidade da Califórnia.
A ferramenta é direccionada à visualização científica de dados e visualização interactiva. É bastante
utilizada para análise e visualização de campos vectoriais em 2D e em 3D com conjuntos de dados
extremamente grandes.
Figura 26: Exemplo de mapa no VisIt
A interface do VisIt é um pouco antiga e complexa sendo necessário algum conhecimento prévio para a
utilização da ferramenta. Na Figura 26 é visível a quantidade de opções disponíveis ao utilizador e alguns
dos menus abrem novos submenus, como é o caso da tonalidade apresentada no mapa que é
personalizável através das opções visíveis na Figura 27.
BRAIN MAP | Entidade Promotora: Parceiros:
32/1 Projecto em curso com o apoio de:
Figura 27: Configuração da tonalidade do mapa
A ferramenta é baseada numa arquitectura do tipo cliente-servidor, onde o servidor é instalado em
sistemas de processamento paralelizados. O cliente define o tipo de dados e a análise que pretende
realizar, o processamento é realizado pelo servidor e posteriormente mostrado ao cliente, este por sua
vez pode filtrar e visualizar o mesmo como entender.
O VisIt é constituído por diversos módulos que em conjunto realizam o processamento dos dados, a
análise e a apresentação dos mesmos. Esses módulos podem ser adicionados, removido ou alterados e
organizam-se da seguinte forma:
31 Módulos para análise dos dados,
42 Módulos para manipulação dos dados,
81 Tipos de leitores de ficheiros,
Mais de 50 módulos do tipo “query” para a extracção dos dados quantitativos
Mais de 100 expressões diferentes para padronizar os outputs.
BRAIN MAP | Entidade Promotora: Parceiros:
33/1 Projecto em curso com o apoio de:
Figura 28: Exemplo de uma analise de dados em 2D e em 3D
As principais vantagens da ferramenta Visit face a outras aplicações de análise e visualização de dados
são as seguintes:
Grande número de ferramentas para visualização e análise de campos escalares, campos de
vectores e campos de tensão;
Ferramentas não só quantitativas mas também qualitativas de análise e visualização;
Suporta vários tipos de redes para análise de dados, como é o caso de redes de pontos em 2D e
3D (Figura 28);
Interface gráfica poderosa e com todo o tipo de ferramentas acessíveis directamente das barras
de ferramentas, possibilitando ao utilizador aumentar, diminuir, rodar ou arrastar os objectos.
Possibilita também a criação de planos ou esferas directamente na interface e a personalização
das formas de visualização dos dados (Figura 29).
Extensível através de plugins carregados dinamicamente para a ferramenta que
facilitam/adicionam novas tarefas à ferramenta.
BRAIN MAP | Entidade Promotora: Parceiros:
34/1 Projecto em curso com o apoio de:
Figura 29: Menu de criação de views
BRAIN MAP | Entidade Promotora: Parceiros:
35/1 Projecto em curso com o apoio de:
TouchGraph Navigator
Desenvolvido pela empresa TouchGraph, este software foi criado em 2001, inicialmente com o objectivo
de ser uma ferramenta para o browser do Google, o Google Chrome (Figura 30), permitindo aos
utilizadores realizar visualizações sobre as relações entre links e site como o Google, a Amazon ou a
Wikipédia.
Figura 30: Navigator executado no browser
Actualmente com o principal objectivo de criar novas formas de visualização para grandes grupos de
dados, a própria empresa defende que os conjuntos de dados podem revelar novas informações ocultas
se forem organizados e mostrados ao utilizador de uma forma mais eficiente.
Desenvolvido por uma grande equipa de designers a empresa desenvolveu algumas formas exclusivas
de mostrar, mas sobretudo organizar as análises realizadas aos gráficos. A fácil utilização do software e
as diversas formas de análise de dados são as principais vantagens do mesmo.
BRAIN MAP | Entidade Promotora: Parceiros:
36/1 Projecto em curso com o apoio de:
Figura 31: Fases do processamento dos dados
Totalmente desenvolvido em Java é um software pensado para simplificar a navegar nos dados, a
aplicação de filtros sobre os resultados e para tornar a visualização de dados num processo de rápida
compreensão. Utilizado por indivíduos ou por grandes organizações, pode ser aplicado a pequenos
objectos ou relações mas também as grandes quantidades de variáveis e grupos de dados.
O software pode-se dividir em três fases principais (Figura 31):
Carregamento dos dados, a partir de ficheiros ou bases de dados.
Processamento, visualização e filtragem dos resultados obtidos.
Agrupamento dos dados em tabelas relacionadas.
BRAIN MAP | Entidade Promotora: Parceiros:
37/1 Projecto em curso com o apoio de:
Visifire
O Visifire é um software desenvolvido em Silverlight e WPF pela empresa Webyog Softworks, utilizado
na visualização de dados através da criação de gráficos. A primeira versão foi desenvolvida após o
lançamento do Silverlight 1.1 Alpha e actualizado quando foi lançado o Silverlight 2.0. Esta ferramenta
pode ser utilizada em outros programas ou mesmo páginas web em Silverlight ou HTML, desenvolvidas
pelo utilizador, através da utilização da sua API e do gerador de gráficos.
Figura 32: Ferramenta para criação de gráficos no browser
Para criar gráficos, o processo é bastante simples. O utilizador apenas tem que analisar os dados que
pretende e criar o gráfico utilizando o Chart/Gauge Designer (Figura 32) e posteriormente copiar o
código HTML que a ferramenta gera para o gráfico construído e colocar na sua página. O Chart/Gauge
Designer é uma ferramenta exclusivamente construída para a criação dos gráficos, e pode ser executada
tanto localmente como no browser.
BRAIN MAP | Entidade Promotora: Parceiros:
38/1 Projecto em curso com o apoio de:
Figura 33: Gráfico de área
Os gráficos criados pelo Visifire são os mais tradicionais como: gráficos de barras, gráficos de colunas,
gráficos de linhas / área (Figura 33), gráficos em funil (Figura 34), entre outros. Cada tipo de gráfico
apresenta vários subtipos que são totalmente personalizáveis em aspectos como, dimensão de
visualização, cor, tamanho do gráfico, escala de amostragem, legendas e títulos.
Figura 34: Gráfico em funil
BRAIN MAP | Entidade Promotora: Parceiros:
39/1 Projecto em curso com o apoio de:
A principal vantagem desta ferramenta é a interactividade que os gráficos criados apresentam.
Analisemos por exemplo a Figura 35, que apresenta um gráfico de demonstração apresentado no site da
ferramenta onde é possível analisar outros aspectos além do gráfico propriamente dito.
Figura 35: Gráfico de barras com Live Updates
Na parte inferior da Figura 35 existe um grupo de botões que permite ao utilizador alterar ou analisar ao
pormenor a informação por detrás do gráfico.
No botão View XAML, o utilizador tem a possibilidade de ver o código que gera o gráfico, no botão View
HTML, além de ter acesso ao código html correspondente a este gráfico, o utilizador pode copiar o
código e aplica-lo a sua página web.
O botão que merece mais destaque é o Live Updates. Ao clicar nesse botão o utilizador dá início a uma
actualização constante por parte do gráfico onde é possível ver em tempo real as actualizações que os
dados fonte do gráfico estão a sofrer nesse preciso momento. A ferramenta redimensiona o gráfico
consoante o tamanho dos dados novos, alterando o tamanho das escalas, das barras, a largura e a altura
do gráfico e todos os restante elementos que sejam alvo de actualização com o objectivo de apresentar
o gráfico da forma mais eficiente possível.
BRAIN MAP | Entidade Promotora: Parceiros:
40/1 Projecto em curso com o apoio de:
Figura 36: Zoom in realizado ao gráfico de barras
O utilizador pode também filtrar a informação que pretende ver no gráfico, a Figura 36 é exactamente o
mesmo gráfico apresentado na Figura 35, com a única diferença que o utilizador realizou zoom in com o
scroll do rato numa área específica do gráfico. Todo o gráfico é redimensionado e este zoom pode ser
realizado simultaneamente com as actualizações do gráfico em tempo real.
É possível ver na Figura 36 uma pequena barra em cima da escala no eixo das abcissas. Essa barra
também permite ao utilizador navegar no gráfico e redimensiona-lo, basta aumentar ou diminuir a área
da barra e o gráfico faz zoom out ou zoom in respectivamente.
BRAIN MAP | Entidade Promotora: Parceiros:
41/1 Projecto em curso com o apoio de:
Minner 3d
O Minner 3D é um conjunto de ferramentas direccionadas para a análise de dados, visualização e
operações de data mining. Esta ferramenta é desenvolvida pela empresa com o mesmo nome. É uma
ferramenta certificada pela Microsoft. É possível observar na interface da mesma (Figura 37) o estilo de
apresentação das barras de ferramentas que se assemelha a interface das versões mais recentes do
Microsoft Office.
Figura 37: Interface do Miner 3D
Actualmente a ferramenta encontra-se na versão 7.3, versão na qual sofreu algumas melhorias em
termos de interface gráfica. Essas melhorias foram criadas a pensar na simplificação dos processos, para
tornar possível ao utilizadores analisar os seus dados sem perder demasiado tempo a aprender a
trabalhar com o Miner 3D.
BRAIN MAP | Entidade Promotora: Parceiros:
42/1 Projecto em curso com o apoio de:
Houve também melhorias na integração com o Microsoft SQL Server, fazendo com que actualmente seja
uma das aplicações mais utilizadas para realizar processos de datamining a bases de dados da Microsoft.
A empresa que desenvolve este software apresenta várias versões aos clientes. Cada versão tem
ferramentas exclusivas e é direccionada a vários tipos de utilizador, mas também a formatos e tipos de
dados distintos. Embora apresente uma grande variedade de versões, todas elas partilham a mesma
base de processamento de dados, o Miner 3D.
As versões apresentadas aos clientes são:
Miner3D Basic
Miner3D Professional
Miner3D Enterprise
Miner3D Developer
O Miner3D Basic é pensado para simplificar ao máximo a vida do utilizador, pois como o próprio site
desta versão indica: “A análise de dados não têm que ser complicada”. A introdução dos dados
assemelha-se ao Microsoft Excel facilitando assim a transição dos utilizadores para esta ferramenta.
Figura 38:Gráfico desenvolvido no Miner3D Basic
O Miner3D Professional e o Miner3D Enterprise são criados para profissionais da área, e permitem a
análise de dados por parte de engenheiros, investigadores, gestores e profissionais de informação.
BRAIN MAP | Entidade Promotora: Parceiros:
43/1 Projecto em curso com o apoio de:
Têm algumas vantagens em relação a outros softwares para esse tipo de público, pois enquanto as
outras ferramentas necessitam muitas vezes de alguns conhecimentos aprofundados em áreas como a
programação, a estatística ou a matemática para se entender o resultado devolvido pelos programas, o
miner3D por sua vez apresenta os outputs como texto limpo, bastante fácil de interpretar.
Além das ferramentas direccionadas a análise e tratamento de dados, o Miner3D Enterprise permite ao
utilizadores criarem vídeos sobre os dados, bastante utilizado em dados que sofrem alterações em
tempo real. Nos vídeos, além das alterações da informação podem ser realizados movimentos de
perspectiva, zoom, rotações e selecção de dados importantes.
Os vídeos podem ser reproduzidos no Windows Media Player ou em qualquer leitor que tenha suporte
para o formato de vídeo da Microsoft. Os gráficos podem também ser alterados e exportados para
ferramentas como o Word e o PowerPoint.
Figura 39: Gráfico mais elaborado desenvolvido em Miner3D Enterprise
BRAIN MAP | Entidade Promotora: Parceiros:
44/1 Projecto em curso com o apoio de:
O Miner3D Developer, como o próprio nome indica é criado para programadores, permitindo a estes
desenvolver aplicações e integrar gráficos de alta qualidade nas mesmas recorrendo ao SDK do Miner
3D. Esta versão apresenta todas as ferramentas disponibilizadas na versão Enterprise com alguns extras,
como é o caso dos controlos ActiveX/COM e automatização da interface, documentação para
desenvolvimento, o Software Developement Kit ( SDK ) e exemplos com código fonte em várias
linguagens de programação.
O Miner3D Developer suporta várias plataformas de programação como Visual Basic, Visual C/C++, C#
(C-sharp), JavaScript e VBScript. Nesta versão está também disponível uma ferramenta chamada K-
Means clustering que permite o tratamento de grandes quantidades de dados, utilizando algoritmos
matemáticos e esquemas proprietários baseados em filtros e árvores de pesquisa multidimensionais.
Figura 40: Exemplo de dados analisados com recurso ao K-Means
BRAIN MAP | Entidade Promotora: Parceiros:
45/1 Projecto em curso com o apoio de:
Viscovery
O Viscovery é uma ferramenta de data mining e data visualization, que oferece aos utilizadores meios de
análise de dados, de pesquisa de padrões e análise preditiva de dados. O resultado dessas análises é
apresentada de forma gráfica para uma rápida compreensão do que se pretende encontrar nos dados
analisados.
O Viscovery Suite é um conjunto de vários softwares com funções distintas para possibilitar a utilização
independente de cada uma, sem que exista um fluxo de processos constante, podendo o utilizador
apenas trabalhar com um dos software do conjunto sem ter restrições ligadas aos restantes.
Além do Viscovery Suite existe um outro software de visualização de dados com aplicação exclusiva em
processos de data mining com o nome SOMiner. Este software está no mercado desde 1996 e utiliza
algoritmos estatísticos e um tipo de mapas chamados “Self Organized Maps” para criação dos gráficos
que resultam da análise dos dados.
Figura 41: interface gráfica do Viscovery Profiler
BRAIN MAP | Entidade Promotora: Parceiros:
46/1 Projecto em curso com o apoio de:
Com uma interface simples mas poderosa (Figura 41), o utilizador tem acesso as ferramentas mais
importantes e utilizadas directamente a partir da barra de ferramentas e as ferramentas mais
direccionadas a partir da barra de menus.
Figura 42: Output da análise dos acessos a um site
O Viscovery torna possível a análise de dados complexos, reconhecimento de relações entre classes,
definição de grupos alvo e suporte a tomada de decisões sem que o utilizador que interage com a
ferramenta tenha conhecimentos elevados em estatística. (Figura 42)
Esta ferramenta é constituída pelos seguintes softwares individuais:
Viscovery Profiler
Viscovery Predictor
Viscovery Scheduler
Viscovery Decision Maker
BRAIN MAP | Entidade Promotora: Parceiros:
47/1 Projecto em curso com o apoio de:
One(2)One Engine
Figura 43: Interface da ferramenta Decision Maker
No âmbito do BrainMap o software mais importante a analisar será o Viscovery Decision Maker. O
Viscovery Decision Maker é pensado para apresentar ao utilizar o máximo de informação relativa a um
conjunto de dados e auxilia-lo na tomada de uma decisão. Para que não seja necessário uma grande
perca de tempo na compreensão dos dados apresentados, o utilizador tem a possibilidade de filtrar os
dados e escolher a formato como essa informação é apresentada.
Os pontos chaves deste software são:
A manipulação e definição de modelos de decisão de forma rápida e intuitiva.
A possibilidade de segmentação da análise de dados em massa de forma a tornar mais rápido o
processamento dos dados
Grande capacidade de visualização de dados através de SOMs recorrendo a ferramentas de
análise numérica, gráficos de perfil e estatística descritiva.
BRAIN MAP | Entidade Promotora: Parceiros:
48/1 Projecto em curso com o apoio de:
Wolfram Mathematica
O software Wolfram Mathematica (Figura 44) é um produto da empresa Wolfram Research, conhecida
mundialmente pelo seu site com mecanismos de computational knowledge engine. Este software é
dirigido a áreas como a matemática, estatística, engenharia e ciência e está disponível ao público desde
1988.
É totalmente desenvolvido em linguagem C e é uma ferramenta proprietária multiplataforma, e
encontra-se na versão 8.0.
Figura 44: Interface do Wolfram Mathematica
No âmbito da visualização e análise de dados o software oferece ao utilizador dois pontos de destaque,
funcionalidade de análise de dados e fontes de conhecimentos e um grande número de ferramentas de
construção de gráficos e visualizações. A integração com o computational knowledge engine
BRAIN MAP | Entidade Promotora: Parceiros:
49/1 Projecto em curso com o apoio de:
Wolfram|Alpha está bastante presente, existindo mesmo funcionalidade de interacção entre o software
Mathematica e o site online.
Figura 45:Exemplos de gráficos obtidos do Wolfram Mathematica
Permite a utilização de centenas de formatos de ficheiros diferentes, para importação e exportação de
dados. O Wolfram mathematica consegue abrir e gravar todos os formatos com base no tipo xml,
formatos gráficos em 2D e em 3D, vários formatos multimédia, formatos de documentos como html, rtf
e pdf para exportação de ficheiros e outputs, consegue mesmo extrair os ficheiros para ficheiros
comprimidos.
Visto ser uma ferramenta utilizada também na análise de dados, a conectividade com as bases de dados
mais conhecidas também é um aspecto relevante nesta ferramenta. O utilizador pode definir como
fonte de informação para análise uma base de dados, sendo apenas necessário configurar o acesso do
Mathematica à base de dados, de forma que o programa consiga realizar pesquisas dentro da base de
dados para tratamento dos resultados.