Apresentação de Dissertação Mestrado em Ciências da Computação

Juan José RodríguezOrientadora: Nádia Puchalski

1/68

Clusterização e Visualização Espaço-Temporal de dados georreferenciados adaptando o algoritmo Marker Clusterer – Um caso de uso em Curitiba

1/68

Sumário

2/68

1. Introdução 2. Fundamentação Teórica3. Materiais e Métodos4. Implementações5. Resultados e Conclusões

Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016

Motivação: O que acontece nas cidades?

3/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016

consumo dos recursos e de energia do mundo, e geram 80% dos gases-estufa responsáveis pelo efeito estufa (Signori, 2008).

75% 2%ocupando apenas 2% do território mundial (Signori, 2008).

50%vive em cidades e a expectativa é de que, até 2050, essa proporção chegue a 70% (WHO, 2014)

Motivação: O que acontece nas cidades?


As tecnologias geoespaciais, são o coração fundamental das cidades inteligentes, sendo essencial entender a variável "Onde" para tomar decisões informadas. Moura (2012)

5/68

Motivação: Dados da IPPUC

Autoria Propia (2016)


5/68

Trabalhos relatos:

Um modelo de Representação baseado em Conceitos de

Crescimento Urbano Associados e Alvarás e Primitivas em Banco

de dados Espacial

Analise do banco de alvaras da Prefeitura de Curitiba e

sua influe ncia nos restaurantes de Curitiba.

Kono (2016)

Cunha (2016)

1. Falta de normalizac ao de dados,

2. Duplicac ao de dados,

3. Falta de categorizac ao apropriada dos tipos de alvaras,

4. Qualidade de dados e finalmente,

5. Sobreposic ao de pontos que dificulta a visualizac ao de informac ao em mapas.


Projeto BigSea - Europe – Brazil Collaboration of BIG Data Scientific

Research through Cloud-Centric Applications

INTRODUÇÃO

6/68

SIG

Bibliografia

● Conceitos ● Tipos de dados● Arquiteturas● Relacionamentos● Aplicações

Cid.Inteligentes

● Conceitos ● Necessidades● Características● Arquiteturas● Aplicações

DESAFIOS E TRABALHOS RELACIONADOS

Resultado

Clusterização

● Conceitos● Algoritmos● Aplicações● Comparações

Dados Abertos

● Conceitos● Dados de Curitiba ● Análise preliminar● Aplicações

CLUSTERIZAÇÃO E VISUALIZAÇÃO

Visualização

● Conceitos● Bibliotecas● Aplicações

● Algoritmo Bidimensional de Clusterização.● Qualidade de dados.● Sistema Web/Mobile● Código fonte disponível em Github.


Analisar e adaptar o algoritmo Marker Clusterer que permita resolver problemas de sobreposição de pontos, clusterização e visualização comparativa entre diversos tipos de alvarás usando dados históricos e georreferenciados. Em particular, usaremos dados abertos de alvarás de comércio para os bairros: Centro, Batel e Tatuquara das últimas 3 décadas.

OBJETIVO GERAL


Entender as diversas questões bibliográficas (i) sistemas de informac ao geografica, (ii) cidades inteligentes, (iii) dados abertos, (iv) algoritmos de clusterizac ao e visualização.

Gerar uma fonte de dados atualizada e recategorizada de Alvarás de Curitiba.

Adaptar o algoritmo Marker Clusterer que permita realizar clusterizac ao e visualizac ao espac o-temporal considerando diversos tipos de alvaras.

Gerar um prototipo accesível e compatível com entornos Web e Mobile.

Realizar uma avaliação preliminar

8/68

OBJETIVOS ESPECÍFICOS


AplicaçõesArquiteturaRelacionamentos E.Tipos de dados

Sistemas de informação geográfica (SIG), são sistemas de informações baseado em computador que permite a captura, modelagem, manipulação, recuperação, análise e apresentação de dados georreferenciados (Worboys, 1995).

2.1 Sistemas de Informação Geográfica (SIG)

● Vetorial● Matricial

● Topológicas● Métricas● Direcionais

● Apresentação● Processamento● Dados

● TaxiVis● SIG/SAM


Sistemas de Informação Geográfica (SIG)

Adaptado de Li e Torres (2014).


AplicaçõesArquiteturaOGCÁreas

11/68

2.2 Cidades Inteligentes

Cidadãos, Governança, Negócios, Planejamento, Construções, Mobilidade,

Tecnologia da Informação, Energía

Uma cidade inteligente é aquela cidade que utiliza tecnologias inteligentes para integrar suas infraestruturas e serviços, a qual se esforça em aproveitar estas tecnologias para melhorar a eficiência, a eficácia, a transparência e a sustentabilidade. (Alawadhi, 2012).

Tecnologias abertas:GML, KML, WFS, WMS,

WCS, CSW

● Aplicação● Negócio● Dados ● Detecção

● Singapure Online● OneMap


Percivall, OGC (2015).


14/68

2.4 Visualização de Dados


A visualização significa construir uma imagem visual na mente humana. E isto é mais do que uma representação gráfica de dados ou conceitos. (Card,1999).

Id Estudante Endereço

001 Kathy Magdalena

Rua Arthur Carlos Peralta 1686

002 Kiara Rodriguez

Rua Bartolomé de las casas 163

003 Jorge Lucar Rua Visconde de Guarapuaba 42

004 Marcos Rester Rua 28 de Julho 3421

Dados Informação


16/68

2.5 Clusterização e Visualização de Dados

Clusterização é o processo de realizar agrupamento de objetos que apresentam semelhanças.

MarkerCluster


17/68

K-Means ( K-Médias)

● Algoritmo usado com contextos de Data Mining não supervisada.

● Classificação de informação de acordo com os próprios dados.

● Input: número de clusters (parâmetro K) a ser utilizados.

Clusters dos pontos de o nibus usando K-means, com K=4. Neves (2016).



18/68

DBScan (Density Based Spatial Clustering of Applications with Noise)

● Clusterização baseado na intensidade de markers. Se existir um marker distante, é considerado ruído (noise).

● Input: Total de Pontos, proximidade e minpts (densidade).

● O algoritmo pode ser utilizado para agrupar objetos de um banco de dados em subtipos que expressem algo, por exemplo, ao obter imagens satelitais da terra (Ester, 1996), como rios, estradas, etc.

Clusterização baseado em densidade de markers usando DBSCAN. Adaptado de (Ester, 1996).



19/68

Marker Clusterer

Clusterização de dados georreferenciados de forma iterativa baseados nas distâncias euclidianas entre Markers, Clusters e nível do zoom sobre o mapa. Para o cálculo da distância euclidiana se usa a fórmula haversin que considera a latitude, longitude, raio da terra e nível do zoom.




20/68

Comparativa

Critério/Algoritmo K-Means DBSCAN Marker Clusterer

É necessário conocer número de clusters prévios? Sim Não Não

Precisa de um # mínimo de Markers para Clusterizar? Não Sim Não

Permite clusterização em múltiples formas? Não Sim Sim

Por padrão, permite realizar clusterização de dados Georreferenciados?

Não Não Sim

Possui integração com Mapas Web-Mobile? Não Não Sim




21/68

1 2Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016

Processo do Marker Clusterer

22/68

Nro Cluster Markers

1 A, B e D

2 C e E

3 F, G, J e I

4 H


Processo do Marker Clusterer

23/68

Cálculo da Distância Euclidiana


24/68

Bibliotecas

HeatMapLeaflet JS para OSM Marker Cluster para Google




25/68

Comparativa entre Bibliotecas

Autoria própria(2016).



26/68

1. O algoritmo agrupa sem diferenciar os tipos de dados.

2. O algoritmo agrupa sem considerar límites geográficos.

3. O processo de desagregação é realizado usando zoom sobre o mapa, e em muitos casos, esse processo de desagregação implica em gasto de tempo e de interações desnecessárias com o servidor de aplicações para exibir os zooms intermediários.


2.5 Clusterização e Visualização de DadosDesafios de Marker Clusterer

27/68

4. Se queremos usar o algoritmo em outro sistema de mapas como Open Street Map ou Bing, será necessário a criação da biblioteca que possua compatibilidade com estes sistemas de mapas.

5. Forte dependência com o Google Maps, caso haja uma mudança nas políticas do Google Maps, a aplicação web deve executar as atualizações necessárias para manter o funcionamento.


2.5 Clusterização e Visualização de DadosDesafios de Marker Clusterer

28/68

A liberação de dados de alvarás concedidos a localidade do bairro do Tatuquara, Batel e centro de Curitiba entre os anos de 1980 a 2015 (PMC,2015) e (IPPUC, 2016).

PMC (2016)


2.6 Dados Abertos: Curitiba

29/68

Desafios: Existência de duplicidade de latitude e longitude gerando sobreposição de pontos,existe tipificação de alvarás que não estão associados corretamente gerando assim registros semelhantes que poderiam ser agrupadas em uma categoria específica e existem ainda alguns problemas como maiúsculas e minúsculas.

Alvarás de Restaurantes.Kono (2016)



30/68

Tipos e estilos de restaurantes definidas pelo SEBRAE (2014).Cunha (2016)

Existe uma melhor distribuição e agrupamento de categorias, porém ainda existem problemas de dados não associados corretamente, qualidade de dados e sobreposição de pontos.



SIG

Cid.Inteligentes

Dados Abertos

Visualização eclusterização

- Complexidade de uso dos SIG (Haklay, 2008).- Revisões históricas (NGB, 2015).- Grande volume de dados (Jacobs, 2009).

- Serviços e aplicações móveis ao desenvolvimento urbano sustentável. (Pentikousis,2011).

- Falta de qualidade, normalizac ao, duplicação, atualização e recategorização de dados (Kono, Cunha, 2016).

- Sobreposic ao de pontos (Kono, 2016).- Clusterização de dados que permita comparação

entre os tipos de dados.


3/10

1/5

2/5

1/5

3.1 Desafios que serão abordados

7/25


3.2 Método proposto

Autoria própria(2016).

4.1 Processo de Padronização de Dados


Script que padroniza e recategoriza Alvarás de Restaurantes conforme o SEBRAE.Autoria Própria (2016)

Alvarás de Curitiba

Out. 2016

Dados Padronizados

Out. 2016Script de

PadronizaçãoOut. 2016

34/68




35/68




36/68

Atualização e recategorização de Alvarás de Restaurantes conforme o SEBRAE.Autoria Própria (2016)


Análise preliminar dos dados

37/68

(A) Crescimento por ano, (B) Distribuic ao geografica,

(C) Alta concentrac ao.

Autoria propria(2016).

Centro


38/68

Centro

Cinco tipos de negocios que cresceram mais nas ultimas decadas.Autoria propria(2016).


39/68

(A) Crescimento por ano, (B) Distribuic ao

geografica, (C) Alta concentrac ao.


Batel


40/68


Batel


41/68

(A) Crescimento por ano, (B) Distribuic ao geografica,

(C) Alta concentrac ao.


Tatuquara


42/68


Tatuquara


43/68

1. Problemas de Geocodificação: mesmo utilizando o endereço, o processo de geocodificação não foi eficiente para 10% dos dados.

2. Problemas com Padrões: Diversos formatos que variam de UTF8 a Latin. geolocalização usando latitude / longitude (49.343750 -25.564539) ou UTM (666418.3496092 7171543.905212).

3. Diferentes sistemas de coordenadas: IPPUC usa o formato de dados DATUM SAD69, e á integração com Google Maps, OpenStreetMaps requer um sistema diferente de coordenadas (SIRGAS2000).

4. Composição de objetos geométricos: IPPUC trabalha com segmentos de linha para ruas (nó inicial e nó georreferenciado final para cada bloco), mas o Google trabalha com um objeto de linha para uma única rua.


Dificultades identificadas e abordadas

44/68

5. Inconsistências nos dados: A análise prévia dos dados, se identificou que dos 2337 markers, 25 estabelecimentos apresentam inconsistência nos dados, devido a que segundo a latitude e longitude, não pertencem ao bairro que foram declarados no banco de dados.

6. Outros desafios: Podemos mencionar outros desafios tais como: (i) diferentes granularidades dentro das fontes: fontes governamentais apresentaram maior precisão sobre fontes não oficiais (Google Maps, OSM); e (ii) diferentes tipos e formatos de dados. Alguns são CSV, XLS, JSON e Shapefile. Dependendo da técnica ou processo de integração, esses dados ainda devem ser convertidos para SQL para a definição e inserção de dados.



45/68

Marker ClustererTradicional

Entrada Saída

Processamento

Lista de Markers


4.2 Adaptações ao Algoritmo: Processo Atual


Marker ClustererBidimensional

MyMaps

Lista de MarkersVisualização baseada no

Tipo de Negócio

E

P

S E

P

S

Etapa 1 Etapa 2

Estrutura bidimensional que armazena os markers de acordo ao

Tipo de Negócio

Banco de Dados

46/68

4.2 Novo Processo Proposto

47/68

4.2.1 Criação do Markers - MyMaps


4.2 Adaptações ao Algoritmo

48/68

Data: Markerdistance ← 40000 //// Distância referencial para clusterizaçãoclusterToAdd ← nullpos ← marker.position

switch marker.BusinessType case 'TipoA' : j ← 0 case 'TipoB' : j ← 1 case 'TipoC' : j ← 2 default: j ← 0 endfor i ← 0 to i ← NumberOfClusters , cluster ← clusters(i)(j) do center ← cluster.center if (center) then d ← distanceBetweenPoints(center, pos) if ( d <distance) then distance ← d clusterToAdd ← cluster end end end


NNova condição que identifica o tipo de negócio antes do processo de clusterização.

Cálculo da distância euclideana considerando o array bidimensional (i)(j) do marker e centro do cluster.

4.2 Adaptações ao Algoritmo4.2.2 Criação da nova estrutura MK Bidimensional

49/68

if (clusterToAdd andclusterToAdd.isMarkerInClusterBounds(marker)) then clusterToAdd.add(marker)

else

cluster ← new Cluster cluster.addMarker(marker) clusters.pushNewCluster(cluster, j)

end


Adiciona o marker ao cluster mais próximo considerando o array bidimensional (i)(j)

4.2 Adaptações ao Algoritmo4.2.2 Criação da nova estrutura MK Bidimensional


4.2 Resultado do Novo Algoritmo

Autoria própria (2016).

Marker Clusterer Bidimensional

51/68

1. Pouca experiência em uso de algoritmos de clusterização e visualização.

2. O algoritmo apresentou mais de 1360 linhas de códigos e processos entrelazados, que dificultou a implementação na visualização em Google Maps.




Filtro temporal

Filtro espacial

Filtro tipo de negócio

4.3 Interface proposta



Charts and heatmap visualization. Autoria Própria (2016).

55/68

Mapa dos Negócios

Mapa de Pontos de ônibus

Código disponível emgithub

juanjoserodriguez.me/map/business

juanjoserodriguez.me/map/bus github.com/jrodriguezv10


4.3 Demo funcional disponível de:

http://juanjoserodriguez.me/maps/business/



http://juanjoserodriguez.me/maps/bus/

http://juanjoserodriguez.me/maps/bus/

http://github.com/jrodriguezv10

http://github.com/jrodriguezv10

56/68

4.3 Compatibilidade


57/68

Problemas com qualidade de dados. Autoria própria (2016).


Dificultades identificadas


Hardware:● Macbook Pro com sistema operacional OS X O Captain 10GB

1333 MHz DDR3

Software● SGBD PostgreSQL 9.6.1● Servidor MAMP V. 3.5.2● Google Chrome V 52 & ● HTML5, CSS3, Javascript, Google Maps API V3, e finalmente,

Biblioteca Marker Cluster V3.

4.4 Software e Hardware utilizados

59/68

● Processo de avaliação composto por: um termo de consentimento estabelecido (Anexo 1), questionário inicial com três perguntas (Anexo 2), e um questionário final com seis perguntas (Anexo 3).

● As respostas podiam ter os valores entre 1 e 5, sendo que 1 era a nota mais baixa e 5 a mais alta.

● 27 voluntários do curso de engenharia da computação da UTFPR e 2337 registros no protótipo de alvarás.


4.5 Avaliação preliminar com usuários

60/68

5 Avaliação Preliminar com Usuários


Antes de implementar a solução Após de implementar a solução

http://juanjoserodriguez.me/maps/businesspoints/








61/68

5 Avaliação Preliminar com Usuários

69,3%

80,8%

92,3%

84,6%

65,4%

Resultados:

Questionário final com as avaliações antes e após de usar a nova solução. Autoria própria(2016)


Entender as diversas questões bibliográficas (i) sistemas de informac ao geografica, (ii) cidades inteligentes, (iii) dados abertos, (iv) algoritmos de clusterizac ao e visualização.

Gerar uma fonte de dados atualizada e recategorizada de Alvarás de Curitiba.

Adaptar o algoritmo Marker Clusterer que permita realizar clusterizac ao e visualizac ao espac o-temporal considerando diversos tipos de alvaras.

Gerar um prototipo accesível e compatível com entornos Web e Mobile.

Realizar uma avaliação preliminar

62/68

OBJETIVOS ESPECÍFICOS ATINGIDOS



DESAFIOS ESPECÍFICOS ATINGIDOS

SIG

Cid.Inteligentes

Dados Abertos


- Complexidade de uso dos SIG (Haklay, 2008).- Revisões históricas (NGB, 2015).- Grande volume de dados (Jacobs, 2009).

- Serviços e aplicações móveis ao desenvolvimento urbano sustentável. (Pentikousis,2011).

- Falta de qualidade, normalizac ao, duplicação, atualização e recategorização de dados (Kono, Cunha, 2016).

- Sobreposic ao de pontos (Kono, 2016).- Clusterização de dados que permita comparação

entre os tipos de dados.

7/25

Conclusões1. A Fonte de Dados ainda apresentou diversos problemas em relação a qualidade

de dados, recategorização, normalização entre outros.

2. Marker Clusterer apresentou um processo mais prático, adaptável e implementável ao contexto de clusterização dos alvarás de Curitiba em relação à outros algoritmos e bibliotecas analisadas.

3. O Processo de avaliação da solução e aceitação da solução apresentou resultados alentadores tendo que 84,6% que consideraram o prototipo como uma soluc ao util.


65/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Seminário 3 | 26 de Outubro de 2016

1. Trabalho submetido titulado: Minha cidade inteligente na Competição de Vídeos sobre Cidades Inteligentes no XXXIII Simpósio Brasileiro de Telecomunicações 2015. O trabalho ganhou o prêmio de primeiro lugar da competição. Link: http://www.sbrt.org.br/sbrt2015/premiacao-competicao-de-video/.

2. Artigo publicado: “Urban Mobility Challenges - An exploratory analysis of public transportation data in Curitiba” na Revista de Informática Aplicada da Universidade Federal do ABC, Brasil.

3. Artigo aceito:: "Uma proposta para apresentar a Computação/Banco de Dados no Ensino Médio para o Público Feminino". O trabalho foi destacado como um dos melhores 5 artigos da seção aplicações e experiências no XII Escola Regional de Banco de Dados 2016, e pode ser verificado no Anexo 1. Link: http://cross.dc.uel.br/erbd2016/programacao/#ST3.

Resultados e reconhecimentos obtidos :

http://www.sbrt.org.br/sbrt2015/premiacao-competicao-de-video/

http://www.sbrt.org.br/sbrt2015/premiacao-competicao-de-video/

http://cross.dc.uel.br/erbd2016/programacao/#ST3.

http://cross.dc.uel.br/erbd2016/programacao/#ST3.


DESAFIOS PENDENTES / TRABALHOS FUTUROS

SIG

Cid.Inteligentes

Dados Abertos


Crowdsourcing e validação de dados, Informação em tempo real, Segurança de dados, Localização em interiores, Integração de dados, etc.

18 desafios pendentes

Infraestruturas para cidades inteligentes, aumentar eficiência energética, pessoas como produtoras de informação, etc.

Qualidade de dados

Clusterização considerando delimitação geográfica, optimização do processo de desagrupamento, dependência de Google Maps.

Sinceros agradecimentos:

1. À Deus, minha esposa, filha e minha querida família,2. CNPQ, Capes, MRE,3. À Profa. Nádia Puchalski,4. Aos Profs. da Dainf,5. A todos que direta ou indiretamente contribuíram e

contribuem para que este sonho de fazer um mestrado fora do meu país seja uma realidade.

67/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Seminário 3 | 26 de Outubro de 2016

Google confidential | Do not distribute

Juan José RodríguezOrientadora: Nádia Puchalski

68/68

Muchas Gracias!Clusterização e Visualização Espaço-Temporal de dados georreferenciados adaptando o algoritmo Marker Clusterer – Um caso de uso em Curitiba

Apresentação de Dissertação Mestrado em Ciências da Computação

Software

Transcript of Apresentação de Dissertação Mestrado em Ciências da Computação