Materialização de Banco de Dados Geográfco no contexto DSG – SEI: Uma abordagem prátca.

1º Ten Lucas Lago de Lima1º Sgt Rafael Barboza de Carvalho

Objetivos

• Contextualizar trabalhos referentes ao Convênio DSG – SEI;

• Apresentar histórico do uso de BD no convênio; • Apresentar resumo da ET – EDGV 2.13;• Conversão de BD usando ETL• Uso de plataformas diversas• Software proprietário X Software Livre

• Virtualização• Linux ou Windows

• Postgresql e Postgis• Administração e configuração• Pg_hba.conf• Postgresql.conf

Objetivos

• Backup e Restauração• LC_ctype e LC_collate;

• Desafio: Operador administrar o banco.• Apresentar o plugin DSGTools;• Instalação e operação;

Contextualização

Convênio para a elaboração de carta topográfica e banco de dados digital: 1284 folhas na escala de 1:25.000

197 folhas na escala de 1:50.000

Utilizando ET-EDGV 2.13

Resumo do trabalho Voo Fotogramétrico

Apoio de Campo

Elaboração de MDS

Avaliação das Imagens, MDS e Curva de Nível

Aquisição

Reambulação

Validação e Área contínua (Estado Final do Banco de Dados)

Edição (Carta Topográfica pronta)

Contextualização

ENGEMAP

Histórico do uso de Banco de Dados

Softwares ArcGIS

Software proprietário Customização VBA limitada

QGIS Software Livre Customização em Python ampla Uso de Plugins Uso de Scripts

GOTHIC Ferramentas de Validação Ferramentas de Edição

Histórico do uso de Banco de Dados

Formatos de Bancos de Dados MDB

Usado pelo ARCGIS

Spatialite Usado no QGIS

Postgres (com extensão Postgis) Usado no QGIS

GOTHIC Banco de dados orientado a objeto

Histórico do uso de Banco de Dados

Conversão entre os Bancos de Dados Via Software ETL (FME)

Histórico do uso de Banco de Dados

ET-EDGV

Especificações Técnicas para a Estruturação de Dados Geoespaciais Vetoriais Modelo Elaborado pela Comissão Nacional de Cartografia

(CONCAR);

Versão atual do projeto Bahia: 2.13, de 2010;

Tem por objetivo padronizar estruturas de dados que viabilizem o compartilhamento, a interoperabilidade e a racionalização de recursos entre os produtores e usuários de dados e informação cartográfica;

ET-EDGV

Utiliza o modelo OMT-G Adaptação do Unified Modeling Language (UML),

acrescentando conceitos geográficos;

Baseada em três conceitos: Classes; Relacionamento; Restrições de integridade espacial.

ET-EDGV

Dividida em treze Categorias.

ET-EDGV

Diagrama de Classes

Virtualização

- A virtualização é a criação da versão virtual de um sistema operacional, um servidor, um sistema de armazenamento, etc.

- Divisão de recursos de um hardware (servidor físico) em diversos servidores virtuais que podem ser usados com finalidade diferentes.

Virtualização

- A virtualização de servidores traz diversas vantagens, entre as quais podemos destacar:• Automação mais apurada dos processos;•Redução de custo operacional (até 40%), inclusive de energia elétrica;• Otimização do espaço físico;• Melhor utilização dos recursos disponíveis;• Gerenciamento centralizado;• Backups facilitados e mais segurança;• Independência do servidor físico;• dentre outras.

Virtualização

Linux ou Windows ?

Qual Sistema utilizar ?

Se possível LINUX

Postgresql e Postgis

O que é PostgreSQL ?

É um sistema de gerenciador de banco de dados objeto relacional (SGBDOR), desenvolvido como projeto de código aberto sob licença do TPL (The PostgreSQL License), ele foi lançado em julho de 1996.

- Bibliotecas e Drivers de conexão para diversas plataformas e linguagens, como C/C++, Python, driver ODBC, dentre outras.

- Não possui limite de tamanho para os bancos de dados, sendo sua limitação relacionada ao hardware disponível. Sua limitação dá-se no em nível de tabela, com limite máximo de 32TB, além de 1.6TB por registros e campos com 1GB;

Postgresql

- Compatível com a maioria dos sistemas operacionais do mercado;

- Possui características como:- Suporte a operações ACID(Atomicidade, Consistência,

Isolamento e Durabilidade);- Oferece recursos para replicação(slony, WAL);- Oferece Clusterização (alta disponibilidade);- Multithreads;- Segurança e criptografia;- Baseado nos padrões ANSI SQL;- Incorporável em aplicações gratuitamente.

Postgis

O que é Postgis ?

É uma extensão espacial gratuita e de código fonte livre. Sua construção é feita sobre o sistema de gerenciamento de banco de dados objeto relacional (SGBDOR) PostgreSQL, que permite o uso de objetos GIS sendo armazenados em banco de dados.

- Possui suporte para índices espaciais, como GiST e R-Tree, além de funções para análise básica e processamento de objetos GIS.

Configuração

- Após a instalação, deve-se configurar os arquivos: pg_hba.conf, postgresql.conf.

pg_hba.conf

Permite conexões remotas

Configuração

postgresql.conf

Configuração

postgresql.conf

- Shared Buffers são buffers de memória utilizados para tratar os dados enquanto eles estão sendo processados. Ou seja, sempre que você faz uma consulta ou uma atualização de dados, é aqui que estes dados se encontrarão enquanto são processados.- As recomendações são que para sistemas com até 1GB de RAM aloque-se 15% da memória, já em casos onde existe mais de 1 GB de RAM, 25% da memória pode ser alocada para este buffer. Em ambos os casos, indica-se que não se aloque mais de 40% da memória RAM, pois não traria nenhum aumento de performance significativo.- Este parâmetro requer a reinicialização da instância do banco de dados caso seja alterado.

Configuração

- Os temp buffers servem para armazenar dados de tabelas temporárias. Ao contrário do Shared Buffer que é um buffer único para toda a instância do banco de dados, o temp buffer é alocado por sessão. O valor padrão é de 8MB e não há nenhuma recomendação geral sobre o tamanho dele, pois depende da utilização de dados temporários por conta de cada aplicação.

- O parâmetro Work Mem define um tipo de buffer utilizado por cada sessão do banco de dados para fazer operações de ordenação e agrupamento de dados, tais como ORDER BY, DISTINCT, etc. O valor padrão é 1MB e, mais uma vez, para melhorar a performance do sistema ele deve ser adequado às necessidades de cada sistema, já que as operações de ordenação e agrupamento podem variar significativamente de um sistema para outro.

Configuração

- Maintenance Work Mem é um buffer de memória é utilizado para as tarefas administrativas do banco de dados, tais como VACUUM, RESTORE, ALTER TABLE, etc. Como tarefas administrativas tendem a ter um papel pequeno em relação à quantidade total de operações que ocorrem em um banco de dados, o valor padrão especificado aqui (16 MB) não é um problema para a maioria dos bancos de dados. Porém, é importante saber da existência deste parâmetro, caso você queira melhorar a performance das tarefas administrativas que você realiza.

Configuração

- Há dois utilitários para backup no Postgres o pg_dump e pg_dumpall. Está localizado no diretório /bin. Use o pg_dump para fazer backup de bancos de dados específicos e o pg_dumpall para fazer backup de todos os bancos de dados.

- O Pg_dumpall necessita ser executado sob uma conta de superusuário para que ele tenha acesso para fazer backup de todos os bancos de dados de outras roles. A maioria das opções de linha de comando para essas ferramentas existem tanto no estilo GNU (duas hífens mais a palavra) quanto no estilo tradicional de uma única letra (um hífen mais um caractere alfabético).

- O Pg_dump faz backup no SQL simples, mas também nos formatos comprimidos e em modo TAR.

Backup

Backup

Para criar um backup de banco de dados comprimido e único:

➔ pg_dump -h localhost -p 5432 -U postgres -F c -b -v -f meudb_admin.backup meudb_admin

Para criar um backup de banco de dados único de texto simples, incluindo uma instrução CREATE DATABASE:

➔ pg_dump -h localhost -p 5432 -U postgres -C -F p -b -v -f meudb_admin.backup meudb_admin

* No Windows inserir \bin no path.

Restaurar

Há duas maneiras de restaurar os dados no PostgreSQL:• Usando o psql para restaurar backups de texto simples gerados pelos pg_dumpall ou pg_dump

• Usando o utilitário pg_restore para restaurar backups comprimidos, TAR e do diretório criado pelos pg_dump

Restaurar

- Um backup de SQL simples é nada mais do que um arquivo de texto contendo um script SQL robusto. É o menos conveniente para ter, porém é o mais versátil. Com o backup em SQL, você deve executar o script inteiro. Você não pode escolher itens dele, a menos que esteja disposto a editar manualmente o arquivo. Rode os comandos do psql interativo:Para restaurar um backup completo e ignorar erros:

➔ psql -h localhost -U postgres --port=5432 -f myglobals.sql

Para restaurar, parar se algum erro for encontrado: ➔ psql -h localhost -U postgres --port=5432 --set

ON_ERROR_STOP=on -f myglobals.sql

Para restaurar em um banco de dados específico: ➔ psql -h localhost -U postgres --port=5432 -d meudb_admin -f

select_objects.sql

Restaurar

- Um backup de SQL simples é nada mais do que um arquivo de texto contendo um script SQL robusto. É o menos conveniente para ter, porém é o mais versátil. Com o backup em SQL, você deve executar o script inteiro. Você não pode escolher itens dele, a menos que esteja disposto a editar manualmente o arquivo. Rode os comandos do psql interativo:Para restaurar um backup completo e ignorar erros:

➔ psql -h localhost -U postgres --port=5432 -f myglobals.sql

Para restaurar, parar se algum erro for encontrado: ➔ psql -h localhost -U postgres --port=5432 --set

ON_ERROR_STOP=on -f myglobals.sql

Para restaurar em um banco de dados específico: ➔ psql -h localhost -U postgres --port=5432 -d meudb_admin -f

select_objects.sql

Restaurar

- Ao restaurar backups de sistemas operacionais diferentes, como Linux e Windows, atentar para LC_COLLATE e LC_CTYPE.

- WINDOWS: LC_COLLATE = ‘Portuguese_Brazil.1252’

LC_CTYPE = ‘Portuguese_Brazil.1252’

- LINUX: LC_COLLATE = ‘pt_BR.UTF-8’ LC_CTYPE = ‘pt_BR.UTF-8’

Desafio

DSG Tools

Plugins para criação e manutenção de bases de dados geoespaciais vetoriais.

Desenvolvido pela Diretoria de Serviço Geográfico (DSG)

Vantagem da capacidade de customização do QGIS.

DSG Tools

Instalação

Acessar o repositório do QGIS e selecionar a instalação do DSG Tools.

DSG Tools

Criação de banco de dados utilizando a ET-EDGV versões 2.13, 3.0 e Fter 2a Edição

Criação de bancos em lotes

Gerenciamento de servidores

Conexão entre Qgis e Postgres

Conexão online com o BDGEx

DSG Tools

Ferramentas de edição de dados geoespaciais− Seletor Genérico− Aquisição em mão livre− Gerenciador de estilos− Inspetor de feições− Visualizador de informações em raster− Ferramentas de Validação

CONCLUSÃO