Post on 09-Nov-2015
description
Prof. Dr. Vladimir Costa de Alencar
bit.ly/valencar
vladimir.uepb@gmail.com
Histrico
- A necessidade de registrar informaes
- O uso de Inscries rupestres, barro, etc.
Histrico
- O uso de Pinturas, esculturas, etc.
Histrico - Nos ltimos sculos, o papel tem sido o tipo de
registro mais comum
Gutemberg Criador do livro impresso em escala (1430)
Histrico - Recentemente uma boa parte do papel est
sendo substituda por armazenamento em mdias (HD, fitas, CD, etc)
- Os Leitores de livros digitais (e-Readers) tm estimulado tambm ao uso das mdias ao invs de utilizar o papel.
Histrico - Os programas de banco de dados foram os
programas pioneiros na computao (1950-60)
- Surgiram para atender para atender
equipamentos de grande porte
Histrico (Dcada de 50 e incio de 60) Fitas magnticas foram
desenvolvidas para o
armazenamento de dados.
- Tarefas de processamento de dados, como folha de
pagamento, eram automatizadas com dados armazenados em fitas.
- As fitas podiam ser lidas apenas sequencialmente
- O processamento consistia em ler os dados e armazenar em uma nova fita (Fita Mestre).
Histrico Arquitetura nos primrdios
-No havia controle de acesso concorrente
-No era possvel executar mais de um processo
ao mesmo tempo num arquivo de dados
-A estrutura do arquivo estava inserida no prprio cdigo do
aplicativo
Ruim para manuteno
-O programas controlavam o acesso ao banco de dados
-Inconsistncia, redundncia, dificuldade de acesso, isolamento
dos dados
-Problemas com Segurana
Histrico Arquitetura nos primrdios
Definio de estrutura
Rotinas gerais do aplicativo
Arquivo de dados
Histrico Arquitetura nos primrdios
Arquivo de Dados
O acesso ao Arquivo era feito de forma direta
Cenrio mudou drasticamente com o uso dos discos rgidos
Acesso direto ao dados em qualquer lugar do disco
Os bancos de dados poderiam armazenar estruturas de dados mais complexas (como listas e rvores)
Um documento revolucionrio de Codd [1970] definiu o modelo relacional e os mtodos procedurais para consultar os
dados Origem os Bancos de Dados Relacionais
Os bancos de dados Relacionais no podiam se igualar aos banco de dados de Rede e Hierrquico, devido as suas
desvantagens de desempenho.
Um projeto inovador da IBM (System R), levou ao primeiro produto de banco de dados relacional da IBM, o SQL/DS.
Os primeiros SGBDs relacionais comerciais, como o System R, Oracle, Ingres e DEC RDB, desempenharam papis
fundamentais no melhoramento da performance.
O SGBDs relacionais, por sua facilidade de manipular, comearam a reinar.
Arquivo de dados
Os aplicativos no tem conhecimento sobre os mtodos de Gravao e Leitura fsica dos dados
Eles recuperam ou armazenam registro
Sistema
Gerenciador
De Banco de
Dados
(SGBD)
A linguagem SQL foi projetada para aplicaes de suporte deciso (concentradas na consulta)
Os bancos de dados da dcada de 1980 tinham foco nas aplicaes de processamento de transao (atualizao de
dados)
As ferramentas para analisar grandes quantidades de dados tiveram um elevado crescimento de uso
Os fornecedores acrescentarem suporte relacional de objeto a seus banco de dados
Com a exploso de Web, os SGBDs foram mais exigidos:
1. Propiciar altas taxas de processamento de transao
2. Alta confiabilidade
3. Disponibilidade 24x7 (24 horas, 7 dias por semana)
Tambm precisavam aceitar interfaces da Web para Dados
A amazon.com foi uma das primeiras empresas que comeou a usar comrcio eletrnico para vender livros na
internet (1998) usando SGBDs 24x7
Utiliza tcnicas de Data mining
Surgimento da XML
Crescimento do Data Mining
Crescimento dos Data Warehouse
O XML um formato para a criao de documentos com dados organizados de forma hierrquica
Ex. Documentos de texto formatados, imagens vetoriais (ex. Mapas) ou bancos de dados.
Pela sua portabilidade, j que um formato que no depende das plataformas de hardware ou de software
Um banco de dados pode, atravs de uma aplicao, escrever em um arquivo XML, e um outro banco distinto pode
ler ento estes mesmos dados.
....
o processo de analisar de forma semi-automtica grandes bancos de dados para encontrar padres teis.
Usando a Inteligncia artificial e a Estatstica, so utilizados os dados do BD para descobrir regras e padres.
a descoberta de conhecimento de Banco de dados
Alguns tipos de conhecimento podem ser representados por um conjunto de regras.
Outros tipos de conhecimento so representados por equaes relacionando diferentes variveis entre si.
Ou por outros mecanismos de prever resultados
Ex. Rede Walmart
Foi descoberta a regra que s sextas-feiras, as vendas de cervejas cresciam na mesma proporo que as de fraldas
Motivo: ao comprar fraldas para seus bebs, os pais aproveitavam para abastecer as reservas de cerveja para o
final de semana.
o processo de reunir de forma organizada e eficiente dados de diferentes fontes
O desenho da base de dados favorece os relatrios, a anlise de grandes volumes de dados e a obteno de
informaes estratgicas que podem facilitar a tomada de
deciso
Atualmente, por sua capacidade de sumarizar (limpar) e analisar grandes volumes de dados, o data warehouse o
ncleo dos sistemas de informaes gerenciais e apoio
deciso das principais solues de business intelligence do
mercado.
Ex. Usando tcnicas de data mining num data warehouse, possvel:
Uma companhia de cartes de crdito pode analisar seu data warehouse de transaes ao consumidor para identificar os
consumidores que tm maior probabilidade de estarem
interessados em um novo produto de crdito (Ex. IPAD).
Utilizando uma pequena correspondncia de teste, os atributos dos consumidores com afinidade com o produto
podem ser identificados.
Projetos recentes indicam que h uma reduo de cerca de 20% nos custos em campanhas direcionadas sobre as
campanhas tradicionais.
Os SGBD atualmente
Possui verses para vrios sistemas operacionais (Windows, Unix, Linux, FreeBSD)
Gratuito
usado em muitas aplicaes Web. Ex. Como servidor de dados para comrcio eletrnico
usado em muitos web sites como: nokia.com, google, facebook, youtube, Wikipdia, FotoLog, etc.
Modo Texto
Ferramenta Grfica
(DbDesigner)
Ferramenta Grfica
(mysql Workbench)
Um SGBD bastante antigo (1979) e muito poderoso
Multiplataforma/multiusurio
Seguro
o principal SGBD em banco de dados corporativos (cliente/servidor)
Variedade de distribuies, abrangendo: Macintosh;
PC (Windows, Unix, Linux, FreeBSD);
Computadores de grande porte
SGBD padro SQL
-Produzido pela microsoft
-Multiplataforma/multiusurio
-Roda exclusivamente em Windows
- um SGBD bastante interativo, uma tima interface
-Um SGBD gratuito de bastante aceitao
-Inicialmente concebido para o sistema operacional Linux
-Muito utilizado em aplicaes web (comrcio eletrnico,
utilizando a linguagem PHP)
-Multiplataforma/multiusurio
-Em 2008 foi agraciado como o melhor produto de BD
(Developer.com)
-Clientes:
Yahoo!, MySpace, Sony, Basf, Skype, Sun, ...
- Seu sucesso vm da incluso do SGBD nas ferramentas
de desenvolvimento da Borland (Delphi, C++ Builder,
Jbuilder, ...)
-Outro fator para sua maior aceitao foi a liberao de uma
Verso open source (cdigo fonte aberto)
- Produzido pela IBM, nasceu dos ambientes de grande
porte
-Foi posteriormente portado outras plataformas
(microcomputadores)
- Um dos primeiros SGBD a usar a linguagem SQL
- O Firebird um SGBD relacional de cdigo aberto
-Roda em Linux, Windows, MacOS e uma gama de SO
Unix-Like
- Baseado no cdigo do Interbase (2000), mas a partir da
verso 1.5 o cdigo foi reescrito
- amplamente utilizado em todo o mundo, com a maior
base de usurios no Brasil, Rssia e Europa.
Software Livre/domnio pblico e Multiplataforma um mecanismo de armazenamento seguro com
transaes ACID
No necessita de instalao, configurao ou administrao
Implementa a maioria do SQL92 Permite guardar o banco de dados em um nico
arquivo
Suporta bases de dados abaixo de 2 terabytes Sem dependncias externas
SQLite uma biblioteca em linguagem C que implementa um banco de dados SQL embutido.
Programas que usam a biblioteca SQLite podem ter acesso a banco de dados SQL sem executar um
processo SGBD separado.
o SQLite funciona como um mini-SGBD, capaz de criar um arquivo em disco e ler e escrever
diretamente sobre este arquivo.
Usado em dispositivos mveis (celulares, tablets) e sistemas embarcados (Equipamentos mdicos,
Automotivos, Avinicos, etc)
Panorama de uso - SGBD
Fonte: IDC, 2012
Os Maiores Banco de Dados do Mundo (Novembro/2012)
1 Biblioteca do Congresso dos EUA:
Armazena milhes de documentos, imagens e catlogos.
S de arquivos de texto, h 20 TB (terabytes), lembrando que 1 terabyte equivale a 1024
gigabytes;
Os Maiores Banco de Dados do Mundo (Novembro/2012)
2 CIA (Central Intelligence Agency): A CIA armazena informaes sobre pessoas, empresas e localidades do
mundo todo.
Como de se esperar, a maioria dos dados no est disponvel ao pblico, mas algumas informaes podem ser acessadas no CIA FOIA;
Os Maiores Banco de Dados do Mundo (Novembro/2012)
3 Amazon: a maior loja de comrcio eletrnico do mundo e, atualmente, conta com
quase 60 milhes de clientes ativos.
Sua base de dados estimada em 42 TB, mas certamente muito maior que isso. Esse valor o que foi informado pela empresa;
Os Maiores Banco de Dados do Mundo (Novembro/2012)
4 YouTube: o YouTube o maior (e melhor) site de vdeos on-line que existe.
Cerca de 65 mil vdeos so enviados ao servio mensalmente e, se cada um tiver 10 MB, o site fecha cada ms com crescimento de 18,6 TB em sua base de
dados.
Os Maiores Banco de Dados do Mundo (Novembro/2012)
5 ChoicePoint: Trata-se de um servio que coleta e disponibiliza (com nveis de acesso)
informaes sobre cidados americanos.
Segundo informaes, o ChoicePoint ajudou a identificar vrias vtimas do atentado ao World Trade Center atravs do cruzamento de informaes de
DNA.
Sua base de dados ultrapassa 250 TB
Os Maiores Banco de Dados do Mundo (Novembro/2012)
6 Sprint: uma das maiores empresas de telecomunicaes do mundo (para no dizer a
maior)
Conta, atualmente, com cerca de 53 milhes de clientes. O tamanho de seu banco de dados no foi divulgado A empresa recebe 70 mil informaes de chamadas telefnicas por segundo
nos horrios de pico;
Os Maiores Banco de Dados do Mundo (Novembro/2012)
7 Google: A empresa mantm em cache quase todas as pginas da internet Tem mais de 51 milhes de usurios no Gmail Armazena imagens do mundo todo para o Google Earth e para o Google Maps,
entre outros.
Isso tudo sem contar que o YouTube faz parte de seu leque de servios. No se sabe o quanto de informaes o Google armazena, mas estima-se que
a empresa ultrapassa tranqilamente a casa dos petabytes (1 pentabyte = 1024
terabytes);
8 AT&T: Outra gigante das telecomunicaes. Assim como a Sprint, a AT&T tambm armazena os dados telefnicos de
milhes de clientes, com o diferencial de manter informaes de vrias
dcadas, j que uma companhia antiga
9 National Energy Research Scientific Computing Center (NERSC): O NERSC trabalha com pesquisas sobre fontes de energia e mantm dados de
estudos sobre diversas tecnologias referentes.
Sua base de dados estimada em 2,8 PB (pentabytes) e tem capacidade para atingir 22 PB
Os Maiores Banco de Dados do Mundo (Novembro/2012)
10 World Data Centre for Climate (WDCC): O WDCC um entidade que faz pesquisas climticas no mundo todo. Essa uma das reas que mais exigem processamento e capacidade de
armazenamento de dados.
O WDCC disponibiliza 220 TB de dados na Web e possui um base interna que ultrapassa 6 PB.