Post on 17-Sep-2015
description
Data Warehouse Universidade Estadual de Campinas
1. My SQL verso ...
2. My SQL Workbench ...
3. Ver um gerador de grficos
Laboratrio pr-requisitos
2
1. Ambiente
2. Criao do DW
3. Criao das dimenses e cargas das tabelas
4. Primeiras consultas no DW
Laboratrio - incio
3
1. Ambiente
4
Banco de dados: : MySQL
2. Criao do DW
5
Conectar-se no MySQL Workbench e executar os scripts abaixo:
create_user_id.sql
create_databases.sql
create_dw_tables.sql
customer_sk.sql
more_customer_sk.sql
Os scripts acima esto no diretrio ..\L1.
3. Criao das dimenses e cargas das tabelas
6
No MySQL Workbench e executar os scripts abaixo:
create_customer_stg.sql e scd1.sql
Os scripts create_customer_stg.sql e scd1.sql iro
criar a tabela customer_stg e carregar a tabela de
dimenses customer_dim.
Os scripts acima esto no diretrio ..\L2.
3. Criao das dimenses e cargas das tabelas
7
No MySQL Workbench e executar os scripts abaixo:
create_product_stg.sql, load_product_stg.sql e scd2.sql
Os scripts create_product_stg.sql, load_product_stg.sql
iro criar e carregar a tabela product_stg e o e
scd2.sql carregar a tabela de dimenses product_dim.
Os scripts acima esto no diretrio ..\L3.
4. Primeiras consultas no DW
8
No MySQL Workbench e verificar os itens abaixo:
1. Volume de pedidos por cliente.
2. Soma dos valores de pedidos, verificando as
dimenses de data, de clientes e de pedidos.
3. Soma os valores de pedidos, verificando as dimenses
de data e ordens.
4. Valores das vendas e do nmero de encomendas para
cada ms.
4. Primeiras consultas no DW
9
No MySQL Workbench e verificar os itens abaixo:
5. Resumo anual de vendas, contendo Os valores dos
pedidos, o nmero de ordens, agregados por data, por
produto e a cidade do cliente.
6. Resumo das vendas mensais e o nmero de encomendas a
cada ms, cuja categoria seja Storage.
7. Ordens de venda de produtos com valores mensais
maiores que 75 mil.
5. Extrao
6. Transformao
7. Carga (Load)
Laboratrio - continuao
10
5. Extrao
11
O primeiro passo para carregar um DW a extrao de dados de uma fonte.
Pode-se fazer isso, lendo os dados diretamente da fonte ou solicitando uma carga da fonte para o DW.
Um fator importante sobre a extrao de dados o volume e a disponibilidade de dados nas bases de origem.
5. Simulando uma extrao para o DW
12
No MySQL Workbench e executar os scripts abaixo:
create_sales_order.sql, para criar a tabela SALES_ORDER.
push_data.sql, para dar carga nas tabelas ORDER_DIM e DATE_DIM, no banco DW e na tabela SALES_ORDER no banco SOURCE.
push_sales_order.sql, para dar carga na tabela fato SALES_ORDER_FACT, no banco SOURCE.
Consultar a tabela SALES_ORDER_FACT, para verificar os
resultados.
Os scripts acima esto no diretrio ..\L5.
7. Carga (Load)
13
A carga o processo que armazena os dados no Data Warehouse.
Esse processo muitas vezes lento, devido aos grandes volumes e as restries nas janelas de atualizao.
7. Simulando uma carga no DW
14
No MySQL Workbench e executar os scripts abaixo:
truncate_tables.sql, para limpar as tabelas do DW.
pre_populate_date.sql, cria uma procedure para colocar datas
de incio e fim para a tabela DATA_DIM.
sales_order_initial.sql, para dar carga na tabela fato
SALES_ORDER, no banco SOURCE.
dw_initial.sql, para dar cargas nas demais tabelas do DW.
confirm_initial_population.sql, para consultar se a tabela
de vendas foi carregada corretamente.
Os scripts acima esto no diretrio ..\L6.
6. Transformao
15
Transformao o processo de preparao dos dados.
A transformao pode envolver, adio de chaves, manuteno histrica, e tambm a integrao de mltiplas fontes, o tratamento de erros de fonte de dados.
6. Simulando transformaes no DW
16
6. Simulando transformaes no DW
17
No MySQL Workbench e executar os scripts abaixo:
shipping_address.sql, para incluir as novas colunas nas
tabelas CUSTOMER_DIM e CUSTOMER_STG.
order_quantity.sql, para incluir as novas colunas nas
tabela SALES_ORDER_FACT.
Aps a incluso das colunas, verificar na base de dados.
Os scripts acima esto no diretrio ..\L7.
6. Simulando transformaes no DW
18
No MySQL Workbench e executar os scripts abaixo:
dw_regular_10.sql, limpa as tabelas do DW e refaz as cargas
utilizando as novas colunas adicionadas nas tabelas
CUSTOMER_DIM e CUSTOMER_STG.
add_sales_order_quantity.sql, carrega os dados utilizando a
nova coluna para a tabela SALES_ORDER, no banco SOURCE.
Aps a carga, verificar as tabelas na base de dados.
Os scripts acima esto no diretrio ..\L8.
8. Dimenses Hierarquizadas
9. Esquemas Multi-Estrelas
10. Dimenses Consolidadas
Laboratrio - continuao
19
8. Dimenses Hierarquizadas
20
So dimenses que podem ter um ou mais nveis que so representados por colunas nas tabelas.
Exemplo: a dimenso de data pode ter uma hierarquia de quatro nveis: o nvel do ano, o nvel do trimestre, o nvel de ms, e o nvel de data.
8. Simulando dimenses hierarquizadas no
DW
21
No MySQL Workbench e executar os scripts abaixo:
grouping.sql, a consulta recupera o valor das vendas
agrupadas por produtos e os trs nveis de hierarquia da
dimenso de data (ano, trimestre e nome do ms).
drilling.sql, a consulta mostra a soma das ordens para
cada um dos nveis das dimenses data (nveis de ms,
quarter e ano).
Os scripts acima esto no diretrio ..\L9.
9. Esquemas multi-estrelas
22
So esquemas que possuem mais de um schema estrela, estes esquemas tambm so conhecidos como constelao.
Muitas vezes so utilizados para permitir um detalhamento no processo de pesquisa.
9. Adicionando mais um esquema estrela no DW
23
No MySQL Workbench e executar os scripts abaixo:
third_star_tables.sql, script que criar duas tabelas uma
de dimenso FACTORY_DIM e outra de fatos PRODUCT_FACT.
factory_master.sql, script que ir criar a tabela
FACTORY_MASTER no banco de dados SOURCE.
factory_ini.sql, oscript que ir popular a tabela
FACTORY_DIM.
Os scripts acima esto no diretrio ..\L10.
9. Adicionando mais um esquema estrela no DW
24
No MySQL Workbench e executar os scripts abaixo:
factory_stg.sql, script que criar a tabela de stage FACTORY_STG e
outra de fatos PRODUCT_FACT.
daily_production.sql, script que ir criar a tabela
DAILY_PRODUCTION, no banco de dados SOURCE e depois ir carregar a
dimenso PRODUCT_DIM.
production_regular.sql, ir popular as tabelas FACTORY_STG,
FACTORY_DIM e PRODUCT_FACT.
daily_production_data.sql, script que criar a tabela de stage
DAILY_PRODUCTION, no banco de dados SOURCE.
Os scripts acima esto no diretrio ..\L10.
10. Dimenso consolidada
25
A consolidao de dimenses ocorre quando o nmero de dimenses do DW aumenta. Nesse caso pode-se encontrar alguns dados comuns em mais de uma dimenso.
Exemplo, o CEP, cidade e estado esto nas tabelas de clientes e dimenso dos endereos do cliente, e na dimenso da fbrica.
10. Consolidando uma dimenso no DW
26
No MySQL Workbench e executar os scripts abaixo:
Executar uma validao de CEPs nas dimenses
CUSTORMER_DIM, CUSTOMER_ZIP_CODE_DIM,
SHIPPING_ZIP_CODE_DIM e na tabela fato
SALES_ORDER_FACT.
10. Consolidando uma dimenso no DW
27
No MySQL Workbench e executar os scripts abaixo:
Executar uma validao de CEPs nas dimenses
CUSTORMER_DIM, CUSTOMER_ZIP_CODE_DIM,
SHIPPING_ZIP_CODE_DIM e na tabela fato
SALES_ORDER_FACT.