Palestra Univille

40

Transcript of Palestra Univille

• Bacharel em Sistemas de Informação

• Pós-Graduado em Gerenciamento de Projetos.

• MCP - Microsoft Certified Professional em SQL SERVER eSHAREPOINT

Autor do livro “Integração de Dados na Prática - Técnicas de ETLpara Business Intelligence com Microsoft SSIS 2012”

Blogueiro no www.tsqlmaster.blogspot.com

Microsoft Gold Partner.

Consultoria, Implantação, Desenvolvimento, SuporteTécnico e Treinamento em soluções Microsoft com focoem:

Portal Colaborativo (MS SharePoint)

ECM - Gerenciamento de Conteúdo Corporativo

GED - Gestão Eletrônica de Documentos

EPM – Gestão Corporativa de Projetos

Desenvolvimento de aplicativos

BI – Business Inteligence

Registro de Imóveis de Florianópolis

O ETL ESTÁ EM UM CONTEXTO MAIOR...

GESTÃO DE DADOS

Em um futuro próximo, concorrentes domesmo nicho, serão muito semelhantes emtecnologia, metodologia, ERP...

O DIFERENCIAL SERÁ O CAPITAL INTELECTUAL...

OS ATIVOS INTANGÍVEIS!

• Marca

• Reputação

• Conhecimento de negócio

• Qualificação da equipe

• Dados corporativos de qualidade...

"Uma campanha de imunização tem um custo: seringas, a vacina, pessoal, transporte, divulgação.

Porém, o valor da população imunizada é intangível".

PORTAIS CORPORATIVOS, GED, INTRANETS, EXTRANETS

, SISTEMAS DE BUSINESS INTELLIGENCE ...

SÃO FERRAMENTAS DE GESTÃO DE PARTE DOS

ATIVOS INTANGÍVEIS

A GESTÃO DE DADOS PODE SER USADA EM

DIVERSOS CONTEXTOS...

Depois do ataque as torres gêmeas,

Hank Asher dono da SEISINT analisou a

situação

Acessou o Banco de dados SESINT com

mais de 10 bilhões de informações sobre

residentes, imigrantes, datas de nascimento

,atividade profissional, obitos...

Utilizando técnicas de Data Mining,

produziu uma lista de mais de 1200

suspeitos

A sede da empresa na Flórida se tornou um QG temporário

da CIA e do FBI

Posteriormente verificaram que cinco dos

sequestradores identificados estavam na

lista original

Em 2004 a SESINT foi

vendida por U$ 775 MILHOES

de dólares para a LEXIS NEXIS

Análise

SEISINT

Dado no limite da segurança e da

privacidade

Dado como elemento preditivo e alavancador

de negócios

Cases como este, envolvem processos de integração de dados...

Também chamado de ETL

EXTRACT

TRANSFORM

LOAD

“EXTRAÇÃO TRANSFORMAÇÃO e CARGA”

Origem

Transformações

Carga

Integração de

Sistemas

Migração de

Sistemas

Em SP é possível solicitar ao PROCONbloqueio de ligações de CALLCENTER

PROCON disponibiliza um WebServicespara consulta

Solução: Integração para consultar noWebService os números que serão discadose se necessário invalidá-los

Business Intelligence ou B.I.

DECISÃO!

“Business Intelligence é um sistema de suporte

a tomada de decisão.“Visão

Estratégia

Objetivos

Fatores Críticos Sucesso

Definição de KPIs

Iniciativas e Ações Chave

SSIS = SQL SERVER INTEGRATION SERVICES

Criado em 2005 e disponibilizado juntoMicrosoft SQL SERVER

Interface visual para a integração de dados,estruturada no Visual Studio

Recursos avançados de Debug e visualizaçãode dados no pipeline

Integração total com as ferramentas Microsofte desempenho diferenciado

Conceito de Solutions

Integrações segmentadas em pacotes DTSX

Pacotes DTSX utilizam componentes

Determinar Origem

Transformações

Destino

Arquivo com colunasdelimitadas por virgulase valores separados poraspas duplas

“Nome”

"Email“

"Cidade“

"Cep“

"Endereco“

"DtNascto"

Clientes com email do hotmail devemser importados com Status diferenciadodevido a problemas com o AntiSpam

CREATE DATABASE ProjetoETL

go

USE ProjetoETL

go

CREATE TABLE Clientes (

id int identity(1,1) primary key,

Nome varchar(255) default NULL,

nuNivel varchar(50) default NULL,

Email varchar(255) default NULL,

Cidade varchar(50) default NULL,

Cep varchar(255) default NULL,

Endereco varchar(255) default NULL,

FlStatus varchar(1) default NULL,

DtNascto Datetime default NULL,

)

go

Clientes com email do hotmail devemter status diferenciado...

Adicionar um derived column com aseguinte expressão

(FINDSTRING(Email,"hotmail",1) != 0) ? "I" : "A"

Origem

Transformações

Destino

Componente DataFlow

Finalmente realizamos a carga com umOLE DB Destination, direcionando aoDatabase ProjetoETL tabela clientes.

Arquivo com colunas delimitadas porvirgulas e valores separados por aspasduplas

deProduto

vlrPrecoCusto

deDepartamento

acervo

Utilizar o campo ACERVO do arquivo txt paradividir o fluxo de dados

Realizar esta tarefa usando o componenteConditional Split

Use ProjetoETL

GO

create table ProdutosAcervo(

id int identity(1,1),

deProduto varchar(100)

)

go

create table ProdutosLancamento(

id int identity(1,1),

deProduto varchar(100)

)

go