Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo...

35
Fases do projeto Uma visão multiplataforma, seus documentos e sistemas de apoio. Business Intelligence Roberto Oliveira

Transcript of Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo...

Page 1: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

1

Fases do projetoUma visão multiplataforma, seus documentos e sistemas de apoio.

Business Intelligence

Roberto Oliveira

Page 2: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

2

Sobre o Autor

Roberto Oliveira

Data Rain Maker

@data_rainmaker linkedin.com/in/robertooliveira/

www.robertooliveira.com.br

Page 3: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

3

Conteúdo1 Introdução

2 Sobre o autor

3 Dedicatória

4 Prefácio

5 Para quem é este livro

6 Estrutura do livro

7 Análise Guiada

8 Data Literacy

9 Metodologia People First

10 Criação do centro de Competência

11 Minimum Viable Data

12 Definição da área piloto

13 Levantamento de requisitos

14 Criação do protótipo

15 Desenvolvimento do DataMart (ETL)

16 Desenvolvimento das telas

17 Testes internos com evidências

18 Homologação e Validação de UX

19 Utilização assistida

20 Sustentação do projeto

21 Documentação e Aceleradores para seu projeto

Page 4: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

4

Capítulo 01

Analise GuiadaProjetos de business intelligence tradicionais

Page 5: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

5

Fases do Projeto de Business Intelligence®Publicado por Roberto OliveiraSão Paulo - SP Brasilrobertooliveira.com.brCopyright © 2019

Nenhuma parte desta publicação pode ser reproduzida, armazenada em um sistema de recuperação ou transmitida de qualquer forma ou por qualquer meio, eletrônico, mecânico, fotocópia, gravação, escaneamento ou outro sem a prévia permissão do Editor, ou autorização através do pagamento de taxa apropriada por cópia.

Solicitações ao Editor para permissão devem ser endereçadas pelo site do autor robertooliveira.com.br

IntroduçãoIntrodução

Page 6: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

6

Roberto Oliveira é Professor de pós-graduação no Senac e um veterano da tecnologia, analista de sistemas, responsável por projetos de Business Intelligence em empresas de grande porte as 10 anos, possui ampla experiência na fase de levantamento de requisitos e engenharia de software. Têm palestrado em eventos da ABRACD e é o responsável pelo QMeeting.

Sobre o autor

Agradeço aos alunos que tornaram esse conhecimento possível uma vez que me incentivaram ao longo dos últimos anos com seus elogios e o carinho inigualável para me manter motivado apesar de todas as dificuldades.

Agradeço a minha esposa pela dedicação e paciência, muito obrigado também à inúmeras pessoas que passam todos os dias pela minha vida, seja pelo Skype, pelas redes ou pelos cursos e acham que aprendem comigo, mas não sabem que eu aprendo muito mais com elas.

Dedicatória

Page 7: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

6

Esse livro é um sonho meu: um livro gratuito que ensine aos amigos como iniciar um projeto de business intelligence sem perder tempo ou dinheiro.

A inteligência de negócios, no seu núcleo, preocupa-se em deixar disponível toda a informação necessária para que a tomada de decisão seja a mais eficaz possível, sem o Business Intelligence seria quase impossível acompanhar o fluxo maciço de informações que existem hoje dentro de qualquer empresa.

O foco desta obra é mostrar as fases de um projeto de business intelligence de uma maneira moderna e arrojada indo de encontro com as velhas técnicas e talvez almejando uma maior taxa de sucesso.

Para quem se destina este livro

Tentamos fazer com que este livro fosse útil para muitas categorias de leitores. Primeiro, os gestores de projeto (novatos e experientes) encontrarão explicações sobre as fases, documentação e implementação de um projeto de análise de dados.

Eles também terão uma ideia da maioria dos problemas que poderão enfrentar durante o projeto, juntamente com instruções para se sair bem de cada situação.

Compreender os mecanismos envolvidos no desenvolvimento de Dashboards e do ETL irá capacitá-los a lidar com problemas imprevistos.

Prefácio

Page 8: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

6

Este livro tem sua origem em um compilado de experiências do seu autor e equipe nos mais diversos projetos de business intelligence, passamos por negócios variados tais como: Setor farmacêutico, agronegócio, telemarketing, telefonia, governo, turismo, bancos e outros mais.

Separei as apresentações do assunto de acordo com o objetivo do projeto, hoje com o advento do Self Service BI temos duas propostas de projeto, na estratégia da análise guiada existe a necessidade de alguns indicadores e visões e o departamento de BI cria um ambiente para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões.

O Self Service BI tão falado e aclamado está ligado a onda da democratização dos dados, porém muitos tem a expectativa de que com isso irão diminuir o trabalho de TI e passar a responsabilidade para os departamentos do negócio, se isso acontecer a governança dos dados estará comprometida e a infraestrutura tende a não suportar.

Você verá que, para qualquer uma das abordagens vamos iniciar com uma série de workshops e treinamentos para "educar" nosso usuário.

Nesta metodologia admitimos que existe um tripé que sustenta o projeto de BI, o famoso PPP (Plataforma, Processo e Pessoas) e somos bem firmes em acreditar que a parte mais importante é a humana, as pessoas que fazem o projeto dar certo ou errado, são elas que fornecem o feedback e o veredito final, minha equipe se dedica bastante em traze-los para dentro do projeto e treina-los nesta nova cultura.

Este ebook é sobre análise guiada, no final do livro veja como ter acesso ao ebook sobre projetos de self servisse bi.

Vamos promover a cultura dos dados. (abaixo ao achismo...)

Estrutura do livro

Page 9: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

Metodologia deste livro - People Firstw/ Governance

PFWG

Podemos chamar a metodologia apresentada aqui de "People First w/Governance", isto é uma nova estratégia de gestão de projetos queprioriza a valorização das pessoas. Todo o sucesso do projeto é medidopela aderência aos processos diários da empresa.

Outro ponto importante desta metodologia são os controles(documentos) e processos internos criados para dar suporte ao timede business intelligence, estes documentos estão listados no últimocapítulo e poderão ser fornecidos mediante interesse.

5

Page 10: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

Metodologia deste livro - People Firstw/ Governance

A cultura analítica

Passamos por uma dificuldade enorme para a adoção dacultura analítica pelas empresas e a troca de mindset pelosexecutivos "da velha escola" onde a informação deve sertrancada a 7 chaves ao invés de distribuída e aberta.

Atender às demandas dos negócios em constante mudançaexige ferramentas que sejam fáceis de implementar, ofereçamuma arquitetura flexível e, ao mesmo tempo, trabalhem comaltos níveis de segurança e padrões de governança. Tudo issoaliado a valores de entrada justos para vários tamanhos decorporação, uma das ideias é utilizar a nuvem para diminuir adificuldade em acessar estes tipos de ferramenta.

5

Page 11: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

7

Capítulo 1 - Análise Guiada

Conceito Geral de Guided Analytics

Normalmente é um tipo de projeto mais tradicional, após os

requisitos serem levantados em um departamento, uma equipe fica

responsável em extrair os dados e criar os painéis.

Estes dados poderão ser filtrados e cruzados mas qualquer

mudança necessária deve ser enviada a equipe para ser verificado e

adicionado ao projeto padrão.

Page 12: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

7

Capítulo 1 - Análise Guiada

Vamos ter as seguintes fases de projeto:

1. Data Literacy2. Criação do Centro de Competência3. Definição da área piloto4. Levantamento de requisitos5. Criação do protótipo6. Desenvolvimento do Datamart (ETL)7. Desenvolvimento das telas8. Testes internos com evidências9. Homologação e Validação de UX10. Utilização assistida11. Sustentação

Page 13: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

8

Data Literacy

Conceito geral

Segundo a consultoria Gartner, Data Literacy é a capacidade de ler, escrever e comunicar dados de forma contextual.

A “alfabetização em dados” pode ser definida como um conjunto dehabilidades que englobam duas áreas máximas do conhecimento:capacidade de usar os dados e capacidade de analisar os dados.

Todos concordam que não somos preparados durante nossos anos deestudo para trabalhar com os dados, a não ser que você esteja na áreade estatística, matemática ou computação qualquer outra área não temtanta preocupação com esses ensinamentos. Na prática quase todos oscolaboradores de sua empresa deve saber verificar a qualidade dosdados, separá-los, avaliá-los, contextualizá-los e usá-los para comporestratégias de negócio em reuniões com uso de Data Storytelling.

Page 14: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

Data Literacy

Objetivo

Na metodologia colocamos esta fase em primeiro lugar porque ousuário é a ponta mais importante de um projeto de BI, seja qual for asua posição e nível de decisão na empresa, nosso objetivo é ter 100%de adesão da cultura de bi nos processos internos da empresa,inclusive fomentando um crescimento natural dos painéis disponíveis.

Como fazer

Esta primeira fase é composta por avaliações, workshops etreinamentos afim de deixar todos no mesmo patamar deconhecimento em dados, existe um conteúdo básico que deve serpassado a todos para no final ser realizado uma prova de certificaçãoem Data Literacy, esta prova é online e fornece um certificadoreconhecido no mundo inteiro. Para ter acesso a um modelo deavaliação inicial, as formas de treinamento gratuito e a certificaçãoverifique no último capítulo deste ebook como ter acesso a estadocumentação e curso.

Page 15: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

Criação do Centro de Competência

Após todos estarem certificados com o Data Literacy podemos

observar aqueles que possuem mais facilidade para utilizar os dados

no dia a dia, em cada área da empresa teremos os famosos "Power

Users", estes usuários irão se engajar mais no projeto e ajudar no

sucesso da empreitada, nesta fase vamos criar um grupo onde

obteremos uma cumplicidade com o business intelligence, este grupo

não precisa ser muito burocrático, na verdade quanto mais divertido

melhor, se possível a empresa deve fornecer brindes, camisas e mais

cursos de capacitação para os integrantes afim de manter a motivação

e a unidade deste centro de competência.

Conceito Geral

Este Centro de Competência é uma equipe multifuncional com tarefas, funções, responsabilidades e processos específicos para apoiar e promover o uso eficaz do BI em toda a organização.

Basicamente, o que faz um Centro de Competência

1. Integra diferentes áreas da organização para pensar e agir em business intelligence.2. Gerencia a execução da estratégia de BI.3. Promove a disseminação da cultura de dados.4. Define, organiza e prioriza projetos de BI.5. Faz o treinamento das equipes para compreensão das ferramentas.6. Garante aspectos como padrões, segurança, conformidade, controle de processos,

custos e entregas

Page 16: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

Criação do Centro de Competência

Como fazer

Crie uma estratégia para seu projeto de business intelligence e reunaestas pessoas de vários departamentos (ideal de 6 a 9 pessoas) numasala, tente definir os papeis que cada uma pode assumir dentro desuas capacidades , alcance e interesse, veja quais são os papeis quedevemos definir dentro do centro de competência.

Perfis e papeis dentro do centro de competência de BI

Data Producer

O Data Producer é a pessoa que gera o dado, tem uma visão porassunto, por exemplo: um auditor que visita um estabelecimento devarejo para verificar alguns pontos, preenche uma pesquisa ondefornece notas de 0 a 5 para vários quesitos, estas notas compõem osdados que serão fornecidos para análise.

Esta pessoa pode tirar dúvidas referentes ao conceito de cada registro e em quais condições eles foram coletados.

Data Owner

O Data Owner é a pessoa que centraliza o gerenciamento do dado,tem uma visão de vários assuntos, geralmente de uma área especificae logo após o dado ser gravado no repositório. Ele é a pessoaresponsável pelo dado na sua origem, ele gerencia os Data Producer,geralmente as dúvidas recaem sobre este papel e ele se comunica como Data Producer.

Page 17: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

Criação do Centro de Competência

Outras atribuições:

• disponibilizar acesso a fonte de dados,• conhecer a semântica inicial dos campos,• cadastro da origem dos dados,• gerenciamento da validade e abrangência dos dados,• certificação da acuracidade, completude e qualidade dos dados,• gerenciamento dos dados de terceiros.

Data Stewards

O Data Stewards possui a responsabilidade de distribuir a informação, enquantoo Data Owner olha para a base o Data Stewards olha para os Data Consumers,ou seja, tem uma visão no destino dos dados.

Esse papel lida com a entrega da informação e esta entrega pode ser noformato bruto (raw data), na forma de relatório com alguns camposselecionados, registros filtrados ou até agrupados. Não confunda este papelcom o papel de um Desenvolvedor que cria dashboards, este profissionalgerencia a entrega, não quer dizer que ele cria as interfaces, ou seja, nãoprecisa ser alguém de TI ou programador.

Este profissional é chamado quando a informação não está chegando até você ou quando você deseja mais informações.

Outras atribuições:

• disponibilizar acesso aos relatórios ou visões,• gerenciar os perfis de acesso juntamente com a segurança dos mesmos,• verificar a cadeia de suprimentos dos dados,• cuida da governança dos dados,• conhece bem os modelos de dados criados e possíveis.

Page 18: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

Criação do Centro de Competência

Bi Owner

Este papel é o dono da regra de negócio, enquanto o Data Owner podedizer de onde vem o dado e como está a sua qualidade o Bi Ownersabe onde e como utilizar este dado, geralmente é acionado paraexplicar cálculos de indicadores chave, os famosos KPIs. Sua visão épara a estratégia da empresa.

* KPI é a sigla para o termo em inglês Key Performance Indicator, que significa indicador-chave de desempenho.

Esse calculo é utilizado para medir o desempenho dos processos deuma empresa e, com essas informações, colaborar para que alcanceseus objetivos.

Então, se precisar saber ou mudar algumas regras dentro de umaplataforma de análise de dados você deve falar com o Bi Owner.

Outras atribuições:

• gerenciar os indicadores e a forma de calculo,• homologar os resultados com a fonte anterior da informação,• gerenciamento da validade e abrangência dos indicadores ou regras,• cuidar da evolução da plataforma de análise,• estar alinhado com os objetivos da empresa para sugerir mudanças e novos

indicadores,• é o fiel curador das informações,• cuida da cultura analítica da empresa promovendo Workshops e

treinamentos.

Page 19: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

Tipos de decisão e seus impactosOperacional, Tático, Estratégico.

Decisões Operacionais

Decisões ligadas ao controle e às atividades operacionais da empresa, para alcançar ospadrões de funcionamento pré-estabelecidos, com controles do detalhe ou doplanejamento operacional, criando condições para a realização adequada dos trabalhosdiários da organização, com nível de informação de pormenores de um dado, uma tarefaou uma atividade.

Neste nível devemos ter os detalhes da informação, tais como: número da nota fiscal ou CPF do cliente.

Decisões Táticas

Decisões que ocorrem no nível gerencial e produzem efeitos a médio prazo e de menorimpacto na organização, com informações sintetizadas por unidade departamental, de umnegócio ou uma atividade da empresa.

Neste nível a informação já está sumarizada por equipes ou por mês.

Decisões Estratégicas

Decisões da alta administração que geram atos com efeito duradouro, a partir doplanejamento estratégico, como por exemplo, uma nova fábrica, nova linha de produção,novos mercados, novos produtos, novos serviços, que envolvem toda a estruturaorganizacional, com informações macro, ou seja, utilizam informações internas e externas.

Neste nível podemos ter a informação da empresa cruzada com informações de fora:Indicadores sócio-econômicos, Pesquisa de mercado ou dados de concorrência.

Page 20: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

Conceito de Minimum Viable Data (MVD)

Conceito Geral

Minimum Viable Data é a menor quantidade de dados necessária para tomaruma decisão efetiva, é um conjunto mínimo de dados que permite umaorganização tomar decisões com um custo baixo e sem mudanças bruscas nosprocessos.

Ao avaliar quais conjuntos de dados são essenciais para manter assegure-se deque você tenha um ciclo de feedback para medir a experiência do usuário naconstrução das análises e, se estiver faltando algo, introduzir novos campos aospoucos.

Um dos grandes problemas em um projeto de business intelligence é apreparação dos dados, a quantidade e o estado dos dados torna esta fase amais dispendiosa, uma parte das consultorias tecnológicas estão propondo estanova abordagem:

menos dados (-) / mais efetividade (+).

Com menos dados é mais fácil garantir a consistência e diminuir o risco de exposição das informações.

Este conceito se assemelha muito ao conceito de MVP (Minimum ViableProduct)

Um MVP é uma versão mínima de um produto, apenas com as funcionalidades necessárias para que ele cumpra a função para a qual foi planejado.

A partir do MVP testa-se a eficiência do produto, sua usabilidade, aceitação no mercado, comparação com a concorrência, entre outras formas de validar.

Page 21: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

Conceito de Minimum Viable Data (MVD)

Perceba que cada versão do dado deve ser suficiente para a análise para qual ele foi reunido ou criado, não esqueça que enviamos astronautas para a lua usando computadores com apenas 2 Kb de memória RAM!

"O MVD SE TORNA BIG QUANDO SE TEM UMA PARTICIPAÇÃO MASSIVA DE PENSADORES QUE, DE FORMA INDEPENDENTE, ANALISAM PEQUENOS CONJUNTOS

DE DADOS E DE LÁ TIRAM VALOR COMPARTILHANDO COM TODOS.“

A grande maioria dos dados nunca é usada. Na verdade apenas 0,5% de todos os dados é, em algum momento, analisado. Antonio Regalado (Editor sênior) –MIT Technology Review

O que é simples é melhor e elegante

Minimum...

Só porque chama "Minimum" não significa que você terá menos valor. Você nãoprecisa ser um cientista de dados para entender ou aplicar nas tarefas diárias, ese você estiver criando ou usando algum aplicativo para extrair inteligência deseus dados.

"Minimum" significa torná-lo fácil de acessar, construir painéis específicos ecompartilhar relatórios, modelos e ideias com os membros da sua equipe.

Page 22: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

8

Definição da área piloto

Conceito geral

Com todo treinamento e planejamento realizado até o momento vocêjá deve ter identificado a área e as pessoas com mais maturidade paraparticipar do projeto piloto, este projeto é um esforço temporárioempreendido para testar a viabilidade de um projeto maior em toda aempresa onde podemos testar métodos e possivelmente errar semmuito impacto, podemos utiliza-lo para "vender" os projetos em áreasestratégicas onde teremos maior custo de recursos e tempo.

Como fazer

Primeiro escolha uma área periférica da empresa (Marketing, RH, TI)onde temos "power users" e mentores que vão facilitar o andamentodas atividades depois pontuar 2 ou 3 objetivos que, quando atingidos,nos dará a certeza da entrega com sucesso.

Page 23: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

8

Levantamento de requisitos

Nos projetos de business intelligence tradicionais, ou seja, com a premissaque as análises serão guiadas esta é uma das fases mais importantes para osdesenvolvedores, é aqui que conseguimos ver a complexidade e o esforçonecessário para entregar o projeto.

Existem uma série de informações que devem ser coletadas e organizadasafim de nortear todo o trabalho, nesta fase também podemos definir os"goals" para poder atingir e medir o sucesso do projeto.

Os objetivos da Engenharia de Requisitos para o Business Intelligence

• Investigação de objetivos, funções e restrições de um painel de indicadores ou dashboard

• Gerar estratégias para converter objetivos vagos em restrições específicas• Compreender prioridades e graus de satisfação• Estimar custos, riscos e cronogramas• Integrar conceitos, representações e visões múltiplas• Avaliar estratégias de soluções alternativas que satisfaçam os requisitos• Obter uma especificação completa, consistente e não ambígua• Obter especificações que sejam apropriadas para as atividades de design e

implementação do BI

Page 24: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

8

Criação do protótipo

O protótipo é a tangibilização de uma ideia, a passagem do abstrato para o físico de forma a representar a realidade – mesmo que simplificada – e propiciar validações de conceitos.

Nos projetos de BI criar um protótipo é a mesma coisa que diminuir o retrabalho, eu procuro aprovar o protótipo antes de iniciar o desenvolvimento das telas, nestes casos o usuário pede menos ajustes quando vê a tela real criada.

Benefícios da prototipação

Melhorar a comunicação entre os desenvolvedores e o usuário final;Identificar de forma ágil os requisitos que não foram aplicados;Reduzir o retrabalho no desenvolvimento do projeto.

Como fazerExistem alguns softwares para prototipação como o MS-Visio ou o Lucidchart, neste último é só abrir uma conta e iniciar um novo rascunho, você recebe uma folha em branco e arrasta e solta os objetos. Fácil assim!

Outra indicação é o: https://www.mockuptiger.com/

Umas das técnicas que mais utiliza a prototipação é o Design Thinking, quando terminar este livro inicie a leitura do ebook desenvolvido pela MJ.

Press disponível neste link: https://goo.gl/Xz8mSY

Page 25: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

8

Desenvolvimento do DataMart (ETL)

Data Mart são banco de dados para consulta porém geralmente possuem o escopo restrito, ou seja, se referem a um assunto somente.

A intenção do Data Mart é dividir a centralização de dados única de um Data Warehouse e levar essa consulta de dados para responsabilidade de cada departamento.

Hoje em dia é muito comum começar com pequenos data marts e depois do processo maduro juntar tudo em um Data Warehouse.

O que significa ETL?

• “Extract”: extrair informações dos sistemas legados;• “Transformation”: transformar, limpar, formatar a informação, sem

mudar as propriedades originais;• “Load”: preparar a informação para a camada de apresentação.

Page 26: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

8

Desenvolvimento do DataMart(ETL)

Algumas ferramentas de ETL:

• Business Objects Data Integrator• IBM Data Stage• Informatica PowerCenter• SSIS – (Microsoft SQL Server)• OWB – Oracle Warehouse Builder• ODI – Oracle Data Integrator• SAS – Enterprise ETL Server• Pentaho

Ferramentas como o Qlik Sense realizam o ETL utilizando um script próprio bem poderoso onde podemos realizar praticamente todos os movimentos e transformações necessários nesta fase.

Conceitos utilizados no ETL:

• Medida• Informação numérica proveniente da medição das

transações da empresa• Tabela fato

• Principal tabela no Datamart onde as medidas são armazenadas

• Tabela dimensão• Contém as informações descritivas e qualificadores

do negócio.

Page 27: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

8

Desenvolvimento do Data Mart (ETL)

i. Grãoi. Menor nível de informações existente no DW e definida pelas

dimensões ligadas às tabelas fato.ii. Surrogate Key

i. Chave substituta gerada no DW. É a chave primária das tabelasiii. Business Key

i. Chave primária do transacional. Utilizada como chave de negócioiv. Hierarquia

i. Conjunto de atributos que possui uma ordem lógica do maior ao menor nível

v. Atributoi. Campo descritivo referente a uma dimensão

vi. Modelagem dimensionali. Técnica de projeto lógico normalmente usada para datawarehouse

que contrasta com a modelagem entidade-relacionamento.

Segundo o prof. Kimball, a modelagem dimensional é a única técnica viável para bancos de dados que devem responder consultas em um datawarehouse. Ainda segundo ele, a modelagem entidade-relacionamento é muito útil para registro de transações e para fase de administração da construção de um data warehouse, mas deve ser evitada na entrega do sistema para o usuário final.

A modelagem multidimensional foi definida sobre dois pilares:

• Dimensões Conformados,• Fatos com granularidade única.

Dimensões conformados diz respeito a entidade que servem de perspectivas de análise em qualquer assunto da organização. Uma dimensão conformada não possui atributos conflitantes com um ou mais datamarts. Por grão de fato entende-se a unidade de medida de um indicador de desempenho.

Page 28: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

8

Desenvolvimento das telas

Esta fase é toda baseada nos documentos gerados anteriormente, é muito importante que estes documentos estejam completos para que não haja atraso na configuração das telas e objetos gráficos.

Para facilitar seu entendimento segue as informações necessárias ao se criar uma visão:

1) Layout geral

- Este layout é como um template onde temos alguns objetos que não

fazem parte das análises mas ajudam na experiência do usuário, estes

objetos podem ser botões, logotipos, rodapé, faixas.

- Procuramos levantar com a equipe de endomarketing qual será a

identidade visual que devemos utilizar na visão.

2) Comportamentos da tela

- Como a tela deve se comportar quando o usuário acessa-la? por exemplo,

é muito comum o uso de algum filtro pré-determinado, ou existir um menu

onde podemos navegar por todo conjunto de visões.

Page 29: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

8

Desenvolvimento das telas

3) Lista de objetos de análises

- Qualquer gráfico ou tabela podemos considerar um objeto de análise.

- Precisamos saber o tipo do objeto, as dimensões utilizadas, as medidas

necessárias, comportamentos esperados e se existem linhas de meta ou

outra forma de identificar padrões (como cores específicas).

4) Hierarquia dos indicadores

- Geralmente utilizamos um modelo que vai dos números mais

estratégicos, passa pelo números táticos ou gerenciais e pode chegar a uma

tabela com detalhes.

6 dicas para ter um dashboard de primeira linha

1. Transmita a informação mais importante primeiro2. Alinhamento ao centro é o mais recomendado3. Cores distintas devem ser usadas para criar destaques4. Diferentes cores denotam diferentes coisas (Semáforo)5. Quando se trata de gráficos, menos é mais6. Dê atenção a iconografia

Page 30: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

Testes internos com evidências

Após a finalização das telas partimos para verificar os números internamente, ou seja, a própria equipe de desenvolvedores deve ter acesso a relatórios de indicadores homologados e realizar comparações com os resultados apresentados no novo sistema, estes testes devem seguir um método simples e de fácil entendimento sempre evidenciando com "prints" da tela do computador quando está correto ou abrindo um "Bug ticket" para os erros encontrados.

* Bug ticket: Em projetos utilizando Kamban, Trello, Scrum ou outra metodologia ágil nunca executamos os ajustes quando os mesmos são encontrados, eles devem ser avaliados e gerenciados para não atrapalhar o bom andamento das sprints, o Bug ticket é uma anotação (ou novo Card) que entrará no fluxo de trabalho.

Como fazer

Geralmente os testes internos de um projeto de BI visa verificar primeiramente os resultados numéricos e depois o comportamento da tela, elementos como filtros, menus de navegação, mudança de idioma ou moeda podem apresentar erros e nesta fase podemos evitar que isso passe para a fase de homologação.

Planejamento dos testes: é onde será definido como os testes serão realizados tendo como base as restrições do cliente em relação a prazos, custos e qualidade esperada.

Page 31: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

Testes internos com evidências

Planejamento dos testes: é onde será definido como os testes serão realizados tendo como base as restrições do cliente em relação a prazos, custos e qualidade esperada.

Especificação dos testes: nessa atividade são especificados os cenários e casos de teste considerando os requisitos especificados e a necessidade de cobertura dos testes a serem realizados.

Preparação do ambiente de testes internos: Normalmente podemos utilizar o ambiente de desenvolvimento para efetuar alguns testes, se for o caso também pode ser utilizado o ambiente de homologação porém lembre que o sistema não foi apresentado ainda para o cliente homologar então não forneça acesso a todos neste momento.

Execução dos testes internos: É aqui que começa efetivamente os testes, geralmente de 4 a 8 horas já é suficiente para efetuar estes testes, não esqueça de documentar tudo, no último capitulo deste ebook você saberá como ter acesso a modelos de documentos que suportam esta fase.

Page 32: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

Homologação e Validação de UX

Homologar é a mesma coisa que confirmar, legitimar ou aprovar, emnosso caso o mais importante são os resultados numéricos, estaaprovação só pode ser feita pelo negócio e com base nos dadosoriginais, de acordo com o projeto pode ser realizado poramostragem, neste caso um ou dois dias devem ser suficientes.

UX é a sigla para User eXperience

O termo UX Analytcs é normalmente utilizado para descrever a relaçãode uma pessoa com uma interface de análise como um dashboard. Avalidação de UX deve ser um teste livre onde o usuário realiza umanavegação na tela e os desenvolvedores observam se houve algumentrave para encontrar funções, comportamentos ou resultados.

Após a homologação separe um tempo de projeto para os ajustes,normalmente esta etapa é necessária para aumentar a aceitação dosusuários ao sistema e torna-lo coautor.

Page 33: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

5

Utilização assistida

Nesta fase acompanhamos bem de perto a utilização dos painéisdisponibilizados, a ideia é oferecer um suporte rápido e efetivo para quenão haja problemas agora, imagine um acompanhamento como se fosseum mentoring, a velocidade de resposta diante das dificuldadesencontradas é importante para o sucesso do projeto, como se fosse umabola de neve que começa pequena e depois se torna grande epraticamente imparável.

Além dessa proximidade com o usuário procure utilizar alguns módulosde análise de uso como leitores de log, você deve saber quem estáutilizando a ferramenta, com qual frequência e quanto isso está afetandoo seu servidor, qualquer motivo de lentidão deve ser reconfiguradorapidamente, a plataforma deve ser rápida e interativa como se fosse oportal do "google".

Algumas informações importantes

• Uso de licenças• Visualização dos logs• Performance do servidor (CPU X RAM)• Tamanho de cada painel (em gb ou tb)• Uso dos painéis / sessões• Tempo médio de utilização• Quantidade de usuários concorrentes• Tempo de carregamento total dos dados• Quantidade de erros capturados

Page 34: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

Sustentação do projeto

Quando nasce seu primeiro filho quase sempre você não está preparadopara o que vai acontecer, você deve planejar e executar passos curtos e sepreparar para as surpresas no meio do caminho, deve se aconselhar comos mais experientes sabendo que cada criança possui suas peculiaridades,ou seja aprender e melhorar durante a jornada, a cada dia ele se tornarámais independente mas sempre precisará de um porto seguro.

O desafio do business intelligence é exatamente esse, saber que serádiferente para cada empresa, ter um objetivo em mente e disposição paramelhorar sempre, veja abaixo minha lista de dicas para você:

1. Separe um colaborador ou uma equipe para cuidar somente do sucesso do BI

2. Separe um budget para dar suporte as atividades de sustentação do BI3. Não queira ter resultados rápidos e piorar a qualidade dos números4. Envolva sempre as áreas de negócio na solução dos problemas5. Consiga o apoio direto e transparente da diretoria

Não pense que o projeto de BI vai terminar, esse é um engano muitocomum, ser uma empresa “data driven” não é somente instalar sistemas eprocessar os dados, é uma nova forma de fazer negócios, é um novo DNAcorrendo na veia da corporação.

O BI é uma iniciativa estratégica fundamental para o sucesso dasorganizações, mesmo quando existe uma estratégia definida, seja elasimples ou complexa, não costuma ser fácil da primeira vez, um pouco deresiliência da equipe sempre é bom.

Page 35: Roberto Oliveira · para consulta e exploração das informações, no outro caso temos um modelo de dados disponível e a área cria suas próprias visões. O Self Service BI tão

9

Convite

Continue estudando pelos artigos do Linkedin

https://www.linkedin.com/in/robertooliveira/