1. Arnaldo Auad Conceitos de Business Intelligence Guia Definitivo

2. Conceitos de Business Intelligence Guia Definitivo Termos e Condies Aviso Legal O escritor esforou-se para ser o to exato e completo quanto possvel na criao deste material, em todo o caso ele no garante em qualquer altura o contedo descrito devido s mudanas rpidas que ocorrem a todo o momento no mundo, incluindo o corporativo. Apesar de se ter feito todas as tentativas de se verificar toda a informao nesta publicao, o editor no assume qualquer responsabilidade por erros, omisses ou interpretaes erradas deste livro. Quaisquer referncias a pessoas especficas, organizaes no so intencionais e as situaes conhecidas esto corretamente identificadas ao final desta obra. Este livro no tem a inteno de ser usado como conselheiro legal, de negcios ou financeiro. Todos os leitores so aconselhados a procurar servios de profissionais competentes nos campos legais, de negcios e finanas. 3. Sumrio Um Pouco de Histria..........................................................................................6 Como tudo comeou.....................................................................................7 No compasso da evoluo da TI..................................................................7 Como o BI evoluiu de um EIS .........................................................................8 Novas transformaes ....................................................................................9 Histrico do Datawarehouse .......................................................................10 Alguns Conceitos teis......................................................................................11 A Evoluo das Anlises ...............................................................................12 Diferenas entre sistemas transacionais e analticos...............................13 OLAP.................................................................................................................14 Drill Across........................................................................................................15 Drill Down.........................................................................................................15 Drill Up ..............................................................................................................15 Drill Through.....................................................................................................16 Slice And Dice.................................................................................................16 Alertas ..............................................................................................................16 Ranking ............................................................................................................16 Filtros .................................................................................................................16 Sorts ..................................................................................................................16 Breaks ...............................................................................................................17 Pensando no projeto de BI...............................................................................18 Como iniciar um projeto de BI .....................................................................19 O caminho das pedras .................................................................................19 Arquitetura lgica comum em um projeto ...............................................21 Planejamento e metas..................................................................................21 Planejamento da Informao.....................................................................22 Passos para a construo de um modelo dimensional..........................25 Tipos de modelos dimensionais ...................................................................26 Modelo star schema......................................................................................26 O modelo snow flake.................................................................................26 Consideraes sobre ambos os modelos..................................................27 Como Criar um Modelo de Dados que Funcione....................................28 Datawarehouse ou Datamart ? ..................................................................32 As camadas de segurana..........................................................................35 Ferramentas, Plataformas e Perfis...................................................................37 4. Ferramentas de BI, plataformas e perfis de usurios ...............................38 O transacional e o analtico.........................................................................39 Solues de Front End ...............................................................................40 Respondendo s necessidades...................................................................42 Opes para todos os gostos......................................................................43 EIS......................................................................................................................43 DSS ....................................................................................................................44 Metadados .....................................................................................................45 Ferramentas de back end............................................................................45 Garimpagem dos dados ..............................................................................46 Dificuldades no caminho .................................................................................48 Dificuldades para implementar projetos de BI .........................................49 Interpretao correta ...................................................................................50 Por que as falhas ocorrem............................................................................51 Ter ou no ter um repositrio de dados.....................................................51 Uma implementao bem sucedida.........................................................53 Os Benefcios do B.I ...........................................................................................55 Benefcios propiciados pelo BI.....................................................................56 A rdua tarefa de implementar..................................................................57 Lies aprendidas..........................................................................................58 Limpeza dos dados........................................................................................59 Homem: implemento fundamental............................................................60 Indicadores de sucesso.................................................................................61 Implementaes bem sucedidas ...............................................................62 Mil e uma utilidades.......................................................................................63 Estratgias Vencedoras em BI.........................................................................66 BI em segmentos verticais ............................................................................67 Estratgias diferenciadas..............................................................................68 O setor comercial e a previso do futuro..................................................69 Conhecimento e marketing.........................................................................70 Finanas e BI ...................................................................................................71 Integrao de BI com outras tecnologias.................................................73 A primeira onda .............................................................................................74 Sopa de letrinhas ...........................................................................................75 O alvo o relacionamento com o cliente................................................76 Tecnologia a servio da eficincia.............................................................78 5. Casamento perfeito ......................................................................................79 Uma Viso de Futuro.........................................................................................82 Mercado e tendncias futuras ....................................................................83 Um quadro geral do Brasil ............................................................................85 Fontes consultadas ........................................................................................88 Sobre o Autor..................................................................................................89 Recomendaes ...........................................................................................89 6. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO Um Pouco de Histria 6 7. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO Como tudo comeou Ao contrrio do que se possa imaginar, o conceito de Business Intelligence bastante antigo. Observar e analisar o comportamento das mars, os perodos de seca e de chuvas, a posio dos astros, entre outras, eram formas de obter informaes que eram utilizadas pelos fencios, persas, egpcios e outros povos do oriente para tomar as decises que permitissem a melhoria de vida de suas respectivas comunidades. Atualmente o interesse pelo BI vem crescendo na medida em que seu emprego possibilita s corporaes realizar uma srie de anlises e projees, de forma a agilizar os processos relacionados s tomadas de deciso. o que defende Howard Dresner, vice-presidente da empresa Gartner Inc. Assim como ele, os norte-americanos ganharam fama pelo desenvolvimento das modernas ferramentas de BI. Mas em termos de registro histrico, Yves-Michel Marti, cientista, professor e fundador da Egideria, uma das maiores empresas europeias de consultoria em Business Intelligence, clama para o Velho Continente o bero e a aplicao pioneira do conceito de BI, o que teria acontecido muito antes de Howard Dresner ter nascido. No compasso da evoluo da TI Pela tica da tecnologia, a era que podemos chamar de "Pr-BI" est num passado no muito distante - algo entre trinta e quarenta anos atrs - quando os computadores deixaram de ocupar salas gigantescas, na medida em que diminuram de tamanho e, ao mesmo tempo, as empresas passaram a perceber os dados como uma possvel e importante fonte geradora de informaes decisrias. No entanto, naquela poca ainda no existiam recursos eficientes que possibilitassem uma anlise consistente desses dados para a tomada de deciso. Era possvel reunir informaes de maneira integrada, fruto de sistemas transacionais estabelecidos com predominncia em dados relacionais, mas que, reunidos como blocos fechados de informao, permitiam uma viso da empresa, mas no traziam ganhos decisrios ou negociais. 7 8. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO Era a poca em que se via o computador como um desconhecido, um vislumbre de modernidade, mas que ainda parecia ser uma realidade distante. No incio dos anos 90, a maioria das grandes empresas contava somente com Centros de Informao que embora mantivessem estoque de dados, ofereciam pouqussima disponibilidade de informao. O mercado passou a se comportar de modo mais complexo e a tecnologia da informao progrediu rumo ao aprimoramento de ferramentas de software, as quais ofereciam informaes precisas e no momento oportuno para definir aes que tinham como foco a melhoria do desempenho no mundo dos negcios. Entre 1992 e 1993 surgiu o Datawarehouse que uma grande base de dados informacionais, ou seja, um repositrio nico de dados considerado pelos especialistas no assunto como a pea essencial para a execuo prtica de um projeto de Business Intelligence. Na avaliao de alguns consultores importante que a empresa que deseja implementar ferramentas de anlise disponha de um repositrio especfico para reunir os dados j transformados em informaes. Como o BI evoluiu de um EIS Mas o desenvolvimento tecnolgico ocorrido a partir da dcada de70 e nos anos posteriores possibilitou a criao de ferramentas que vieram a facilitar todo o processo de captao, extrao, armazenamento, filtragem, disponibilidade e personalizao dos dados. O Executive Information Systems , na verdade, um software que objetiva fornecer informaes empresariais a partir de uma base de dados. Permite o acompanhamento dirio de resultados, tabulando dados de todas as reas funcionais da empresa para depois exibi-los de forma grfica e simplificada, sendo de fcil compreenso para os executivos que no possuem profundos conhecimentos sobre tecnologia. A navegao feita por meio do uso do mouse ou do sistema "Touchscreen" o que no requer habilidade, nem prtica e nem necessidade de assistncia. Com o passar dos anos o termo Business Intelligence ganhou maior abrangncia, dentro de um processo natural de evoluo, abarcando uma srie de ferramentas, como o prprio EIS, e mais as solues DSS, 8 9. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO Planilhas Eletrnicas, Geradores de Consultas e de Relatrios, Datamarts, Data Mining, Ferramentas OLAP, entre tantas outras, que tm como objetivo promover agilidade comercial, dinamizar a capacidade de tomar decises e refinar estratgias de relacionamento com clientes, respondendo s necessidades do setor corporativo. A histria do Business Intelligence tambm est profundamente atrelada ao ERP sigla que representa os sistemas integrados de gesto empresarial cuja funo facilitar o aspecto operacional das empresas. Mas as empresas que implantaram esses sistemas logo se deram conta de que apenas armazenar grande quantidade de dados de nada valia se essas informaes se encontravam repetidas, incompletas e espalhadas em vrios sistemas dentro da corporao. Percebeu-se que era preciso dispor de ferramentas que permitissem reunir esses dados numa base nica e trabalh-los de forma a que possibilitassem realizar diferentes anlises sob variados ngulos. Por essa razo, a maioria dos fornecedores de ERP passou a embutir em seus pacotes os mdulos de BI, que cada vez mais esto se sofisticando. Novas transformaes Se at ento a aplicao deste conceito era a de levar informao a poucos empregados selecionados de uma empresa, para que fizessem uso em suas decises, a Internet transformou esse cenrio. Hoje, a rede permite disponibilizar solues de BI para um nmero maior de pessoas. Some-se a isso o novo consumidor, que se apresenta virtual, e para quem preciso direcionar aes em razo de suas reais necessidades. Para saber quais so essas necessidades cada vez mais uma empresa precisa ter agilidade comercial, capacidade de tomar decises e refinamento nas estratgias de clientes, tudo isso dentro do menor tempo possvel. Tambm nas empresas, atingir as metas passou a exigir um envolvimento corporativo maior e, ao mesmo tempo, a democratizao da informao. O Business Intelligence passou a ser encarado como uma aplicao estratgica integrada, estando disponvel por meio de simples desktops, estaes de trabalho e servidores mais parrudos da empresa. Atualmente, corporaes de pequeno, mdio e grande porte necessitam do BI para auxili-las nas mais diferentes situaes para a 9 10. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO tomada de deciso, e ainda para otimizar o trabalho da organizao, reduzir custos, eliminar a duplicao de tarefas, permitir previses de crescimento da empresa como um todo e contribuir para a elaborao de estratgias. No importa o porte da empresa, mas a necessidade do mercado. A maioria dos analistas veem a aplicabilidade eficiente de BI em todas as empresas, inclusive naquelas que apresentam faturamento reduzido, desde que analisado o fator custo/benefcio. Para que um projeto de BI leve a empresa rumo ao melhor desempenho preciso analisar muito bem alguns fatores: o quanto vai se gastar e o que se espera obter, ou seja, preciso o alinhamento objetivo do projeto com os interesses da empresa. No Brasil, solues de Business Intelligence esto em bancos de varejo, em empresas de telecomunicaes, seguradoras e em toda instituio que perceba a tendncia da economia globalizada, em que a informao precisa chegar de forma rpida, precisa e abundante porque a sobrevivncia no mercado ser medida pela capacidade de "Gerar conhecimento". O retorno que se espera de um sistema de BI depende das prioridades de cada empresa. A velocidade imposta pelos negcios na Web exige que se d, a quem decide, disposio e autonomia para agir. O Gartner, do mesmo Howard que deu nome ao BI, reconheceu que 2002 foi um ano que trouxe uma mudana na viso da aplicabilidade dos softwares. Histrico do Datawarehouse Para se entender o avano que culminou na chegada do conceito de Datawarehouse para a Tecnologia da Informao, preciso lembrar como evoluram os processos tecnolgicos na rea. Em decorrncia da revoluo industrial e das grandes guerras mundiais, o primeiro grande passo para os Datawarehouses foi dado. Surgiu ento, em 1946, o ENIAC, um grande computador construdo na Universidade da Pensilvnia, movido a 18.000 vlvulas e ocupando uma grande sala, ele conseguia executar 200 operaes por segundo. E em 1964, mquinas como o IBM System 360 j despontavam, como mquinas viveis para uso empresarial. 10 11. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO Os arquivos mestres eram armazenados em arquivos de fitas magnticas, que eram adequadas para o armazenamento de um grande volume de dados a baixo custo, mas apresentavam o inconveniente de terem que ser acessadas sequencialmente. Por volta de 1970, a poca de uma nova tecnologia de armazenamento e acesso a dados, havia chegado: a introduo do armazenamento em disco, ou DASD, surgiu um novo tipo de software conhecido como SGBD ou sistema de gerenciamento de banco de dados. Com o DASD e o SGBD surgiu a ideia de um "Banco de dados", tambm definido como uma nica fonte de dados para todo o processamento. O banco de dados promoveu uma viso de uma organizao "Baseada em dados", em que o computador poderia atuar como coordenador central para atividades de toda a empresa. Nesta viso, o banco de dados tornou-se um recurso corporativo bsico. Pela primeira vez as pessoas no estavam vendo os computadores apenas como misteriosos dispositivos de previso. Em vez disso, os computadores eram vistos como uma verdadeira vantagem competitiva. Com o surgimento dos bancos de dados relacionais a informatizao nas Empresas j acontecia a passos largos: as pessoas mais influentes e poderosas tinham acesso aos microcomputadores e a sua facilidade de uso aumentou muito. A chegada de novas tecnologias, como os PC's e as linguagens de 4 gerao, permitiu-se que o usurio final assumisse um papel mais ativo, controlando diretamente os sistemas e os dados, fora do domnio do clssico processamento de dados. Alguns Conceitos teis 11 12. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO A Evoluo das Anlises Com a evoluo das necessidades, as empresas comearam a perceber que poderiam analisar de forma otimizada seus dados, ou seja, descobriram que poderiam incrementar seus recursos de Business Intelligence. Nasce um novo conceito para a tecnologia da informao, aonde os sistemas informatizados passaram a pertencer a dois grupos: Sistemas que tratam o negcio: Do suporte ao dia a dia do negcio da empresa, garantem a operao da empresa, e so chamados de SISTEMAS TRANSACIONAIS; e; Sistemas que analisam o negcio: Sistemas que ajudam a interpretar o que ocorreu e a decidir sobre estratgias futuras para a empresa - compreendem os SISTEMAS DE SUPORTE A DECISO. Com a chegada de novas ferramentas tecnolgicas de anlise de informao, os gerentes comearam a exigir dos Sistemas Transacionais respostas s suas solicitaes. Como esses sistemas foram desenvolvidos para garantir a operao da Empresa, no estavam preparados para gerar e armazenar as informaes estratgicas necessrias a um Business Intelligence eficiente. Em atendimento s solicitaes dos gestores em relao deficincia da anlise de informao nos sistemas legados, surgiu no mercado os chamados Programas Extratores. Esses programas extraem informaes dos Sistemas Transacionais com o intuito de trabalh-las em outros ambientes. Alm disso, pelo fato de que os Sistemas Transacionais geravam um grande volume de dados e pela diversidade dos sistemas implantados nas empresas as pesquisas realizadas eram produzidas muito lentamente. Nos tempos do Clipper e do Cobol fazer um relatrio desse nvel significava perder muitas horas sobre o computador, pois se fazia necessrio que fossem extrados os dados de vrios sistemas, muitas vezes esses no conversavam entre si. Apesar dessas razes, importante salientar que possvel a prtica de Business Intelligence com os sistemas operacionais da empresa, e com outras fonte de dados, como planilhas eletrnicas e dados em papel, mas esse procedimento implica em grande possibilidade de equvocos, 12 13. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO j que esses dados so oriundos de vrias fontes independentes, e no possuem entre si relao de integridade. Outro fator importante que prejudicava as decises foi a falta de registro dos fatos histricos nos Sistemas Transacionais, pois estes trabalhavam com uma situao instantnea dos negcios. Para resolver este problema, comeou-se a estudar uma forma de se armazenar a informao contida nos sistemas transacionais numa base de dados central, para que houvesse integrao total dos dados da empresa. O nome dado a essa modalidade de Sistema de Apoio Deciso foi o Datawarehouse, ou em portugus, Armazm de Dados. Cabe ressaltar que as perspectivas e tcnicas necessrias para projetar o DATAWAREHOUSE so profundamente diferente dos SISTEMAS TRANSACIONAIS. Os usurios, o contedo dos dados, a estrutura dos dados, o hardware e o software, a administrao, o gerenciamento dos sistemas, o ritmo dirio, as solicitaes, as respostas e o volume de informaes so diferentes. Diferenas entre sistemas transacionais e analticos Numa arquitetura analtica o processo se inicia com a extrao, a transformao e com a integrao das informaes dos sistemas operativos e dados externos para um ODS. A seguir, os dados e metadados so transferidos para o DW. Abaixo elencamos as principais diferenas entre um sistema transacional (relacional) e um Sistema Analtico: Quantoasaplicaes Sistemas Transacionais Sistemas Analticos Orientadas a transaes Orientadas a consultas sobre todo o banco Automatizam os processos da empresa, facilitando a gerncia/controle dos negcios Utilizadas para comparar e analisar padres e tendncias. Trabalham com acesso a registros individuais. Grande volume de transaes rpidas. Trabalham em grupo de informaes Tempo de resposta em segundos Tempo de resposta de segundos a minutos 13 14. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO Acessa informaes de forma prdefinida A busca da informao feita de acordo com a necessidade do usurio. Otimizao para desempenho e disponibilidade dos dados Otimizao para interaes flexveis com o usurio final Usurios Sistemas Transacionais Sistemas Analticos Representado por operadores, treinados para manipular entrada de informao Analistas, gerentes, executivos e quaisquer usurios que necessitem de informaes para tomada de deciso. Acessam aplicativos pr- definidos. So capazes de consultas ad- hoc Suporte Ambiente Sistemas Transacionais Sistemas Analticos Acessa informaes de forma pr-definida A busca da informao feita de acordo com a necessidade do usurio. BancodeDados Sistemas Transacionais Sistemas Analticos Orientado para atualizao de transaes. Enfoque na consistncia dos dados. Orientado para consultas. Enfoque na confiabilidade dos dados Volume de dados razovel. Armazena Dados detalhados Grande volume de dados. Armazena Dados Sumarizados Otimizao do BD est voltada para atender s transaes Otimizao do DW orientada para atender s consultas que trabalham grande quantidade de registros Atualizao das informaes ocorre com frequncia. Atualizao dos dados feita em perodos estipulados. Dados correntes, atmicos, isolados, up-to-date. Dados histricos, integrados, sumarizados. OLAP Uma coisa possuir a informao. Outra a forma como a consultamos. Partindo dos primrdios da informatizao, quando um sistemas que gerava relatrios era a principal fonte de dados residentes na empresa, toda vez que uma anlise necessitasse ser feita, eram necessrios 14 15. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO produzir novos relatrios. Estes relatrios tinham que ser produzidos pela rea de informtica e, normalmente, precisavam de muito tempo para ficarem prontos. E, tambm, apresentavam os seguintes problemas: Os relatrios eram estticos; O acmulo de diferentes tipos de relatrios num sistema gerava um problema de manuteno. Ento surgiu o conceito de OLAP (On-Line Analytic Processing). O OLAP proporciona as condies de anlise de dados on-line necessrias para responder s possveis torrentes de perguntas dos analistas, gerentes e executivos. OLAP implementado em um modo de cliente/servidor e oferece respostas rpidas as consultas, criando um microcubo na mquina cliente ou no servidor. As ferramentas OLAP so as aplicaes que nossos usurios finais tm acesso para extrarem os dados de suas bases e construir os relatrios capazes de responder as suas questes gerenciais. Elas surgiram juntamente com os sistemas de apoio a deciso para fazerem a consulta e anlise dos dados contidos nos Datawarehouses e Datamarts. A funcionalidade de uma ferramenta OLAP caracterizada pela anlise multidimensional dinmica dos dados, apoiando o usurio final nas suas atividades, tais como: Slice and Dice e Drill. Caractersticas da anlise OLAP Drill Across O Drill Across ocorre quando o usurio pula um nvel intermedirio dentro de uma mesma dimenso. Por exemplo: a dimenso tempo composta por ano, semestre, trimestre, ms e dia. O usurio estar executando um Drill Across quando ele passar de ano direto para semestre ou ms. Drill Down O Drill Down ocorre quando o usurio aumenta o nvel de detalhe da informao, diminuindo o grau de granularidade. Drill Up O Drill Up o contrrio do Drill Down, ele ocorre quando o usurio aumenta o grau de granularidade, diminuindo o nvel de detalhamento da informao. 15 16. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO Drill Through O Drill Through ocorre quando o usurio passa de uma informao contida em uma dimenso para uma outra. Por exemplo: Estou na dimenso de tempo e no prximo passo comeo a analisar a informao por regio. Slice And Dice O Slice and Dice uma das principais caractersticas de uma ferramenta OLAP. Como a ferramenta OLAP recupera o microcubo, surgiu a necessidade de criar um mdulo que convencionou-se de Slice and Dice para ficar responsvel por trabalhar esta informao. Ele serve para modificar a posio de uma informao, alterar linhas por colunas de maneira a facilitar a compreenso dos usurios e girar o cubo sempre que tiver necessidade. Alertas Os Alertas so utilizados para indicar situaes de destaque em elementos dos relatrios, baseados em condies envolvendo objetos e variveis. Servem para indicar valores mediante condies mas no para isolar dados pelas mesmas. Ranking A opo de ranking permite agrupar resultados por ordem de maiores / menores, baseado em objetos numricos (Measures). Esta opo impacta somente uma tabela direcionada (relatrio) no afetando a pesquisa (Query). Filtros Os dados selecionados por uma Query podem ser submetidos a condies para a leitura na fonte de dados. Os dados j recuperados pelo Usurio podem ser novamente filtrados para facilitar anlises diretamente no documento. Sorts Os sorts servem para ordenar uma informao. Esta ordenao pode ser customizada, crescente ou decrescente. 16 17. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO Breaks Os Breaks servem para separar o relatrio em grupos de informaes (blocos). Por exemplo: O usurio tem a necessidade de visualizar a informao por cidades, ento ele deve solicitar um Break. Aps esta ao ter sido executada, automaticamente o relatrio ser agrupado por cidades, somando os valor mensurveis por cidades. 17 18. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO Pensando no projeto de BI 18 19. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO Como iniciar um projeto de BI Foi-se o tempo em que era possvel, para os gerentes e diretores, esperar meses ou semanas para obteno de relatrios sobre a performance de vendas ou das estratgias de marketing para s ento corrigir rotas e estipular novas aes. Demora para a tomada de deciso e planejamentos orientados apenas pelas impresses e intuio dos profissionais podem induzir a erros e condenar a empresa a, no mnimo, perder pontos para a concorrncia e reduzir seu poder de competitividade, o que numa economia globalizada pode ser fatal. Se at o passado recente era imprescindvel implementar sistemas transacionais para automatizar as operaes e otimizar os processos de trabalho, integrando a empresa como um todo, atualmente j se comea a perceber que apenas isso no mais suficiente. Muitos fatores colaboram para o crescimento desse setor, entre os quais a globalizao dos negcios, o crescimento das operaes via Internet e a evoluo da tecnologia wireless, que no conjunto foram as corporaes a no apenas buscar maior eficincia, como tambm, e principalmente, a serem mais geis nas decises e em aes efetivas. No h dvida de que os sistemas transacionais, como os ERPs, os CRMs e o Supply Chain, entre outros, so fontes preciosas e inesgotveis de dados. Mas para que todo o cabedal arregimentado de dados seja, de fato, til preciso transform-lo em informao. Em termos simples isso significa que mais importante do que dispor dos dados, necessrio saber analis-los, armazen-los numa base nica e informacional e torn-los acessveis organizao como um todo. dentro desse contexto que cresce o interesse pelo que se convencionou chamar de Business Intelligence - um guarda-chuva que abarca conceitos e uma srie de ferramentas que, como o nome j sugere, possibilitam organizar e trabalhar os dados, captados por meio de diferentes sistemas, tornando-os consistentes, no redundantes e capazes de adicionar inteligncia aos negcios, resultando em maior agilidade para as decises gerenciais. O caminho das pedras Mas como se inicia um projeto de BI? Toda e qualquer empresa, independente de porte e ramo de atuao, deve investir nesse 19 20. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO sentido? Quais sistemas e solues devem ser empregados? Quais profissionais devem ser envolvidos nessa tarefa? Essas e outras questes so difceis de responder porque no existe uma frmula nica e que sirva para todas as corporaes. Nesse sentido, todas deveriam contar com instrumentos que as ajudassem a identificar tendncias do mercado e os hbitos dos consumidores, para fazer previses e traar planos de ao no menor tempo possvel. No entanto, existem alguns fatores que devem ser considerados antes de se partir para adoo e implementao de ferramentas de BI. O primeiro passo consiste em identificar as reais necessidades da empresa, especialmente as das reas de vendas e marketing e, posteriormente, de finanas, que costumam ser os patrocinadores mais fortes das iniciativas de BI. Tambm deve ficar claro que apesar desses projetos envolverem o uso de ferramentas e solues de Tecnologia da Informao, importante entender que Business Intelligence um projeto de negcios e por isso deve estar alinhado estratgia global da corporao. Nesse sentido, esse tipo de iniciativa exige o envolvimento dos profissionais das reas de negcios, que sero seus principais usurios, e essa participao deve ocorrer desde a fase de concepo at a implementao efetiva das solues. Caber rea de TI verificar a viabilidade de aquisio de ferramentas que se mostram mais adequadas ao projeto e s possibilidades de integrao com os sistemas j instalados na empresa. 20 21. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO Arquitetura lgica comum em um projeto ERP CRM LEGADOS Apoio ao BI (SABI) Extrao, Transformao e Carga (ETL) Extrao, Transformao e Carga (ETL) Staging Area Data Warehouse ACESSO AOS USURIOS Anlises Mtricas Relatrios Planejamento SEGURANA DE ACESSO Usurio Usurio Usurio Usurio Usurio AMBIENTE LGICO ODS Planejamento e metas Embora muitas empresas ainda considerem o planejamento como uma tarefa intil, que consome tempo e no leva a resultados efetivos, a realidade tem comprovado justamente o contrrio. Saber planejar essencial para evitar gastos desnecessrios em recursos, tecnologia e em tempo dos profissionais para implement-los. Na verdade, h dois tipos de planejamento que so importantes, esto intimamente relacionados um com o outro e poderiam ser teis para a definio e execuo bem sucedida de um projeto de BI: o Planejamento Estratgico Corporativo e o Planejamento Estratgico da Informao. por meio desse procedimento que so traadas as principais metas e as estratgias para alcan-las. Feito isso, podero ser utilizadas metodologias especficas para fornecer os indicadores de desempenho, como o Balanced Scorecard - um sistema de gesto estratgica criado por Robert Kaplan e David Norton. importante salientar que o BSC no se aplica para a criao de um planejamento estratgico, mas sim para possibilitar a monitorizao e o 21 22. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO acompanhamento das decises a serem tomadas, e verificao de seus resultados efetivos. Trata-se, na verdade, de uma ferramenta que tem como objetivo traduzir para os executivos, gerentes e respectivos subordinados, a viso e a estratgia da corporao, por meio de um conjunto de medidas de desempenho, organizado segundo quatro perspectivas diferentes: financeira, cliente, processos internos, e aprendizado/ crescimento. O Balanced Scorecard cria uma linguagem para comunicar a misso e a estratgia, utilizando indicadores que iro informar os funcionrios, de todos os departamentos da empresa, sobre os vetores de sucesso atual e futuro. Por meio do BI o executivo traa a estratgia e utiliza os indicadores do Balanced Scorecard para medir sua eficcia. Ao mesmo tempo, o BSC fornece as metas pretendidas pela empresa, o que ajuda a definir a estratgia para alcan-las, utilizando para isso os dados analisados por meio das ferramentas de Business Intelligence. Em uma grande fabricante de latas de alumnio, foi implementado um projeto para que os funcionrios da empresa tambm comeassem a enxergar seus papis dentro da linha de produo da organizao. Os dados levantados pela ferramenta de Balanced Scorecard, que utiliza a infraestrutura de BI, passaram a influenciar na remunerao varivel da equipe. Num primeiro momento, o BSC foi voltado para a rea financeira, como forma de trazer liquidez para o negcio. Logo em seguida foi a vez da remodelao dos recursos da empresa, uma vez que duas novas plantas estavam sendo construdas. Houve a compreenso de que para se fazer um BSC funcionar preciso saber que informaes se quer ter. Porque ter de tudo e no saber o que fazer com isso no traz resultado efetivos. Planejamento da Informao Retornando anlise das empresas em geral, numa outra ponta esto os sistemas de informao que so peas fundamentais, na medida em que so geradores dos dados e tambm o meio pelo qual estes trafegam e, portanto, precisam ser avaliados antes de se partir para a implementao de um projeto de BI. So os dados captados nesses sistemas que iro alimentar o Datawarehouse ou o Datamart. 22 23. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO Para isso pode ser feito um Planejamento Estratgico da Informao (PEI), que dever ficar a cargo da rea de administrao de dados. Para que o PEI tenha sucesso necessrio que seja conduzido por um sponsor. Esse "Patrocinador" do projeto deve ser um profissional com passe livre em todas as reas da empresa, inclusive na alta gerncia, e que saiba tudo o que ocorre dentro da corporao. Ele deve ter uma viso clara do negcio, conhecer o mercado de atuao da empresa e saber traduzir todos esses requisitos para o pessoal da rea de informtica. Seu desenvolvimento requer o emprego de uma metodologia flexvel para que possa suportar possveis mudanas de rumo ou correes, sem perder seu foco principal. O segundo passo fazer um levantamento e anlise dos sistemas existentes, verificando sua performance, funes exercidas, volumes de dados gerados, caractersticas dos processamentos, entre outras questes. nessa fase que so avaliados os sistemas de forma quantitativa e qualitativa. E finalmente, desenvolvido um modelo global do sistema de informao vigente, salientando pontos fracos e fortes, e identificando as oportunidades e ameaas existentes no ambiente de TI. Com esse raio X da organizao ser possvel verificar se haver necessidade de remodelar os processos ou apenas fazer alguns ajustes para que os sistemas se enquadrem no projeto de BI. Para viabilizar a implantao de um processo de bi, o componente fundamental um repositrio no voltil, com grande capacidade histrica, organizada por assunto de negcios e que suporte as decises gerenciais. A anlise do processo analtico para a rea de negcios responsvel busca identificar principalmente os fatores estratgicos de negcio que so analisados pelos executivos, as mtricas e indicadores utilizados para o acompanhamento/controle de desempenho desses fatores, as anlises efetuadas com esses indicadores e as vises que so utilizadas durante as anlises. Os seguintes aspectos so alvos de estudo no trabalho de modelagem dimensional cujo insumo gerado na fase de levantamento de requisitos de negcio. Iremos utilizar a partir deste ponto uma nomenclatura prpria para projetos de datawarehousing: Os indicadores de desempenho que avaliam o andamento de cada objetivo de negcio so chamados de medidas de desempenho (ou simplesmente medidas), ou indicadores chave de desempenho (ou simplesmente indicadores), ou variveis de desempenho (ou simplesmente variveis). Esses indicadores so geralmente numricos. 23 24. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO Fatos: chamamos de fato ao contexto que gerou o valor de um determinado indicador. Esse fato armazenado no Datawarehouse sob a forma de uma tabela. A tabela fato a tabela primria em cada modelo dimensional que contm as medidas de negcio. A tabela fato gerada possuir referncias a cada uma das dimenses que podem ser utilizadas para analisar o indicador daquele fato. Podemos dizer que o fato determinado pela combinao de valores ocorridos de cada dimenso que o caracteriza. As diferentes perspectivas que podem ser utilizadas para analisar um indicador so chamadas de vises de negcio do indicador em questo. Por exemplo, volume de vendas pode ser analisado nas seguintes vises: por canal de distribuio x produto x tempo (p.e. No ltimo trimestre), ou por produto x canal de distribuio x tempo x fornecedor, etc. As vises so elaboradas para responder s questes efetuadas pelos analistas de negcio do seguinte tipo: quanto vendemos de um determinado produto nos ltimos trs meses? Por qual canal tivemos mais vendas desse produto nos ltimos trs meses? Dimenses: a cada entidade que serve para configurar uma diferente viso de negcio chamamos de dimenso. No exemplo do pargrafo anterior temos as seguintes dimenses: tempo, canais de distribuio, produtos e fornecedor. A tabela dimenso um dos conjuntos de tabelas que acompanham a tabela fato. Cada dimenso definida por uma chave primria que serve de base para a integridade referencial para com a tabela fato a qual est associada. As tabelas de dimenses contm vrios atributos (campos) textuais que serviro de base para a restrio e agrupamento numa query executada sobre as tabelas fatos. Cada dimenso pode possuir uma hierarquia prpria. Cada dimenso tambm ser armazenada no Datawarehouse por meio de uma tabela. A hierarquia de uma dimenso representa a taxionomia da entidade representada pela dimenso, ou seja, a forma como classificamos a entidade em questo. Por exemplo, a dimenso tempo pode ter como informao de maior detalhe os dias. Por sua vez, podemos considerar que o nvel hierrquico acima seria o dos meses, que por sua vez teria como hierarquia superior os bimestres, que teria com nvel superior os semestres, que teria o ano como nvel superior. Essa forma de classificar uma dimenso depende da forma como a organizao trabalha e entende a entidade em questo. Se no h sentido em analisar indicadores por bimestre, essa classificao no precisa estar presente. 24 25. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO As regras de consolidao determinam a forma como se comporta o indicador quando analisado nos diferentes nveis hierrquicos de uma dimenso. Por exemplo, vamos supor que o volume de vendas de um determinado produto x nos dias 15/06/00, 16/06/00 e 17/06/00 foram respectivamente 3, 5 e 3 e nos demais dias do ms de junho de 2000 no vendemos nada. Se olharmos para o volume de vendas do produto x no nvel de detalhe de dias, vamos ver zero em todos os dias exceto nos dias mencionados onde veremos 3, 5 e 3. Se efetuarmos uma anlise no nvel de detalhe de ms, veremos para o ms de junho o valor 11. Neste caso a regra de consolidao determina que quando vamos para o nvel imediatamente superior somamos os valores do nvel atual. Nem sempre a soma ser a regra de uma dimenso, a frmula que representa a regra de consolidao depende do indicador e da regra de negcio que se aplica a esse indicador. Por anlise dimensional entendemos o processo de identificar quais fatos devem estar presentes no Datawarehouse, quais so as dimenses relevantes para cada fato, quais as hierarquias de cada dimenso, qual a regra de consolidao dos indicadores quando passeamos por cada dimenso, os nveis de detalhe necessrios para viabilizar as anlises executadas pela organizao e, finalmente, como organizamos tudo isso. Anlise dimensional uma disciplina alternativa para a tradicional modelagem de dados entidade - relacionamento (modelagem e/r). A anlise dimensional uma tcnica para projeto lgico de dados que busca apresentar um formato padro que intuitivo para o usurio, que permite acesso de alto desempenho e flexvel s mudanas. Um modelo dimensional contm basicamente as mesmas informaes de um modelo e/r, difere apenas na forma em que empacota os dados. Os componentes principais de um modelo dimensional so a tabela fato e as tabelas dimenses associadas. Portanto, cada modelo dimensional contm uma tabela fato e tantas tabelas dimenso quantas forem necessrias para caracterizar o fato implementado. A estrutura caracterstica de um modelo dimensional se assemelha ao formato de uma estrela. Por esse motivo, ela chamada de star join ou star schema. Passos para a construo de um modelo dimensional Uma camada de apresentao necessita de uma estrutura que possibilite uma rpida resposta em consultas. 25 26. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO Tipos de modelos dimensionais Modelo star schema No modelo star schema todas as tabelas relacionam-se diretamente com a tabela de fatos, sendo assim as tabelas dimensionais devem conter todas as descries que so necessrias para definir uma classe como produto, tempo ou loja nela mesma, ou seja, as tabelas de dimenses no so normalizadas no modelo star schema, ento campos como categoria, departamento, marca contm suas descries repetidas em cada registro, assim aumentando o tamanho das tabelas de dimenso por repetirem estas descries de forma textual em todos os registros. Este modelo chamado de star schema porque a tabela de fatos fica ao centro cercado das tabelas dimensionais assemelhado a uma estrela. Mas o ponto forte a fixar que as dimenses no so normalizadas. O modelo snow flake No modelo snow flake as tabelas dimensionais relacionam-se com a tabela de fatos, mas algumas dimenses relacionam-se apenas entre elas, isto ocorre para fins de normalizao das tabelas dimensionais, visando diminuir o espao ocupado por estas tabelas, ento informaes como categoria, departamento e marca tornaram-se tabelas de dimenses auxiliares. 26 27. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO No modelo snow flake existem tabelas de dimenses auxiliares que normalizam as tabelas de dimenses principais. Na figura anterior estas tabelas so (ano, ms e dia) que normalizam a dimenso tempo, (categoria, departamento e marca) que normalizam a dimenso produto e a tabela meio que normaliza a dimenso promoo. Construindo a base de dados desta forma, passamos a utilizar mais tabelas para representar as mesmas dimenses, mas ocupando um espao em disco menor do que o modelo star schema. Este modelo chama-se snow flake de neve, pois cada dimenso se divide em vaias outras tabelas, onde organizadas de certa forma lembra um floco de neve. Consideraes sobre ambos os modelos O modelo snow flake reduz o espao de armazenamento dos dados dimensionais, mas acrescenta vrias tabelas ao modelo, deixando-o mais complexo, tornando mais difcil a navegao pelos softwares que utilizaro o banco de dados. Outro fator que mais tabelas sero utilizadas para executar uma consulta, ento mais joins de instruo SQL sero feitos, tornando o acesso aos dados mais lento do que no modelo star schema. Ademais, as seguintes afirmaes precisam ser consideradas: Embora aceitvel, a normalizao de dimenses no recomendvel por razes de desempenho e facilidade de uso; A quantidade de tabelas torna a apresentao do modelo mais complexa. Otimizadores do SGBD tm mais dificuldade com esquema complexo. A economia de espao em disco insignificante em relao ao DW completo. 27 28. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO O modelo snow flake diminui a habilidade de usurios de navegar na dimenso. O modelo snow flake impede o uso de ndices do tipo bitmap, que so usados por SGBD para indexar campos com baixa cardinalidade. Durante a anlise das informaes necessrias e modelo de dados necessrio analisar que h alguns aspectos relativos modelagem que precisam ser revistos e ajustados por determinados motivos dentre eles cabe salientar: O modelo star schema mais simples e mais fcil de navegao pelos softwares, porm desperdia espao repetindo as mesmas descries ao longo de toda a tabela, porm anlises feitas mostram que o ganho de espao normalizando este esquema resulta em um ganho menor que 1% do espao total no banco de dados, sendo assim existem outros fatores mais importantes para serem avaliados para reduo do espao em disco como a adio de agregados e alterao na granularidade dos dados, estes temas sero abordados em colunas posteriormente. Um modelo star schema fornece um acesso, mas rpido aos dados e mais fcil de se navegar, criando tabelas auxiliares para dimenses somente para dimenses especificas quando for estritamente necessrio ou quando demonstrar um benefcio que justifique a perda de desempenho nas consultas, que tambm no to grande dependendo da forma que estas tabelas so construdas e a quantidade de registros que elas contiverem. Para avanar no desenho de um modelo lgico, que servir como base para o repositrio de informaes que ser construdo no ambiente a ser determinado pela cliente alguns passos e informaes precisa ser levantada junto aos usurios que interagem com o processo. Como Criar um Modelo de Dados que Funcione Para orientar o cliente nas etapas necessrias criao do modelo de dados dentro da abordagem da anlise dimensional, considerada a mais adequada aos projetos de Datawarehouse necessrio como sugesto seguir a seguinte metodologia e executar os seguintes passos: 1. Elaborar a Matriz dimensional mapeia os indicadores e suas dimenses. Estar sendo apresentada na seo 6 deste documento. 2. Seleo dos datamarts selecionar os datamarts (ou cubos) que podem ser gerados a partir da matriz dimensional. Para que esse 28 29. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO modelo seja de melhor desempenho, deve ser planejado o acesso ao disco e memria, de modo que as queries sejam previsveis. Os datamarts devem ser criados para atender as reas e seus usurios. Deve-se verificar a adequao e a consistncia das informaes para cada rea. Nessa etapa, pode ser criada datamarts derivados dos principais, visando atender as intersees entre as reas. No processo de seleo dos cubos tambm sero considerados dois aspectos importantes: a viabilidade tcnica de implementao e o seu impacto no negcio. 3. Definio da granularidade deve-se identificar o nvel de detalhe mnimo necessrio para cada clula do datamart (cada cruzamento das hierarquias definidas nas dimenses presentes). Esse tipo de discusso deve envolver os usurios chave, uma vez que algumas decises podem impactar no desempenho da aplicao como um todo. O envolvimento de algum responsvel da rea de negcios fundamental para garantir que as expectativas sejam controladas, de modo que fique claro para o cliente que a estratgia de data warehousing deve envolver apenas as informaes gerenciais, e no todas as informaes que podem ser levantadas para qualquer tipo de tomada de deciso. 4. Desenhar e documentar a tabela fato agrupar todos os indicadores levantados e estabelecer os controles de projeto como atualizao, validaes numricas da carga e agregaes so parte desse esforo. A criao de um metadata para apresentar a descrio, forma de clculo, origem, mtodo de aquisio, existncia ou no de transformaes e agregaes fundamental para a tabela fato. A estimativa do volume de um Datawarehouse normalmente realizada apenas com as tabelas fato. Portanto, a insero de qualquer novo item um fator crtico que precisa ser avaliado tecnicamente, pelas implicaes obvias de desempenho. 5. Desenvolver as tabelas fato derivadas a necessidade de separar medidas numricas em tabelas fato diferentes que vai gerar a integrao e a complexidade da base de dados do Datawarehouse. como se cada tabela fato nova representasse um novo cubo (ou datamart) dentro do modelo. A principal armadilha que deve ser evitada a construo de queries e consultas que demandem acesso a vrias tabelas fato simultaneamente. Porm, essa separao tambm um recurso poderoso de modelagem: informaes que dificilmente estaro juntas devem estar em modelos diferentes e nveis diferentes de agregao podem estar presentes na base de dados ao invs da 29 30. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO aplicao consolidar todas as informaes em tempo de execuo. 6. Avaliar as implicaes de desempenho nessa etapa de definio do modelo de dados detalhado, alguns cuidados devem ser tomados: Devem ser evitados os acessos que envolvam vrios datamarts ao mesmo tempo; Devem ser normalizadas as informaes que possuem probabilidade de acesso baixa; Uma regra usada criar mini dimenses para informaes com acesso inferior a 5%; Todos os datamarts devem possuir um campo de controle e atualizao (time stamp); As consolidaes de acesso frequente podem estar em um nico datamart consolidado; Deve ser criada uma tabela de controle de atualizaes e consistncia da carga diria (caso isso no esteja sendo feita pela prpria ferramenta de metadata); 7. Identificar candidatos para pr-agregao e desenvolver agregaes todos os indicadores de negcio levantados podem ser classificados dentro de dois grupos: os indicadores primrios e os indicadores derivados. Os indicadores derivados so criados a partir de clculos realizados com os indicadores primrios. Muitos dos clculos podem ser realizados no servidor (no momento da carga para o dw ou aps a gravao na base, em um processo complementar) ou no cliente (onde a prpria aplicao calcula em tempo de execuo as informaes). Alm disso, aps a identificao de nveis de consulta comuns dentro das dimenses (por exemplo, faturamento sempre analisado por ano e ms, mas a informao chega todo dia), pode ser implementada na base de dados a totalizao nesses nveis, evitando que esse tempo seja gasto no momento da consulta. 8. Certificar o modelo de dados com a ferramenta a realizao da aprovao do modelo deve acontecer em 2 aspectos principais: quanto consistncia e viabilidade de implementao da base de dados dentro do ambiente de sgbd existente e a adequao e/ou viabilidade de implementao na ferramenta selecionada. 9. Implementao final dos Cubos Esta fase trata-se da implementao propriamente dita e segue a metodologia Meeting de implementao de 30 31. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO Datawarehouse/Datawarehouses. Apenas para ilustrao vamos apresentar algumas de suas fases: Analisar Origem dos Dados a) Identificar candidatos para Origem b) Listar o contedo dos dados c) Desenvolver o Mapa Origem X Destino d) Estimativas para o Nmero de Linhas e) Realizar Aceitao da Equipe do Projeto Desenvolver Plano de Segurana a) Estratgias de Acesso e Password b) Consistncia de Entradas e Sadas no Ambiente c) Implementar Chaves de Autenticao d) Implementar Segurana para Acesso Remoto e) Centralizar Autenticao e Acesso f) Criar Processo de Auditoria de Segurana Projeto Fsico da Base de Dados a) Definio de Padres para a Base de Dados b) Desenho Fsico da Base (tabelas e colunas) c) Estimativas de Volume, Acesso e Capacidade d) Planos de Agregao, ndice e Particionamento e) Implementao da Base de Dados Planejamento da Carga, Limpeza e Transformao a) Desenho do Processo de Carga e Detalhamento dos Campos e Etapas b) Desenvolvimento do Metadata de Negcios e Descrio c) Implantao do Metadata (Dicionrio de Dados sobre os Dados) d) Implantao do Processo de Carga Inicial e Carga Incremental e) Implantao do Processo de Controle da Carga e LogCtrl (Controle de Log) f) Implantao do Processo de Schedule e Operao Automtica g) Implantao dos Processos de Limpeza e Transformao (se houver) h) Estabelecimento do Processo de Quality Assurance para a Carga Populao e Validao da Base de Dados 31 32. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO a) Carga Inicial para Testes b) Validao dos Dados c) Carga do Histrico de Informaes Especificao da Aplicao do Usurio Final a) Identificar e Priorizar Relatrios Solicitados b) Desenhar Fluxo Decisrio (Sequncia Lgica para Navegao) c) Desenhar padres para Navegao d) Definir os Padres de Interface e) Desenhar a Aplicao do Usurio f) Validar com o Escopo do Projeto g) Construo Aplicao do Usurio Final h) Validao com a Equipe do Projeto Teste Geral do Sistema a) Desenvolver Check-List da Infraestrutura b) Desenvolver Estratgia de Treinamento, Suporte e Contingncia c) Rodar Processo de Carga Completo e Aplicao Final (sem interveno) d) Implementar Processo de Segurana Estratgia de Manuteno e Crescimento e) Providenciar Suporte Imediato e Treinamento Especfico (Sob Medida) f) Monitorar Performance e Acesso aos Dados g) Estabelecer Processo de Priorizao Estratgica de Novas Funcionalidades h) Criao de Comit de Divulgao e Sugestes Datawarehouse ou Datamart ? As organizaes que almejam alta competitividade no mercado no questionam a importncia do Business Intelligence. A grande questo que se colocam por onde e como comear. Os analistas de mercado tm uma resposta que pode parecer simplista, mas verdadeira: o tamanho do sapato deve ser o do tamanho do p. Em outros termos, empresas pequenas ou com pouca cultura tecnolgica podem comear usando algumas ferramentas de anlise mais simples, como o EIS - Executive Information Systems -, que so amigveis e fornecem informaes gerenciais de forma rpida e eficiente. 32 33. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO Outra opo so as DSS - Decision Support Systems -, sistemas de apoio deciso que surgiram a partir dos sistemas transacionais e utilizam modelos para solucionar problemas no estruturados. So ferramentas que podem auxiliar as empresas a se familiarizar com os conceitos e tecnologias relativas ao BI, e evoluir nesse sentido aos poucos. O fundamental entender que os dados precisam ser estruturados de forma diferente do que ocorre nos sistemas transacionais. Por isso, os especialistas no assunto ressaltam que um dos principais pilares do BI o Datawarehouse. Como bem define William Inmon, considerado o pai do DW, esse repositrio nada mais do que um banco de dados orientado por assuntos, no voltil e integrado. Varivel com o tempo outra caracterstica inerente ao DW. Isso significa que sempre ser retratada uma situao num determinado ponto do tempo. No DW os assuntos so guardados em determinados pontos no tempo, o que permite uma anlise histrica e comparativa dos fatos. Em resumo, um DW pode ser definido como um conjunto de tcnicas e de bancos de dados integrados, projetados para suportar as funes dos Sistemas de Apoio Deciso, onde cada unidade de dados est relacionada a um determinado assunto ou fato. Sua meta fornecer subsdios e informaes aos gerentes e diretores, para que assim possam analisar tendncias histricas de seus clientes e, com isso, melhorarem os processos e agilizarem as tomadas de aes. Sua criao requer pessoas altamente especializadas, uma metodologia consistente, computadores, banco de dados, ferramentas de front-end, ferramentas para extrao e limpeza dos dados, e treinamento dos usurios. um processo complicado e demorado, que requer altos investimentos e que se no for corretamente planejado e executado, pode trazer prejuzos enormes e se tornar um grande elefante branco dentro da organizao. Em termos conceituais, pode-se afirmar que um Datamart um mini Datawarehouse que fornece suporte deciso para um pequeno grupo de pessoas - como aos profissionais da rea de marketing, ou de vendas, por exemplo. Mas so valores apenas estimados, uma vez que no existe um projeto padro que serve para todas as empresas indistintamente. Portanto, as definies dos problemas e os requisitos dos dados so essencialmente os mesmos para ambos. No entanto, um Datamart trata das questes departamentais ou locais, enquanto um DW envolve as necessidades de toda a companhia de forma que o suporte deciso atue em todos os nveis da organizao. 33 34. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO Ralph Kimball, consultor norte-americano e considerado um dos mais influentes gurus do Business Intelligence, discorda dessa definio e argumenta que os Datamarts no devem ser departamentais, mas sim orientados aos dados ou a fontes de dados. Ele exemplifica o caso de uma instituio bancria que dispe de uma fonte de dados de contas correntes e poupana. Nesse caso deveria ser criado um Datamart de Contas, que no ser um Datamart proprietrio da rea financeira, e nem da rea de marketing, mas sim um repositrio de dados que ter como pblico todos os usurios de todos os departamentos que lidam com aquele assunto. Kimball um defensor da teoria de que o DW deve ser dividido para depois ser conquistado, ou seja, que o mais vivel para as empresas desenvolver vrios Datamarts para posteriormente integr-los e, assim, chegar-se ao DW. Na sua avaliao, as empresas devem construir Datamarts orientados por assuntos. Ao final, teriam uma srie de pontos de conexo entre eles, que seriam as tabelas Fato e Dimenso em conformidade. Essa teoria, no entanto, rebatida por Bill Inmon, que prope justamente o contrrio. Inmon defende a idia de que o ponto de partida seriam os CIF - Corporate Information Factory - uma infraestrutura ideal para ambientar os dados da empresa. A construo de um ODS seria facultativa, mas essa iniciativa ajudaria a reduzir a complexidade da construo de um DW, uma vez que todo o esforo de integrao entre os sistemas transacionais da empresa seria depositado nele. Uma vez que todos os dados estivessem integrados no DW, se partiria para os Datamarts que iriam atender aos diversos departamentos da empresa, gerando dados ntegros e corporativos. Alm disso, essa iniciativa poderia gerar outros problemas, como a redundncia de dados em diversos sistemas, o consumo exagerado de recursos de produo, e a formao de um verdadeiro caos informacional, na medida em que os dados dispostos nos diferentes Datamarts no poderiam ser integrados. No que ambos os gurus concordam que uma empresa sem auto- conhecimento e sem ter uma viso corporativa de seu negcio, nunca ter um sistema eficiente para auxili-la na tomada de deciso. 34 35. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO As camadas de segurana Ao adotar o conceito de drugstore, a Drogaria Arajo, que atua na regio da Grande Belo Horizonte (MG), elevou rapidamente o nmero de itens produzidos de 6 mil para 18 mil. A empresa dispunha de um alto nmero de dados operacionais, mas era carente de informaes gerenciais que permitissem a anlise do negcio. Por isso resolveu implementar Datamarts, utilizando uma soluo baseada em SQL Server 2000 com Analysis Service da Microsoft e desenvolvida pela attps Informtica. A Drogaria Arajo conta com uma rede de lojas que comercializa no apenas medicamentos e produtos de higiene e beleza, como tambm uma infinidade de artigos de convenincia - jornal, po, meias finas etc -, possuindo um volume de dados que cresce cerca de 3,5 GB por ms. A empresa j havia desenvolvido um datawarehouse mas verificou que precisava urgentemente disponibilizar aos gerentes, de uma forma mais precisa e rpida, informaes estratgicas para o dia-a-dia do negcio, como a lucratividade de cada loja da rede e a participao de cada fornecedor no resultado de vendas. A dificuldade de levantar esses dados fez com que a Arajo contatasse a attps Informtica, empresa parceira que j havia ministrado treinamentos para a rea de tecnologia da drograria. As duas realizaram o planejamento da plataforma de hardware e software necessrios e voltaram seus esforos para converter dados para datawarehouse, preparando a carga para essa converso. A partir da, iniciou-se um processo de Business Intelligence, com o desenvolvimento de uma soluo de consultas analticas flexvel e adaptvel s caractersticas do negcio, baseada no SQL Server 2000 e em seus recursos de Analysis Services, que resultou na implementao dos Datamarts nas reas de Compra e Venda e na diretoria. Seis meses aps o incio do projeto a Drogaria Arajo passou a visualizar as vantagens da tecnologia e descobriu linhas de vendas que estavam crescendo. Outro benefcio foi a depurao dos dados que permitiu empresa descobrir erros no sistema de produo ainda no vistos, como por exemplo, algumas informaes incorretas. Ou seja, indiretamente a soluo provocou um acompanhamento maior da produo. Com os Datamarts foi possvel alocar melhor os recursos humanos por loja, de acordo com a frequncia de clientes em determinado horrio. Outro grande resultado foi a possibilidade de medir as vendas da drogaria por produto, entender o porqu deste comportamento e poder encontrar uma nova alternativa para corrigir o problema. 35 36. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO Antes no era possvel redirecionar as aes, cruzar informaes e tomar decises conscientes porque a empresa no tinha acesso fcil a todas as informaes sobre compra e venda. Para emitir um relatrio, por exemplo, eram necessrios dois dias ou at uma semana. Atualmente, esse tipo de relatrio emitido em minutos e disponibilizado na intranet, por email ou onde for necessrio para acesso dos interessados. Ao todo, a Drogaria Arajo investiu aproximadamente R$ 60 mil entre aquisio de hardware, software e consultoria. O segundo passo ser implementar a soluo na entrega em domiclio a fim de fazer uma anlise de consumo e direcionar melhor as ofertas aos cerca de 200 mil clientes cadastrados neste servio. O projeto implementado de BI trouxe como principais benefcios: - Exatido nas informaes necessrias tomada de deciso para investimentos na rede de lojas; - Obteno de informaes precisas e atualizadas a respeito do comportamento de promoes de venda; - Obteno de informaes de lucratividade na rede de lojas como um todo, permitindo o detalhamento por produto vendido, loja, vendedor e promoo; - Anlise comparativa por perodos em relao s vendas; - Obteno de informaes a respeito do comportamento de vendas por produtos, permitindo maior capacidade de negociao com fornecedores e fabricantes; - Satisfao da alta administrao no que diz respeito ao pronto atendimento na demanda de informaes; - Conferncia e acertos de dados, devido a visibilidade maior das informaes, permitindo correes dos sistemas OLTP. Fundada em 1903, a rede de drogarias Arajo atualmente a maior rede de farmcias de Minas Gerais. tambm uma das 80 maiores empresas do estado e a quarta maior rede de drogarias do Brasil. Com atuao restrita grande Belo Horizonte, a rede possui 60 lojas - todas automatizadas, inclusive seu depsito -, e 1.600 funcionrios. 36 37. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO Ferramentas, Plataformas e Perfis 37 38. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO Ferramentas de BI, plataformas e perfis de usurios As primeiras ferramentas de Business Intelligence surgiram por volta dos anos 70 e se caracterizavam por usar intensa e exaustiva programao, o que exigia altos custos de implementao. Com a evoluo tecnolgica e o consequente surgimento dos bancos de dados relacionais, dos personal computers, das interfaces grficas, e da consolidao do modelo cliente/servidor, os fornecedores de solues comearam a colocar no mercado produtos realmente direcionados para os analistas de negcios, bem mais amigveis e acessveis para os gerentes e diretores das diferentes reas da corporao. Com isso, a "famlia" BI cresceu e multiplicou-se. Hoje, a variedade de produtos que se acomodam sob o imenso guarda-chuva batizado de Business Intelligence muito grande e continua em constante evoluo. No atual leque de ofertas, encontram-se desde pacotes configurveis, at ferramentas isoladas e inclusive solues que permitem s empresas se aventurarem no desenvolvimento de um sistema totalmente caseiro. O que esses sistemas tm em comum a caracterstica de facilitar a transformao dos dados em informaes de forma a auxiliar os diversos nveis de uma empresa na tomada de decises. No rol das ferramentas de BI figuram desde simples planilhas eletrnicas, geradores de queries (consultas) e relatrios, sistemas de apoio deciso (DSS - Decision Support Systems), EIS (Executive Information System), ferramentas OLAP (Online Analytical Processing) - e suas derivadas como ROLAP, MOLAP, HOLAP e DOLAP - , at solues mais sofisticadas, como as ferramentas de back end (retaguarda) - as ETL (Extract, Transform and Load - extrao, transformao e limpeza/carga), metadados e Data Mining. Qual delas utilizar, depender basicamente da necessidade especfica de cada empresa e da sua capacidade de investimento. O que os arquitetos de BI das corporaes devem ter em mente adotar ferramentas que permitam acessar detalhes das bases volumosas de dados, com o menor custo de propriedade e mantendo o desempenho, sem perder a integrao. Na avaliao dos consultores de mercado, no so apenas as grandes corporaes que precisam e investem em solues de BI, mas tambm as empresas de pequeno e mdio portes que cada vez mais necessitam injetar inteligncia aos negcios para no perder pontos para a concorrncia e, ainda, para visualizar novas oportunidades e para ampliar sua rea de atuao. 38 39. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO O transacional e o analtico Nas corporaes existem basicamente dois tipos de aplicaes: as que sustentam o negcio, e rodam nos sistemas transacionais, tambm chamados de OLTP (Online Transacional Processing ), e as que analisam o negcio sob vrios ngulos, dando apoio deciso e servindo de base para novas aes. Em termos gerais, as aplicaes OLTP servem para registro das transaes cotidianas (conta corrente, controle de estoque, controle da produo, contabilidade, etc) e constituem os principais alimentadores das solues analticas, as quais possibilitam mudanas e correes de rumo na estratgia corporativa. A diferena fundamental que as aplicaes OLTP permitem atualizaes constantes de dados (ou seja, as informaes so modificadas diariamente), enquanto que as aplicaes analticas possibilitam, normalmente, apenas acessos de leitura (porque lidam com dados estticos). Como j abordamos nos mdulos anteriores, importante que exista um repositrio prprio para os dados consolidados e j transformados em informao. Esse repositrio pode ser um Datawarehouse ou um Datamart, ou at mesmo um banco de dados relacional, mas que, neste caso deve ser utilizado apenas para as operaes de BI. Os consultores e analistas de mercado recomendam que seja criada uma infraestrutura tecnolgica especfica para o BI e separada do ambiente transacional. Isso porque, para efeito de anlise, costuma-se trabalhar com grandes volumes de dados, o que requer uma capacidade computacional maior. Se fosse utilizado um s banco de dados e uma s infraestrutura tecnolgica para suportar os dois tipos de operao (transacional e analtica) poderiam ocorrer problemas como travamentos e perda de performance dos sistemas. Algumas empresas tambm utilizam o ODS (Operational Data Store) que uma base de dados com utilizao previsvel, parcialmente estruturada e analtica. Trata-se de uma base com histrico menor (de apenas um dia ou at 60 dias), cujas informaes esto organizadas por rea de negcio, servindo como base somente para os analistas de informao. como se fosse um retrato da base obtida da extrao de dados dos sistemas transacionais da empresa. Pode conter pouca ou nenhuma agregao de dados. No incio de sua concepo, por volta dos anos 90, era visto como sendo um tipo de Datawarehouse. Mas importante salientar que em nenhuma hiptese o ODS pode ser combinado com o DW em um nico sistema. As 39 40. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO tcnicas de armazenamento e recuperao so totalmente diferentes, bem como a finalidade. Apesar dessa incompatibilidade de ambientes, o ODS uma fonte ideal para o Datawarehouse, j que armazena dados operacionais num banco corporativo centralizado e ntegro. Para isso, o ODS precisa estar intimamente ligado aos sistemas transacionais. Toda alterao de registro nos ambientes operacionais deve ser refletida no ODS. Atualmente, o ODS vem sendo utilizado como uma base de dados intermediria entre as bases de dados dos Sistemas OLTP e o Datawarehouse. Isso tem sido muito til, pelo simples fato de que as bases de dados dos Sistemas OLTP possuem hoje os mais diversos tipos de armazenamento (Bancos de Dados relacionais, Arquivos VSAM, Planilhas etc.), o que dificulta o processo de derivao e agregao de dados diretamente destas bases. necessrio que as extraes, transformaes e limpeza dos dados sejam feitas e gerem uma base comum com estes dados j limpos e pr-organizados, para depois os mesmos passarem pelo processo de derivao e agregao, e finalmente para o DW. Solues de Front End O amadurecimento do conceito e da tecnologia de BI possibilitou o desenvolvimento de uma srie de produtos. As ferramentas de front end (frente de operao), voltadas para os usurios finais de diferentes reas da empresa, ficaram mais amigveis e fceis de usar. Algumas, inclusive trazem templates (programas prontos e padronizados para uso) que incorporam as melhores prticas de determinados segmentos (financeiro, marketing, vendas, produo, etc.) e de determinadas verticais de mercado (manufatura, varejo, finanas, utilities, etc.) e podem ser utilizadas pelos profissionais dos setores operacionais e no apenas pelos diretores e gerentes. Essas solues possibilitam, por exemplo, que esses profissionais tenham diferentes vises de uma informao, sem precisar do auxlio do pessoal de TI para isso, o que agiliza a gerao de relatrios e as anlises. Essa seria uma das razes do crescimento mundial do nmero de licenas de produtos de BI vendidas. Muitas fornecedoras, inclusive, j disponibilizam queries (consultas) prontas para que as empresas no precisem partir do zero para utiliz-las. Na avaliao de alguns consultores, utilizar ferramentas de BI para questes operacionais, no entanto, subutilizar essas solues e geralmente isso ocorre para sanar alguma deficincia no lado transacional. As ferramentas de BI, segundo defendem os consultores, 40 41. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO devem ser empregadas para funes mais nobres e complexas, voltadas para a anlise e para a tomada de deciso. Toda a empresa pode se beneficiar com o uso das diferentes solues de BI, mas em geral as reas que iniciam projetos e o uso efetivo das ferramentas so as de finanas, marketing e de vendas. No existe um modelo padro que se adapta a toda e qualquer empresa. Cada caso um caso. H diversas formas de se armazenar e trabalhar as informaes. At mesmo uma simples planilha Excel pode ser considerada como uma ferramenta de BI, na medida em que permite fazer anlises e comparaes. Em geral, as ferramentas mais utilizadas so as do tipo OLAP (Online Analytical Processing) que possibilitam aos usurios finais extrair os dados das bases j consolidadas e com os quais geram relatrios capazes de responder s questes gerenciais. Elas surgiram na dcada de 90, junto com os sistemas de apoio deciso para permitir a extrao e anlise dos dados contidos nos DW e nos Datamarts. A funcionalidade de uma ferramenta OLAP caracterizada pela anlise multidimensional dinmica dos dados, apoiando o usurio final nas suas atividades. Elas permitem uma srie de vises, tais como as consultas ad-hoc, que segundo define Bill Inmon, so consultas com acesso casual nico e os dados so tratados segundo parmetros nunca antes utilizados. Isso significa que o prprio usurio gera as consultas de acordo com suas necessidades de cruzamento de dados e de uma forma diferente da usual, com emprego de mtodos que o levam a obter as respostas desejadas. Outra tcnica possibilitada pelo OLAP a slice-and-dice que permite analisar as informaes sob diferentes prismas. O Drill Down/Up consiste em fazer uma explorao em diferentes nveis de detalhe das informaes. Com essa tcnica, o usurio pode "subir ou descer" dentro do detalhamento do dado, como por exemplo analisar uma informao tanto diariamente quanto anualmente, partindo da mesma base de dados. No que se refere gerao de queries (consultas) no OLAP, ela se d de uma maneira simples, amigvel e transparente para o usurio final, o qual precisa ter um conhecimento mnimo de informtica para obter as informaes que deseja. Antes do desenvolvimento da tecnologia OLAP, as empresas tinham que utilizar outras ferramentas menos amigveis para conseguir gerar relatrios. Uma delas era o Clipper, em que a dificuldade era a de procurar os dados que estavam em vrios arquivos. Dessa forma, se o objetivo era construir um relatrio para avaliar quais eram os clientes 41 42. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO mais rentveis num determinado semestre, por exemplo, eram necessrios dois trabalhos: primeiro encontrar os dados e depois construir o relatrio no formato desejado, o que consumia tempo. O panorama melhorou com o surgimento dos Sistemas Gerenciadores de Banco de Dados (SGBD) que foram evoluindo junto com as linguagens de programao, facilitando a vida dos analistas de sistemas. Com isso, os dados eram acessados de forma mais simples, mas os usurios comuns (gerentes, diretores, e profissionais da rea de marketing, vendas, etc.) ainda dependiam de um tcnico de informtica para poder gerar relatrios. Com o surgimento das ferramentas OLAP o cenrio foi modificado, na medida em que estas permitiam o acesso fcil aos dados pelos usurios finais. A anlise das informaes passou a ser dinmica, rpida e o prprio usurio podia fazer a consulta que desejasse, sem depender de um tcnico ou de um analista de sistemas para isso. Respondendo s necessidades Cada uma das tecnologias e tcnicas de BI tem seu lugar e so complementares entre si, pois do apoio a diferentes tipos de anlises. importante lembrar que as exigncias do usurio devem ditar que tipo de Datamart ou DW a empresa deve construir. Como sempre, a tecnologia e tcnicas devem estar bem fundamentadas para atenderem da melhor maneira possvel essas exigncias. Os Datawarehouses/Datamarts servem como fonte de dados para estas aplicaes, assegurando a consistncia, integrao e preciso dos dados. Os sistemas transacionais no conseguem responder essas questes e, por isso, necessria a criao de um ambiente de apoio deciso robusto, sustentvel e confivel. Caso a empresa no utilize um DW para implementar as solues de BI, os cubos OLAP acabam sendo extrados diretamente das bases transacionais, sem os processos de filtragem e formatao. O problema que a mesma informao pode estar em diferentes sistemas, com formatos diferentes, o que pode levar a interpretaes diversas e erradas. Com o passar dos anos a tecnologia OLAP cresceu e multiplicou-se, originando as ferramentas ROLAP, MOLAP, HOLAP e DOLAP, as quais possibilitam diferentes formas de organizar os dados antes de apresent-los ao usurio final. A ROLAP (Relational Online Analytical Processing) empregada para uma anlise mais exploratria dos dados, sendo bastante utilizada pela rea de marketing. 42 43. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO A arquitetura composta por um servidor de banco de dados relacional e a engine OLAP fica num servidor dedicado, o qual armazena vrios cubos de informao. Dessa forma a consulta enviada ao servidor do banco de dados relacional e processada no mesmo, sendo visualizada no PC do usurio via browser ou por meio de uma licena do software. A principal vantagem dessa arquitetura a de permitir a anlise de enorme quantidade de dados. Na arquitetura MOLAP (Multidimensional Online Analitycal Processing), o acesso aos dados ocorre diretamente no banco de dados multidimensional, sendo que o usurio trabalha e manipula os dados do cubo diretamente no servidor, trazendo grandes benefcios quanto performance. A ferramenta permite anlises mais simples e rpidas, mas tambm apresenta limitao de tamanho, tendo estrutura similar ao de uma planilha, com linhas e colunas. A HOLAP (Hybrid Online Analytical Processing) resultou da combinao entre as ferramentas MOLAP e ROLAP, extraindo o que h de melhor de ambas. uma arquitetura bastante completa, mas tambm a mais cara de todas. E finalmente as DOLAP (Desktop Online Analytical Processing) e LOLAP (Local Online Analytical Processing) permitem o processamento na mquina cliente (que pode ser um PC comum), sem problemas de trfego de rede e nem problemas de escalabilidade. Elas disparam uma instruo SQL (Structure Query Language - linguagem de consulta para acessar sistemas de base de dados) de uma mquina cliente qualquer (como um simples PC, por exemplo) para o servidor e recebem o microcubo de volta para ser analisado no PC. A nica desvantagem que o microcubo no pode ser muito grande. Opes para todos os gostos medida em que a tecnologia da informao evolui, as ferramentas de BI vo sendo rebatizadas e reagrupadas. Solues anteriormente denominadas EIS e DSS acabaram sendo incorporadas em outras ferramentas e, mesmo quando oferecidas em separado, recebem outras denominaes das respectivas fornecedoras para ganhar um ar de modernidade. Mas para uma melhor compreenso desse grande universo, vamos conceituar algumas dessas ferramentas e suas principais caractersticas: EIS O EIS - Executive Information Systems - um sistema voltado a atender as necessidades dos altos executivos de uma empresa. Por meio dele, so obtidas informaes gerenciais de forma rpida e simples. Em geral, 43 44. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO o EIS modelado para ser bastante amigvel, uma vez que seus usurios so pessoas ocupadas e que no tem muito tempo. As informaes devem ser organizadas de forma resumida porque as decises nesse nvel administrativo no se atm a detalhes, mas ao todo. A esse executivo, por exemplo, no interessa saber quantas canetas foram usadas na empresa durante um certo perodo, mas sim o valor total dessas despesas de material. O EIS pode ser construdo tendo como base vrios sistemas transacionais, mas o ideal que o sistema acesse um Datawarehouse porque a busca facilitada na medida em que feita numa nica base de dados. As principais caractersticas desse sistema so: podem ser customizados de acordo com o estilo de cada executivo; contm recursos grficos que permitem s informaes serem apresentadas graficamente de vrias formas; so fceis de usar e requerem pouco treinamento para tal; permitem o acesso rpido e fcil a informaes detalhadas. Alm disso, o usurio tambm pode alterar o nvel de detalhamento das informaes utilizando, para isso, uma ferramenta OLAP. Por exemplo: partindo de um relatrio que contm todas as informaes sobre as vendas realizadas em 1999 em todos os escritrios da empresa instalados no estado de So Paulo, um diretor poder analisar as vendas realizadas em cada cidade do estado. DSS Os Decision Support Systems, ou Sistemas de Apoio Deciso, surgiram a partir dos sistemas transacionais existentes nas empresas. So solues que auxiliam no processo decisrio, utilizando modelos para resolver problemas no estruturados. Inicialmente necessrio definir quais dados, gerados nos sistemas transacionais, sero armazenados no Datawarehouse, para depois partir para a modelagem dimensional e a criao fsica do modelo, onde as especificidades do Sistema Gerenciador de Banco de Dados (SGBD) e da ferramenta OLAP escolhidos sero consideradas para otimizar as consultas futuras. O passo seguinte carregar os dados no DW, definindo as origens dos dados (identificao dos sistemas legados onde foram gerados, o que facilita a sua localizao), e depois so feitas as rotinas de extrao de dados, que podem ser desenvolvidas por programadores em qualquer linguagem de programao. Concluda essa etapa, deve ser feita a checagem da consistncia dos dados. Qualquer erro nos dados poder determinar o fracasso da anlise futura. Outro elemento importante a confeco e armazenamento dos metadados (dados de controle do DW, responsveis pelos 44 45. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO mapeamentos dos dados de cada etapa de implementao do DSS). As ferramentas OLAP so, ento, utilizadas para visualizar e analisar os dados. Os Sistemas de Apoio Deciso so aparentemente simples, mas exigem um profundo conhecimento tcnico e de negcios para serem elaborados e utilizados com sucesso. Metadados Os metadados, definidos como os "dados dos dados", constituem peas fundamentais num DW. Isso porque num Datawarehouse, alm do banco de dados, gera-se uma documentao muito maior que nos BDs tradicionais. feito o levantamento dos relatrios a serem gerados, de onde vem os dados para alimentar o DW, os processos de extrao, tratamento e rotinas de carga de dados. Tudo isso, acrescido das regras de negcios da empresa, as mudanas ocorridas ao longo do tempo e a frequncia de acesso aos dados, gera os metadados. Os metadados mantm as informaes sobre "o que est onde" num DW. Eles podem surgir de vrios locais durante o decorrer do projeto. Ferramentas de back end Mais sofisticadas e complexas, as ferramentas de back end (retaguarda) tambm esto evoluindo e aos poucos comeam a entrar no mundo operacional. Esses sistemas, tambm chamados de ETL (Extrao, Transformao e Limpeza) so fundamentais para preparar os dados que sero armazenados no DW. Embora atualmente j existam produtos que facilitam esse trabalho, esse ainda um processo trabalhoso, detalhado e complexo, e que requer expertise para ser executado de forma adequada e correta. As ferramentas de back end possibilitam cinco operaes principais. A primeira delas refere-se extrao dos dados que podem estar em fontes internas (sistemas transacionais, bancos de dados, etc.) ou externas (em sistemas fora da empresa). Em seguida preciso fazer a limpeza e transformao dos dados. Nessa etapa so corrigidas algumas imperfeies contidas na base de dados transacional, com objetivo de fornecer ao usurio dados concisos, no redundantes e com qualidade, permitindo uma anlise baseada nos valores mais prximos dos reais. A terceira operao refere-se ao processo de transformao do dado. Normalmente, os dados vm de vrios sistemas diferentes e por isso se faz necessrio padronizar os diferentes formatos em um s. A quarta etapa diz respeito ao processo de carga do DW que em geral feita a partir de um banco de dados temporrio, no qual os dados 45 46. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO armazenados j passaram pela limpeza e integrao. E finalmente h a etapa de atualizao dos dados (Refresh). Sabe-se que a todo momento so feitas alteraes na base de dados transacional. Essas atualizaes devem ser passadas para o DW, mas de forma organizada. A etapa de ETL uma das mais crticas de um projeto de DW. As ferramentas utilizadas para esse fim podem ser desenvolvidas pela prpria empresa ou adquiridas dos fornecedores, dependendo do projeto. No rol de ferramentas ETL incluem-se o Data Stage IBM, o Integration Services (Microsoft), Powercenter (Informatica) entre outros. ` Abaixo uma viso lgica da implementao de um processo de ETL: Garimpagem dos dados Fazer previses, detectar tendncias futuras, visualizar novas oportunidades de negcios, so algumas das vantagens possveis por meio das ferramentas de Data Mining. Essa tecnologia de "minerao dos dados" ganhou ateno com o surgimento do DW, o qual possui bases de dados bem organizadas e consolidadas. A premissa do data mining uma argumentao ativa, ou seja, no o usurio quem define o problema e seleciona a ferramenta para analis-lo, mas sim as prprias ferramentas de data mining que se encarregam de pesquisar e procurar possveis relacionamentos entre dados. Com isso, permitem diagnosticar o comportamento dos negcios, requerendo para isso a mnima participao do usurio. As ferramentas de data mining so baseadas em algoritmos que formam a construo de blocos de inteligncia artificial, redes neurais, regras de induo e 46 47. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO lgica de predicados que facilitam o trabalho dos analistas de negcios a visualizarem novas perspectivas para velhas questes. Essas ferramentas so extremamente teis para deteco de fraudes e para previses de comportamentos. Mas so tambm solues complexas que requerem dos profissionais boa capacidade de anlise e expertise. Atualmente existem muitas solues de BI para todos os tipos e tamanhos de empresas e de oramentos. A Internet tambm veio a facilitar a utilizao dessas ferramentas, possibilitando ao usurio final, por meio de um simples PC e browser, o acesso a consultas e anlises e o compartilhamento da inteligncia alm dos limites da organizao. No por acaso os fornecedores de produtos de BI baseiam suas solues em navegadores. Em termos de hardware, tambm a gama de opes para possibilitar o maior aproveitamento das solues de BI grande e variada, dependendo da necessidade da empresa e do volume de dados gerados e trafegados. Desde um simples PC, ao mais sofisticado e parrudo mainframe, possibilitam rodar as mais diferentes aplicaes e solues. O porte da infraestrutura de hardware ir depender do tipo de banco de dados utilizado. Para lidar com grande volume de dados gerados apropriado o uso de banco de dados multidimensionais que exigem um hardware mais parrudo para suport-lo. Mas para empresas menores, uma soluo como o SQL Server, da Microsoft, pode atender perfeitamente s necessidades. Nesse sentido, tradicionais fornecedores de banco de dados, como Oracle, Sybase, Teradata, Microsoft, entre outras, j disponibilizam produtos que trazem embutidas as ferramentas de extrao e anlise, oferecendo as mais variadas opes. O que os consultores de mercado destacam que as empresas, desde sempre, lidam com informaes que so importantes para o seu negcio. O BI permite organizar melhor essas informaes e disponibiliz-las para a empresa como um todo, de forma diferenciada, dependendo das necessidades de cada usurio. Qual ferramenta usar, qual banco de dados ou infraestrutura de hardware escolher, depender de cada projeto, de cada escopo e de cada capacidade de investimento. O importante ter em mente que o BI pode ser comparado a um crebro. Cada pessoa nasce com um e ele ir se desenvolver em cada etapa da vida - infncia, adolescncia e fase adulta, num processo contnuo. O BI igual. um processo que deve ser continuado ao longo do tempo, possibilitando o melhor aproveitamento da inteligncia interna e, com isso, fomentando o crescimento da corporao. 47 48. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO Dificuldades no caminho 48 49. CONCEITOS DE BUSINESS INTELLIGENCE GUIA DEFINITIVO Dificuldades para implementar projetos de BI Dispor da informao correta no menor tempo possvel hoje o grande diferencial para as empresas que querem se manter na dianteira no mundo dos negcios. o que lhes permite tomar decises rpidas, corrigir rumos, adequar-se s oscilaes econmicas e antecipar-se s necessidades dos clientes. Com base nisso, renomados institutos de pesquisa e analistas de mercado apostam na proliferao de projetos de Business Intelligence nos prximos anos. Apesar de existir a necessidade e o interesse da parte do setor corporativo, no entanto, esse segmento no est decolando conforme o previsto. Por qual motivo? As razes so muitas e diversificadas. A mais importante delas refere-se ao temor pelo fracasso. Um medo, alis, que no infundado. As estatsticas revelam que mais da metade dos projetos de BI no so concludos, ou fracassam, consumindo milhes de dlares sem trazer os resultados esperados. Isso acontece por uma sucesso de erros, a comear pelo desconhecimento do que de fato Business Intelligence. Grande parte das empresas ainda considera o BI como mais um projeto de tecnologia da informao e no como um conceito atrelado estratgia corporativa, que pode ou no utilizar ferramentas tecnolgicas, e que tem como principal foco transformar os dados, coletados pelos sistemas transacionais, em informaes, as quais auxiliam na tomada de deciso. Em parte, os fornecedores de solues tm uma certa culpa por essa desinformao do mercado. Na nsia de vender produtos, muitos desenvolvedores de ferramentas de extrao e de anlise de dados tentaram empacotar essas solues e oferec-las nos moldes dos sistemas de gesto empresarial ERPs (Enterprise Resource Management)