Monitorando Ecommerce no UOL com Splunk

download Monitorando Ecommerce no UOL com Splunk

of 30

  • date post

    04-Dec-2014
  • Category

    Technology

  • view

    140
  • download

    0

Embed Size (px)

description

Splunk Live São Paulo, 17 de Setembro de 2014

Transcript of Monitorando Ecommerce no UOL com Splunk

  • 1. Copyright 2014 Splunk Inc.Monitorando ecommercecom Splunk

2. 2Marcio Ghiraldelli6 anos como arquiteto de TI no Universo OnlineArquitetura de sistemas de alta disponibilidade (PagSeguro eShoppingUOL)Sun Certified Java Architect / MBA em Gerenciamento de Projetos PMI 3. 3AgendaMonitorando transaes de carto de crditoTomada de decises de negcioMonitorando operao do sistemaMedindo ROI de mdia online em tempo real 4. 4Maior portfolio de produtos e servios de Internet do BrasilMaior portal de contedo em lngua portuguesa do mundoInfraestrutura de TI e Datacenter 5. 6Splunk @ PagSeguro Monitorao antes: Baseada em banco relacional, sem escala horizontal Limitado s 3 ultimas horas de eventos Acesso a dados histricos depende de DBA Necessrio instalar aplicao cliente em todos os computadores daequipe de monitorao 6. 7Descobrindo e escolhendo SplunkNovo servio backendAdquirentes carto decrdito, bancos, etcFerramenta demonitoraoPCI-DSS securitycompliance 7. 8Descobrindo e escolhendo Splunk Necessidades da monitorao: Big Data centralizado Flexvel Fcil de usar Realtime 8. 9Exemplo de informao de transaesMar 12 08:18:44 a5-hertz2 app=psgw-core INFO[br.com.uol.ps.gw.core.aspect.CommandExecuteLogger](qtp564660841-420:) datetime=2013-03-12 08:18:44,528command=CreditCardSaleCommand msecs=555{creditCardResponse=null,creditCardRequestModel={creditCardTransaction={id=9999993513, merchantCode=99999999,fiDetails={nsu=999998,authorizationCode=59999999841,time=Tue Mar 12 08:18:44 BRT 2013,rawMessage=Transacao capturada com sucesso,rawCode=0, fi=locie, integratorCode=1016999999999999991},numTransientToken=93853bdxxxxxxxxxxxxxxxxx0759e,isWallet=false, softDescriptor=CortaCortaco,maskedNumber=547408******1525,cvv=***, brand=mastercard,paymentStatus=PAGO 9. 10Dashboards em tempo real 10. 11Dashboards em tempo realTempo mdio de comunicao com parceiros 11. 12Dashboards em tempo realComparativo de volume de transaes com semana anterior 12. 13Dashboards em tempo realTempo mdio de comunicao por transao 13. 14Dashboards em tempo realDesativando integraes legadas 14. 15Splunk @ PagSeguro Agora: Monitorao web com grficos, treinamento para novos N1s diminuide semanas para dias; Acesso dados histricos com um clique Nivelamento de informaes entre monitorao, P&D e rea denegcios 15. 17Splunk @ ShoppingUOL Antes: Time de P&D sem relatrios grficos centralizados da sade daoperao Dados de ROI de mdia online no eram em tempo real 16. 18Splunk Universal Forwarder Componente light de fcil configurao para coletar logsexistentes de aplicaes legadas Expanso da licena atual e infra (+ indexers) do Splunk paraatender novo produto ShoppingUOL Instalao automatizada em +20 mquinas virtuais via puppet 17. 19Splunk Proccess Language Extrao de dados de logs em diversos formatos legados rex, transaction, dedup 18. 20DashboardsQuantidade de ofertas coletadas por lojas 19. 21DashboardsVolume de documentos indexados e replicados no ndice Solr 20. 22DashboardsPerformance de aplicaes Java com Perf4J 21. 23DashboardsROI de Mdia Online em tempo real 22. 24Splunk @ ShoppingUOL Depois: Time de P&D e operao com a mesma visibilidade Acompanhamento de campanhas de mdia online em tempo real +velocidade em tomadas de decises de investimentos 23. Upgrade de arquiteturaon the fly 24. 26Upgrade de arquitetura on the flyAntes: 2 servidores com uma instncia de SplunkSearch Head and IndexerNFS MountIndex cold bucketsIncoming TCP dataSplunk Search User Access 25. Splunk Search User Access TCP Load Balancer TCP Load Balancer27Upgrade de arquitetura on the flyDepois: 4 servidores com 4 instncias SplunkSearch HeadIncoming TCP dataSearch HeadIndexerIndexer 26. Prximos passos 27. 29Prximos passos Todas as novas aplicaes sendo criadas com logs no formatochave/valor, prevendo uma futura convergncia no Splunk Instalando uma televiso no andar da rea de negcios paraacompanhamento em tempo real dos dashboards Evoluindo a arquitetura do Splunk corporativo para atendertodos os produtos do UOL em uma infra centralizada Integrar Splunk com os eventos de processos ITIL/CMDB 28. Obrigado!linkedin.com/in/mghiraldellitwitter.com/marciogh