VTEX @ Splunk Live! São Paulo
17
Copyright © 2014 Splunk Inc. The answer is always 42 Dos logs aos negócios Fábio Caldas – Senior SoBware Engineer na VTEX
-
Upload
fabio-caldas -
Category
Technology
-
view
188 -
download
3
description
Apresentação do Engenheiro de software, Fábio Caldas, da VTEX na Splunk Live! São Paulo sobre o amadurecimento do uso do Splunk no case da empresa que migrou de um simples monitoramento de logs para um monitoramento efetivo de seu negócio.
Transcript of VTEX @ Splunk Live! São Paulo
Copyright © 2014 Splunk Inc.
The answer is always 42
Dos logs aos negócios
Fábio Caldas – Senior SoBware Engineer na VTEX
2
Agenda ! Sobre a VTEX ! Desafios iniciais ! Usando Splunk – Log, Métrica, Dados de máquina ! Monitoramentos – Máquinas, Aplicações, Negócios ! VTEX AnalyTcs -‐ Fornecendo aos nossos clientes visão de negócios
3
• A VTEX é líder em tecnologia para e-‐commerce e pioneira na comercialização de soBware como serviço (SaaS) no Brasil. Suas soluções atendem lojas virtuais independente do volume de clientes e do segmento de negócio, tudo com selo PCI CerTfied
! Mais de 700 clientes aTvos, 10 países, 200 funcionários, 110 desenvolvedores
! 300 milhões de requests/dia entre sistemas (95% < 200ms) ! 1.7k de métricas por segundo / 200 logs por segundo
4
Fábio Caldas
! Formado em Ciências da Computação – Turma 2005 UCP ! Programador .Net C# apaixonado ! Minha definição em uma frase “Problem Killer” ! Nunca gostei de banco de dados !! NUNCA !!
5
Hardware Dados de negócios
Logs
Realidade vs Necessidade
Métricas
Aumento de Conversão
IdenTficação de anormalidades
Uma mãozinha com os futuros indicadores
Análises Departamentais
6
Antes do Splunk ! Como poderiamos logar dados do RequestCapture?
– Necessitavamos logar todo o stream de navegação dos usuários pelas páginas dos clientes
! Como criar um ambiente central para todos os logs da empresa? – Centralizar logs de 14 novas aplicações que estavam sendo desenvolvidas
7
Antes do Splunk ! Foram múlTplas as tentaTvas
– Cassandra: Realmente eficiente e rápido na escrita de dados, óTma arquitetura, porém todo o trabalho de idenTficação/análise dos dados precisava ser criado
– Solr/ElasBcSearch: Foram rapidamente Trado de questão devido a necessidade de schema, ajustes finos para indexação dependiam do volume de dados gerados.
– Graylog: ÓTmo centralizador de logs mas UI extramente simplista
– Splunk: Possui todas as caracterisTcas desejadas porém com um preço
8
Splunk Enterprise at VTEX
Forwarder-‐ Linux Forwarder-‐ Windows Forwarder-‐ Linux Forwarder-‐ Windows
Splunk Heavy Forwarder
Splunk server -‐ Datastore
Splunk server -‐ Datastore
Splunk search
9
Depois do Splunk ! Exemplos de Logs, Métricas e Dados de máquinas
10
EstawsTcas do Splunk ! Parque de 6 máquinas (1 Deployment, 2 Heavy-‐Forwarders, 2 Indexes redundantes, 1 Search) rodando 30 Splunk Apps
! Cada Splunk app é desenvolvida pelo Tme que está criando o soBware/serviço
11
Parque de Apps
12
Machine Metrics Dashboard
13
Metrics Sample Dashboard Monitoramento do DynamicStorage
14
VTEX AnalyTcs
15
What’s Next ! SimpleDb WebHook
– Decidimos dar ao nossos clientes seus dados de volta através de Hooks Hyp configuráveis
– Devolver dados de pedidos, catálogo, sessões de navegação, etc ! VTEX AnalyTcs
– Finaliza-‐lo para disponibilizarmos ao cliente VTEX um conjunto de KPIs e dashboards de forma a auxilia-‐los no acompanhamento de seus negócios.
16
Top Takeaways / Depois do Splunk ! Converse com todos os departamentos, todos precisam de bons dados pra terem sucesso
! Todos (todos mesmo) devem ver o Splunk como uma ferramenta auxiliar, porque pivotar no excel se é possível no Splunk
! ConTnue a inovar …
That's all folks
17
