Lets go log!
-
Upload
rafael-pacheco -
Category
Software
-
view
295 -
download
1
Transcript of Lets go log!
Let’s go LogELK (ElasticSearch, LogStash e Kibana)
Rafael Pacheco@ravpachecco
ravpacheco.com
Sumário
• Importância e ciclo de vida dos logs;
• Problemas típicos com mecanismos precários de logs;
• Algumas evidências que indicam problemas com logs;
• Como melhorar o processo de log através da stack ELK;
• Protótipo em desenvolvimento;
• Demos;
Como estão seus logs ?
Ciclo de vida
Record
Transmit
Analyze
Store
Delete
* James Turnbull (CTO Kickstarter) [http://goo.gl/GSl9Fm]
Problemas
Alguns problemas gerados por mecanismos de log precário:
• Tempo excessivo para diagnosticar e resolver problemas em produção;
• Aumento do custo operacional;
• Falta de evidências para justificar indisponibilidades;
• Inexistência de métricas (ligadas ao ciclo de vida) para analisar desempenho
e qualidade dos produtos;
Evidências
Não existe padrão no processo de armazenamento dos logs;
Log
Log
LogLog
Aplicação X
Evidências
Algumas aplicações não possuem logs
Log
Aplicação X
Evidências
Incapacidade de extrair, facilmente, informações e insights dos logs através dos
meios de visualização utilizados atualmente
ELKElasticsearch + Logstash + Kibana
Logstash
Ferramenta para construção de pipelines de ações
• open source
• pré-requisitos (JVM)
• flexível e extensível (plugins)
• age como um orquestrador do fluxo de logs
• componentes básicos:
input
filter
output
#logstash.conf
input {stdin { }
}
filter {
}
output {stdout { }
}
Elasticsearch
Ferramenta especializada em indexação e search em texto (documentos)
• open source
• pré-requisitos (JVM)
• possui uma engine de search RESTful
• projetado para cloud
• componentes básicos:
Indexação
search
#example
PUT /megacorp/employee/1{
"first_name" : "John","last_name" : "Smith","age" : 25,"about" : "I love rock climbing","interests": [ "sports", "music" ]
}
GET /megacorp/employee/1
GET /megacorp/employee/_search
Elasticsearch
Alguns usuários: *Github usa elasticsearch para pesquisar em 130
bilhões de linhas de código
Kibana
Ferramenta especializada em exploração e visualização de dados em conjunto
com elasticsearch
open source
interface bonitinha
gráficos
análises sofisticadas
pode ser integrada também com Hadoop, Flume, fluentd
Protótipo em desenvolvimento
Premissas: simplicidade e flexibilidade para adequar-se a nossa realidade atual;
L
Log
Log
Log
Log
NEST*
LogStash<output>
E
ElasticSearch
K
Kibana
<input>
<Filter>
Demo
Alternativas