Search Masters Brasil 2015 - SIGA O ROBÔ: Utilizando Logs na performance do seu SEO
Exraindo informações de negócio a partir de logs de aplicações dom o ELK
-
Upload
marcus-vinicius-leandro -
Category
Internet
-
view
91 -
download
0
Transcript of Exraindo informações de negócio a partir de logs de aplicações dom o ELK
![Page 1: Exraindo informações de negócio a partir de logs de aplicações dom o ELK](https://reader035.fdocumentos.tips/reader035/viewer/2022081604/587eec481a28ab17388b6fe3/html5/thumbnails/1.jpg)
Case: Extraindo informações de negócio a partir de logs de aplicações com o ELK
2016
![Page 2: Exraindo informações de negócio a partir de logs de aplicações dom o ELK](https://reader035.fdocumentos.tips/reader035/viewer/2022081604/587eec481a28ab17388b6fe3/html5/thumbnails/2.jpg)
Agenda
1. O problema2. Construindo a solução3. Superando desafios de segurança4. Modelando a solução5. Primeiros resultados6. Extraindo informações de negócio7. Números8. Próximos passos9. Contato
Total de slides: 10Duração aproximada: 20 min.
![Page 3: Exraindo informações de negócio a partir de logs de aplicações dom o ELK](https://reader035.fdocumentos.tips/reader035/viewer/2022081604/587eec481a28ab17388b6fe3/html5/thumbnails/3.jpg)
O problema
• Operação crítica da companhia;
• Aplicação fechada (sem acesso ao código-fonte);
• Processo burocrático e lento para acesso aos logs de produção;
• Aprox. 4GB de dados gerados por dia;
• Análise manual, imprecisa, lenta e difícil.
![Page 4: Exraindo informações de negócio a partir de logs de aplicações dom o ELK](https://reader035.fdocumentos.tips/reader035/viewer/2022081604/587eec481a28ab17388b6fe3/html5/thumbnails/4.jpg)
Construindo a solução
• LogForwarder ©: Solução desenvolvida in-house para interpretação, serialização em json e envio das mensagens de log para o logstash;
• Logstash: Solução para coleta, processamento e transporte de dados;
• Elasticsearch: Solução para indexação, pesquisa e análise de grande quantidade de dados em tempo real;
• Kibana: Front-end para pesquisa, análise e visualização de dados no Elasticsearch;
ELK
8 núcleos32 GB RAM1.5 TB Storage
![Page 5: Exraindo informações de negócio a partir de logs de aplicações dom o ELK](https://reader035.fdocumentos.tips/reader035/viewer/2022081604/587eec481a28ab17388b6fe3/html5/thumbnails/5.jpg)
Superando desafios de segurança
O Microsoft IIS foi colocado na frente do Kibana como proxy reverso para atender aos requisitos de Segurança da Informação:
• Autenticação – HTTP Basic Authentication integrado ao MS Active Directory;
• Canal seguro (https) – Configuração de certificado de segurança no site do IIS;
• Rastreabilidade – Através dos logs de autenticação no AD e dos logs de acesso do IIS.
![Page 6: Exraindo informações de negócio a partir de logs de aplicações dom o ELK](https://reader035.fdocumentos.tips/reader035/viewer/2022081604/587eec481a28ab17388b6fe3/html5/thumbnails/6.jpg)
Primeiros resultadosAcesso aos dados dos logs em tempo real;Tempo médio de throubleshooting caiu de 2 dias para poucos minutos;Análise proativa de erros.
![Page 7: Exraindo informações de negócio a partir de logs de aplicações dom o ELK](https://reader035.fdocumentos.tips/reader035/viewer/2022081604/587eec481a28ab17388b6fe3/html5/thumbnails/7.jpg)
Extraindo informações de negócioDashboard transacional
Tempo médio de processamentoTempo máximo de processamentoNúmero de transações simultâneas por segundo
Acompanhamento de picos de tempo de processamentoNúmero de transações por servidor
![Page 8: Exraindo informações de negócio a partir de logs de aplicações dom o ELK](https://reader035.fdocumentos.tips/reader035/viewer/2022081604/587eec481a28ab17388b6fe3/html5/thumbnails/8.jpg)
Extraindo informações de negócioDashboard transacional
Códigos de resposta de autorização/cancelamento por servidorCancelamentos negados por bandeira/servidor
![Page 9: Exraindo informações de negócio a partir de logs de aplicações dom o ELK](https://reader035.fdocumentos.tips/reader035/viewer/2022081604/587eec481a28ab17388b6fe3/html5/thumbnails/9.jpg)
Números
>1 bilhão de
documentos
1TB de storage
Diversas áreas
de negóci
o
3 meses de
histórico
![Page 10: Exraindo informações de negócio a partir de logs de aplicações dom o ELK](https://reader035.fdocumentos.tips/reader035/viewer/2022081604/587eec481a28ab17388b6fe3/html5/thumbnails/10.jpg)
Próximos passos
Cluster únicoAlertas automáticos
Correlação de eventos
![Page 11: Exraindo informações de negócio a partir de logs de aplicações dom o ELK](https://reader035.fdocumentos.tips/reader035/viewer/2022081604/587eec481a28ab17388b6fe3/html5/thumbnails/11.jpg)
ContatoMarcus Leandro
Desenvolvedor na Stone
E-mail Stone: [email protected]: [email protected]: https://linkedin.com/in/mvleandro
![Page 12: Exraindo informações de negócio a partir de logs de aplicações dom o ELK](https://reader035.fdocumentos.tips/reader035/viewer/2022081604/587eec481a28ab17388b6fe3/html5/thumbnails/12.jpg)
Obrigado!