Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas
-
Upload
fabiola-fernandes -
Category
Technology
-
view
354 -
download
0
description
Transcript of Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas
![Page 1: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/1.jpg)
CDS, 25/10/2011
Logs,
Monitoramento e
Estatísticas
Uma abordagem sobre
ferramentas
![Page 2: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/2.jpg)
CDS, 25/10/2011
Motivação
2011: dados gerados
no mundo ultrapassou
1.8 ZB = 1.8 trilhão GB2011: dados gerados
no mundo ultrapassou
1.8 ZB = 1.8 trilhão GB
A quantidade de dados do mundo está mais que dobrando a cada dois anos!
A quantidade de dados do mundo está mais que dobrando a cada dois anos!
Fonte: Extracting Value from Chaos, 2011
Estatística cresce mais rápido que a Lei de
Moore!
Estatística cresce mais rápido que a Lei de
Moore!
![Page 3: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/3.jpg)
CDS, 25/10/2011
Motivação
![Page 4: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/4.jpg)
CDS, 25/10/2011
Motivação
![Page 5: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/5.jpg)
CDS, 25/10/2011
O que é Big Data?
GrandeGrande
ComplexoComplexo
Não-estruturadoNão-estruturado
![Page 6: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/6.jpg)
CDS, 25/10/2011
Motivação
“Empresas devem aprender rapidamente o quão
importante é lidar com big data, pois o volume de
dados gerados não dá nenhum sinal de
desaceleração.” (Oracle Big Data white paper)
“Os dados não são criados por relevância, eles se tornam relevantes!” (IBM Big Data
white paper)
![Page 7: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/7.jpg)
CDS, 25/10/2011
Objetivo
Como lidar com grandes quantidades de LOGS?
Como lidar com grandes quantidades de LOGS?
Como MONITORAR informações?
Como MONITORAR informações?
Como obter ESTATÍSTICAS de grandes massas de dados?
Como obter ESTATÍSTICAS de grandes massas de dados?
![Page 8: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/8.jpg)
CDS, 25/10/2011
Outline
![Page 9: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/9.jpg)
CDS, 25/10/2011
Hadoop: ficha técnica
2003 2004 2005 2006 2008
GFS
(Goo
gle
File
Sys
tem
)
Nut
ch (w
eb s
earc
h en
gine
– pa
rte d
o Lu
cene
) - N
DFS
Map
Red
uce
ND
FS +
Map
Red
uce
Apac
he p
roje
ct:
HAD
OO
P
![Page 10: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/10.jpg)
CDS, 25/10/2011
NYT: menos de 24h para
converter para PDF 4TB
de arquivos scaneados
utilizando 100 máquinas de
Hadoop
Facebook possui o maior cluster de Hadoop do mundo: 30PB
Yahoo! utiliza Hadoop
para ordenar 1TB em
59s
Hadoop: ficha técnica
![Page 11: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/11.jpg)
CDS, 25/10/2011
Hadoop powered by
![Page 12: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/12.jpg)
CDS, 25/10/2011
Hadoop tecnicamente...
• Java
• Open Source
• Projeto top level da Apache
• Commiters: Yahoo! e Cloudera
• Plataformas com Hadoop: MapR, Hadapt, Cloudera…
![Page 13: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/13.jpg)
CDS, 25/10/2011
O que é Hadoop?
![Page 14: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/14.jpg)
CDS, 25/10/2011
O que é Hadoop?
O software Apache Hadoop é um framework que
permite o processamento distribuído de grande
massa de dados armazenados em clusters, utilizando
um modelo de programação simples.
Um sistema de ARMAZENAMENTO e PROCESSAMENTO de dadosUm sistema de ARMAZENAMENTO e PROCESSAMENTO de dados
![Page 15: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/15.jpg)
CDS, 25/10/2011
O que é Hadoop?
= +armazenamento processamento
Um sistema de ARMAZENAMENTO e PROCESSAMENTO de dadosUm sistema de ARMAZENAMENTO e PROCESSAMENTO de dados
![Page 16: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/16.jpg)
CDS, 25/10/2011
HDFSHadoop
Distributed
File
System
[fabiola-laptop ~]$ hadoop dfs –mkdir /ctbc[fabiola-laptop ~]$ hadoop dfs –copyFromLocal dados.txt /ctbc[fabiola-laptop ~]$ hadoop dfs –ls /ctbcFound 1 items-rw-r—r-- 3 fabiola fabiola 88 2012-06-27 19:12 /ctbc/dados.txt
![Page 17: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/17.jpg)
CDS, 25/10/2011
HDFS: como funciona?
A partida em Donetsk foi a última de Cristiano
Ronaldo na temporada 2011/2012. Agora, o craque sai de férias
garantindo estar feliz com o seu desempenho.
Sinceramente, não penso em termos individuais.
Ronaldo lamentou não ter podido fazer a sua
cobrança na disputa de pênaltis, mas enalteceu o
trabalho da seleção portuguesa na Eurocopa.
Antes de deixar a Donbass Arena em sua
última partida na Eurocopa 2012,
300 MB
Dado um arquivo…
![Page 18: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/18.jpg)
CDS, 25/10/2011
HDFS: como funciona?
A partida em Donetsk foi a última de Cristiano
Ronaldo na temporada 2011/2012. Agora, o craque sai de férias
garantindo estar feliz com o seu desempenho.
Sinceramente, não penso em termos individuais.
Ronaldo lamentou não ter podido fazer a sua
cobrança na disputa de pênaltis, mas enalteceu o
trabalho da seleção portuguesa na Eurocopa.
Antes de deixar a Donbass Arena em sua
última partida na Eurocopa 2012,
128 MB
HDFS divide em blocos
128 MB
44 MB
![Page 19: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/19.jpg)
CDS, 25/10/2011
HDFS: como funciona?
HDFS manterá 3 cópias de cada bloco
A partida em Donetsk foi a última de Cristiano
Ronaldo na temporada 2011/2012. Agora, o craque sai de férias
garantindo estar feliz com o seu desempenho.
Sinceramente, não penso em termos individuais.
Ronaldo lamentou não ter podido fazer a sua
cobrança na disputa de pênaltis, mas enalteceu o
trabalho da seleção portuguesa na Eurocopa.
Antes de deixar a Donbass Arena em sua
última partida na Eurocopa 2012,
A partida em Donetsk foi a última de Cristiano
Ronaldo na temporada 2011/2012. Agora, o craque sai de férias
garantindo estar feliz com o seu desempenho.
A partida em Donetsk foi a última de Cristiano
Ronaldo na temporada 2011/2012. Agora, o craque sai de férias
garantindo estar feliz com o seu desempenho.
Sinceramente, não penso em termos individuais.
Ronaldo lamentou não ter podido fazer a sua
cobrança na disputa de pênaltis, mas enalteceu o
trabalho da seleção portuguesa na Eurocopa.
Sinceramente, não penso em termos individuais.
Ronaldo lamentou não ter podido fazer a sua
cobrança na disputa de pênaltis, mas enalteceu o
trabalho da seleção portuguesa na Eurocopa.
Antes de deixar a Donbass Arena em sua
última partida na Eurocopa 2012,
Antes de deixar a Donbass Arena em sua
última partida na Eurocopa 2012,
x3
x3
x3
![Page 20: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/20.jpg)
CDS, 25/10/2011
HDFS: como funciona?
HDFS armazena esses blocos em datanodes
A partida em Donetsk foi a última de Cristiano
Ronaldo na temporada 2011/2012. Agora, o craque sai de férias
garantindo estar feliz com o seu desempenho.
A partida em Donetsk foi a última de Cristiano
Ronaldo na temporada 2011/2012. Agora, o craque sai de férias
garantindo estar feliz com o seu desempenho.
A partida em Donetsk foi a última de Cristiano
Ronaldo na temporada 2011/2012. Agora, o craque sai de férias
garantindo estar feliz com o seu desempenho.
A partida em Donetsk foi a última de Cristiano
Ronaldo na temporada 2011/2012. Agora, o craque sai de férias
garantindo estar feliz com o seu desempenho.
A partida em Donetsk foi a última de Cristiano
Ronaldo na temporada 2011/2012. Agora, o craque sai de férias
garantindo estar feliz com o seu desempenho.
A partida em Donetsk foi a última de Cristiano
Ronaldo na temporada 2011/2012. Agora, o craque sai de férias
garantindo estar feliz com o seu desempenho.
A partida em Donetsk foi a última de Cristiano
Ronaldo na temporada 2011/2012. Agora, o craque sai de férias
garantindo estar feliz com o seu desempenho.
A partida em Donetsk foi a última de Cristiano
Ronaldo na temporada 2011/2012. Agora, o craque sai de férias
garantindo estar feliz com o seu desempenho.
A partida em Donetsk foi a última de Cristiano
Ronaldo na temporada 2011/2012. Agora, o craque sai de férias
garantindo estar feliz com o seu desempenho.
![Page 21: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/21.jpg)
CDS, 25/10/2011
HDFS: como funciona?
HDFS distribui os blocos aos datanodes
![Page 22: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/22.jpg)
CDS, 25/10/2011
HDFS: como funciona?
Namenode controla blocos e datanodes
DN1, DN4, DN7
DN4, DN5, DN6
DN3, DN5, DN8
Namenode
![Page 23: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/23.jpg)
CDS, 25/10/2011
HDFS: como funciona?
Algum dia um datanode cairá… não é um problema
DN1, DN4, DN7
DN4, DN5, DN6
DN3, DN5, DN8
Namenode
X
![Page 24: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/24.jpg)
CDS, 25/10/2011
HDFS: como funciona?
Namenode dirá aos DNs para copiar os blocos, voltando a 3x
DN1, DN4, DN7
DN4, DN5, DN6
DN3, DN5, DN8
Namenode
![Page 25: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/25.jpg)
CDS, 25/10/2011
HDFS: como funciona?
Namenode• Namenode é o único ponto de falha (SPOF)
• Backupnode = manual failover
• Deve-se investir pesado no hardware do Namenode
• redundância de energia
• discos em RAID
• …
Como solucionar?Como solucionar?
![Page 26: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/26.jpg)
CDS, 25/10/2011
Relembrando…
= +armazenamento processamento
Um sistema de ARMAZENAMENTO e PROCESSAMENTO de dadosUm sistema de ARMAZENAMENTO e PROCESSAMENTO de dados
![Page 27: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/27.jpg)
CDS, 25/10/2011
Map Reduce
![Page 28: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/28.jpg)
CDS, 25/10/2011
Map Reduce
Pense em termos de <chave, valor>…
<byte offset, texto><user, perfil do usuário>
<timestamp, access log entry><user, lista de amigos do usuário>
![Page 29: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/29.jpg)
CDS, 25/10/2011
Map Reduce
Para escrever um programa Map-Reduce:
1. Escreva um mapeamento que, dada uma <chave,valor>, gere zero ou mais <chaves, valores>
2. Escreva um redutor de todos os valores em uma chave, gerando zero ou mais novas <chaves, valores>
![Page 30: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/30.jpg)
CDS, 25/10/2011
Map Reduce: como funciona?
Para escrever um programa Map-Reduce:
1. Escreva um mapeamento que, dada uma <chave,valor>, gere zero ou mais <chaves, valores>
2. Escreva um redutor de todos os valores em uma chave, gerando zero ou mais novas <chaves, valores>
![Page 31: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/31.jpg)
CDS, 25/10/2011
Map Reduce: como funciona?
Exemplificando:
Contador de Palavras (word count)
![Page 32: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/32.jpg)
CDS, 25/10/2011
Map Reduce: como funciona?
<0, “Four score and five years ago our fathers brought”>
words = value.split(“ “)
for( word : words )emit( word, 1 )
![Page 33: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/33.jpg)
CDS, 25/10/2011
Tasktracker
Map Reduce: como funciona?
<0, “Four score and five years ago our fathers brought”>
words = value.split(“ “)for( word : words )
emit( word, 1 )
Datanode
![Page 34: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/34.jpg)
CDS, 25/10/2011
Tasktracker
Map Reduce: como funciona?
Datanode
Tasktracker
Datanode
Tasktracker
Datanode
Tasktracker
Datanode
Tasktracker
Datanode
Tasktracker
Datanode
![Page 35: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/35.jpg)
CDS, 25/10/2011
Map Reduce: como funciona?
<Four, 1><score, 1><and, 1><five, 1><years, 1><ago, 1><our, 1><fathers, ><brought, 1>, <Four, 1><score, 1><and, 1><five, 1><years, 1><ago, 1><our,
1><fathers, ><brought, 1><Four, 1><score, 1><and, 1><five, 1><years, 1><ago, 1><our, 1><fathers, ><brought, 1><Four, 1><score, 1><and, 1><five, 1><years, 1><ago, 1><our, 1><fathers, 1 ><brought, 1><Four, 1><score, 1><and, 1><five, 1><years, 1><ago, 1><our, 1><fathers, ><brought, 1><Four, 1><score, 1><and, 1><five, 1><years, 1><ago, 1><our, 1><fathers, ><brought, 1><Four, 1><score, 1><and, 1><five, 1><years, 1><ago, 1><our, 1><fathers, 1 ><brought, 1><Four, 1><score, 1><and, 1><five, 1><years, 1><ago, 1><our, 1><fathers, ><brought, 1><Four, 1><score, 1><and, 1><five, 1><years, 1><ago, 1><our, 1><fathers, ><brought, 1><Four, 1><score, 1><and, 1><five, 1><years, 1><ago, 1><our,
1><fathers, 1 ><brought, 1>
![Page 36: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/36.jpg)
CDS, 25/10/2011
Map Reduce: como funciona?
<Four, [1, 1, 1]><and, [1, 1, 1, 1, 1]>
<fathers, [1]><score, [1]>
<is, [1, 1, 1, 1 1]>…
Embaralha
![Page 37: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/37.jpg)
CDS, 25/10/2011
Map Reduce: como funciona?
<Four, 3><and, 5>
<fathers, 1><score, 1>
<is, 5 >…
Reduz
word = keyones = valuecount = 0
for( one : ones )count++
emit( word, count )
![Page 38: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/38.jpg)
CDS, 25/10/2011
Hadoop pra quê?
Quando usar Quando não usar
Busca Poucos dados
Processamento de logs Transações complexas
Sistemas de recomendação Alta consistência
Manipulação de video e imagem
Estatísticas, DW
Dados não estruturados
![Page 39: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/39.jpg)
CDS, 25/10/2011
Resumindo
Scalability Cost-effective
Flexibility
Faul tolerant
![Page 40: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/40.jpg)
CDS, 25/10/2011
Ecossistema Hadoop et. al.
![Page 41: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/41.jpg)
CDS, 25/10/2011
Discussão
Hadoop é um banco de dados?Hadoop é um banco de dados?
Não. Hadoop não é um SGBD. É um sistema para armazenamento e processamento de grande massa de
dados.
Não. Hadoop não é um SGBD. É um sistema para armazenamento e processamento de grande massa de
dados.
Pode ser combinado com outras ferramentas e formar um banco de dados ou mesmo um
sistema de DW. Ex.: Hadoop + Hive, Hadoop + HBase
Pode ser combinado com outras ferramentas e formar um banco de dados ou mesmo um
sistema de DW. Ex.: Hadoop + Hive, Hadoop + HBase
O que é um banco de dados? Oracle SGBDR? Storage?
O que é um banco de dados? Oracle SGBDR? Storage?
![Page 42: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/42.jpg)
CDS, 25/10/2011
Discussão
Hadoop é um banco de dados?Hadoop é um banco de dados?
Atenção: quando utilizar um SGBDR ou Hadoop (+ outras ferramentas)?
Atenção: quando utilizar um SGBDR ou Hadoop (+ outras ferramentas)?
Analise seus requisitos!Analise seus requisitos!
![Page 43: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/43.jpg)
CDS, 25/10/2011
Estudo de Caso
no
![Page 44: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/44.jpg)
CDS, 25/10/2011
Estudo de Caso: Facebook
http://borthakur.com/ftp/hadoopmicrosoft.pdf
![Page 45: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/45.jpg)
CDS, 25/10/2011
Estudo de Caso: Facebook
• Logging
• Analytics e machine learning
• 2 clusters principais
• 1100 máquinas, 8800 cores, 12PB
• 300 máquinas, 2400 cores, 3PB
• cada nó possui 8 cores, com 12TB de storage
![Page 46: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/46.jpg)
CDS, 25/10/2011
Estudo de Caso: Facebook
![Page 47: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/47.jpg)
CDS, 25/10/2011
Estudo de Caso
no
![Page 48: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/48.jpg)
CDS, 25/10/2011
Estudo de Caso: Coreo
HDFS
Web DAV
Portal WS
![Page 49: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/49.jpg)
CDS, 25/10/2011
Estudo de Caso: Coreo
• Logging
• Apenas HDFS (por enquanto…)
• 1 cluster
• 3 máquinas
• fator de replicação 3
• backup namenode
![Page 50: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/50.jpg)
CDS, 25/10/2011
Estudo de Caso: CDS
OSS/BSS?
DW?
OCS?
V4?
Smarts?
![Page 51: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/51.jpg)
CDS, 25/10/2011
Big Data
![Page 52: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/52.jpg)
CDS, 25/10/2011
Big Data
![Page 53: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/53.jpg)
CDS, 25/10/2011
Big Data
![Page 54: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/54.jpg)
CDS, 25/10/2011
Hadoop powered by
![Page 55: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/55.jpg)
CDS, 25/10/2011
Outline
![Page 56: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/56.jpg)
CDS, 25/10/2011
Cassandra: o que é?
Cassandra é um sistema distribuído de
armazenamento para GERENCIAR grande quantidade
de dados estruturados, com alta disponibilidade e
sem ponto de falha.
![Page 57: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/57.jpg)
CDS, 25/10/2011
Cassandra: o que é?
Cassandra é um sistema distribuído de
armazenamento para GERENCIAR grande quantidade
de dados estruturados, com alta disponibilidade e
sem ponto de falha.
Um BANCO DE DADOS distribuído, escalável e de alta performance.
Um BANCO DE DADOS distribuído, escalável e de alta performance.
![Page 58: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/58.jpg)
CDS, 25/10/2011
Cassandra: o que é?
Descentralizado
Tolerante a falhas
Modelo de dados <key,value>
Durável
Escalável
Criado pelo FacebookOpen source (Apache)
![Page 59: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/59.jpg)
CDS, 25/10/2011
Cassandra: como funciona?
Escrita
![Page 60: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/60.jpg)
CDS, 25/10/2011
Cassandra: como funciona?
Query
Closest replica
Cassandra Cluster
Replica A
Result
Replica B Replica C
Digest QueryDigest Response Digest Response
Result
Client
Read repair if digests differRead repair if digests differ
Leitura
![Page 61: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/61.jpg)
CDS, 25/10/2011
Cassandra: modelo de dados
![Page 62: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/62.jpg)
CDS, 25/10/2011
Cassandra: modelo de dados
Uma única coluna
![Page 63: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/63.jpg)
CDS, 25/10/2011
Cassandra: modelo de dados
Uma única linha
![Page 64: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/64.jpg)
CDS, 25/10/2011
Cassandra: modelo de dados
Difícil encontrar
SW para
modelagem
![Page 65: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/65.jpg)
CDS, 25/10/2011
Cassandra: query
no-SQL = CQL = Cassandra Query Language
API Hector
SELECT, UPDATE, DELETE, CREATE COLUMN FAMILY, …
SELECT ... WHERE KEY = keyname AND name1 = value
![Page 66: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/66.jpg)
CDS, 25/10/2011
Cassandra: quando usar?
Big data
Muitos requests
Alta performance (memória)
Analise seu modelo de dados!
![Page 67: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/67.jpg)
CDS, 25/10/2011
Cassandra no Coreo
AppEngine
Controle
EventHandlerScheduler
Identity Server Componente de BD
![Page 68: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/68.jpg)
CDS, 25/10/2011
Cassandra: discussão
X
![Page 69: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/69.jpg)
CDS, 25/10/2011
Cassandra: discussão
+
![Page 70: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/70.jpg)
CDS, 25/10/2011
Outline
![Page 71: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/71.jpg)
CDS, 25/10/2011
Scribe
Servidor de agregação de streams de logs em tempo
real.
![Page 72: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/72.jpg)
CDS, 25/10/2011
Scribe
• Criado pelo Facebook
• Escrito em C++
• ( + ) Utiliza thrift para comunicação
• ( + ) Escalável
• ( + ) Robusto
• ( + ) Integra com Hadoop
• ( - ) Pouca documentação
![Page 73: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/73.jpg)
CDS, 25/10/2011
Scribe: como funciona?
![Page 74: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/74.jpg)
CDS, 25/10/2011
Scribe no Coreo
Logs são divididos em categorias do tipo:
1)ESBesb1esb2
2)BAMbam1bam2
3)SCEcocreation-sce1cocreation-sce2
4)Portalportal1portal2
5)AppEngineappEngine1appEngine2
6)…
![Page 75: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/75.jpg)
CDS, 25/10/2011
Scribe no Coreo
![Page 76: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/76.jpg)
CDS, 25/10/2011
Scribe no Coreo
![Page 77: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/77.jpg)
CDS, 25/10/2011
Logging no CDS
Syslog?Splunk?
![Page 78: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/78.jpg)
CDS, 25/10/2011
Outline
![Page 79: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/79.jpg)
CDS, 25/10/2011
WSO2 BAM
Business
Activity
Monitor
![Page 80: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/80.jpg)
CDS, 25/10/2011
WSO2 BAM
![Page 81: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/81.jpg)
CDS, 25/10/2011
WSO2 BAM
• Utiliza SGBDR (Oracle no Coreo)
• Monitora ESB e Application Server
• Obtém dados do tipo:
• Num. de vezes que um endpoint foi executado
• Qual mensagem SOAP trafegada numa chamada de WS
• Quantas aplicações estão “deployadas” no AS
![Page 82: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/82.jpg)
CDS, 25/10/2011
WSO2 BAM
![Page 83: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/83.jpg)
CDS, 25/10/2011
WSO2 BAM
• Solução corporativa
• ( - ) Pouca documentação
• ( - ) Baixo desempenho (para aplicações de Internet)
• ( + ) Interface de visualização de gadgets amigável
• ( + ) Relatórios em pdf, excel e html
![Page 84: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/84.jpg)
CDS, 25/10/2011
WSO2 BAM no Coreo
AppEngine
Componentes
Aplicações,WS externos (broker) eProxies, Sequences e Endpoints internos
Oracle
![Page 85: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/85.jpg)
CDS, 25/10/2011
WSO2 BAM no Coreo
Aplicações top do mês
Aplicações mais populares
Número de erros de uma aplicação
Número de execuções/erros de um componente
Alto número de requisições pelo
Portal Coreo
Não possui mecanismo de
cache
![Page 86: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/86.jpg)
CDS, 25/10/2011
WSO2 BAM: Futuro
Cassandra
Thrift
REST
Escalabilidade horizontal
Apache Hive
Cassandra
Google Gadgets
![Page 87: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/87.jpg)
CDS, 25/10/2011
Outline
![Page 88: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/88.jpg)
CDS, 25/10/2011
SDRService
Detail
Record
Registro da execução de um componente ou aplicaçãoRegistro da execução de um componente ou aplicação
![Page 89: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/89.jpg)
CDS, 25/10/2011
SDR
Registro da execução de um componente ou aplicaçãoRegistro da execução de um componente ou aplicação
![Page 90: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/90.jpg)
CDS, 25/10/2011
SDRKaha Persistence
Server standalone
API (cocreation-log)
![Page 91: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/91.jpg)
CDS, 25/10/2011
Outline
![Page 92: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/92.jpg)
CDS, 25/10/2011
Logs, Monitoramento e Estatísticas
SDRSDR
Estatísticas e MonitoramentoEstatísticas e
Monitoramento
Centralização de logs do sistema
Centralização de logs do sistema
Registros das instâncias de execução
Registros das instâncias de execução
![Page 93: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/93.jpg)
CDS, 25/10/2011
Outline
![Page 94: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/94.jpg)
CDS, 25/10/2011
Futuro para o Coreo...
SDRSDR
Estatísticas e MonitoramentoEstatísticas e
Monitoramento
Centralização de logs do sistema
Centralização de logs do sistema
Registros das instâncias de execução
Registros das instâncias de execução
??
![Page 95: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/95.jpg)
CDS, 25/10/2011
Conclusão
Atenção para o que está acontecendo no mundo… :)Atenção para o que está acontecendo no mundo… :)
Analise seus requisitos. Eles determinarão a escolha da ferramenta ideal.
Analise seus requisitos. Eles determinarão a escolha da ferramenta ideal.
![Page 96: Logs, Monitoramento e Estatísticas - Uma Abordagem sobre Ferramentas](https://reader035.fdocumentos.tips/reader035/viewer/2022070321/558e694b1a28abf4658b45b0/html5/thumbnails/96.jpg)
CDS, 25/10/2011
Dúvidas??Dúvidas??