Big data em real time
-
Upload
caio-gomes -
Category
Technology
-
view
421 -
download
5
description
Transcript of Big data em real time
![Page 2: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/2.jpg)
![Page 3: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/3.jpg)
Pesquisa Cientifica (LHC, Genética, Metereologia, Medicina ...)Mercado FinanceiroCultura (livros,revistas, jornais, filmes)IndustriaGoverno
![Page 4: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/4.jpg)
LHC: PB de dados anuaisNYSE: 2‐3 TB por diaFacebook: 500 TB por dia!!!
![Page 5: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/5.jpg)
![Page 6: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/6.jpg)
processamentobaixa do custo de processamentodescoberta de novos métodos de paralelismo
armazenamentobaixa do custo do GB armazenadonovos formatos de bancos de dados
![Page 7: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/7.jpg)
![Page 8: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/8.jpg)
![Page 9: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/9.jpg)
o famigerado mapreduce
![Page 10: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/10.jpg)
como ele funciona?
Mapval listInformation : List[A]val f : A => B
val map : List[B] = {for ( information <- listInformation)yield f(information)}
Reduceval listInformation : List[A]val f : (A,A) => A
// //f(acumulado, novo elemento)//val map : List[B] = {val acumulado = Nilfor ( information <- listInformation)acumulado = f(acumulado,information)}
![Page 11: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/11.jpg)
![Page 12: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/12.jpg)
EMBARASSING PARALLEL
![Page 13: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/13.jpg)
lógica de controle únicaacesso de arquivosrecuperação de falhascontrole de dependencia
![Page 14: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/14.jpg)
separável
paralelizavelthreadsmáquinas
extensivel
despadronizado
![Page 15: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/15.jpg)
"dado a quantidade de veículos, quanto tempo devodeixar o farol?"
![Page 16: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/16.jpg)
acontecimentos nas açõesinfluência das outras açõesnoticias políticas
![Page 17: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/17.jpg)
impossivel pré‐calcular!condições do momento influênciam o momento!
![Page 18: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/18.jpg)
analisar com facilidade dados em tempo real
construir sistema mesmas liberdades mapreduce e hadoop?
![Page 19: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/19.jpg)
1. Como: Desacomplamento2. O atual: Storm/Kinesis3. A ciência: Métodos online
![Page 20: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/20.jpg)
Servidor/Cliente
![Page 21: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/21.jpg)
cliente conhece o servidorservidor conhece o clientea mensagem é enviada especificamente
![Page 22: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/22.jpg)
acomplamento do programadificuldade de escalabilidade
![Page 23: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/23.jpg)
Servidor/Observador
![Page 24: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/24.jpg)
![Page 25: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/25.jpg)
observador se coloca numa lista de 'escuta'servidor ignora a existencia de clientesquando resultado é atingido, servidor envia para todos escritos na listadesacoplamento das partes permite que o número de trabalhadoresmude
![Page 26: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/26.jpg)
Tolerancia a errosControle de carga
![Page 27: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/27.jpg)
1. Como: Desacomplamento2. O atual: Storm/Kinesis3. A ciência: Métodos online
![Page 28: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/28.jpg)
Streams de dados
![Page 29: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/29.jpg)
Batch: banco de dados que permita receber todos esses dadostempo real: forma de envio que aguente um fluxo constante demensagens de diversos tamanhos
![Page 30: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/30.jpg)
agnosticidade de linguagemcontrole de falhascontrole de en trega
![Page 31: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/31.jpg)
![Page 32: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/32.jpg)
1. Como: Desacomplamento2. O atual: Storm/Kinesis3. A ciência: Métodos online
![Page 33: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/33.jpg)
como calcular?
"para minha loja, quero saber qual a taxa de vendade cada produto"
Produto Hora de vendaGame of Thrones 11:24:12PS4 11:26:22Wii U ano passadoLivro de romance X 11:23:12Livro de romance X 11:23:33
![Page 34: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/34.jpg)
![Page 35: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/35.jpg)
de pontos
6 Milhões de arcos5 pontos por minuto
4.5
BILHÕES
![Page 36: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/36.jpg)
tempo real leva a necessidade de novos modelos
online: não há a necessidade de memorizar todos estados anteriores
EMA( ; �) = EMA( ; �)� + (1 + �)x t x t+1 x t
![Page 37: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/37.jpg)
de pontos
6 Milhões de arcos2 por arco
12
milhões
![Page 38: Big data em real time](https://reader033.fdocumentos.tips/reader033/viewer/2022052307/556187d3d8b42a91778b4784/html5/thumbnails/38.jpg)