Campus partybrasil2011 v2

36
CloudCamp, CONSEGI 2010 1/5 Brasília, August 18th, 2010 Grid Computing: Conceitos e Arquiteturas Francisco Brasileiro [email protected] Silibrina Tecnologia Ltda (membro da Comunidade OurGrid) Campus Party 2011

Transcript of Campus partybrasil2011 v2

Page 1: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 1/5 Brasília, August 18th, 2010

Grid Computing: Conceitos e Arquiteturas

Francisco Brasileiro [email protected]

Silibrina Tecnologia Ltda (membro da Comunidade OurGrid)

Campus Party 2011

Page 2: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 2/5 Brasília, August 18th, 2010

•  Combinar o poder de processamento de vários computadores ligados em rede para conseguir rodar tarefas impossíveis de executar utilizando um único computador. Parece uma boa ideia, não? Pois nesta palestra, será feita uma introdução aos conceitos da computação em grade, um verdadeiro exemplo da aplicação da máxima popular "a união faz a força" no mundo da computação.

O resumo da nossa conversa

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 3: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 3/5 Brasília, August 18th, 2010

Quem se arrisca a dar exemplos?

Mas, o que são essas “tarefas impossíveis”?

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 4: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 4/5 Brasília, August 18th, 2010

•  São aplicações trivialmente paralelizáveis •  A aplicação pode ser dividida em tarefas

que executam de forma independente – Não há comunicação entre tarefas

•  Escalonamento é trivial •  Tolerância a falhas também

Aplicações “saco-de-tarefas” (BoT, bag-of-tasks)

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 5: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 5/5 Brasília, August 18th, 2010

Quebrando códigos de criptografia

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 6: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 6/5 Brasília, August 18th, 2010

•  Dividindo o espaço de busca

Busca paralela

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

{aaaa, aaab, ..., zzzz} 

{0, 1, ..., N} 

Grupo  Soluções 

0  [0, k ‐ 1] 

1  [k, 2k ‐ 1] 

...  ... 

N  [j, N] 

Page 7: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 7/5 Brasília, August 18th, 2010

Busca paralela

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

(grupo=0, cifra) 

cript (aaaa) != cifra cript (aaab) != cifra .... 

(false, “”) 

(grupo=1, cifra) 

cript (cccc) != cifra cript (ufcg) == cifra 

(true, “ufcg”) 

Grupo  Soluções 

0  [0, k ‐ 1] 

1  [k, 2k ‐ 1] 

...  ... 

N  [j, N] 

Page 8: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 8/5 Brasília, August 18th, 2010

•  Isso é viável?

Busca paralela

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

num. carac. num. possibilidades

num. testes por grupo (100 milhões de processadores)

num. horas (1 milhão de testes por

segundo)

1 47 0 0

2 2.209 0 0

3 103.823 0 0

4 4.879.681 5 0

5 229.345.007 229 0

6 10.779.215.329 10.779 0

7 506.623.120.463 506.623 0

8 23.811.286.661.761 23.811.287 0

9 1.119.130.473.102.770 1.119.130.473 0

10 52.599.132.235.830.000 52.599.132.236 15

11 2.472.159.215.084.010.000 2.472.159.215.084 687

12 116.191.483.108.949.000.000 116.191.483.108.949 32.275

13 5.460.999.706.120.580.000.000 5.460.999.706.120.580 1.516.944

14 256.666.986.187.667.000.000.000 256.666.986.187.667.000 71.296.385

15 12.063.348.350.820.400.000.000.000 12.063.348.350.820.400.000 3.350.930.097

16 566.977.372.488.557.000.000.000.000 566.977.372.488.557.000.000 157.493.714.580

Page 9: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 9/5 Brasília, August 18th, 2010

•  Blender: renderização de filmes – Cada frame pode ser renderizado de forma

independente dos outros

Processamento de imagens

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

17 de janeiro de

Page 10: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 10/5 Brasília, August 18th, 2010

•  Filtro de imagens –  Imagens podem ser representadas como

matrizes e facilmente divisíveis

Processamento de imagens

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 11: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 11/5 Brasília, August 18th, 2010

Filtro de imagens como uma BoT

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 12: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 12/5 Brasília, August 18th, 2010

•  Projeto de novos medicamentos – A atividade de uma droga está relacionada

com a afinidade entre moléculas

Bioinformática

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 13: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 13/5 Brasília, August 18th, 2010

•  Afinidade geométrica e química entre as moléculas das drogas estudadas e proteínas receptoras – Tipicamente milhões de possibilidades

precisam ser testadas

Drug screening

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 14: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 14/5 Brasília, August 18th, 2010

•  Exemplo: diagnóstico médico através de exames de imagens

Auxílio à tomada de decisão

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 15: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 15/5 Brasília, August 18th, 2010

Detecção de casos similares

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

... Ranking

Page 16: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 16/5 Brasília, August 18th, 2010

•  Agora que talvez eu tenha convencido vocês que há o que se fazer com qualquer processador no qual se possa colocar as mãos ...

•  Como é que podemos ter acesso a milhares ou até milhões de processadores para executar aplicações BoT?

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 17: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 17/5 Brasília, August 18th, 2010

•  Grid computing – Tecnologia que possibilita o compartilhamento

de recursos, pertencentes a diferentes domínios administrativos, permitindo: •  Acesso a dados de terceiros •  Acesso a equipamentos sofisticados •  Aumentar o acesso a recursos computacionais

Federando recursos de domínios administrativos diferentes

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 18: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 18/5 Brasília, August 18th, 2010

•  Se apóia na existência de uma enorme quantidade de poder computacional ocioso nas “pontas” da Internet – SETI@home (Berkley) – Folding@home (Stanford) – World Community Grid (IBM) –  Ibercivis (Espanha e Portugal)

•  Esses projetos se mostraram capazes de capturar uma quantidade significativa de poder computacional

Computação voluntária

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 19: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 19/5 Brasília, August 18th, 2010

BOINC

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

TeraFLOPS = RAC/100,000

Page 20: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 20/5 Brasília, August 18th, 2010

Arquitetura de um serviço de computação voluntária

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 21: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 21/5 Brasília, August 18th, 2010

Mas isso resolve o problema de todo mundo que precisa

executar aplicações BoT?

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 22: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 22/5 Brasília, August 18th, 2010

Computação Voluntária

•  Barreira de entrada é muito grande, pois requer: – do usuário

•  Aplicações com alto impacto e visibilidade – do provedor

•  Grande esforço de marketing e disseminação •  Provedor de aplicações com prestígio •  Time de suporte qualificado para gerenciar o

“servidor”

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 23: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 23/5 Brasília, August 18th, 2010

Grids peer-to-peer (P2P)

•  Cada peer do sistema contribui com seus recursos ociosos (1 ou mais processadores)

Utilização da CPU pelo peer 1

1 tempo

Utilização da cpu pelo peer 2

1 tempo

Utilização da CPU pelo grid P2P

1

tempo

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 24: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 24/5 Brasília, August 18th, 2010

Grids P2P

•  Peers juntam-se à grade por vontade própria – Sem burocracia – Sem uma autoridade central

•  Grade aberta para provedores e consumidores de recursos

•  Custos de implantação e manutenção são compartilhados

•  Isso torna a solução acessível para a maior parte dos usuários

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 25: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 25/5 Brasília, August 18th, 2010

Grades P2P

•  Mas ... – O fato de não termos confiança entre os

pares trás implicações em relação à segurança do grid •  Proteção contra aplicações não confiáveis •  Proteção contra recursos não confiáveis

– Possibilidade de pares “caloteiros” (free riders)

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 26: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 26/5 Brasília, August 18th, 2010

O OurGrid: Grid Computing made in Brazil

•  Middleware software livre para dar suporte a grids P2P

•  Desenvolvido pela UFCG (LSD/DSC) com financiamento da HP Brasil P&D (lei de Informática)

•  Atualmente usado por vários grids no mundo

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 27: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 27/5 Brasília, August 18th, 2010

Princípios de design do OurGrid •  Os peers podem, gratuitamente, juntar-se ao

sistema sem negociação humana –  Não há necessidade de reunião e papelada a ser

preenchida

•  Incentivo claro para juntar-se ao sistema –  Ninguém se prejudica ao juntar-se ao sistema –  Resistente a free riders

•  Propriedades básicas –  Oferece um nível mínimo de segurança –  É tolerante a falhas

•  Fácil de instalar, configurar e programar –  Não há necessidade de um corpo técnico de suporte

muito especializado São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 28: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 28/5 Brasília, August 18th, 2010

Gerência do site e compartilhamento global de

recursos

Arquitetura do OurGrid

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 29: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 29/5 Brasília, August 18th, 2010

Gerência do site e compartilhamento global de

recursos

Serviço de rendezvous

Arquitetura do OurGrid

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 30: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 30/5 Brasília, August 18th, 2010

Segurança e política de compartilhamento local Gerência do site e

compartilhamento global de recursos

Serviço de rendezvous

Arquitetura do OurGrid

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 31: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 31/5 Brasília, August 18th, 2010

Interface do usuário,

Escalonamento e monitoramento de aplicações

Arquitetura do OurGrid

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 32: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 32/5 Brasília, August 18th, 2010

O GridUFCG

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 33: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 33/5 Brasília, August 18th, 2010

Site oficial do OurGrid

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 34: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 34/5 Brasília, August 18th, 2010

Developer’s corner

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Page 35: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 35/5 Brasília, August 18th, 2010

Popularidade do Web Site

•  Mais de 8.000 visitantes de 904 cidades no último ano •  Mais de 15.000 downloads desde dezembro de 2004

Page 36: Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 36/5 Brasília, August 18th, 2010

Obrigado pela atenção! Perguntas?

•  Um bom lugar para começar a conhecer mais sobre o OurGrid é:

–  Labs of the world, unite!!! W. Cirne, F. Brasileiro, N. Andrade, L. Costa, A. Andrade, R. Novaes, M. Mowbray. Journal of Grid Computing 4 (3) (2006) 225-246.

E visitem http://www.ourgrid.org/!