Campus partybrasil2011 v2

CloudCamp, CONSEGI 2010 1/5 Brasília, August 18th, 2010

Grid Computing: Conceitos e Arquiteturas

Francisco Brasileiro [email protected]

Silibrina Tecnologia Ltda (membro da Comunidade OurGrid)

Campus Party 2011


•  Combinar o poder de processamento de vários computadores ligados em rede para conseguir rodar tarefas impossíveis de executar utilizando um único computador. Parece uma boa ideia, não? Pois nesta palestra, será feita uma introdução aos conceitos da computação em grade, um verdadeiro exemplo da aplicação da máxima popular "a união faz a força" no mundo da computação.

O resumo da nossa conversa

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda


Quem se arrisca a dar exemplos?

Mas, o que são essas “tarefas impossíveis”?



•  São aplicações trivialmente paralelizáveis •  A aplicação pode ser dividida em tarefas

que executam de forma independente – Não há comunicação entre tarefas

•  Escalonamento é trivial •  Tolerância a falhas também

Aplicações “saco-de-tarefas” (BoT, bag-of-tasks)



Quebrando códigos de criptografia



•  Dividindo o espaço de busca

Busca paralela


{aaaa, aaab, ..., zzzz}

{0, 1, ..., N}

Grupo Soluções

0 [0, k ‐ 1]

1 [k, 2k ‐ 1]

... ...

N [j, N]


Busca paralela


(grupo=0, cifra)

cript (aaaa) != cifra cript (aaab) != cifra ....

(false, “”)

(grupo=1, cifra)

cript (cccc) != cifra cript (ufcg) == cifra

(true, “ufcg”)

Grupo Soluções

0 [0, k ‐ 1]

1 [k, 2k ‐ 1]

... ...

N [j, N]


•  Isso é viável?

Busca paralela


num. carac. num. possibilidades

num. testes por grupo (100 milhões de processadores)

num. horas (1 milhão de testes por

segundo)

1 47 0 0

2 2.209 0 0

3 103.823 0 0

4 4.879.681 5 0

5 229.345.007 229 0

6 10.779.215.329 10.779 0

7 506.623.120.463 506.623 0

8 23.811.286.661.761 23.811.287 0

9 1.119.130.473.102.770 1.119.130.473 0

10 52.599.132.235.830.000 52.599.132.236 15

11 2.472.159.215.084.010.000 2.472.159.215.084 687

12 116.191.483.108.949.000.000 116.191.483.108.949 32.275

13 5.460.999.706.120.580.000.000 5.460.999.706.120.580 1.516.944

14 256.666.986.187.667.000.000.000 256.666.986.187.667.000 71.296.385

15 12.063.348.350.820.400.000.000.000 12.063.348.350.820.400.000 3.350.930.097

16 566.977.372.488.557.000.000.000.000 566.977.372.488.557.000.000 157.493.714.580


•  Blender: renderização de filmes – Cada frame pode ser renderizado de forma

independente dos outros

Processamento de imagens


17 de janeiro de


•  Filtro de imagens –  Imagens podem ser representadas como

matrizes e facilmente divisíveis

Processamento de imagens



Filtro de imagens como uma BoT



•  Projeto de novos medicamentos – A atividade de uma droga está relacionada

com a afinidade entre moléculas

Bioinformática



•  Afinidade geométrica e química entre as moléculas das drogas estudadas e proteínas receptoras – Tipicamente milhões de possibilidades

precisam ser testadas

Drug screening



•  Exemplo: diagnóstico médico através de exames de imagens

Auxílio à tomada de decisão



Detecção de casos similares


... Ranking


•  Agora que talvez eu tenha convencido vocês que há o que se fazer com qualquer processador no qual se possa colocar as mãos ...

•  Como é que podemos ter acesso a milhares ou até milhões de processadores para executar aplicações BoT?



•  Grid computing – Tecnologia que possibilita o compartilhamento

de recursos, pertencentes a diferentes domínios administrativos, permitindo: •  Acesso a dados de terceiros •  Acesso a equipamentos sofisticados •  Aumentar o acesso a recursos computacionais

Federando recursos de domínios administrativos diferentes



•  Se apóia na existência de uma enorme quantidade de poder computacional ocioso nas “pontas” da Internet – SETI@home (Berkley) – Folding@home (Stanford) – World Community Grid (IBM) –  Ibercivis (Espanha e Portugal)

•  Esses projetos se mostraram capazes de capturar uma quantidade significativa de poder computacional

Computação voluntária



BOINC


TeraFLOPS = RAC/100,000


Arquitetura de um serviço de computação voluntária



Mas isso resolve o problema de todo mundo que precisa

executar aplicações BoT?



Computação Voluntária

•  Barreira de entrada é muito grande, pois requer: – do usuário

•  Aplicações com alto impacto e visibilidade – do provedor

•  Grande esforço de marketing e disseminação •  Provedor de aplicações com prestígio •  Time de suporte qualificado para gerenciar o

“servidor”



Grids peer-to-peer (P2P)

•  Cada peer do sistema contribui com seus recursos ociosos (1 ou mais processadores)

Utilização da CPU pelo peer 1

1 tempo

Utilização da cpu pelo peer 2

1 tempo

Utilização da CPU pelo grid P2P

1

tempo



Grids P2P

•  Peers juntam-se à grade por vontade própria – Sem burocracia – Sem uma autoridade central

•  Grade aberta para provedores e consumidores de recursos

•  Custos de implantação e manutenção são compartilhados

•  Isso torna a solução acessível para a maior parte dos usuários



Grades P2P

•  Mas ... – O fato de não termos confiança entre os

pares trás implicações em relação à segurança do grid •  Proteção contra aplicações não confiáveis •  Proteção contra recursos não confiáveis

– Possibilidade de pares “caloteiros” (free riders)



O OurGrid: Grid Computing made in Brazil

•  Middleware software livre para dar suporte a grids P2P

•  Desenvolvido pela UFCG (LSD/DSC) com financiamento da HP Brasil P&D (lei de Informática)

•  Atualmente usado por vários grids no mundo



Princípios de design do OurGrid •  Os peers podem, gratuitamente, juntar-se ao

sistema sem negociação humana –  Não há necessidade de reunião e papelada a ser

preenchida

•  Incentivo claro para juntar-se ao sistema –  Ninguém se prejudica ao juntar-se ao sistema –  Resistente a free riders

•  Propriedades básicas –  Oferece um nível mínimo de segurança –  É tolerante a falhas

•  Fácil de instalar, configurar e programar –  Não há necessidade de um corpo técnico de suporte

muito especializado São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda


Gerência do site e compartilhamento global de

recursos

Arquitetura do OurGrid



Gerência do site e compartilhamento global de

recursos

Serviço de rendezvous




Segurança e política de compartilhamento local Gerência do site e

compartilhamento global de recursos

Serviço de rendezvous




Interface do usuário,

Escalonamento e monitoramento de aplicações




O GridUFCG



Site oficial do OurGrid



Developer’s corner



Popularidade do Web Site

•  Mais de 8.000 visitantes de 904 cidades no último ano •  Mais de 15.000 downloads desde dezembro de 2004


Obrigado pela atenção! Perguntas?

•  Um bom lugar para começar a conhecer mais sobre o OurGrid é:

–  Labs of the world, unite!!! W. Cirne, F. Brasileiro, N. Andrade, L. Costa, A. Andrade, R. Novaes, M. Mowbray. Journal of Grid Computing 4 (3) (2006) 225-246.

E visitem http://www.ourgrid.org/!

Campus partybrasil2011 v2

Documents

Transcript of Campus partybrasil2011 v2