Post on 07-Apr-2016
Roteiro• Introdução• Arquitetura• Características• Algoritmos de Escalonamento• Tipos de Grades• Projetos• Aplicações• Conclusão• Perguntas
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
Roteiro• IntroduçãoIntrodução• Arquitetura• Características• Algoritmos de Escalonamento• Tipos de Grades• Projetos• Aplicações• Conclusão• Perguntas
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
Introdução• Histórico
- Surgiu em meados dos anos 90- Laboratório de Argonne/EUA
• O que é?- Integração de recursos computacionais dispersos interligados em rede
• Por que usar ?- Compartilhamento de recursos ociosos- Altos níveis de processamento e armazenamento- Solução para problemas antes insolúveis
• Onde não usar ?- Não é recomendado para solução de aplicações seqüenciais.
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
Roteiro• Introdução• ArquiteturaArquitetura• Características• Algoritmos de Escalonamento• Tipos de Grades• Projetos• Aplicações• Conclusão• Perguntas
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
• Organizada em camadas
- Camada de Aplicação
- Camada de Coletividade
- Camada de Recursos
- Camada de Conectividade
- Camada de Estrutura
Arquitetura
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
Camada de EstruturaResponsável pelo controle de acesso aos recursos
• Recursos Computacionais• Recursos de Armazenamento• Recursos de Rede
Arquitetura
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
ArquiteturaCamada de Conectividade
• Definição dos protocolos de autenticação e comunicação
• Troca de dados entre recursos da camada de estrutura
• Segurança
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
ArquiteturaCamada de Recursos
• Compartilhamento de recursos entre usuários• Controle do tempo de uso dos recursos• Protocolos
- Informação- Gerenciamento
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
ArquiteturaCamada de Coletividade
• Coordena a interação entre diversos recursos- Serviços de diretório- Serviços de co-alocação- Serviços de monitoramento- Serviços de replicação de dados
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
ArquiteturaCamada de Aplicação
• Aplicações dos usuários
• Ferramentas para evitar a desconexão do usuário com a grade
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
Roteiro• Introdução• Arquitetura• CaracterísticasCaracterísticas• Algoritmos de Escalonamento• Tipos de Grades• Projetos• Aplicações• Conclusão• Perguntas
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
Características• Larga Escala• Escalabilidade• Heterogeneidade• Distribuição Geográfica• Compartilhamento de Recursos• Qualidade de Serviço• Controle Distribuído• Alta Disponibilidade
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
Roteiro• Introdução• Arquitetura• Características• Algoritmos de EscalonamentoAlgoritmos de Escalonamento• Tipos de Grades• Projetos• Aplicações• Conclusão• Perguntas
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
Escalonamento
• Três fases principais:- Descoberta de Recursos
- Seleção do Sistema
- Execução da Tarefa
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
Algoritmos de Escalonamento
• Dynamic FPLTF
• Workqueue with Replication (WQR)
• XSufferage
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
Algoritmos de Escalonamento
Dynamic FPLTF ( Fastest Processor to Largest Task First )
Variáveis:• Host Speed• Host Load• Task Size
Tarefas alocadas ao Host de menor CTCT (completion time) = TaskCost +TBA (time to become available) TaskCost = (TaskSize/HostSpeed) / (1-HostLoad).
A execução só começa quando todas as tarefas estão alocadas.
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
Algoritmos de Escalonamento
Workqueue with Replication (WQR)
• Tarefas são alocadas aleatoriamente• Cada processador livre recebe uma tarefa• Quando não há mais tarefas para enviar, ele replica a(as)
que está(estão) em execução• Interrompe todas as réplicas assim que uma delas ou a
original termina
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
Algoritmos de Escalonamento
XSufferage
• Prioriza tarefas que seriam mais prejudicadas se não fossem escalonadas para o processador que a processaria de forma eficiente
• Sufferage: Diferença entre os dois primeiros melhores tempos de execução previsto para a tarefa
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
Roteiro• Introdução• Arquitetura• Características• Algoritmos de Escalonamento• Tipos de GradesTipos de Grades• Projetos• Aplicações• Conclusão• Perguntas
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
Tipos de Grades
• Grades Computacionais
• Grades de Dados
• Grades de Redes
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
Roteiro• Introdução• Arquitetura• Características• Algoritmos de Escalonamento• Tipos de Grades• ProjetosProjetos• Aplicações• Conclusão• Perguntas
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
ProjetosGlobus• Serviços
- Controle de aplicações- Descoberta de recursos- Transferência de dados- Segurança
• Submissão e controle de tarefas via GRAM (Globus Resource Allocation Manager)
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
Projetos
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
Funcionamento do GRAM
GRAM Client
Gatekeeper
Globus Security Infrastructure Job Manager
Local Resource Manager
MDS(Metacomputing Directory Service)
GRAM Reporter
Requisita Recurso
AutenticaçãoAloca e cria processos
Solicita a informação do estado atual do
recurso
Atualiza as informações
Monitoramento e controle
Criação do Job Manager
Troca informações com o cliente
ProjetosCondor• Poder computacional a médio e longo prazo
• Possui mecanismo de Checkpoint
• Tarefas alocadas pelo Matchmaker
• Condor-G- Utiliza recursos via Globus
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
Projetos
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
Consumidor Provedor de Recursos
Matchmaker
Requis
ita re
curso Oferece recurso
Protocolo de
reivindicação
Notificações
Roteiro• Introdução• Arquitetura• Características• Algoritmos de Escalonamento• Tipos de Grades• Projetos• AplicaçõesAplicações• Conclusão• Perguntas
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
AplicaçõesSaúde
• BIRN (Biomedical Informatics Research Network)- Biologia computacional- Estudo de Genomas- Neurociência- Etc.
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
AplicaçõesCiências Meteorológicas
• Earth System Grid (ESG)- Simulações Climáticas
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
AplicaçõesEngenharia
• Network for Earthquake Engineering Simulation (NEESit)- Simulação de terremotos e outros eventos
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
Roteiro• Introdução• Arquitetura• Características• Algoritmos de Escalonamento• Tipos de Grades• Projetos• Aplicações• ConclusãoConclusão• Perguntas
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
Conclusões
• Área em expansão• Presente em grandes empresas• Futuro: Serviço público tradicional
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
Roteiro• Introdução• Arquitetura• Características• Algoritmos de Escalonamento• Tipos de Grades• Projetos• Aplicações• Conclusão• PerguntasPerguntas
Thiago Soares de Carvalho – Grades Computacionais – Redes de Computadores II
Pergunta 11) Qual é a funcionalidade do Serviço de Diretório presente na Camada de Coletividade da arquitetura das grades ?
Pergunta 11) Qual é a funcionalidade do Serviço de Diretório presente na Camada de Coletividade da arquitetura das grades ?
R: Permitir que os usuários façam a descoberta e consulta de recursos tanto pelo nome ou por atributos como carga e disponibilidade.
Pergunta 22) Em que se baseia o algoritmo XSufferage para escalonar uma tarefa ?
Pergunta 22) Em que se baseia o algoritmo XSufferage para escalonar uma tarefa ?
R: O algoritmo se baseia no valor sufferage, que é o dado de quanto a tarefa seria prejudicada caso ela não fosse escalonada no processador que a processaria de forma mais eficiente. Ele é calculado pela diferença dos dois melhores tempos de execução previstos pra tarefa.
Pergunta 33) O que é uma Grade de Dados ?
Pergunta 33) O que é uma Grade de Dados ?
R: É um tipo de grade que compartilha o espaço de armazenamento disponível em cada máquina pertencente a ela, aumentando assim a sua capacidade de armazenamento.
Pergunta 44) Qual é a função do mecanismo de Checkpoint do Condor ?
Pergunta 44) Qual é a função do mecanismo de Checkpoint do Condor ?
R: Ele serve para salvar o estado de execução de uma tarefa após ela ter sido interrompida, permitindo que a tarefa seja executada em alguma outra máquina a partir do ponto onde ela parou.
Pergunta 55) Grade computacional é a solução para qualquer problema
computacional que envolve alto desempenho? Justifique sua resposta.
Pergunta 55) Grade computacional é a solução para qualquer problema
computacional que envolve alto desempenho? Justifique sua resposta.
R: Não. As grades não são aconselhadas para resolução de problemas seqüenciais, já que suas funcionalidades são voltadas para a execução de aplicações paralelizáveis.