Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema...
Transcript of Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema...
![Page 1: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/1.jpg)
Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema
Gerenciador de Recursos PBS
Tonismar Régis BernardoPatrícia Kayser
Julho 2008
![Page 2: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/2.jpg)
2
Roteiro
Detalhamento do Problema Fundamentação Teórica Solução Proposta Implementação Resultados e Avaliação Conclusões
![Page 3: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/3.jpg)
3
Problema
Verificar a viabilidade do protótipo AppMan, desenvolvido com base no
modelo GRAND, em submeter tarefas para o Sistema Gerenciador de
Recursos PBS através da especificação DRMAA.
![Page 4: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/4.jpg)
4
Grades Computacionais
alta dispersão geográfica recursos heterogêneos (não apenas nós) compartilhamento múltiplos domínios adminstrativos controle distribuído
![Page 5: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/5.jpg)
5
Gerenciamento de Recursos
inviabilidade de um escalonador central escalonamento
ordenar tarefas sobre os recursos ordenar comunicação entre as tarefas
desconhecimento dos recursos como um todo autonomia heterogeneidade extender as políticas co-alocação controle online
![Page 6: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/6.jpg)
6
Modelo GRAND
transferência automática de dados de entrada controle do envio dos resultados priorização de localidade (tarefas) grande número de submissão ausência de troca de mensagens interdependência de tarefas descoberta dinâmica de recursos RMS local por nó tarefa executada até final no RMS
![Page 7: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/7.jpg)
7
Modelo GRAND (aplicação)
grafo direcional acíclico. taxonomia
tarefas independentes tarefas fracamente acopladas (fase ou pipeline) tarefas fortemente acopladas
![Page 8: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/8.jpg)
8
Modelo Grand (aplic.)
![Page 9: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/9.jpg)
9
Modelo GRAND (aplicação)
Hierarquia de gerenciadores nível 0: submissão pelo usuário (AM) nível 1: AM envia para (SM) descrição das tarefas nível 2: SM decide alocação dos sub-grafos e cria-se os
(TM) para controlar submissão nivel 3: requisições para escalonadores (RMS) para
executar as tarefas
![Page 10: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/10.jpg)
10
Modelo GRAND (comp.)
![Page 11: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/11.jpg)
11
Protótipo AppMan
AM dispara e monitora aplicação em uma rede local cada nó possui um SM desenvolvido por um grupo (subversion) linguagem Java e JavaCC (portável) linguagem de aplicação GRID-ADL middleware ISAM/EXEHDA tolerância a falhas algoritmo Round-Robin
![Page 12: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/12.jpg)
12
Protótipo AppMan
![Page 13: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/13.jpg)
13
Protótipo AppMan
Exemplo de aplicação independente
![Page 14: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/14.jpg)
14
AppMan (UML)
![Page 15: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/15.jpg)
15
PBS
processamento em lote servidor principal
possuir e controlar tarefas em lotes possuir e controlar filas recuperar estado de tarefas e filas executar baseado em políticas e regras monitorar progresso de execução tarefa processo e limpeza de tarefas centralizado
![Page 16: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/16.jpg)
16
PBS (MOM)
Machine Oriented Mineserver comunicação via socket IPC escalonador e servidor em nós distintos
![Page 17: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/17.jpg)
17
Especificação DRMAA
quantidade de trabalhos existentes API para múltiplas linguagens suporte para um bom número de RMS nenhum mecanismo de organização de arquivos políticas específicas são abstraídas/agregadas em
strings. facilita a escrita de aplicações para muitos ISVs submissão individual ou em grupo abstrai relações fundamentais da tarefa do RMS
![Page 18: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/18.jpg)
18
DRMAA para PBS
biblioteca escrita em C cobre praticamente toda especificação impossível recuperar status de uma tarefa terminada só aceita-se tarefas submetidas sob a sessão
corrente* métodos geter e setter desnecesssários DRMAA java binding implementada em JNI
![Page 19: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/19.jpg)
19
Solução Proposta
Por que PBS? instituições participantes do projeto GRAND possuem
ambiente PBS disponível.
Por que DRMAA? Sun HPC ClusterTools (Sun Network Computing) DECK direcionado para agregados (clusters) homogêneo
Inúmeros trabalhos relacionados comprovam a possibilidade de integração
![Page 20: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/20.jpg)
20
Solução Proposta
análise das versões existente no repositório ambiente computacional
instalação do servidor LDAP configuração do EXEHDA instalação NFS configuração do AppMan instalação do PBS
![Page 21: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/21.jpg)
21
Solução Proposta
Hardware utilizado
![Page 22: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/22.jpg)
22
Solução Proposta
o componente DRMAA implementada com JNI mesma implementação usada no GridWay 1.0 da Sun implementação apenas das interfaces essenciais para
submissão métodos mais relevantes estão na classe SessionImpl
![Page 23: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/23.jpg)
23
Solução Proposta
![Page 24: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/24.jpg)
24
Solução Proposta
alteração no método createScript #PBS -l nodes=x
nova classe GridTaskDrmaa (execute) alteração no arquivo de conf. gridnodes.properties alteração no método loadConcreteTaskClassName
![Page 25: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/25.jpg)
25
Resultados Experimentais
Aplicações utilizadas nos testes Fatorial (10000 iterações) Crivo de Eratóstenes (intervalo de 0 a 10000)
![Page 26: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/26.jpg)
26
Resultados Experimentais
Tempo total de execução (Fatorial)
![Page 27: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/27.jpg)
27
Resultados Experimentais
Tempo total de execução (Crivo)
![Page 28: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/28.jpg)
28
Resultados experimentais
aumento do número de tarefas aumenta o tempo de execução
diferenças no número de tarefas retorno dos resultados (sincronização) divergência entre os gráficos da aplicação
![Page 29: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/29.jpg)
29
Resultados Experimentais
Tempo de preparo (Fatorial)
![Page 30: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/30.jpg)
30
Resultados Experimentais
Tempo de preparo (Crivo)
![Page 31: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/31.jpg)
31
Resultados Experimentais
tendência a redução na aplicação Crivo aumento do tempo na aplicação Fatorial quedas bruscas devido número de tentativas
![Page 32: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/32.jpg)
32
Limitações e Dificuldades
AppMan ainda está em desenvolvimento demanda inesperada na inst. e conf. do
LDAP/EXEHDA dependência do EXEHDA carência de documentação pouco conhecimento em Java teste apenas em uma “unidade organizacional” necessidade do NFS
![Page 33: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/33.jpg)
33
Conclusão
DRMAA é viável na integração do AppMan com o PBS
Contribuições acadêmicas acúmulo das contribuições do GRAND integração de novos domínios administrativos aumento da escalabilidade maior diversidade de testes melhora na documentação
![Page 34: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/34.jpg)
34
Conclusão
Contribuições pessoais integração em projeto acadêmico aumento do conhecimento em Java aumento do conhecimento em LaTex melhora na escrita de artigos
![Page 35: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/35.jpg)
35
Trabalhos Futuros
implementação de um sistema de transferência de arquivos
integração com outros RMS (Condor) melhora no algoritmo de escalonamento, dando
ênfase na detecção do término da execução de uma tarefa
![Page 36: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/36.jpg)
36
![Page 37: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/37.jpg)
37
Solução Proposta
Arquivo gridnodes.properties com alteração
![Page 38: Integração do Sistema AppMan de Gerenciamento de Aplicações para Ambiente de Grade com o Sistema Gerenciador de Recursos PBS Tonismar Régis Bernardo Patrícia.](https://reader036.fdocumentos.tips/reader036/viewer/2022081602/552fc15e497959413d8e59fd/html5/thumbnails/38.jpg)
38
Solução Proposta
Método loadConcreteTaskClassName alterado