Caracterização de Cargas de TrabalhoCaracterização de Cargas de Trabalhoem Estudos sobre Gerência de Memória Virtualem Estudos sobre Gerência de Memória Virtual

Hugo Henrique CassettariEdson Toshimi Midorikawa

EPUSP - Escola Politécnica da Universidade de São PauloPCS - Departamento de Engenharia de Computação e Sistemas Digitais

Objetivo

Descrever o Elephantools:

Um pacote composto por ferramentas de software voltadas à caracterização de cargas de trabalho em experimentos sobre gerência de memória virtual.

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

Motivação

• Elephantus

Ambiente para avaliação de sistemas de memória Conjunto de simuladores

• Dificuldade de caracterizar cargas de trabalho

Localidades espacial e temporal Padrões de acesso à memória Freqüência de reutilização das páginas

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

Programaexecutável

Geradorde traces

arquivo de traces

Simulador

desempenhodos algoritmos

resultados

Apresentação

• Análise de localidade

Recursos gráficos tradicionais Precisão, relevância e limitação dos dados

• Pacote Elephantools

TelaTrace Mapa3D Trace Explorer

• Aplicação das ferramentas

Estudo de caso

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

Análise de Localidade

• Localidade de referências: espacial / temporal• Working set

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

Tempo virtual (acessos à memória)

Esp

aço

de e

nde

reça

men

to

virt

ual

Exemplo de localidade espacial

de acessos

Exemplo de localidade temporal

de acessos

Working set: páginas acessadas em um intervalo de tempo

Gráfico (Mapa) de Acessos

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

Tempo virtual (acessos à memória)

Esp

aço

de e

nde

reça

men

to v

irtu

al

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

Gráfico (Mapa) de Acessos

• Limitações

Tamanho original: perda da visão global Tamanho reduzido: compressão visual com perda de dados

Superfícies de Localidade

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

(Brigham Young University)

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

Superfícies de Localidade

• Benefícios

Destaca características de acesso à memória sobressalentes Informação concisa (processada)

• Limitações

Possível compressão visual com perda de dados Ausência da informação cronológica

Pacote Elephantools

• TelaTrace

Gráficos de acesso tradicionais (em duas dimensões)

• Mapa3D

Gráficos de acesso tridimensionais

• Trace Explorer

Gráficos de execução simulada no contexto do modelo LRU Dados gerais e estatísticos sobre os traces analisados

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

Ferramenta TelaTrace

• Gráficos de acesso bidimensionais

Diversas possibilidades de ampliação Visão global sempre presente Resolução definida pelo usuário

• Recursos adicionais para traces com formato especial

Diferenciação entre processadores (programas paralelos) Diferenciação entre tipos de acesso à memória: leitura / gravação

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

Ferramenta TelaTrace

• Janela principal: visão global

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

Ferramenta TelaTrace

• Janela de aproximação: visão parcial detalhada

Ferramenta Mapa3D

• Gráficos de acesso tridimensionais

Um gráfico de acessos visualmente comprimido se transforma em uma superfície de acessos à memória

A terceira dimensão informa quantos pontos foram aglutinados em cada posição x,y

Resolução definida pelo usuário

Não desenha os gráficos: gera coordenadas em arquivos-texto

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

Ferramenta Mapa3D

• Gráfico de acessos 3D (desenhado com o Microsoft Excel)

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

Ferramenta Mapa3D

• Versões 2D e 3D referentes ao mesmo mapa de acessos

Ferramenta Trace Explorer

• Gráficos bidimensionais e tridimensionais – Modelo LRU

Recência dos acessos à memória (posição na fila LRU) Histograma da recência dos acessos Variação da recência dos acessos Distância temporal entre acessos a uma mesma página Entre outros

• Dados gerais e estatísticos sobre os traces

Número total de acessos e de páginas referenciadas Posição média dos acessos na fila LRU e desvio padrão Variação média da posição dos acessos na fila e desvio padrão Lista de todas as páginas referenciadas com estatísticas individuais

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

Ferramenta Trace Explorer

• Modelo LRU (Least Recently Used)

Fila LRU(memória)

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

Ferramenta Trace Explorer

• Mapa de recência dos acessos (desenhado com o Gnuplot)

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

Ferramenta Trace Explorer

• Mapa de distância entre acessos a uma mesma página

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

Estudo de Caso

• Dados gerais e estatísticos – Pacote de traces VMTrace

A maioria dos traces consome pouca memória em sua execução

Os acessos se concentram em páginas que ocupam as primeiras posições da fila LRU

Existe uma certa regularidade no intervalo entre acessos a uma mesma página

Espresso 326938361 77 100 (64) 180 (b4) 1,82 1,21 0,59 64,67%

GCC 37524334 458 688 (2b0) 1150 (47e) 3,33 6,90 2,61 39,95%

Gnuplot 68458509 7718 130 (82) 7857 (1eb1) 5,26 115,74 5,89 34,94%

Grobner 7787835 67 94 (5e) 166 (a6) 2,07 2,45 1,33 49,01%

GS 134371942 558 219 (db) 934 (3a6) 2,03 3,63 1,17 65,92%

Lindsay 123690749 521 89 (59) 614 (266) 2,78 8,32 2,63 57,88%P2C 30722431 132 165 (a5) 300 (12c) 3,00 4,97 2,31 51,47%

Posição dos Acessos na Fila LRU

Desvio Padrão

Var. Média (módulo)

Var. Zero (% Acessos)

VM

Tra

ce

ArquivoTotal de

Acessos à Memória

Total de Páginas

Acessadas

Menor Página

(dec./hex.)

Maior Página

(dec./hex.)Média Geral

Espresso 326938361 77 100 (64) 180 (b4) 1,82 1,21 0,59 64,67%

GCC 37524334 458 688 (2b0) 1150 (47e) 3,33 6,90 2,61 39,95%

Gnuplot 68458509 7718 130 (82) 7857 (1eb1) 5,26 115,74 5,89 34,94%

Grobner 7787835 67 94 (5e) 166 (a6) 2,07 2,45 1,33 49,01%

GS 134371942 558 219 (db) 934 (3a6) 2,03 3,63 1,17 65,92%

Lindsay 123690749 521 89 (59) 614 (266) 2,78 8,32 2,63 57,88%P2C 30722431 132 165 (a5) 300 (12c) 3,00 4,97 2,31 51,47%

Posição dos Acessos na Fila LRU

Desvio Padrão

Var. Média (módulo)

Var. Zero (% Acessos)

VM

Tra

ce

ArquivoTotal de

Acessos à Memória

Total de Páginas

Acessadas

Menor Página

(dec./hex.)

Maior Página

(dec./hex.)Média Geral

Espresso 326938361 77 100 (64) 180 (b4) 1,82 1,21 0,59 64,67%

GCC 37524334 458 688 (2b0) 1150 (47e) 3,33 6,90 2,61 39,95%

Gnuplot 68458509 7718 130 (82) 7857 (1eb1) 5,26 115,74 5,89 34,94%

Grobner 7787835 67 94 (5e) 166 (a6) 2,07 2,45 1,33 49,01%

GS 134371942 558 219 (db) 934 (3a6) 2,03 3,63 1,17 65,92%

Lindsay 123690749 521 89 (59) 614 (266) 2,78 8,32 2,63 57,88%P2C 30722431 132 165 (a5) 300 (12c) 3,00 4,97 2,31 51,47%

Posição dos Acessos na Fila LRU

Desvio Padrão

Var. Média (módulo)

Var. Zero (% Acessos)

VM

Tra

ce

ArquivoTotal de

Acessos à Memória

Total de Páginas

Acessadas

Menor Página

(dec./hex.)

Maior Página

(dec./hex.)Média Geral

Espresso 326938361 77 100 (64) 180 (b4) 1,82 1,21 0,59 64,67%

GCC 37524334 458 688 (2b0) 1150 (47e) 3,33 6,90 2,61 39,95%

Gnuplot 68458509 7718 130 (82) 7857 (1eb1) 5,26 115,74 5,89 34,94%

Grobner 7787835 67 94 (5e) 166 (a6) 2,07 2,45 1,33 49,01%

GS 134371942 558 219 (db) 934 (3a6) 2,03 3,63 1,17 65,92%

Lindsay 123690749 521 89 (59) 614 (266) 2,78 8,32 2,63 57,88%P2C 30722431 132 165 (a5) 300 (12c) 3,00 4,97 2,31 51,47%

Posição dos Acessos na Fila LRU

Desvio Padrão

Var. Média (módulo)

Var. Zero (% Acessos)

VM

Tra

ce

ArquivoTotal de

Acessos à Memória

Total de Páginas

Acessadas

Menor Página

(dec./hex.)

Maior Página

(dec./hex.)Média Geral

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

Estudo de Caso – Programa Grobner

• Mapa de acessos bidimensional

Working set médio tende a aumentar com o tempo Presença de localidade temporal e espacial

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

Estudo de Caso – Programa Grobner

• Mapa de acessos tridimensional

Concentração dos acessos em uma faixa diagonal do gráfico

Páginas tendem a ser muito exploradas em somente um período

Padrão seqüencial de acessos do ponto de vista macroscópico

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

Estudo de Caso – Programa Grobner

• Mapa bidimensional da recência dos acessos à memória

Os acessos acontecem em páginas que ocupam posições variadas na fila LRU, principalmente após a metade do processamento

Muito poucos acessos recaem em posições da fila superiores a 40

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

Estudo de Caso – Programa Grobner

• Mapa tridimensional da recência dos acessos à memória

Concentração dos acessos nas posições iniciais da fila LRU

Páginas com forte localidade temporal são referenciadas em meio a páginas pouco acessadas no período

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

Estudo de Caso – Programa Grobner

• Variação da recência dos acessos à memória

Grande simetria em relação à posição de variação zero

As páginas tendem a ocupar sempre uma mesma posição na fila LRU quando são acessadas

Quando a posição varia, normalmente retorna à situação original no acesso seguinte

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

Estudo de Caso – Programa Grobner

• Mapa bidimensional da recência dos acessos à memória (participação da página mais referenciada pelo programa)

A página 5E geralmente ocupa uma posição inferior a 10 na fila LRU quando é acessada

O algoritmo LRU é relativamente eficiente quanto às substituições que realiza

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

Estudo de Caso – Programa Grobner

• Previsão de faltas de página

Em quase 60% dos acessos, a página referenciada ocupa a 2ª posição da fila LRU: localidade temporal constante

Uma memória de tamanho 8 é suficiente para garantir uma taxa de faltas de página inferior a 2% com o algoritmo LRU

Pos. (a≤x<b) Acessos Ac. Acum. % Acessos % Acum.

0 0 0 0,00 0,001 4620622 4620622 59,33 59,33

2^1 - 2^2 2210724 6831346 28,39 87,722^2 - 2^3 817293 7648639 10,49 98,212^3 - 2^4 96860 7745499 1,25 99,462^4 - 2^5 31374 7776873 0,40 99,862^5 - 2^6 10895 7787768 0,14 100,002^6 - 2^7 0 7787768 0,00 100,00

GROBNER.VMTrace - Posição dos Acessos na Fila LRUPos. (a≤x<b) Acessos Ac. Acum. % Acessos % Acum.

0 0 0 0,00 0,001 4620622 4620622 59,33 59,33

2^1 - 2^2 2210724 6831346 28,39 87,722^2 - 2^3 817293 7648639 10,49 98,212^3 - 2^4 96860 7745499 1,25 99,462^4 - 2^5 31374 7776873 0,40 99,862^5 - 2^6 10895 7787768 0,14 100,002^6 - 2^7 0 7787768 0,00 100,00

GROBNER.VMTrace - Posição dos Acessos na Fila LRUPos. (a≤x<b) Acessos Ac. Acum. % Acessos % Acum.

0 0 0 0,00 0,001 4620622 4620622 59,33 59,33

2^1 - 2^2 2210724 6831346 28,39 87,722^2 - 2^3 817293 7648639 10,49 98,21

2^3 - 2^4 96860 7745499 1,25 99,462^4 - 2^5 31374 7776873 0,40 99,862^5 - 2^6 10895 7787768 0,14 100,002^6 - 2^7 0 7787768 0,00 100,00

GROBNER.VMTrace - Posição dos Acessos na Fila LRU

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

Estudo de Caso – Programa Grobner

• Formas de apresentação visual dos dados tabulares

Histograma Curva acumulada

Conclusão

• Pacote Elephantools

Caracterização de cargas de trabalho quanto ao uso da memória Documentação gráfica de experimentos realizados Explanação simples e intuitiva acerca das conclusões

• Trabalhos futuros

Aprimoramento das ferramentas existentes Nova ferramenta: melhor visualização das superfícies de localidade

• Agradecimentos

Elizabeth S. Sorenson (Brigham Young University) Scott F. Kaplan (Amherst College)

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP

Contato

• Hugo Henrique Cassettari: hugo.cassettari@poli.usp.br• Edson Toshimi Midorikawa: edson.midorikawa@poli.usp.br

• ESCOLA POLITÉCNICA DA USPDepartamento de Engenharia de Computação e Sistemas DigitaisLaboratório de Arquitetura e Software BásicoAv. Prof. Luciano Gualberto, travessa 3, 158, Cidade UniversitáriaCEP: 05508-900, São Paulo-SP