capitulo_1_Avaliação de desempenho

5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com

http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 1/36

1

Glaucio H. S. de Carvalho 1

Avaliação de Desempenho deSistemas

Glaucio Haroldo Silva de [email protected]


Introdução

AvaliarAvaliar significa atribuir valor a alguma coisa, dar

a valia;

Não é uma ação neutra;Sendo a não neutralidade um fato, interessa na

avaliação o compromisso com o questionamento,com a crítica;



2


IntroduçãoDesempenhoO que é?

Medida de capacidade de resposta de um sistema

Como avaliar o desempenho de um sistema?Medidas/métricas de desempenho ou de Qualidade de

Serviço (QoS)Quantificam o desempenhoAtravés da manipulação das métricas podem ser tiradas

conclusões sobre o desempenho do sistema Ex.: Tempo de reposta, vazão, disponibilidade,...


Introdução

Desempenho Por que?

Critério chave no projeto, compra e uso de sistemascomputacionais, Tecnologia da Informação (TI)

Engenheiros, analistas, projetistas, cientistas e usuáriosde TI buscam sempre obter o melhor desempenho paraum dado custo

Para alcançar tal meta é preciso comparar diferentesalternativas de modo a encontrar aquela que melhorsatisfaça os requisitos estipulados



3


IntroduçãoDesempenho Para que?

Especificar os requisitos de desempenho Avaliar diferentes alternativas Comparar dois ou mais sistemas Determinar valores ótimos de parâmetros

Identificar gargalos no sistema Caracterizar a carga em um sistema Planejamento da capacidade do sistema Predição do desempenho do sistema em função do crescimento da

carga


IntroduçãoSistema Qualquer coisa! Sistemas Complexos Reativos

Dinâmicos, reagem a estímulos internos e externos Ex.: Automóvel, avião, sistemas de TI

Componente de hardware Ex.: UCP

Componente de SoftwareEx.: sistema de banco e dados

Rede de comunicação Ex.: Rede de computadores, roteador, gateway, rede de telefonia

fixa/móvel, ...



4


IntroduçãoQuem é quem? ACM SIGMETRICS

Desempenho de sistemas computacionais Metodologias e novos avanços na área Periódico

• Performance Evaluation Review

IEEE Computer Society

Grande número de comitês técnicos e periódicos dedicados ao assunto www.ieee.org

ACM SIGSSIM Grupo de interesse em simulação Ex.: Periódico

• Simulation Digest


IntroduçãoQuem é quem? Computer Measurement group (CGM)

Grupo de interesse em aferição de rede, ferramentas e técnicas deavaliação

Periódico

• CGM Transaction IFIP Working Group 7.3

Grande número de comitês e grupo técnicos e periódicos dedicados aoassunto

The Society for Computer Simulation Grupo de interesse em simulação e modelagem matemática Ex.: Periódico

• Simulation Digest e Transaction of the Society for Computer Simulation



5


IntroduçãoQuem é quem? The Society for Industrial and Applied Mathematics (SIAM)

Promove a pesquisa direcionado a novos modelos matemáticos paraindustria e ciência

Periódicos• SIAM Review, SIAM Journal on Control and Optimization, ....

Operations Research Society of America (ORSA)

Organização de profissionais interessados em pesquisa operacional como:programação dinâmica, teoria de filas, teoria dos jogos, análise de redes,simulação,...

Periódicos• Operatinal Research, ORSA Journal on Computing, Operational Reasearch

letters,....


Introdução

Erros Comuns e Como Evitá-losAusência de objetivos

É importante que o Analista compreenda ofuncionamento sistêmico e identifique o problema a serresolvido

Não existe um modelo de propósito geral, cada um deveser desenvolvido com uma meta em particular

Em um projeto de desempenho as métricas, carga detrabalho e a metodologia dependem das metas



6


IntroduçãoErros Comuns e Como Evitá-losObjetivos tendenciosos

Mostrar que o nosso sistema é melhor que o deles Seja imparcial! Fundamente suas conclusões baseadas nos resultados e

não em crenças preconcebidasAbordagem não sistemática

Tentativa e erro: objetivos, parâmetros, fatores,métricas e carga de trabalho escolhidas aleatoriamente

Seja sistemático!


Introdução

Erros Comuns e Como Evitá-los Análise sem o entendimento do problema

Analistas inexperientes dedicam a maior parte do tempo namodelagem e na obtenção dos resultados

Analistas experientes sabem que a definição do problema consomecerca de 40% do tempo dedicado ao problema Os demais 60% são divididos em: no desenho das alternativas,

interpretação dos resultados e apresentação das conclusões (i.e., odesenvolvimento do modelo é uma pequena fatia do esforço!)

Um problema bem definido já está metade resolvido! Modelos são meios para se chegar as conclusões e não o resultado

final!



7


IntroduçãoErros Comuns e Como Evitá-los Escolha incorreta das métricas

Devem ser escolhidas as métricas relevantes e não aquelasfacilmente computadas ou medidas

Não devem ser descartadas as métricas difíceis de seremcomputadas!

Carga de Trabalho não representativa A seleção da carga de trabalho tem um impacto significativo nos

resultados da avaliação EX.: se pacotes em uma rede são uma mistura de de pacotes longos

e curtos; a carga de trabalho usada para comparar duas redes deveconsistir de pacotes longos e curtos.


Introdução

Erros Comuns e Como Evitá-losTécnica de avaliação inadequada

Existem três técnicas de avaliação: simulação, analíticae aferição (experimentação, metrologia)

Normalmente um especialista em uma técnica buscaaplicá-la em todos os casos

Um analista deve possuir um conhecimento básico detodas as técnicas



8


IntroduçãoErros Comuns e Como Evitá-los Ignorar parâmetros importantes

Devem-se listar todas as características do sistema e da carga detrabalho que podem afetar seu desempenho (parâmetros)

Ex. de parâmetros:• comprimento do buffer de um roteador (gateway),• Número de canais de rádio de uma estação radio base• Prioridade, padrão de chegada de solicitações, etc.

Os parâmetros devem ser variados a fim de avaliar diferentescenários

Ignorar um ou mais parâmetros pode levar a resultados inúteis


IntroduçãoErros Comuns e Como Evitá-los Ignorar fatores significativos

Parâmetros que são variados são chamados de fatoresDevem ser escolhidos como fatores, aqueles parâmetros

que, quando variados, provocam maior impacto nodesempenho do sistema Ex. Se a taxa média de chegada afeta o tempo de resposta de um

gateway mais que o tamanho do pacote, então é melhor usardiferentes taxas de chegada no estudo de desempenho

Uma boa idéia para identificar quais (e como os)parâmetros afetam mais o desempenho do sistema é umaanálise de sensibilidade.



9


IntroduçãoErros Comuns e Como Evitá-losDefinição inapropriada do experimento

Definir experimento consiste no número de vezes que asmedições ou a simulação devem ser conduzidas bemcomo dos valores dos parâmetros usados em cadaexperimento

Para um mesmo número de experimentos, a seleçãoapropriada dos valores pode resultar em maisinformação


Introdução

Erros Comuns e Como Evitá-losNível inadequado de detalhes

Um erro comum é usar um modelo detalhado quando ummodelo de alto-nível pode ser empregado e vice-versa

Acontece quando o objetivo não esta claro o suficiente(i.e., o que é modelado e como deve ser analisado!)

O nível de detalhe usado na modelagem tem um profundoimpacto na formulação do problema



10


IntroduçãoErros Comuns e Como Evitá-los Falta de análise

Existe uma grande quantidade de dados, mas não se sabecomo analisá-los ou interpretá-los;

É melhor possuir uma equipe multidisciplinar de analistasde desempenho

Análise incorreta Existe um grande número de erros cometidos na

modelagem e na experimentação Ex.: simulações muito curtas


Introdução

Erros Comuns e Como Evitá-losAusência da análise de sensibilidade

Analistas apresentam os resultados de suas avaliaçõescomo fatos e não como evidências

Ignoram o fato que os resultados podem ser sensíveis acarga de trabalho e a variação dos parâmetros

Análise de sensibilidade torna claro se as conclusõesmudam ou não para diferentes configurações

Análise de sensibilidade ainda evidencia a importânciarelativa dos parâmetros do sistema



11


IntroduçãoErros Comuns e Como Evitá-los Ignorar erros na entrada

Algumas vezes um parâmetro que não pode ser medido éestimado a partir de outra variável

Importante ajustar o nível de certeza do saída domodelo a partir das incertezas


IntroduçãoErros Comuns e Como Evitá-los Tratamento inapropriado dos pontos “fora da curva”

Valores muito altos ou baixos quando comparado a maioria dosdemais são chamados de “fora da curva” (grande problema namodelagem)

Quando um ponto fora da curva não é causado pela ocorrência deum fenômeno real do sistema, ele deve ser ignorado na modelageme vice-versa,

Decidir que pontos e quando incluí-los faz parte da avaliação dedesempenho e que requer um entendimento profundo do sistema aser modelado



12


IntroduçãoErros Comuns e Como Evitá-losNão considerar as mudanças do futuro

Um modelo baseado em uma carga de trabalho edesempenho do passado é usado para predizer o futuro

Deve ser discutido de quanto em quanto tempo devemser feitas as predições


IntroduçãoErros Comuns e Como Evitá-los Ignorar a variabilidade

É comum avaliar somente ocomportamento médio dosistema e esquecer davariabilidade

Se a variabilidade é grande, amédia sozinha não érepresentativa

Ex.: Decisões baseadas emmédias diárias de demandascomputacionais podem não serúteis quando há picos horáriosna demanda

• Média: 18,125• Variância: 553,9402

0

10

20

30

40

50

60

70

80

D e m a n d a ( u s u á r i o s p o r h o r a )

1 3 5 7 9 11 13 15 17 19 21 23

Horas



13


IntroduçãoErros Comuns e Como Evitá-los Análise muito complexa

Sejam duas análises que levam a mesma conclusão a mais simplesserá escolhida

Há diferenças entre os modelos publicados na literatura e aquelesaplicados no mundo real

• A habilidade de desenvolver e resolver modelos complexos apesar de

altamente valorizada na academia nem sempre é bem vista por aquelesque tomam decisões ou aplicadas quanto os prazos são curtos

• A maioria dos problemas do dia a dia são resolvidos por modelos simples• Mesmo quando prazo e custo não são problemas, modelos complexos são

difíceis de entender, tendo seus resultados desacreditados


Introdução

Erros Comuns e Como Evitá-losApresentação inapropriada dos resultados

A meta de qualquer avaliação de desempenho é auxiliarna tomada de decisão

“Vender” os resultados da avaliação é responsabilidadedo analista e requer o uso de:

• Gráficos, palavras, imagens que elucidem as conclusões

A métrica certa para avaliar desempenho de um analista

não é o número de análises desempenhadas, mas sim o

número de análises que auxiliem a tomada de decisões



14


IntroduçãoErros Comuns e Como Evitá-los Ignorar aspectos sociais

Uma apresentação bem sucedida requer as seguinteshabilidades:

• Social– Falar e escrever

• Substancial– Modelagem e a análise de dados

Para vender a avaliação as habilidades sociais sãogeralmente mais importantes!


Introdução

Erros Comuns e Como Evitá-losOmissão das considerações e das limitações

As considerações feitas na confecção do modelo e suaslimitações não devem ser omitidas

Caso contrário, pode-se levar a aplicar o modelo em umoutro cenário onde as considerações não são válidas, ouas limitações não respeitadas



15


IntroduçãoAbordagem sistemática para a avaliação de desempenho

Estabeleça os objetivos e defina o sistema Estabelecer os objetivos do estudo e delimitar escopo (o que constitui o sistema) Seja o mesmo conjunto de hardware e software, a definição do sistema pode variar

dependendo do objetivo Ex.: Seja duas UCPs

• Objetivo 1: estudar o impacto da UCP no tempo de resposta de usuáriosinterativos

– Escopo 1: O “sistema” é um sistema de tempo compartilhado. As conclusões dependem

significativamente de componentes externos a UCP

• Objetivo 2: UCPs são quase similares a exceção das ULAs, então o objetivo édecidir qual ULA deve ser escolhida.

– Escopo 2: O sistema é a UCP, e somente os componentes dentro da mesma devem fazer

parte dele.

A definição do escopo afeta as medidas de desempenho do sistema assim como dacarga de trabalho usada



Liste os serviços e os resultados Todo sistema oferece um serviço (uns desejáveis outros

não)

Quando um usuário solicita um serviço há uma seriepossíveis resultados

Liste todos os serviços e os possíveis resultados, elaserá importante durante a definição das métricasselecionadas



16



Selecione as métricas Selecionar a métrica significa selecionar o critério usado para

comparação

Lista de parâmetros Liste todos os parâmetros que afetam o desempenho sistêmico A lista pode ser dividida em duas partes:

• Do sistema (±estáveis): hardware e software• Da carga de trabalho (dinâmicos): característica das demandas de

usuários

Aumenta a sinergia entre o analista e os tomadores de decisão nosentido de avaliar o impacto de cada parâmetro e determinarquando eles devem ser coletados



Selecione os fatoresA lista de parâmetros pode ser dividida em duas partes:

• Aqueles que não variam

• Aqueles que variam (fatores e seus valores são chamados níveis) Inicie com uma pequena lista de fatores e níveis

Selecione a técnica de avaliação Existem três técnicas: analítica, simulação e aferiçãoA seleção depende de fatores como tempo, recursos

disponíveis, precisão,nível de detalhes



17



Selecione a carga de trabalho Lista das solicitações de serviçoDepende da técnica de avaliação escolhida:

• Analítica: probabilística• Simulação: trace de solicitações do sistema real

• Aferição:scripts de usuários a serem executados pelo sistemaA carga de trabalho deve ser representativa



Planeje os experimentosDada a lista de fatores e seus níveis decida a seqüência

de experimentos que resulte em mais informação com o

menor esforço Conduza os experimentos da seguinte forma:

• Estudar o efeito relativo dos vários fatores (grande número defatores com poucos níveis)

• Estudar os níveis dos fatores que possuem um impactosignificativo (poucos fatores e mais níveis)



18



Analise e Interprete os dadosQuando comparar duas alternativas, considere a

variabilidade dos resultadosUma análise produz resultados e não conclusões!Os resultados fornecem a base para se tirar as

conclusõesApresentação dos resultados

É importante que os resultados sejam apresentados demaneira inteligível (graficamente, sem jargões,...)


Introdução

Seleção da técnica de avaliaçãoTécnicas para a avaliação de desempenho de um

sistema:Analítica, Simulação, Aferição

Aferição:Medições realizadas no próprio sistema real ou em um

protótipo do mesmo É necessário que o sistema ou um protótipo exista!



19


IntroduçãoSeleção da técnica de avaliação Modelagem:

Abstração do sistema a ser analisado, o qual inclui, em diferentesníveis de detalhes, dependendo da solução a ser empregada, osprincipais elementos e eventos condizentes ao comportamento dosistema e que ao mesmo tempo são relevantes na sua análise.

Solução do modelo• Analítica:

– Formulas matemáticas /algoritmos computacionais que fornecem as

métricas de interesse em função da carga de trabalho de entrada

• Simulação:

– Programas computacionais que emulam os diferentes aspectos

dinâmicos de um sistema


Introdução

Seleção da técnica de avaliaçãoTaxonomia:

Técnicas de Avaliação de Desempenho

Técnicas de Avaliação de Desempenho

Sistema Realou Protótipo

Sistema Realou Protótipo Modelo

Modelo

Aferição

Aferição Analítica

Analítica Simulação

Simulação



20


Introdução

AltaMédiaBaixaQualidade do queé vendável

AltoMédioBaixoCusto

DifícilMédioFácilAvaliação decompromissos

VariávelModeradaBaixaPrecisão

InstrumentaçãoLinguagem deprogramação

AnáliseFerramentas

VariávelMédioCurtoTempo requeridopara avaliação

SistemaExiste/Protótipo

QualquerQualquerEstágio

AferiçãoSimulaçãoAnalíticaCritério


Introdução

Seleção das métricas de desempenho (QoS)Todo sistema oferece um serviçoMétricas de QoS quantificam o desempenho do

sistemaAs repostas de um sistema (serviço) podem serclassificadas como:



21


Introdução

SIST

EMA

Solicitaçãodo serviço i

Nãoexecutado

Incorretamente

Executado

Erro j

TempoTempo de reposta

TaxaVazão

RecursoUtilização

Probabilidade

Duraçãodo evento

Tempo entre erros

Corretamente

Tempo entreeventos

Erro k

VELOCIDADE

CONFIABILIDA

DE

DISPONIBILIDADE


Introdução

Métricas de QoS mais usadasTempo de resposta

Intervalo de tempo entre a solicitação do usuário e aresposta do sistema

Solicitaçãodo usuário

Resposta doSistema

Tempo

Tempo de reposta



22


IntroduçãoMétricas de QoS mais usadasTempo de resposta

Usuárioinicia asolicitação

TempoTempo de reação

Usuáriofinaliza asolicitação

SistemaInicia aexecução

SistemaInicia areposta

Sistemafinaliza areposta

Tempo de resposta 1

Tempo de resposta 2

Usuárioinicia apróximasolicitação

Think time


IntroduçãoMétricas de QoS mais usadas Tempo de resposta

Ex.: Carregamento de uma página Web no navegador do usuário como resultado de uma busca de livros em uma livraria eletrônica

• Tempo do navegador• Tempo da rede

• Tempo do servidor de e-commerce• Tempo de congestionamento

– Tempo gasto esperando por recursos (processadores, discos, redes)

– Depende do número de solicitações na rede

Tempo do navegador

Processamento E/S

Tempo da rede

Navegador - ISP Internet ISP-Servidor

Tempo doServidor de e-commerce

Processamento E/S Rede

Congestionamento



23


IntroduçãoMétricas de QoS mais usadasVazão (throughput)Taxa na qual as solicitações são servidas

pelo sistemaMedido em operações por unidade de

tempoA natureza da operação depende do

sistema


Introdução

Mensagens enviadas por segundoServidor de E-mail

E/S por segundoKB transferidos/s

Disco

Milhões de Instruções/s (MIPS)Operações de pontos flutuantes/s (FLOPS)

UCP

Pacotes/s (PPS)MB transferidos/s

Roteador

Interações Web/s (WIPS)Sessões/sBuscas/s

E-commerce site

Solicitações HTTP/sByte/s

Web site

Transações/s (tps)OLTPMétricaSistema



24


IntroduçãoMétricas de QoS mais usadasVazão (throughput)Capacidade nominal: maior vazão sob condições

ideais• Ex.:

– Ethernet-1Gbps

– Disco com 40 Mbps

Capacidade útil:vazão máxima alcançável• Ex.:

– Ethernet 100: 70-80 Mbps


IntroduçãoMétricas de QoS mais usadas Vazão (throughput)

Geralmente aumenta com a carga. Após um certo tempo ele satura e pode ainda diminuir (thrashing )

Vazão

Tempo deresposta

Joelho

Capacidade Nominal

Capacidade Útil

Carga

Carga

Joelho é o ponto ótimo deoperação



25


IntroduçãoMétricas de QoS mais usadas Eficiência

Capacidade útil/ capacidade nominal . Ex.:

• Uma LAN de 100Mbs tem sua capacidade útil de 85Mbps• Eficiência de 85%

Utilização Fração de tempo que o recurso está ocupado atendendo

solicitações Período de tempo que o recurso não está sendo usado é

chamada de tempo ocioso


IntroduçãoMétricas de QoS mais usadasDisponibilidadeFração de tempo que o sistema está disponível

para o atendimento a clientes

• Ex.: Sistema com disponibilidade de 99,99% em umperíodo de 30 dias está indisponível por:• (1-,9999)x30diasx24horas/diax60minutos/hora=4.32minutos• Tal nível de disponibilidade é excelente para um

serviço de e-commerce ;• Porém, para um sistema de defesa, 911 pode ser

inaceitável!



26


IntroduçãoMétricas de QoS mais usadasDisponibilidade

Duas razões para a indisponibilidade:• Falhas e sobrecarga• Falhas

– Algum componente do sistema está inoperante

– Ex.: conexão com a Web pode está indisponível

– Solução: sistema de detecção, diagnóstico e restabelecimento da falha• Sobrecarga

– Todos os componentes estão operacionais, mas o sistema não possui

recursos suficientes para atender toda a demanda

– Ex.: Um servidor Web recusa a abertura de uma nova conexão TCP,

pois o número máximo já foi alcançado



• Sobrecarga– Uma das formas de resolver a sobrecarga em sistemas

de TI é o Controle de Admissão de Chamadas (CAC)

– CAC

» controla e limita o número de solicitações que

estão sendo tratadas concorrentemente

» Evita o aumento excessivo (exponencial) do

tempo de resposta



27



• Sobrecarga

Tempo deresposta

Sem CAC

Carga

Com CAC

Threshold


IntroduçãoMétricas de QoS mais usadas ConfiabilidadeProbabilidade do sistema operar adequadamente e

continuamente durante um período fixo de tempo• Quando o período de tempo é muito grande a

confiabilidade tende para a disponibilidadeSegurançaMecanismo de autenticação

• Criptografia



28


IntroduçãoMétricas de QoS mais usadas EscalabilidadeUm sistema é escalável quando seu desempenho não

degrada significativamente com o aumento da carga

Tempo de

respostaSistema A- Não é escalável

Carga

Sistema B- Escalável


IntroduçãoMétricas de QoS mais usadas ExtensibilidadeÉ a propriedade do sistema facilmente evoluir para

lidar com novas funções e requisitos de desempenho

• Novas leis, regulamentos, diferentes modelos denegócio podem mudar o ambiente no qual o sistemaestá operando e ele deverá se adequar as novascircunstâncias.



29


IntroduçãoUtilidade das Métricas

de QoS Maior é Melhor

Vazão Menor é Melhor

Tempo de resposta Nominal é melhor

Utilização• Alta-> tempo deresposta alto

• Baixa->Recursosestão ociosos

• 50->75%

Maior é melhorUT

I

L

I

D

A

D

E

MÉTRICA

UT

I

LI

D

A

D

E

MÉTRICA

Menor é melhor

UT

I

L

I

D

A

D

E

MÉTRICA

Nominal é melhor


IntroduçãoCiclo de vida de um sistema Tratar da avaliação de desempenho no final do

desenvolvimento do sistema pode levar: Ao aumento no custo do projeto em relação àquele originalmente

especificado

Aumento no tempo necessário no ajuste de valores ótimos dosparâmetros Projetar o sistema novamente (pior caso)

Tal prática é ineficiente, onerosa, time-consuming eprofissionalmente irresponsável

É importante considerar a avaliação de desempenhocomo parte integrante do projeto de um sistema



30


IntroduçãoCiclo de vida de um sistema Sete estágios:

1. Especificação e Análise derequisitos

2. Projeto do Sistema3. Desenvolvimento do Sistema4. Teste5. Instalação6. Operação7. Evolução

Especificação eAnálise derequisitos

Projeto doSistema

Desenvolvimentodo Sistema

Teste

Instalação

Operação

Evolução



Especificação e Análise de requisitos• Coleta de informações a respeito do

funcionamento do sistema• Documento contendo todos os requisitos do

sistema– Requisitos funcionais:

» especificação do conjunto de funções que osistema deve fornecer com respeito àsentradas e saídas assim como o padrão deinteração o sistema com os usuários

» Inclui informações sobre tecnologias aserem usadas no projeto

– Ex.: e-commerce

» O site deve fornecer um padrão de buscaque permite aos usuários buscar por livrosusando ISBN, título,...

» Servidores UNIX e Apache, acesso semfio...


Projeto doSistema


Teste

Instalação

Operação

Evolução



31



Especificação e Análise derequisitos

– Requisitos não funcionais:

» Trata dos requisitos de QoSesperados pelos usuários

» Caracterização quantitativa e

qualitativa da carga de trabalhodeve ser fornecida de modo que osrequisitos de QoS possam serespecificados

– Ex.: e-commerce

» Durante os períodos de pico o sitereceberá 50 solicitações/s e responderá95% deles dentro de 2s


Projeto doSistema


Teste

Instalação

Operação

Evolução



Projeto do sistema– Como os requisitos serão satisfeito?

– A arquitetura é projetada e o sistemadividido em componentes como:

» Estruturas de dados, banco de dados,

» Algoritmos são selecionados eprojetados...

– A interface entre os diversoscomponentes são especificadas

– Atenção especial aos requisitos nãofuncionais

– Decisões erradas nessa etapa são maisonerosas e demandarão mais tempopara serem corrigidas que nas etapasposteriores


Projeto doSistema


Teste

Instalação

Operação

Evolução



32



Desenvolvimento do sistema– Implementação dos componentes do

sistema

» Adaptações/novos

desenvolvimentos/reuso

– Componentes são interconectados para

formar o sistema

– Os componentes devem ser desenvolvidos

visando fácil monitoração da QoS durante

as fases de Teste e Operação


Projeto doSistema


Teste

Instalação

Operação

Evolução



Teste– Ocorre concorrentemente com o

desenvolvimento do sistema

» Teste da unidade, do subsistema e dosistema inteiro


Projeto doSistema


Teste

Instalação

Operação

Evolução



33



Instalação– Depois de testado em um ambiente

controlado o sistema é instalado

– Durante essa fase os valores de muitos

parâmetros devem ser escolhidos de

modo que se obtenha o melhor

desempenho possível

– Ex.: número máximo de conexões TCP

– Modelos podem ser usados para fazer a

predição do desempenho do sistema para

diferentes condições e cenários de modo

que os valores apropriados possam ser

selecionados


Projeto doSistema


Teste

Instalação

Operação

Evolução



Operação– Sistema deve ser constantemente

monitorado para averiguação se os

requisitos de QoS estão sendo satisfeitos– Carga de trabalho:

» Determinação dos horários de picos,

da característica do processo de

chegada;

» Detecção de padrões incomuns que

possam indicar ataques a segurança

» Caracterização dos tipos similares de

solicitação (classes de serviço)


Projeto doSistema


Teste

Instalação

Operação

Evolução



34



Operação– Medidas de desempenho externas:

» Medição da satisfação percebida pelousuário e estatísticas (média,variância, ...) relativas ao tempo deresposta, vazão, probabilidade deuma solicitação ser rejeitada

– Medidas de desempenho internas:

» Identificação dos fatores internos queauxiliam no diagnóstico de falhas edetecção de gargalos

» Ex.: utilização de processadores,dispositivos de armazenamento,redes,...


Projeto doSistema


Teste

Instalação

Operação

Evolução



Operação– Disponibilidade:

» Monitoramento externo usando

agentes que enviam solicitações parao sistema em intervalos regulares

» Compromisso na freqüência em que

ocorre a monitoração


Projeto doSistema


Teste

Instalação

Operação

Evolução



35



Evolução• Sistemas de TI evoluem no sentido de

atender a novas demandas, leis eregulamentos,...

• Garantir que a evolução não afete osrequisitos de QoS– Ex:

» Livraria eletrônica decide expandir e

vender CDs e DVDs» As solicitações por CDs e DVDs

compartilharão a mesma infra-estruturade IT que as solicitações por livros

» Deve ser garantido que a QoS serámantida

» Modelos de predição podem ser usadosno auxílio a essas questões


Projeto doSistema


Teste

Instalação

Operação

Evolução


Introdução

Notas do capítuloLer: Parte I do Raj Jain (capítulos 1 ,2, 3)

Capítulo 1 do Virgilio



36


BibliografiaRaj Jain. The art of Computer SystemsPerformance Analysis: technique forexperimental design, measurement, simulation,and modeling, Wiley, 1991

Daniel A. Menascé, Virgilio A.F. Almeida,Lawrence W. Dowdy. Performance By Design:computer capacity planning by example, PrenticeHall, 2004.

capitulo_1_Avaliação de desempenho

Documents

Transcript of capitulo_1_Avaliação de desempenho