Análise dos Resultados da Simulação

Prof. Paulo José de Freitas Filho, Dr. Eng.Universidade Federal de Santa Catarina

Dep. Informática e EstatísticaPerformanceLab

freitas@inf.ufsc.br

2

Tópicos

Introdução Experimentação e Análise de ResultadosConfiança EstatísticaSistemas Terminais e Sistemas Não-TerminaisAnálise de Sistemas Terminais Usando o Arena Output Analyzer para tratar Sistemas TerminaisAnalise de Sistemas Não-Terminais Usando o Arena Output Analyzer para tratar Sistemas Não-Terminais

3

Tópicos

Introdução Experimentação e Análise de ResultadosConfiança EstatísticaSistemas Terminais e Sistemas Não-TerminaisAnálise de Sistemas Terminais Usando o Arena Output Analyzer para tratar Sistemas TerminaisAnalise de Sistemas Não-Terminais Usando o Arena Output Analyzer para tratar Sistemas Não-Terminais

4

Introdução

A principal razão para uma maior atenção aos processos de análise dos resultados das simulações:

modelos apresentam um comportamento estocástico, à semelhança dos sistemas que estão

imitando.

5

Introdução

Objetivo Principal: minimizar os errosrelacionados ao processo de inferência.

6

Introdução

Os procedimentos necessários à análise dependem do tipo de sistema que está sendo tratado. Os sistemas serão classificados como:

Terminais ou Não-terminais.

7

Tópicos

IntroduçãoExperimentação e Análise de ResultadosConfiança EstatísticaSistemas Terminais e Sistemas Não-TerminaisAnálise de Sistemas Terminais Usando o Arena Output Analyzer para tratar Sistemas TerminaisAnalise de Sistemas Não-Terminais Usando o Arena Output Analyzer para tratar Sistemas Não-Terminais

8

Experimentação e Análise de Resultados

O procedimento de análise dos resultados da simulação inicia com a seleção de variáveis de desempenho que se deseja verificar no sistema.

Por exemplo:8 Elementos contadores de ocorrências8 Variáveis obtidas de alguma expressão incluindo médias,

variâncias, etc.. 8 Variáveis que medem tempo no sistema, tempo nas filas,

número de entidades nas filas, utilização de recursos, vazão (throughput), etc

9

Experimentação e Análise de Resultados

Inferir sobre os resultados implica na realização de análises estatísticas apropriadas. Algumas questões que devem ser inicialmente tratadas dizem respeito aos seguintes aspectos:

• Qual é a duração apropriada de uma rodada de simulação?

• Como interpretar corretamente seus resultados?• Como analisar corretamente as diferenças obtidas em

cada uma das replicações?

10

Tópicos

Introdução Experimentação e Análise de ResultadosConfiança EstatísticaSistemas Terminais e Sistemas Não-TerminaisAnálise de Sistemas Terminais Usando o Arena Output Analyzer para tratar Sistemas TerminaisAnalise de Sistemas Não-Terminais Usando o Arena Output Analyzer para tratar Sistemas Não-Terminais

11

Confiança Estatística

A determinação de intervalos de confiança para as variáveis de desempenho é um componente fundamental no processo de análise de resultados.

12

Confiança Estatística - ExemploPara os dados da tabela deseja-se construir intervalos de confiança de 95% (α=0,05) e de 99% (α=0,01).

Número da Replicação

Tempo Médio na Fila

1 63,22 69,73 67,34 64,85 72

13

Confiança Estatística - Exemplo

Assumindo que os valores para a variável aleatória X(Tempo Médio na Fila) são normalmente distribuídos, o semi-intervalo h permitirá o cálculo do intervalo de confiança a 1 - α, para o verdadeiro valor da média µ, que estará centrado em X.

14

Confiança Estatística - Exemplo

O semi-intervalo h é calculado por:

onde o valor de é o valor tabulado de t (ver tabela t).

nSth n 2/1,1 α−−=

2/1,1 α−−nt

15

Confiança Estatística - Exemplo

Uma vez que α reflete o nível de confiança para todo intervalo, no sentido de obter-se um intervalo bilateral usa-se o valor de α/2 para computar o valor de h. Usando-se as equações (abaixo) calcula-se o valor de , S2 e S.

Adicionalmente, busca-se os valores tabelados de t(amostra pequena) com 95% e 99% de confiança.

n

xX

n

ii∑

== 11

1

22

2

−

−=

∑=

n

xnxS

n

ii

X

16

Confiança Estatística - Exemplo

X = 67,4; S 2 = 12,74 S = 3,57

Para 95% de confiança (α = 5%), temos 1 - α/2 = 0,975 e t4, 0.975 = 2,78.

Para 99% de confiança (α = 1%), temos 1 - α/2 = 0,995 e t4, 0.995 = 4,60.

Desta forma, os resultados dos valores de h são os seguintes:

h = 4,44 (95% de confiança)h = 7,34 (99% de confiança)

17

Confiança Estatística

Como o intervalo é simétrico em torno da média, temos os seguintes limites:

O intervalo com 95% de confiança é:

[62,6; 71,84]

O intervalo com 99% de confiança é:

[60,06; 74,74].

[ X - h, X + h]

18

Confiança Estatística

O tamanho do intervalo depende do nível de confiança desejado. 8 O nível mais elevado (99%) requer um intervalo maior em

comparação com o nível de confiança mais baixo.

O número de replicações n e desvio-padrão amostral ssão utilizados na obtenção de z ou t.

Três fatores influenciam a largura do intervalo de confiança:

8 o número de replicações n;8 o nível de confiança (1 - α) predefinido pelo analista;8 variação (S2) associada à medida de desempenho sob análise.

19

Confiança Estatística

O relacionamento entre estes três fatores ocorre da seguinte maneira:

8 O aumento do número de replicações, reduz a largura do intervalo de confiança;

8 O aumento do nível de confiança, aumenta também a largura do intervalo de confiança. O intervalo com 99% de confiança serámaior do que o aquele com 95% de confiança, uma vez mantidos os demais elementos;

8 Na medida que a variância (S2) aumenta, cresce a largura do intervalo de confiança.

20

Tópicos

Introdução Experimentação e Análise de ResultadosConfiança EstatísticaSistemas Terminais e Sistemas Não-TerminaisAnálise de Sistemas Terminais Usando o Arena Output Analyzer para tratar Sistemas TerminaisAnalise de Sistemas Não-Terminais Usando o Arena Output Analyzer para tratar Sistemas Não-Terminais

21

Sistemas Terminais e Não-Terminais

Sistemas terminais:

8 Apresentam condições iniciais fixas (condições estas que o sistema volta a assumir ao início de cada rodada de simulação) e um evento que determina um fim natural para o processo de simulação (isto é, pode-se programar o fim de uma rodada de simulação).

8 Como exemplos de sistemas terminais pode-se citar os serviços, tais como, restaurantes, bancos, lojas comerciais, etc..

22

Sistemas Terminais e Não-Terminais

Sistemas Não-terminais:

8 Os sistemas não-terminais não possuem condições iniciais fixas, nem um evento que determina o fim do processo de simulação.

8 Como exemplos mais comuns deste tipo de sistemas podemos citar os serviços de 24 horas, os hospitais, os sistemas de comunicação, etc..

23

Análise de Sistemas Terminais

O objetivo de simular sistemas terminais é compreender seu comportamento ao longo de um período predeterminado e com duração fixa.

Uma vez que as condições iniciais e o período simulado são fixos, o único fator controlável é o número de replicações.

Os procedimentos de análise para sistemas terminais consistem em realizar um determinado número replicações, verificar a variância da medida de desempenho selecionada e determinar se o intervalo de confiança resultante encontra-se dentro de limites aceitáveis.

24

Executar pilotocom n

replicações

Computar o intervalode confiança

Intervalo deconfiança é

aceitável

Encerraro

procedimento

Calcularnúmero n* dereplicaçõesadicionais

Executar asimulaçãocom n + n*replicações

SIM

NÃO

Análise de Sistemas

Terminais

25

Tamanho da Amostra (número de replicações) para a Determinação da Média

Sabe-se que para uma amostra de tamanho n, o intervalo de confiança 100(1-α)% da média populacional da variável de interesse é dado por:

A precisão desejada de r % implica que o intervalo de confiança deve ser:

nszx ±

[ x (1-r/100), x (1+r/100)]. Logo,

2100

100

)100

1(

⎟⎠⎞

⎜⎝⎛=

=

±=±

xrzsn

rxnsz

rxnszx

26

Tamanho da Amostra – Exemplo 1

Com base num teste preliminar a média amostral de uma variável de controle é de 20 segundos com desvio padrão de 5 segundos. Quantas replicações são necessárias para que a variável de controle tenha uma precisão de 1 segundo com 95% de confiança?

Precisão requerida é de 1 em 20 = 5%

Os parâmetros para a aplicação da fórmula são:

x = 20 s = 5 z = 1,960 r = 5

n5% = [(100 x 1,960 x 5) / (5 x 20)]2 = (9,8)2 = 96,04

27

Tamanho da Amostra – Exemplo 2

Determinar os limites de um intervalo de confiança, considerando α = 5%, e uma precisão em torno de 5% para o valor da média amostral. Os parâmetros fornecidos são:

n5% = [(100 x 1,960 x 5,7) / (5 x 115,3)]2 = (1,94)2 = 3,75 ≅ 4

x = 115,3 s = 5,7 z = 1,960 r = 5

28

Método Empírico de Determinação do Tamanho da Amostra

n* = [n(h/h*)2]

onde:

n* = a nova estimativa para nh = semi-intervalo de confiança obtidoh* = semi-intervalo de confiança desejado

29

Tamanho da Amostra – Exemplo

Os valores obtidos para um intervalo de confiança após uma simulação com n = 24 replicações foi [75,82; 108,90], para uma média = 92,36. O valor obtido para o semi-intervalo h = 16,54 é maior do que o valor desejado (10% da média = 9,236). Logo, a primeira estimativa para n resultou em um intervalo maior do que o desejado. Aplique o método empírico e estime o valor de n*.

n* = [n(h/h*)2] = [ 24 (16,04 / 9,236)2 ] = 72,39 ≅ 73

O novo valor obtido para h foi de 8,57 para uma média = 91,13. O novo intervalo de confiança para a média, com n = 73 replicações é [82,56; 99,70].

30

Usando o Arena Output Analyzerpara Tratar Sistemas Terminais

Para um melhor entendimento dos passos que devem ser realizados, considere o exemplo do modelo “Trans_Banc70.doe”.

Ative o Output Analyzer a partir do menu Programas/Arena.

31

Exemplo uso do Arena Output Analyzer

As seguintes variáveis de desempenho foram designadas:8 Tempo médio no sistema de um cliente que faz uso dos caixas;8 Número médio de clientes na fila dos caixas.

32

Definição do número de replicações amostra piloto

33

Armazenando os Dados da Simulação

34

Solicitando ao Arena a criação de arquivos de dados

35

Solicitando as Estatísticas de Filas

36

Origem das Informações Geradas e Armazenadas no Arquivo Destino

Summary Report..................Replication 1 of 15

Avg. Min Max...# in Fila Caixas 1.995........Replication 2 of 15

Avg. Min Max...# in Fila Caixas 2.003.....................Replication 15 of 15

Avg. Min Max...# in Fila Caixas 3.732

1.9952.003..............

....

...3.732

Arquivo “NFCx.DAT”

37

Anexando os arquivos “TTCx.DAT” e “NFCx.DAT” ao Output Analyzer

38

Solicitando Gráficos (Plot)

39

Gráficos (Plot)

40

Diálogo para o Cálculo do Intervalo de Confiança

41

Intervalos de Confiança

42

Mais precisão para o tamanho da fila

Considere alcançar valores de h ≤ 10% da média amostral.

8 Para a variável Clientes na Fila, h = 0,745 (não atingida)8 Para a variável Tempo no Sistema, h = 2,66 (atingida)

n* = [n(h/h*)2]

n* = a nova estimativa para nn = número de replicações já realizadas = 15h = semi-intervalo de confiança já obtido = 1,59h* = semi-intervalo de confiança desejado = 0,745

n* = [n(h/h*)2] = [ 15.(1,59 / 0,745)2 ] = 15.(1,575)2 ≅ 69

43

Mais Precisão

O valor obtido para h (0,616) é menor que o desejado (10% de 7,04 = 0, 704 )

44

Exercícios

Realize os exercício 1 e 2 da lista

45

Resposta Exercício 1

46

Resposta Exercício 2

47

Análise de Sistemas Não Terminais

Os sistemas terminais não têm um estado inicial predefinido nem tampouco um evento caracterizando o encerramento do período de simulação. Dois problemas básicos devem ser contornados.

8 O primeiro deles trata do descarte das observações que pertencem ao período transiente.

8 O segundo problema diz respeito ao período de simulação. Para que se possa avaliar a variância da medida de interesse, considerando os descartes da fase transiente, as técnicas de avaliação exigem longas simulações. Quão longas?

48

Remoção da Fase Transiente

Longa simulação;Inicialização apropriada;Observação visual.

49

Observação visual

É o método mais simples e prático para a determinação do ponto de término do período transiente.

Inicia pela construção de um gráfico, o qual aponta o comportamento da variável de resposta ao longo do tempo, procura-se observar, de forma aproximada, em que momento as respostas passam a ter uma conduta mais estabilizada.

Em alguns sistemas a flutuação das respostas é bastante acentuada, mesmo quando em regime, dificultando àobservação.

Neste caso, traçar gráficos com médias móveis da variável éaconselhável.

50

Observação visual - Média Móvel

A média móvel é construída calculando-se a média aritmética das kmais recentes observações em cada ponto do conjunto de dados. O valor de k ( tamanho da média móvel) é selecionado pelo analista, e poderá variar de acordo com o comportamento da variável sob investigação. Na medida em que se aumenta o valor de k, suaviza-se o gráfico tornando mais clara a observação do ponto de truncagem. Para k=1, os gráficos da média móvel e dos dados brutos coincidem. Os gráficos 2.2, 2.3 e 2.4 apresentam médias móveis para k=1, k=10 e k=50, respectivamente.

51

Observação visual - Média Móvel

Gráfico 2.2: Média móvel com k=1

52

Observação visual - Média Móvel

Gráfico 2.3: Média móvel com k=10

53

Observação visual - Média Móvel

Gráfico 2.4: Média móvel com k=50

54

Tamanho do Período de Simulação

MétodosReplicações Independentes

Regeneração

Loteamento

55

Executar uma longa simulação

piloto

Determinar período transiente

Períodotransiente

curto?

Sim

Não

Adotar técnica de múltiplas

replicações independentes, eliminando o

período transiente de cada uma delas.

Adotar técnica do loteamento

Determinar correlação

Determinar tamanho do lote

mínimo

Executar longa simulação para

gerar lotes necessários à

criação da amostra piloto

Seguir com procedimento semelhante ao adotado para

sistemas terminais

Determinação do Tamanho do Período de Simulação para Sistemas Não-Terminais

56

Determinação do Tamanho do Período de Simulação para Sistemas Não-Terminais

Método das Replicações Independentes

57

Determinação do Tamanho do Período de Simulação para Sistemas Não-Terminais

Método do Loteamento

58

Exemplo Sistemas Não-TerminaisMétodo do Loteamento

Para à análise de um sistema não-terminal, vamos considerar o sistema hipotético representado na figura abaixo. O recurso do processo tem capacidade 2. Simule o modelo “Ex_Sist_Term.doe” inicialmente com uma rodada piloto com 20.000 min.

Processo

Reprocesso

Teste

Serviço Tempo (min.)Processo Normal (34, 9)Teste de Inspeção Uniforme (10, 18)Reprocessamento Triangular (25, 40, 45)Tempo entre Chegadas Exponencial (20)

59

Criando o arquivo de dados

O Módulo Statistics e a edição da estatística Tally

60

Gráfico do Tempo Médio de Passagem

61

Solicitação da média móvel

62

Média móvel de parâmetro K=10

63

Média móvel de parâmetro K=50

64

Método do LoteamentoComando Batch/Truncate Observations

Eliminação das estatísticas obtidas nos primeiros

5000 min. de simulação. Equivalente ao

“Warmup”

65

Método do LoteamentoComando Batch/Truncate Observations

66

Método do Loteamento Verificando a correlação entre as observações

para a determinação dos Lotes

Comando Correlogram

67

Método do LoteamentoCorrelograma

Correlação com Lags = 50 para o TMP.tru

68

Método do LoteamentoCorrelograma

Correlação com Lags = 200 para o TMP

69

Método do LoteamentoCalculo do Tempo de Simulação

Tamanho mínimo do Lote = 200 observaçõesTamanho do lote com segurança (10) 10 x 200 = 2000 obs.Uma obs. é obtida, em média, a cada 20 min. (TEC=Expo (20)min.)Tempo para simulação de um lote = 2000 obs x 20 min = 40.000 min

Tempo de Total de Simulação = Tempo de Descarte + Nº de Lotes x Tempo de Simulação para cada lote

Tempo da Simulação para a geração de 15 lotes (replicações):

Tempo de Simulação = 5.000 min. + 15 x 40.000 min. = 605.000 min.

70

Método do LoteamentoDeterminação do novo Tempo de Simulação

71

Método do LoteamentoMontagem do arquivo de lotes

72

Método do LoteamentoMontagem do arquivo de lotes

Informações sobre a formação do arquivo de lotes

73

Método do LoteamentoIntervalo de confiança da variável TMP

Intervalo de confiança da variável TMPMeta: h < 10% da média atingida

74

Exercício

Mesmo exemplo usando o método das Replicações Independentes.Considere inicialmente replicações com 40.000 min. cada uma e um período de “warmup” de 5000 min. em cada replicação.

75

Mesmo Exemplo Usando oMétodo das Replicações Independentes

Definindo os parâmetros de Replicação com o valor do Warm-up

76

Intervalo de Confiança Usando Múltiplas Replicações Independentes