Ex01 mayara arrais_marcoamaral
-
Upload
mayara-arrais -
Category
Data & Analytics
-
view
87 -
download
0
Transcript of Ex01 mayara arrais_marcoamaral
19 de Fevereiro de 2017
Atividade 01 Análise de Sistemas e Modelagem Ambiental
Santo André 2017
Prof.ª Andrea Oliveira Cardoso
Período Noturno
Marco Amaral
Mayara Arrais
Atividade 01
Considerando as previsão climáticas de precipitação para os prazos de 1 a 7 meses, do modelo
de circulação geral da atmosfera chamado COLA ( rodado pelo IRI - International Research
Institute for Climate and Society), avalie o desempenho deste modelo para: Previsões de
precipitação para um ponto próximo à cidade de São Paulo (Lat=23,31S; Lon=46,38W), no
período de 1/2006 a 12/2016, a partir de diferentes prazos mensais (antecedência da
previsão). Para tanto, calcule os seguintes parâmetros:
a. Raiz do Erro Quadrático Médio
Fazendo uso da Equação (1) abaixo, obteve-se os seguintes resultados, descritos na
Tabela 01:
𝑅𝐸𝑄𝑀 = √1
𝑛∑(𝐹 − 𝑂)² (1)
Tabela 01 – Valores da Raiz do Erro Quadrático Médio para cada um dos Prazos de
Previsão
Prev_Prazo REQM
1 4,71
2 4,71
3 4,99
4 5,03
5 5,01
6 4,90
7 5,09
A REQM é uma medida de precisão, pois como eleva ao quadrado a diferença entre
os valores previstos e observados, é mais sensível a erros. O valor zero indica uma
previsão perfeita e este valor aumenta conforme aumenta a diferença entre valores
de previsão e observação. Dessa forma, é possível perceber que para o prazo de 1 e
2 meses obteve-se as menores diferenças entre a previsão e a observação. Em
contraponto, a previsão para o prazo de 7 meses foi o que teve a maior diferença
entre o observado e o previsto, o que já era de se esperar, pois quanto mais longe é
a previsão, menor a chance de acerto.
b. Erro Absoluto
O Erro Absoluto, calculado através da equação (2) abaixo, propiciou os dados
resumidos na Tabela 02:
𝐸𝐴 =1
𝑛∑ |𝐹 − 𝑂| (2)
Tabela 02 – Valores do Erro Absoluto para cada um dos Prazos de Previsão
Prev_Prazo EA
1 3,72
2 3,66
3 3,91
4 3,99
5 4,00
6 3,86
7 4,01
O erro absoluto quantifica a amplitude do erro do modelo, através da média dos
módulos das diferenças dos erros. Assim como no caso do REQM, as previsões com
prazo de 1 e 2 meses obtiveram os menores erros, ao passo que a previsão com
prazo de 5 meses possui o maior erro.
c. Erro Bias ou VIES
O Erro Bias ou Vies foi calculado a partir da equaçao (3) abaixo, produzindo a Tabela
03:
𝑉𝐼𝐸𝑆 =1
𝑛∑(𝐹 − 𝑂) (3)
Tabela 03 – Valores do Erro Vies para cada um dos Prazos de Previsão
Prev_Prazo VIES
1 2,98 2 3,06 3 3,28 4 3,38 5 3,48 6 3,35 7 3,43
O cálculo do Vies ajuda a avaliar se o modelo superestima (Vies positivo) ou
subestima (Vies negativo) os valores observados. A remoção do vies é um método
de correção estatística que ao ser aplicado nas previsões pode aumentar sua
acurácia reduzindo erros.
Analisando os dados, verifica-se que os todos os resultados obtidos são positivos,
isto é, o modelo superestima os valores observados. Além disso, as previsões para o
prazo de 1 e 2 meses são os que mais se aproximam de zero, isto é, são os que
tiveram melhor desempenho do modelo.
d. Correlação simples entre os conjuntos simulados e observados
Fazendo uso da Função CORREL no Excel ®, foi possível obter a correlação entre
os dois conjuntos de dados: os simulados e os observados. Quanto mais próximo
de 1, maior o desempenho do modelo. Abaixo, a Tabela 04 demonstra os valores
de correlação obtidos para cada prazo de previsão:
Tabela 04 – Valores de Correlação para cada um dos Prazos de Previsão
Prev_Prazo CORREL
1 0,71
2 0,71
3 0,69
4 0,69
5 0,72
6 0,71 7 0,71
Dessa forma, é possível verificar que o modelo apresenta um bom desempenho para
todos os prazos apresentados, estando relativamente próximo de 1.
e. Hit Rate (H), False Alarm rate (F) e Acurácia (A), para a ocorrência de um evento de
precipitação menor do que 5 mm/dia
Tabela 05 – Tabela de Contigência
Observado
Sim Não Total
Simulado Sim Acertos Alarmes Falsos Previsto Sim
Não Falhas Negativo Correto Previsto Não
Total Obs. Sim Obs. Não
A partir da Tabela 05 e da condição dada do enunciado do exercício, foi possivel
levantar o número de acertos, falhas, alarmes falsos e negativos corretos para cada
prazo de previsão:
Tabela 06 – Número de Acertos, Falhas, Alarmes Falsos e Ngativos Corretos para cada um
dos Prazos de Previsão
Prev_Prazo Acertos Falhas Alarmes Falsos
Negativos Corretos
1 48 30 4 50 2 51 27 5 49 3 53 25 5 49 4 49 29 5 49 5 51 27 5 49 6 48 30 6 48 7 51 27 5 49
A Tabela 06 resultou no Gráfico 01 abaixo, que demonstra visualmente o número de
acertos, falhas, alarmes falsos e negativos corretos para cada prazo de previsão:
Gráfico 01 - Comparação entre Previsto e Observado para cada um dos Prazos de Previsão
É possível perceber, que o prazo de previsão de 3 meses é o que teve o maior número
de acertos e o menor número de falhas, ao contrário dos prazo de 1 e 6 meses, que
apresentam os maiores números de falhas e os menores números de acertos. Além
disso, para o prazo de 6 meses, há o maior número de alarmes falsos e o menor
número de negativos corretos.
0
10
20
30
40
50
60
1 2 3 4 5 6 7
Comparação entre Previsto e Observado para cada um dos Prazos de Previsão
Acertos Falhas Alarmes Falsos Negativos Corretos
Ainda com base nas informações da Tabela de Contigencia, calculou-se o número de
“Observados Sim” e “Observados Não”; e também os “Previstos Sim” e “Previstos
Não”, confrome Tabela 07 abaixo:
Tabela 07 – Observados e Previstos para cada um dos Prazos de Previsão
Prev_Prazo Obs. Sim Obs. Não Prev. Sim Prev. Não
1 78 54 52 80 2 78 54 56 76 3 78 54 58 74 4 78 54 54 78 5 78 54 56 76 6 78 54 54 78 7 78 54 56 76
Gráfico 02 – Previstos e Observados para cada um dos Prazos de Previsão
Observa-se que para todos os prazos de previsão, obtiveram-se os mesmo número
de observados sim e não. No caso da previsão, o prazo de previsão de 1 mês foi o
que teve o menor número de previsões sim e o maior número de previsões não.
Por fim, com base nessas inormações, calculou-se os parâmetros para avaliação pro
tipos de eventos, tais como o Hit Hate, Alarm False Hate e Acurácia, onde:
Taxa de acertos ou Hit Rate (H), quantifica os acertos. Se a categoria
observada é igual a modelada a simulação está correta (hit):
𝐻 =𝐴𝑐𝑒𝑟𝑡𝑜𝑠
𝑂𝑏𝑠. 𝑆𝑖𝑚
0
10
20
30
40
50
60
70
80
90
1 2 3 4 5 6 7
Previstos e Observados para cada um dos Prazos de Previsão
Obs. Sim Obs. Não Prev. Sim Prev. Não
Taxa de alarme falso ou False Alarm Rate (F), quantifica os alarmes falsos do
modelo.
𝐹 =𝐴𝑙𝑎𝑟𝑚𝑒𝑠 𝐹𝑎𝑙𝑠𝑜𝑠
𝑂𝑏𝑠. 𝑁ã𝑜
Acurácia (A), quantifica as estimativas corretas do modelo para o conjunto
de simulação:
𝐴 =𝐴𝑐𝑒𝑟𝑡𝑜𝑠 + 𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑠 𝐶𝑜𝑟𝑟𝑒𝑡𝑜𝑠
𝑇𝑜𝑡𝑎𝑙
Os dados encontram-se resumidos na Tabela 08 abaixo:
Tabela 08 – Observados e Previstos para cada um dos Prazos de Previsão
Prev_Prazo Hit Hate False Alarm Hate
Acurácia
1 0,62 0,07 0,74 2 0,65 0,09 0,76 3 0,68 0,09 0,77 4 0,63 0,09 0,74 5 0,65 0,09 0,76 6 0,62 0,11 0,73 7 0,65 0,09 0,76
Para o modelo ser um bom simulador, com alta probabilidade de detecção, o Hit
Hate deve estar próximo de 1. Sendo assim, a previsão com o prazo de 3 meses é a
que mais se aproxima desse valor.
Quanto ao False Alarm Hate, o modelo tem alta probabilidade de falsa detecção
quando aproxima-se a 1. Em geral, o modelo apresenta baixa probabilidade de falsa
detecção, sendo o prazo de previsão de 1 mês o que apresenta menor probabilidade.
Indo em direção ao resultado da análise do Hit Hate, o prazo de previsão de 3 meses
é o que apresenta maior acurácia. Sendo assim, esse prazo de previsão é o que
apresenta maior proximidade entre o valor observado e o valor obtido através do
modelo.
Produza tabelas, gráficos e uma interpretação dos resultados, comparando os parâmetros de
avaliação para cada prazo de previsão, discutindo como varia o desempenho do modelo e
indicando os prazos mais confiáveis.