Caio A. S. CoelhoCentro de Previsão de Tempo e Estudos Climáticos (CPTEC)
Instituto Nacional de Pesquisas Espaciais (INPE)[email protected]
Estrutura da apresentação1. Conceitos e métodos: Niño-3.42. Previsões de precipitação para a América do Sul
Calibração e combinação de previsões
INMET-IRI “Climate information course”, Brasília, 19 – 23 Novembro 2007
2
Questões motivadoras
• Porque é necessário?• Qual a melhor maneira de se calibrar?• Como obter estimativas de probabilidade?• Quem deve fazer?
Calibração
Combinação• Porque é necessário?• Atribuir pesos ou fazer seleção de previsões?• Qual a melhor maneira de se combinar?• Quem deve fazer?
3
Esquema conceitual para calibração e combinação de previsões
)y(p
)x(p)x|y(p)y|x(p
i
iiiii
Assimilação de dados“Assimilação de previsões”
)x(p
)y(p)y|x(p)x|y(p
f
fffff
Espaço observacional
Espaço do modelo
4
Verificação
Motivação para a combinação: Previsão por conjunto de modelos
Modelo 1
t=0
t=T
Espaço de fase do sistema climático
5
Verificação
Modelo 1
Modelo 2
t=0
t=T
Espaço de fase do sistema climático
Motivação para a combinação: Previsão por conjunto de modelos
6
Previsão por conjunto de modelos
Sistema de previsões por conjunto de modelos dinâmicos
Solução: Vários-modelos Conjunto
Incertezas: Formulação Condições iniciais
7
Pierre-Simon Laplace(1749-1827)
C)yy(yy MSLSLS
O Pioneiro da combinação
xpya a
p
•
••
•
•
•
•
•
•
•
•• •
•• •
• xy
•
•
)1757,cov(:
:
ichBosSituaçãodaMétodoy
quadradosMíninosy
MS
LS
))(,( xxCConde
Laplace (1818): Combinação de dois estimadores
)xmin( 2
|)xmin(|
inclin. resíduo
8
+ métodos = numéricos
Previsões combinadas apresentammelhor desempenho do que previsõesindividuais?
Em tempos modernos…
Previsões
•••
9
Literatura de combinação de previsões
• Trenkler and Gotu (2000): ~600 publicações
(1970-2000)• Extensivamente aplicada em Economia
e Meteorologia
• Métodos similares são aplicados nas duas áreas
• Previsões combinadas são melhores do que previsões individuais
10
Algumas questões
• Qual a melhor maneira de se combinar?
• Vale a pena incluir todas as previsões disponíveis?
11
DEMETER: previsão por conjunto de modelos acoplados
Índice Nino-3.4 (Y)
Período: 1987-99
Conjunto: 9 membros
Jul -> Dez
Defasagem: 5 meses
DEMETER web page: http://www.ecmwf.int/research/demeter
ECMWFMeteo-France (MF)Max Planck Institut (MPI)),(N~Y 2
tt
12
Previsões do índice Nino-3.4 para Dezembro: sem calibração
]ˆ96.1ˆ,ˆ96.1ˆ[:.I.P%95 tttt
Xt
tt
sˆ
Xˆ
),(N~Y 2tt
13
Calibração e combinação de previsões
:
:
:
:
)()(1
io
M
iiio
wew
F
M
X
tXwwtF
Combinação linear de M previsões X
constantes
modelos
média do conjunto
previsão combinada
14
• Remoção do viés da média do conjunto de modelos (Uem)
• Regressão da média do conjunto de modelos (Rem)
• Regressão do conjunto de modelos (Rall)
Métodos de calibração e combinação
Kharin and Zwiers (2002), J. Climate.
M
1iiio )t(Xww)t(F
Como estimar wo e wi ?
15
Remoção do víes da média do conjunto de modelos (Uem)
3M
1iiio )t(Xww)t(F
••• ••
• •••
••• •••
•••
• ••
PrevisõesModelo 1 (X )Modelo 2 (X )Modelo 3 (X )Média doconjunto demodelos (X’)… t=Tt=1 t=2 …
observações (Y)
(anos)
(C)
'
1
'1XYXY
Tw
T
ttto
M
1w i
owY'X
'o XwUem
1
2
3
3/)XXX(X 321' viés médio
16
Regressão da média do conjunto de modelos (Rem)
3M
1iiio )t(Xww)t(F
• ••
• ••• ••
•• •• •••••
• ••
PrevisõesModelo 1 (X )Modelo 2 (X )Modelo 3 (X )Média doconjunto demodelos (X’)
Y (C)
'1o XwYw
1i wM
1w
)C(X o'
'1o XwwY
'1o XwwmRe
rs
sw
'X
Y1
observações
3/)XXX(X 321'
1
2
3
viés médio
17
Regressão do conjunto de modelos (Rall)
• ••
PrevisõesModelo 1 (X )
Modelo 2 (X )
Modelo 3 (X )
ˆw o
HXY
Regressão linear múltiplaem notação matricial :Y: 1 x n (observações)X: M x n (previsões)
T321 ]XXX[X
3M
1iiio )t(XwwRall
XH)t(Xw3M
1iii
XHYˆ
SSH 1XXYX
1
2
3
18
Previsões combinadas
2iii
n
1i
2i
2mRe
2mRe
)mReY(
n
1s
)s,m(ReN~Y
2iii
n
1i
2i
2Rall
2Rall
)RallY(
n
1s
)s,Rall(N~Y
]XXX[X
)s,Uem(N~Y
321
2X
19
Y: Índice Nino-3.4 observado em Dezembro
X: Previsão de Y (média do conjunto) para Dez.
Thomas Bayes (1701-1761)
Revisão da crença prévia em um evento Y consiste na atualização da prob. de Y
quando nova info. X torna-se disponível.
)xX(p
)Y(p)Y|xX(p)xX|Y(p
Exemplo: média do conjunto (X=x=27C)
Prob. condicional:p(X=x|Y)
Prévia:p(Y)
Posterior:p(Y|X=x)
Método Bayesiano: atualização de informação
20
)C,Y(N~Y b
1TT
111T
obba
)SGCG(CGL
C)LGI()CGSG(D
)]YY(GX[LYY
)S],YY[G(N~Y|X o
Prévia:
Prob. cond.:
Posterior:
1YYXYSSG
YGXGYo T
YYXX GGSSS
)D,Y(N~X|Y a
calibração
Assimilação Bayesiana de Previsões (B)
viés
Coelho (2005)Stephenson et al. (2005)
21
TSM de Julho e Dezembro: Reynolds OI V2 (1950-2001)
Observações do índice Nino-3.4
Índice Nino-3.4 valores médios:Jul: 27.1CDez: 26.5Cr: 0.87
R2 =0.76
tanodoJulhoparaNinoÍndice
tanodoDezembroparaNinoÍndiceY
CNY
t
t
oottott
4.3
4.3
50.114.14),(~| 1201
),(~: 2ototNYprévia t1oot
Coelho et al. (2004)
22
Previsões calibradas e combinadas
Uem
Rall
Rem
B
Porque Rall e B são semelhantes?
23
Previsões em notação Bayesiana
Rem
Uem
B
Rall
PosteriorPréviaProb. condicionalPrevisão
)S,YY(N~Y|X o )S,YX(N~X|Y o
)S],YY[G(N~Y|X o
)S],YY[G(N~Y|X o
)S],YY[G(N~Y|X o
)S,HX(N~X|Y '
)S,HX(N~X|Y '
)D,Y(N~X|Y a
)S,Y(N~Y YY
)S,Y(N~Y YY
),(N~Y 2otot
)( CUniforme
)C,Y(N~Y b
)S],YY[G(N~Y|X o
XY1
XXYXYY SSSS'S
Prévia de BPrévia de
Rem e Rall
Combinação Bayesiana
Prévia:Pr. cond.:
HXY1
XXYXSSH
Regressão de Y em X
24
Medidas de destreza e incerteza
0.39860.27MF (sem correção)
0.49-66915.24MPI (sem correção)
0.39890.22MF (com viés removido)
0.46900.20MF (corrigido por regressão)
0.86461.06MPI (corrigido por regressão)
0.47890.22ECMWF (corrigido por regressão)
0.49910.18ECMWF (com viés removido)
0.49231.52MPI (com viés removido)
0.56770.46Rem
1.79880.25Uem
0.23940.11B
0.38940.12Rall
0.49181.64ECMWF (sem correção)
1.20 01.98Climatologia
Incert.
(C)2“Skill Score”
(%)
“MSE”
(C)2Previsão
Skill Score = [1- MSE/MSE(climatologia)]*100%
25
Conclusões da primeira parte
• Previsões podem ser calibradas e combinadas de várias maneiras
• Previsões combinadas apresentam melhor desempenho do que previsões individuais
• Rall e B apresentaram melhor desempenho para o exemplo do índice Nino-3.4
• Inclusão de previsões de um modelo com viés alto não prejudicou a previsão combinada final
26
Previsões climáticas sazonais:
•
Como são produzidas:• Modelos empíricos/estatísticos• Modelos dinâmicos atmosféricos• Modelos dinâmicos acoplados (oceano+atmosfera)
Previsões das condições climáticas para os próximos (3-6) meses
• • •• • •Nov Dez Jan Fev MarAbr Mai
DJF (Defasagem: 1 mês)
Principais setores usuários:• Agrícola• Hidro-elétrico
0 1 2 3 4 5 6
27
Modelo empíricoPredictores: TSM Atlântico e Pacífico Preditando: Precipitação
Previsões retrospectivas: 1987-2001
Previsões integradas para a América do Sul
Integrada
Reino UnidoUKMO
InternationalECMWF
PaísModelos acoplados
Previsões calibradas e combinadas (modelos acoplados + empírico)
28
O modelo empírico
Y|Z ~ N (M (Z - Zo),T)
TYZ
1ZZYZYY
o
1ZZYZ
SSSST
MZYZM
SSM
Y: Precipitação em DJF
Z: Temp. Superf. Mar (TSM) em Outubro
Model utiliza os três primeiros modos da Análise de Máxima Covariância (AMC) da matriz YT Z.
vnZ
qnY
:
:
qqT :
Y Z
Coelho et al. (2006)
Fontes de dados:
TSM (Reynolds OI v2)
Precipitação (GPCP v2)
29
Modelo empírico (primeiro modo): SCF 71%
TSM em Outubro
Precipitação em DJF
Pacífico tropical (ENOS) e Atlântico: principais fontes de previsibilidade sazonal para a América do Sul
30
Anomaly Correlation Coefficient (ACC) médio
Melhor (maior) destreza em anos de ENOS do que em anos neutros
COM (DEMETER)
31
Modelo empírico (segundo modo): SCF 7.7%Precipitação em DJF
Pacífico tropical, Norte da América do Sul
TSM em Outubro
32
Primeiro modo (71%)
Segundo modo (7.7%)
TSM anom. obs. em Out 2007
Previsão DJF 2007 Corr. DJF
33
),(~ CYNY b
1
111
)(
)()(
))((
SGCGCGL
CLGICGSGD
YYGXLYY
TT
T
obba
)),((~| SYYGNYX o
Prévia:
Pr. Cond.:
Posterior:
1 YYXY SSGGYXGYo
TYYXX GGSSS
),(~| DYNXY a
Calibração e combinação Bayesiana: Assimilação de prev.
qq:D
qn:Y
pn:X
qq:C q1:Yb
pp:S qn:Ya
Matrizes
Assimilação de previsões usa os três primeiros modos da AMC da matriz YT X.
X: previsões (acopl. + empir.)Y: precipitação em DJF
)(
)()|()|(
Xp
YpYXpXYp
34
Assimilação de previsões: primeiro modo (DJF)
Produzida: Nov, Válida: DJF
35
Assimilação de previsões: segundo modo (DJF)
Produzida: Nov, Válida: DJF
36
Segundo modo: 7.5%
INT
Primeiro modo: 78.8%
ECMWF UKMO EMP OBS
Previsão DJF 2007
ECMWF UKMO EMP
Corr. DJF
37
EUROBRISA: A EURO-Brazilian Initiative for improving South American seasonal forecastskey Idea: To improve seasonal forecasts in S. America: a region where there is seasonal forecast skill and useful value.
Aims• Strengthen collaboration and promote exchange of expertise and information between European and S. American seasonal forecasters
• Produce improved well-calibrated real-time probabilistic seasonal forecasts for South America (i.e. combine and calibrate coupled [ECMWF,UKMO,Meteo-France] and empirical forecasts)
• Develop real-time forecast products for non-profitable governmental use (e.g. reservoir management, hydropower production, agriculture and health)
Ambrizzi, Silva DiasBrazilUni. of São Paulo
Uni. of Exeter
UFPR
Météo France
Met Office
INMET
ECMWF
CPTEC
Involved institutions
UK
Brazil
France
UK
Brazil
EU
Brazil
Country
Stephenson
Guetter
Déqué
Moura, Fortes
Graham, Colman
Balmaseda, Doblas-Reyes, Stockdale
Coelho, Cavalcanti, CostaSilva Dias, Pezzi
Partners
New web address: http://www6.cptec.inpe.br/eurobrisa/
Affiliated institutions
CamachoEcuadorCIIFEN
GoddardUSAIRI
BergamaschiBrazilUFRGS
SilveiraBrazilSIMEPAR
38
Atividades do projeto EUROBRISA
• Previsões sazonais probabilísticas com uso de modelos dinâmicos acoplados e empírico
• Produção de previsões objetivamente integradas (calibração e combinação de prev. dinâmicas e empíricas)
• Avaliação do desempenho das previsões empíricas, dinâmicas e integradas (combinadas) usando medidas determinísticas e probabilísticas
• Downscaling dinâmico e estatístico• Estudos de previsibilidade sazonal
Pesquisa e desenvolvimento: previsões climáticas
Impactos (colaboração com usuários)• Hydrologia: Downscaling de previsões climáticas sazonais
para previsão de vazões de rios e uso em modelos hidrológicos
• Agricultura: Investigar viabilidade do uso de previsões climáticas sazonais em atividades de agricultura (por exemplo, previsão de safra)
39http://www6.cptec.inpe.br/eurobrisa/
Real time and verification products
1-month lead precip. forecastsEUROSIP: ECMWF UKMO Meteo-FranceEmpirical (SST based)Integrated (Combined)
40http://www6.cptec.inpe.br/eurobrisa/
41
Empírico IntegradaCorrelação: anomalias de precipitação DJF
Melhor desempenho na região tropical e sudeste da América do Sul
• Previsões retrospectivas: 1987-2001• Modelos acoplados com C.I. 1 Nov (defasagem de 1-mês)• Modelo empírico usa TSM de Out como preditor para precip em DJF• Previsão integrada (acoplados + empírico) com assim. de previsões
UKMOECMWF
Exemplo de produto de verificação
42
Empírico Integrada
Brier Skill Score (anomalia pos. ou neg.): precipitação em DJF
UKMOECMWF
• Previsões retrospectivas: 1987-2001• Modelos acoplados com C.I. 1 Nov (defasagem de 1-mês)• Modelo empírico usa TSM de Out como preditor para precip em DJF• Previsão integrada (acoplados + empírico) com assim. de previsões
43
Empírico Integrada
Ranked probability skill score (três categorias): precipitação em DJF
UKMOECMWF
• Previsões retrospectivas: 1987-2001• Modelos acoplados com C.I. 1 Nov (defasagem de 1-mês)• Modelo empírico usa TSM de Out como preditor para precip em DJF• Previsão integrada (acoplados + empírico) com assim. de previsões
44
Empírico Integrada
Gerrity score (três categorias): precipitação em DJF
UKMOECMWF
• Previsões retrospectivas: 1987-2001• Modelos acoplados com C.I. 1 Nov (defasagem de 1-mês)• Modelo empírico usa TSM de Out como preditor para precip em DJF• Previsão integrada (acoplados + empírico) com assim. de previsões
45
Empírico Integrada
ROC skill score (anomalias pos. ou neg.): precipitação em DJF
UKMOECMWF
• Previsões retrospectivas: 1987-2001• Modelos acoplados com C.I. 1 Nov (defasagem de 1-mês)• Modelo empírico usa TSM de Out como preditor para precip em DJF• Previsão integrada (acoplados + empírico) com assim. de previsões
46
Empírico Integrada
Diagrama de conf. (anom. pos. ou neg.): precipitação DJF
UKMOECMWF
• Previsões retrospectivas: 1987-2001• Modelos acoplados com C.I. 1 Nov (defasagem de 1-mês)• Modelo empírico usa TSM de Out como preditor para precip em DJF• Previsão integrada (acoplados + empírico) com assim. de previsões
47
Empírico Integrada
Curva ROC (anom. pos. ou neg.): precipitation em DJF
UKMOECMWF
• Previsões retrospectivas: 1987-2001• Modelos acoplados com C.I. 1 Nov (defasagem de 1-mês)• Modelo empírico usa TSM de Out como preditor para precip em DJF• Previsão integrada (acoplados + empírico) com assim. de previsões
48
Empírico Integrada
Exemplo de produto de previsão:Probabilidade do tercil mais provável:precipitação DJF 2007
Produzida: Nov 2007
ECMWF UKMO
49
Empírico Integrada
Previsão categórica: precipitação DJF 2007
ECMWF UKMO
Produzida: Nov 2007
50
Empírico Integrada
Prob de anom. pos.: precipitação DJF 2007
ECMWF UKMO
Produzida: Nov 2007
51
Empírico Integrada
Prob de precip. no tercil superior: DJF 2007
ECMWF UKMO
Produzida: Nov 2007
52
Empírico Integrada
Prob de precip. no tercil inferior: DJF 2007
ECMWF UKMO
Produzida: Nov 2007
53
•Coelho C.A.S., D. B. Stephenson, F. J. Doblas-Reyes, M. Balmaseda, R. Graham 2007: “Integrated Seasonal Climate Forecasts for South America”. CLIVAR Exchanges No 43, Vol. 12, No 4, 13-19.• Coelho C.A.S., D. B. Stephenson, M. Balmaseda, F. J. Doblas-Reyes and G. J. van Oldenborgh, 2006: “Towards an integrated seasonal forecasting system for South America”. J. Climate., Vol. 19, 3704-3721.•Coelho C.A.S., 2005: “Forecast Calibration and Combination: Bayesian Assimilation of Seasonal Climate Predictions”. PhD Thesis. University of Reading, 178 pp. • Coelho C.A.S., D. B. Stephenson, F. J. Doblas-Reyes and M. Balmaseda, 2005: “From Multi-model Ensemble Predictions to Well-calibrated Probability Forecasts: Seasonal Rainfall Forecasts over South America 1959-2001”. CLIVAR Exchanges No 32, Vol. 10, No 1, 14-20.•Stephenson, D. B., C.A.S. Coelho, F. J. Doblas-Reyes, and M. Balmaseda, 2005:“Forecast Assimilation: A Unified Framework for the Combination of Multi-Model Weather and Climate Predictions.” Tellus A, Vol. 57, 253-264.• Coelho C.A.S., S. Pezzulli, M. Balmaseda, F. J. Doblas-Reyes and D. B. Stephenson, 2004: “Forecast Calibration and Combination: A Simple Bayesian Approach for ENSO”. Journal of Climate. Vol. 17, No. 7, 1504-1516.
• Coelho C.A.S., S. Pezzulli, M. Balmaseda, F. J. Doblas-Reyes and D. B. Stephenson, 2003: “Skill of Coupled Model Seasonal Forecasts: A Bayesian Assessment of ECMWF ENSO Forecasts”. ECMWF Technical Memorandum No. 426, 16pp. Disponível em http://www.cptec.inpe.br/~caio
Mais informações …
Top Related