Dynamic Multiscale Spatiotemporal Models for Poisson...

46
Dynamic Multiscale Spatiotemporal Models for Poisson Data Thaís C O Fonseca DME - UFRJ - Brazil Joint work with Marco A R Ferreira (Virginia Tech) Abril de 2019

Transcript of Dynamic Multiscale Spatiotemporal Models for Poisson...

Page 1: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Dynamic Multiscale Spatiotemporal Models for Poisson Data

Thaís C O Fonseca DME - UFRJ - Brazil

Joint work with Marco A R Ferreira (Virginia Tech)

Abril de 2019

Page 2: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Plano da palestra

1. Aplicações da estatística

em diversas áreas

2. Modelagem multiescala

(dividir para conquistar)

3. Modelagem de dados de

tornado

Page 3: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até
Page 4: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Modelagem da economia brasileira em moldes DSGE

• Colaboradores: Marco Antonio Cavalcanti (IPEA, RJ) e Vinícius Cerqueira (IPEA, RJ)

• Objetivo: Estimação sob enfoque Bayesiano em modelos de equilibrio dinâmico para a economia brasileira.

• Pergunta: Como uma mudança na taxa de juros hoje afeta a produtividade (PIB) em 10 anos a frente?

Page 5: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

DSGE - Modelo para a economia brasileira

• Modelos dinâmicos estocásticos de equilíbrio geral;

• Modelos macroeconômicos que visam explicar ciclos, efeitos de políticas monetárias e fiscais;

• Agentes otimizam suas escolhas gerando expectativas racionais em suas decisões;

• Cada agente maximiza uma utilidade sujeito à restrições.

• Nestes modelos é preciso especificar explicitamente o ambiente: preferências, tecnologia, dotes, informação.

Agentes:

• Famílias: consomem bens, ofertam trabalho, acumulam capital;

• Firmas: produzem bens, contratam trabalho, maximizam lucros;

• Autoridade monetária.

Desafios:

• Modelo com mais de 100 equações não lineares;

• Não há solução analítica;

• Muitos parâmetros desconhecidos e esperanças futuras;

• Informação a priori do economista deve ser incorporada.

Page 6: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Modelos para previsão e calibração da velocidade do vento

• Colaboradores: Luiz Eduardo S. Gomes (IPEA, RJ), Alexandra Schmidt (McGill Univeristy), Kelly Gonçalves (DME, UFRJ).

• Objetivo: Modelos dinâmicos para previsão a curto prazo; Seleção de modelos baseada em utilidades (da potência); Modelos para calibração Bayesiana de modelos numéricos.

• PROJETO P&D CEMIG-FAPEMIG Pesquisas no Setor Elétrico.

Page 7: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Energia eólica

• A energia eólica no Brasil é a segunda fonte de geração de energia elétrica mais competitiva e a que mais cresce.

• Estima-se que o potencial eólico no país supere os 200 GW (grande parte concentrado nas regiões Nordeste e Sul).

• Avanços tecnológicos recentes têm aumentado significativamente a competitividade das fontes eólicas (ex., maior elevação das torres, aumento na capacidade unitária e na eficiência dos aerogeradores, etc.).

Page 8: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Modelo mesoescala ETA

• Modelo ETA(Mesinger et al., 1988; Black, 1994) obtém previsão de fenômenos climáticos no Brasil solucionando sistema numa grade discreta.

• Cada previsão é uniforme numa célula da grade sendo obtida usando como inputs dados médios da célula (e.g. altitude média e vegetação predominante).

Erros devido à:

• Imperfeições na formulação do sistema de equações do modelo;

• Uso de condições atmosféricas iniciais imperfeitas ou anômalas;

• Homogeneização da superfície.

Page 9: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Modelo mesoescala ETA

• Como consequência, a representatividade das previsões em locais com orografia complexa e vegetação densa se torna deficiente;

• E previsões geradas pelo modelo podem não ser representativas em um local específico (Chou et al., 2007).

Solução:

Modelo de calibração estatística, que usa observações do vento para calibrar o erro do modelo

físico.

Page 10: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Dynamical modeling of mortality improvement: the Brazillian case

• Colaboradores: Fenaprevi e LabMA\UFRJ.

• Objetivo: Considerar modelos dinâmicos fatoriais na previsão da melhoria na longevidade da população brasileira visando provisão do mercado segurador brasileiro.

1950 1960 1970 1980 1990 2000 2010

5060

7080

90

Expectativa de vida ao nascer − homens

Anos

Expectativa

PortugalEUAJapãoFrançaBrasil

● ●

1950 1960 1970 1980 1990 2000 2010

1416

1820

2224

Expectativa de sobrevida aos 60 anos − homens

AnosExpectativa

PortugalEUAJapãoFrançaBrasil

Figure: life expectancy at 0 and at 60 years old.

Page 11: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Expectativa de vida

• Nas últimas décadas, a expectativa de vida mundial aumentou muito devido a melhoria das condições sanitárias, vacinas, medicina etc.

O envelhecimento da população leva ao risco de longevidade, cuja correta previsão é crucial para produtos de longo prazo.

"A coisa mais moderna que existe nessa vida é envelhecer." Arnaldo Antunes.

Page 12: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

A revolução da longevidade"Estamos vivendo 30 anos mais do que os nossos avós”

“Levamos 1.5 milhões de anos para chegarmos a viver até os 50 anos de idade. Nos tempos modernos levamos apenas 100 anos para passar de uma expectativa de vida de 50 para 80 anos. ”

“Os 80 anos são os novos 60… e o sistema precisa se adaptar a essa nova ordem mundial.”

“Agora que a tecnologia nos permite reprogramar o software da vida teremos sérias extensões na expectativa de vida e todos esses seguros de vida, programas de previdência e fundos de pensão governamentais tem ignorado isso. “

“Transhumanismo - possibilidade de superar o humano através de aparatos tecnológicos tais como terapias gênicas e reprogramação celular. A ciência vai permitir ao homem chegar a viver infinitamente. E em 10 ou 15 anos vai afetar drasticamente nossa expectativa de vida.”

Fonte: documentário - Quanto tempo o tempo tem.

Page 13: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

“Bismarck quando criou a previdência social observou que os empregados das fábricas, que dependiam de força física, raramente chegavam aos 65. Esses trabalhadores não estavam mais sendo produtivos.”

“Melhor mandar esses trabalhadores para casa, pois estes vão viver mais 2 ou 3 anos e morrer… 130 anos depois, a expectativa de vida na Alemanha é de 82 anos, e continuamos pensando previdência da mesma forma.”

“Quando foi criada a previdência na Itália em 1919 a idade de aposentadoria era 55 para mulheres e 60 para homens. Mas em 1919 a expectativa de vida era 48 anos! Os institutos de previdência recebiam muito dinheiro e pagavam muito pouco.”

Fonte: documentário - Quanto tempo o tempo tem.

A revolução da longevidade

Page 14: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Risco de longevidade e mercado segurador• O aumento da expectativa de vida nas ultimas decadas e um grande

avanco;

• Porem esses avancos trazem desafios significativos para o mercado segu-

rador;

• E possivel ter equilıbrio tecnico (solvencia etc) sem considerar o aumento

da longevidade ao longo do tempo?

• Acredita-se que a manutencao de benefıcios de longo prazo dependem de

correta estimativa da expectativa de vida em anos futuros (20, 30, 40 anos

a frente).

• Qual o impacto de nao acomodar mudancas na expectativa de vida no

calculo de reservas necessarias para cumprir compromissos futuros?

Por exemplo, produtos de renda podem requerer maiores provisões para cobrir gastos com indivíduos que vivem além do esperado.

Page 15: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Comparando várias populações (Expectativa de vida - projeções modelo Lee-Carter)

Projeções para 2060 - Lee-Carter

País Projeção Intervalo

EUA 84,48 (83,63; 85,27)

França 86,66 (85,33; 87,73)

Portugal 84,67 (82,48; 86,63)

Japão 88,95 (87,57; 90,29)

Page 16: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Modelo Lee-Carter extendido para 2 populações (pooling)

Para cada populacao

y(i)t = ↵(i) + �(i)(i)

t + v(i)t , i = 1, 2.

Seja v(i)t ⇠ N(0,�2(i)v Ia). Agora nos permitimos interdependencia entre as po-

pulacoes:

(1)t = ✓(1) + (1)

t�1 + !(1)t

(2)t = ✓(2) + �(1)

t�1 + (1� �)(2)t�1 + !(2)

t .

O modelo dinamico geral e

yt = Atxt + F t✓t + vt

✓t = G✓t�1 + wt,

com ✓t os parametros de estado, e vt e wt ruıdos brancos.

O modelo bivariado e obtido se

• At= (↵(1),↵(2)

)t, xt = 1, F t

=

✓0 �(1)

0 0

0 0 0 �(2))

◆;

• ✓t = (✓(1) (1)t ✓(2) (2)

t )0;

• G =

0

BB@

1 0 0 0

1 1 0 0

0 0 1 0

0 � 1 (1� �)

1

CCA

• wt = (0 w(1)t 0 w(2)

t )0.

Page 17: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

• Mortalidade para os grupos A (maior escolaridade) e D muito diferente para homens e mulheres.

(a) Masculino (b) Feminino

Escolaridade como um fator de proteção

Expectativa de sobrevida aos 60 Grupo A Grupo B Grupo C Grupo DMasculino 25,1 23,4 21,2 20,4Feminino 29,1 25,0 25,3 22,2

Page 18: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Dynamic Multiscale Spatiotemporal Models for Poisson Data

Thaís C O Fonseca DME - UFRJ - Brazil

Joint work with Marco A R Ferreira (Virginia Tech)

Page 19: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Dados espaciais

• Precipitação na Suíça. Medições da precipitação feitas em estações localizadas na região de interesse.

Page 20: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Dados temporais

• Precipitação na Venezuela (Sansó, 2000). Chuva acumulada num período de 10 dias, de janeiro de 1968 a dezembro de 1983. Estudo busca melhorar planejamento do setor de agricultura.

Page 21: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Dados espaço-temporais

• Dados (e. g. precipitação na Venezuela) são observados ao longo do tempo e em várias estações monitoradoras.

Page 22: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Lei da geografia

O que acontece ao norte, sul, leste e oeste de onde você está, provavelmente, depende do que acontece

onde você está.

Isto é, coisas próximas tendem a ser mais parecidas do que coisas distantes.

Exemplo: temperatura.

Page 23: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Modelagem espacial

• Ideia principal: dados que estão próximos no espaço (e tempo) são, frequentemente, mais parecidos do que dados mais afastados.

• Um modelo espacial incorpora essa variação espacial no mecanismo de geração dos dados.

• Áreas de aplicação: agricultura, astronomia, economia, meio ambiente, epidemiologia, geologia, hidrologia, processamento de imagens, meteorologia.

Objetivos principais da modelagem:

• Obter previsões de uma certa quantidade baseando-se em observações em algumas localizações.

• Acessar a incerteza envolvida nessas previsões.

Page 24: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Modelagem espacial

• Pode ser dividida em 3 categorias:

• Padrão de pontos;

• Dados de área;

• Geoestatística.

Padrão de pontos

Dados de área

Dados de geoestatística

Page 25: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Modelagem espacial

• Ex: CO2 na Austria.

Note que previsões em regiões mais isoladas devem ter uma incerteza maior!

Page 26: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Dados multiescala

• Considere dados de área numa região de interesse D.

• Isto é, dados estão disponíveis em partições do espaço.

Page 27: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Partição espacial

• Devido a questões de confidencialidade dos dados (e.g. dados sobre doenças) as informações podem estar disponíveis apenas no nível de cidade;

• Outro exemplo, ao considerar dados pontuais, devido à limitação computacional, pode ser vantajoso agregar os dados em células (bins).

xx

x

xxxx

xxx

x

x xx

xxx

x

x

x

xx

x

xx

x x

x

xx

x

xxx

xx

x

x

xx x

x

xx x

x

xxxx

x

x

x xx

xx

x

xxxxxxx

x xxxxxxxxxxxxxxxxxxxxxx x

x

x

x

xx

x

x

xx

x

xx

x xx

xxx

x

xx

xxx

xxxxxxx x

x

x

x

x

x

xxx

xxxx

x

xxx

xxx

x

x x xx

x x x

x

x

xxx

xxxxxx

xxxxx

xxxxx

x x

xx

xx xx

xx xxx

x

xxxx

xxxx

xx

x

x

x

x

x xx

x

x

xxxxx

x

x

xx

x

xxx

x

xx

x

x

xxxx

xx

x

xxxx

x x

xx xx

x

xxx

x xxx

x

x

x

x

xx

xxxxxxx

xx

x xxx xx

x x

x

x

xxx

xx

x

x

x

xx

x

x

x

x

xx

xx

x

x

x

x

x x

xx

xx x

x

xxxxx

xx

xx x

xxxxxx

x

xxxxx

xxxx

xx

xxx

x

xx

x

xxxxxxx

xx xx

xx

x

x

xxx

xxxxxx

x

x

xx

xx

x

x

x

x

x

xx

xx xx xxx

x

xxx

xx

xxx

x

x

xxxxxxxxxxx

x xxxx

xxx

xx

x

xxx

x x

xx

x

xxxx

x

xx xx

xxx

x x

xx

x

xx

x

xxx

x

x

x xx x

xxx

xxx

x

xx

xxx

x

xxx

xx x

x

x x

xx

x

x

xx

xxxx

xx x

x

x

x xx

x

x

xxx

xxxxxxxxxxxxxxxxxxx x

xxxx

x x

xx

xxx

x

x

x

x

x

x

x

xx

xxx

xxx xx

x

x xx xxx x xx

xxx

x x x

xx

x

xx

xx

xx

x

xx

xx

xx

xxx

x

xx

x

x

xxx

x

x

xxxx

xxx

x

x

xxx

xx

x

x

x xxx

xxx

xxxx xxxxxx

xx

x

xxx

x

xx

x

x

x

xx

x

x

xxxx

x

xxxxx

x

x

x x

xxxx xx xx

x

xx xx

xxxx

x

x

x

x

xxxx

x

x

xxx

xxxx

x

xx

xxxxxx x

x

x xxx

x

xx

x

xx

x

xx x

xx

x

xxxxx

xxx

x

x

x

x

x

xx

xxx xxx

x

x

xxxx

x

xxx

x

x xxxxxx xxxxxxxxxx xxxxx

x xxx

xx

xx xx

xxxxx

xxxxxxx

x

xx

xx

x

x x

xx

x

xxxxx

xx

x

xx

x

xx

xxx

xx

xxx

xxxx

x

xx

xx

x

xx

x

x xx

x

xx

x x

x

xxx

x

x

x

x

xxx

x x

x

x

xxxxx

xx

x

x x

xx

xx

x

xxxxxx

xx

xxxxxxx

xx

x x

x

x

xxx

x

x

xx x

xx

xxxxxxx

xx

x

xx

xx

xxxx xx

x

xxxx

x xx

xx

xx

x

x x

x x

x

x x

xx

x

x xx

xx

xxxx

x

xxxx

x

x

xxx

x

x

xx

x

x

xxx

xx

xx

x xxx

x

xx

x

xxx x

xx

x

x xxx

xx

xx

x

x

x

x

x xxxxx

x x

x

xx

x

x

xx xxxxxx

x x

x

x

x

xxxx

xx

xxxxxxx

xxx

xx

xxxx xx

xx x

xxxxx

x

x

xx

x

x

x

x x

x x

x

x

x

x

x

x xxxxxx

x

x

xxx x

xxxx xx

x xx

x xx xxx

x xxx

x xx

xx

xx

x

x x

xxxx x xx x

x

x

xxx

x

x

xxxx xxxx

xx

x x

x xx

xx

x

x

xx

x

x xxxxx

xxx

xx

xx

x xx

xx

x

xxxxxxx

x

xx

xx

xx

x

xxxx

x

x

xxx x

x xx x

x

x

x

xxx

xx

xxxxxx

xx

x

x

xx

x

x

x

xx

xxx xxx x

xxx

x

xx

xxx

x

xx

x xx

x

x

xxxx

x

xx

xxx

xxxx

x

xxx

xxx

xx

x xxxx

xxxxxx

xxxxxx

x

x x

xxxxxx xxx

xxxxxxxx

xxx

xxxxxxxxxxxxxxxxxxxxxx

x

x

xxxx

xxxxxxxxxxxx

xxx

xx

xxxx

xx

xxxxx

xx x

x

x

x

xxx

xxxxxxxxx x

x xx xx

x

x

x

x

xxxxx

x

x

x

xx xxx xx

xx

xxxxx x

xx

xxxx

x

x

x

xxxxx

x

xx

xx

x

xxxxxx

xxxx

xxx

xx

x x

x

x

x

x

xx

xxxx

xx

xx x

x

xx

x

x

x

xxx xx

xxx

xx

xx

xx

xxx xxx

x

x

x

xxx xxxxx

xxxxx x xx

xxx

xxxx x

xx

xx

xxxxxx x

x

xxxxxxx

x

xxxxxx

xxxx

x

x

xx

xx

x

x

xx

xx

x

x

x xxx xx

xxx

x

x

x

x xx

x

xxx

xxxxx

x

xxx

x

x xxxxxx

x

xxx

x

x

xx

x

xxx xx

xx

x

xx x

x

x

x

xx

x

x

x

x

x

xx

xxxx

xxx

xxxxx xx

x x

xx

x

xxx

xx

x

x

x

x

x

x

xxxxxx

xxx

xxxxxx

x

x

x

xx

xx

x

x

x xx

xxxxx

xx

x

x

xxxx

xxxx xxxxx

xxxxx x

xx

x

x

xxxxxx

x

x

x

x

xxxxx

xx

x

x

x xxxxxxxxxxx

xxx xx

x

x x

x

xxxxx

x

x

xxx x

x x xxxxx

x xx

xxx

xxxx

xxxxxxx

xx

xx xxx

x

x

xx x

xxx

xx

x x

xx

x

xxxxxx

xxxxxxxxx

xx

x

xx

xx

xxx

x

xx

x xx

x xx

x

x

xxx

xxx

xx

xxx

x

xxxx

x

xxx

x

x x

xxxxx

x

x x xxxxxx xxxx xxxxx

x

x

x

xxx

xx

x

x

x x

xxxxxx

xx xx

x

x

x

xx

xx

xx

xx

x

x

xx

xx

xxx

xxxx

x xxxx

xx

xx

x

x

xxx

xx

xxx

x

xx

xx xx

xxx

x x

xxxxx

xx

xxx

x

xx

xxx

x x

x

x xx

xxxxxxxx

xxx

x

x

xx

x

x

xxx

xx

x

x

xxx xxxxxxxxxxx xx x x

x

x

xxxx

xxxx

x

x

x

xxxxxx

x xxxxx

x

x

xx

x

xxxxxx

x

xxxx

x

x

x

x

xx

x xx

x

x

x

x

xx

x

x xxxx

xxxxxxxxxxxxxxxxxx

x

xx x

xxxx

x

x

x

xxxx xx

xx

xxxx

xxxxxx

x

x

xxxxxx xxxxxx

x

xxxx

x

xxx

x xxxxx

x

xxx

xxx xxx

x

xxx xxxxxx

x

xx

x

xxx

x x

xx

xxx

xx

x

xxx

x x

x

xxx xxx

xxxxx

x

xxx x

xx x

xxxxx

x xxx

x

x

x xxx

x

xx

x

xxxxxx

xx

x

xx

xx

xx

xxx

x

xxxxxxx

xxxxxxxxx

xxx

xxxxx

xx

xxxxx

x

xxx

x

x

xx

xxx

xx

xx x

x

xx x

x xx xxxxxx xx

xx

x

x

x

x xxxxx xx

xxx

x

x

x x

x

xxx

x

xxxxxxx

x xxx

xx

xx

xxxx

xxxxxxxx

x x

xxxxxxxxxx

xxx x

x

xx

xxx x

xxx

xx

x

xx

x

xx

x

xxxxx

x

xxxx

x

x

x

xx

x

x

x

x xxxx

x

xx

x

x

xx

xxx

x

xxx

x x

x x

xxxxxx

x

xx

x

xx

xxxxxxx

xxxx

xxx

x

x

xx

x

x

x xx

xxx

xx x

xxxxx xx

xx xxx xxx

xxxxx

xxx

xxx

x xxxx

x

x

x

x

x

xx

xxxxx

xxx

x x

x

xx

x x

x

x

x

xxx xx

xxx

x

x x

x

x

x

x

xx

x

x xxx

xxxx

xxxxxxxxxxxx

xxxxxx xx

x

x

x

xxx

xx

xxx

xx

xx

x

xxxx

xx

xxxx

x

x

x

xxxxx

xx

xx

xx

xx

x

x

xxx

x

xxxx

xxxxx x

x x xx

xxx xx

xxx

x

x x xxx

xxxx

xxxxxxxx

xxx

xx x

x

x

xxx

x

x

xx xx

x

x

x

x

xxxx xxx

x

xxxx

x

x

xx

xx xxxxx

x

x x xxxxxxx

x

x

xx x x

xxx

xxxx

x

x

xx

x

x

x

x x

xxx x

x

Os tornados não respeitam fronteira administrativa, então podemos usar discretização

regular do espaço.

Page 28: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Principais objetivos

• Desenvolver modelagem flexível para dados espaço-temporais de contagem;

• Propor método de estimação que permita modelagem de dados de grande dimensão;

Modelagem Poisson multiescala (dividir pra conquistar)

+ Evolução temporal Dirichlet

(acomoda não estacionariedades)

Page 29: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Dados de contagem• Considere interesse num processo de Poisson não homogêneo (taxa varia no espaço e

tempo);

• Dados estão disponíveis até o nível de resolução L. Observa-se uma contagem yLj no nível de resolução L na célula j.

• Objetivo: estimar a taxa de ocorrência para todas as célula ao longo do tempo e prever para tempo futuros.

Page 30: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Fatorização multiescala Poisson: dividindo para conquistar

• Exemplo: árvore diática.

Page 31: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Fatorização multiescala Poisson: dividindo para conquistar

Poisson factorization (Kolaczyk and Huang, 2001)

nLY

j=1

p(ytLj |µtLj) =

n1Y

j=1

p(yt1j |µt1j)

L�1Y

l=1

nlY

j=1

p(yt,Dlj |ytlj ,!tlj), (1)

where yt1j |µt1j ⇠ Poisson(µt1j) and yt,Dlj |ytlj ,!tlj ⇠ Multinomial(ytlj ,!tlj),

with !tlj = µt,Dlj/µtlj .

O parâmetro wtlj é o coeficiente multiescala que representa a probabilidade da contagem ytlj ser

distribuída para cada filho yt,Dlj.

Os dados são independentes dado as suas médias.

O método decompõe grandes bases de dados contagem Poisson em

componentes menores.

Page 32: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Evolução temporal Beta (nível de resolução mais agregado)

• Neste nível temos o modelo Poisson

• E interesse no risco relativo no nível mais agregado

• com evolução temporal beta (Smith and Muller, 1986)

Page 33: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Fatores de desconto (nível mais agregado)

�t1j = �t�1,1j��1j ⌘tj

• Neste modelo a taxa varia ao longo do tempo e a dependência tem efeito do fator de desconto

• O fator é tal que

O fator de desconto define quão rápida os coeficientes multiescala mudam ao longo do tempo.

Page 34: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Evolução temporal Dirichlet (níveis mais desagregados)

• Os dados dos descendentes são

• Então o modelo multiescala para os descendentes é

• A seguir define-se a evolução dos pesos de cada descendente

Essa evolução Dirichelet leva a inferência baseada num algoritmo forward filter e backward smoother que é computacionalemente eficiente

para grandes bases de dados.

Page 35: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Identificando regiões mais importantes

• As bases de dados espaço-temporais crescem muito rapidamente, de modo que muitas vezes não é viável nem mesmo a visualização de toda a base.

• A análise de fatores de desconto podem identificar regiões onde as dinâmicas temporais estão se alterando ao longo do tempo (regiões de interesse).

Fatores pequenos indicam regiões onde as médias estão mudando ao longo do tempo.

Isso direciona a atenção apenas para as regiões importantes na base de dados.

Page 36: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Inferência independente em cada nível

Teorema: A inferência sobre os parâmetros desconhecidos é feita de

forma independente em cada nível

Isso permite usar a estratégia de dividir para conquistar: os algoritmos de estimação

podem ser paralelizados.

O método de estimação (Forward filtering and

backward smoothing) é rápido (análitico).

Page 37: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Dados de Tornado

• Dados anuais de tornados de 1953 a 2010 nos Estados Unidos.

• A região de interesse é o tornado alley que é a área com maior incidência de tornados nos EUA.

xx

x

xxxx

xxx

x

x xx

xxx

x

x

x

xx

x

xx

x x

x

xx

x

xxx

xx

x

x

xx x

x

xx x

x

xxxx

x

x

x xx

xx

x

xxxxxxx

x xxxxxxxxxxxxxxxxxxxxxx x

x

x

x

xx

x

x

xx

x

xx

x xx

xxx

x

xx

xxx

xxxxxxx x

x

x

x

x

x

xxx

xxxx

x

xxx

xxx

x

x x xx

x x x

x

x

xxx

xxxxxx

xxxxx

xxxxx

x x

xx

xx xx

xx xxx

x

xxxx

xxxx

xx

x

x

x

x

x xx

x

x

xxxxx

x

x

xx

x

xxx

x

xx

x

x

xxxx

xx

x

xxxx

x x

xx xx

x

xxx

x xxx

x

x

x

x

xx

xxxxxxx

xx

x xxx xx

x x

x

x

xxx

xx

x

x

x

xx

x

x

x

x

xx

xx

x

x

x

x

x x

xx

xx x

x

xxxxx

xx

xx x

xxxxxx

x

xxxxx

xxxx

xx

xxx

x

xx

x

xxxxxxx

xx xx

xx

x

x

xxx

xxxxxx

x

x

xx

xx

x

x

x

x

x

xx

xx xx xxx

x

xxx

xx

xxx

x

x

xxxxxxxxxxx

x xxxx

xxx

xx

x

xxx

x x

xx

x

xxxx

x

xx xx

xxx

x x

xx

x

xx

x

xxx

x

x

x xx x

xxx

xxx

x

xx

xxx

x

xxx

xx x

x

x x

xx

x

x

xx

xxxx

xx x

x

x

x xx

x

x

xxx

xxxxxxxxxxxxxxxxxxx x

xxxx

x x

xx

xxx

x

x

x

x

x

x

x

xx

xxx

xxx xx

x

x xx xxx x xx

xxx

x x x

xx

x

xx

xx

xx

x

xx

xx

xx

xxx

x

xx

x

x

xxx

x

x

xxxx

xxx

x

x

xxx

xx

x

x

x xxx

xxx

xxxx xxxxxx

xx

x

xxx

x

xx

x

x

x

xx

x

x

xxxx

x

xxxxx

x

x

x x

xxxx xx xx

x

xx xx

xxxx

x

x

x

x

xxxx

x

x

xxx

xxxx

x

xx

xxxxxx x

x

x xxx

x

xx

x

xx

x

xx x

xx

x

xxxxx

xxx

x

x

x

x

x

xx

xxx xxx

x

x

xxxx

x

xxx

x

x xxxxxx xxxxxxxxxx xxxxx

x xxx

xx

xx xx

xxxxx

xxxxxxx

x

xx

xx

x

x x

xx

x

xxxxx

xx

x

xx

x

xx

xxx

xx

xxx

xxxx

x

xx

xx

x

xx

x

x xx

x

xx

x x

x

xxx

x

x

x

x

xxx

x x

x

x

xxxxx

xx

x

x x

xx

xx

x

xxxxxx

xx

xxxxxxx

xx

x x

x

x

xxx

x

x

xx x

xx

xxxxxxx

xx

x

xx

xx

xxxx xx

x

xxxx

x xx

xx

xx

x

x x

x x

x

x x

xx

x

x xx

xx

xxxx

x

xxxx

x

x

xxx

x

x

xx

x

x

xxx

xx

xx

x xxx

x

xx

x

xxx x

xx

x

x xxx

xx

xx

x

x

x

x

x xxxxx

x x

x

xx

x

x

xx xxxxxx

x x

x

x

x

xxxx

xx

xxxxxxx

xxx

xx

xxxx xx

xx x

xxxxx

x

x

xx

x

x

x

x x

x x

x

x

x

x

x

x xxxxxx

x

x

xxx x

xxxx xx

x xx

x xx xxx

x xxx

x xx

xx

xx

x

x x

xxxx x xx x

x

x

xxx

x

x

xxxx xxxx

xx

x x

x xx

xx

x

x

xx

x

x xxxxx

xxx

xx

xx

x xx

xx

x

xxxxxxx

x

xx

xx

xx

x

xxxx

x

x

xxx x

x xx x

x

x

x

xxx

xx

xxxxxx

xx

x

x

xx

x

x

x

xx

xxx xxx x

xxx

x

xx

xxx

x

xx

x xx

x

x

xxxx

x

xx

xxx

xxxx

x

xxx

xxx

xx

x xxxx

xxxxxx

xxxxxx

x

x x

xxxxxx xxx

xxxxxxxx

xxx

xxxxxxxxxxxxxxxxxxxxxx

x

x

xxxx

xxxxxxxxxxxx

xxx

xx

xxxx

xx

xxxxx

xx x

x

x

x

xxx

xxxxxxxxx x

x xx xx

x

x

x

x

xxxxx

x

x

x

xx xxx xx

xx

xxxxx x

xx

xxxx

x

x

x

xxxxx

x

xx

xx

x

xxxxxx

xxxx

xxx

xx

x x

x

x

x

x

xx

xxxx

xx

xx x

x

xx

x

x

x

xxx xx

xxx

xx

xx

xx

xxx xxx

x

x

x

xxx xxxxx

xxxxx x xx

xxx

xxxx x

xx

xx

xxxxxx x

x

xxxxxxx

x

xxxxxx

xxxx

x

x

xx

xx

x

x

xx

xx

x

x

x xxx xx

xxx

x

x

x

x xx

x

xxx

xxxxx

x

xxx

x

x xxxxxx

x

xxx

x

x

xx

x

xxx xx

xx

x

xx x

x

x

x

xx

x

x

x

x

x

xx

xxxx

xxx

xxxxx xx

x x

xx

x

xxx

xx

x

x

x

x

x

x

xxxxxx

xxx

xxxxxx

x

x

x

xx

xx

x

x

x xx

xxxxx

xx

x

x

xxxx

xxxx xxxxx

xxxxx x

xx

x

x

xxxxxx

x

x

x

x

xxxxx

xx

x

x

x xxxxxxxxxxx

xxx xx

x

x x

x

xxxxx

x

x

xxx x

x x xxxxx

x xx

xxx

xxxx

xxxxxxx

xx

xx xxx

x

x

xx x

xxx

xx

x x

xx

x

xxxxxx

xxxxxxxxx

xx

x

xx

xx

xxx

x

xx

x xx

x xx

x

x

xxx

xxx

xx

xxx

x

xxxx

x

xxx

x

x x

xxxxx

x

x x xxxxxx xxxx xxxxx

x

x

x

xxx

xx

x

x

x x

xxxxxx

xx xx

x

x

x

xx

xx

xx

xx

x

x

xx

xx

xxx

xxxx

x xxxx

xx

xx

x

x

xxx

xx

xxx

x

xx

xx xx

xxx

x x

xxxxx

xx

xxx

x

xx

xxx

x x

x

x xx

xxxxxxxx

xxx

x

x

xx

x

x

xxx

xx

x

x

xxx xxxxxxxxxxx xx x x

x

x

xxxx

xxxx

x

x

x

xxxxxx

x xxxxx

x

x

xx

x

xxxxxx

x

xxxx

x

x

x

x

xx

x xx

x

x

x

x

xx

x

x xxxx

xxxxxxxxxxxxxxxxxx

x

xx x

xxxx

x

x

x

xxxx xx

xx

xxxx

xxxxxx

x

x

xxxxxx xxxxxx

x

xxxx

x

xxx

x xxxxx

x

xxx

xxx xxx

x

xxx xxxxxx

x

xx

x

xxx

x x

xx

xxx

xx

x

xxx

x x

x

xxx xxx

xxxxx

x

xxx x

xx x

xxxxx

x xxx

x

x

x xxx

x

xx

x

xxxxxx

xx

x

xx

xx

xx

xxx

x

xxxxxxx

xxxxxxxxx

xxx

xxxxx

xx

xxxxx

x

xxx

x

x

xx

xxx

xx

xx x

x

xx x

x xx xxxxxx xx

xx

x

x

x

x xxxxx xx

xxx

x

x

x x

x

xxx

x

xxxxxxx

x xxx

xx

xx

xxxx

xxxxxxxx

x x

xxxxxxxxxx

xxx x

x

xx

xxx x

xxx

xx

x

xx

x

xx

x

xxxxx

x

xxxx

x

x

x

xx

x

x

x

x xxxx

x

xx

x

x

xx

xxx

x

xxx

x x

x x

xxxxxx

x

xx

x

xx

xxxxxxx

xxxx

xxx

x

x

xx

x

x

x xx

xxx

xx x

xxxxx xx

xx xxx xxx

xxxxx

xxx

xxx

x xxxx

x

x

x

x

x

xx

xxxxx

xxx

x x

x

xx

x x

x

x

x

xxx xx

xxx

x

x x

x

x

x

x

xx

x

x xxx

xxxx

xxxxxxxxxxxx

xxxxxx xx

x

x

x

xxx

xx

xxx

xx

xx

x

xxxx

xx

xxxx

x

x

x

xxxxx

xx

xx

xx

xx

x

x

xxx

x

xxxx

xxxxx x

x x xx

xxx xx

xxx

x

x x xxx

xxxx

xxxxxxxx

xxx

xx x

x

x

xxx

x

x

xx xx

x

x

x

x

xxxx xxx

x

xxxx

x

x

xx

xx xxxxx

x

x x xxxxxxx

x

x

xx x x

xxx

xxxx

x

x

xx

x

x

x

x x

xxx x

x

Page 38: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

• Tornados são classificados na escala Fujita de F1 (fraco) a F5 (forte). Vamos analisar os tornados mais intensos (F3 a F5).

• Para cada tornado considera-se apenas local do primeiro touchdown.

• Dividiu-se o espaço em 3 níveis de resolução: 4 sub-regiões (nível 1), 16 sub-regiões (nível 2) e 64 sub-regiões (nível 3).

• ytLj é o número de touchdowns no ano t e na sub-região j do nível de resolução mais detalhado (nível 3).

Dados de Tornado

Page 39: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Efeito El Niño e La Niña

Maiores frequências de tornado ocorrem para maiores valores do índice SOI para sub-regiões (1,2), (1,3), and (1,4).

• A frequência de Tornados pode estar relacionada a El nino e La nina. O índice SOI para os meses de março, abril e maio do ano t são considerados como indicadores de El nino e La nina. A frequência média é influenciada pelo índice por

Page 40: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Fatores de desconto

• Nível detalhado 1: os descendentes das sub-regiões (1,3) e (1,4) podem estar mudando ao longo do tempo.

• Vamos investigar esses “filhos" da região 4 no nível ainda mais detalhado.

Page 41: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

"Filhos" da subregião (1,3)

• Note o destaque da sub-região (2,10).

• Isso indica que os coeficientes multiescala {t,2,10} que relacionam a sub-região (2,10) aos seus filhos mudam de forma significativa. Vamos investigá-los em mais detalhe.

Page 42: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

"Filhos" da sub-região (2,10)• Mediana e in terva los de

credibilidade de 95% para os pesos {3,37}, {3,38}, {3,39}, {3,40}.

• Se o risco relativo fosse o mesmo nas 4 subregiões seriam todos iguais a 0.25.

• Valores maiores que 0.25 indicam risco relativo maior de tornado do que as sub-regiões vizinhas.

• Para subregião {3,37}, a probabilidade do peso ser maior que 0.25 chega a 0.96 in 1990.

Page 43: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Algumas conclusões

• O processo é decomposto em pequenas componentes que podem ser analisadas separadamente. Levando a um algoritmo de inferência e previsão rápido e paralelizável.

• O uso de fatores de desconto ajuda a identificar regiões de interesse em grandes bases espaço-temporais.

• A metodologia proposta produz mapas de risco que conseguem suavizar o ruído enquanto respeita mudanças bruscas entre vizinhos.

Page 44: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Mistura de árvores

Source: Fast Translation Invariant Multiscale Image Denoising Meng Li and Subhashis Ghosal, IEEE Transactions on Image Processing, 2015.

Page 45: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Mistura de árvores

Source: A fast, optimal spatial prediction method for massive datasets, Tzeng, Huang and Cressie, JASA 2005.

Page 46: Dynamic Multiscale Spatiotemporal Models for Poisson Dataw3.im.ufrj.br/~flavia/mad236/slidesSeminarioEstatAtuariaPDF.pdf“Levamos 1.5 milhões de anos para chegarmos a viver até

Mistura de árvores

0.0 0.2 0.4 0.6 0.8 1.0

0.0

0.2

0.4

0.6

0.8

1.0

Dimensions: 128 x 128Column

Row

20

40

60

80

100

120

20 40 60 80 100 120

(a) Função de covariância original (do processo suave). (b) Função de covariância obtida usando uma árvore.