Cadeias de Markov em Tempo Continuo

Ricardo Ehlersehlers@icmc.usp.br

Departamento de Matematica Aplicada e EstatısticaUniversidade de Sao Paulo

Capitulos 6 Taylor & Karlin

1 / 44

▶ Analogo ao processo de Markov ja visto para tempo discreto.

▶ Satisfaz a propriedade Markoviana.

▶ O processo de Poisson e uma cadeia de Markov em tempocontinuo com estados 0, 1, 2, . . . que sempre vai sempre doestado n para o estado n + 1.

▶ O processo de Poisson e um processo de nascimento puro.

▶ Processos baseados no modelo exponencial que podem saltarde n para n + 1 ou n − 1 sao chamados processos denascimento e morte.

2 / 44

Seja um processo estocastico {X (t), t ≥ 0} em tempo continuoque assume valores nos inteiros nao negativos 0, 1, 2, . . .

▶ Este processo e uma cadeia de Markov em tempo continuo se,

P[X (t + s) = j |X (s) = i ,X (u) = k, 0 ≤ u < s] =

P[X (t + s) = j |X (s) = i ], ∀s, t ≥ 0.

▶ A cadeia tem a propriedade Markoviana, a distribuicao dofuturo X (t + s), dado o presente X (s), nao depende dopassado X (u), 0 ≤ u < s.

▶ Se P[X (t + s) = j |X (s) = i ] nao depende de s a cadeia eestacionaria.

3 / 44

Seja uma cadeia de Markov em tempo continuo {X (t), t ≥ 0}.

▶ Se a cadeia entrou no estado i e permaneceu neste estado por10 minutos, qual a probabilidade da cadeia permanecer noestado i por mais 5 minutos?

▶ Pela propriedade Markoviana, a probabilidade de permanecerno estado i no intervalo [10,15] e a probabilidade de ficar noestado i por ao menos mais 5 minutos.

4 / 44

Seja Ti o tempo que a cadeia fica no estado i antes de fazer umatransicao para outro estado. Entao,

P(Ti > 15|Ti > 10) = P(Ti > 5).

No caso geral,

P(Ti > s + t|Ti > s) = P(Ti > t), ∀s, t ≥ 0.

Portanto a variavel aleatoria Ti nao tem memoria e temdistribuicao exponencial.

5 / 44

Definicao Alternativa

Um processo estocastico que quando entra num estado i tem asseguintes propriedades,

▶ o tempo Ti gasto em i antes de mudar para j = i temdistribuicao exponencial com parametro vi , e

▶ muda para o estado j com probabilidade Pij tal que Pii = 0 e∑j Pij = 1, ∀i ,

e uma cadeia de Markov em tempo continuo.

6 / 44

Processos de nascimento e morte

Considere um sistema cujo estado e o seu numero de individuos.Quando ha n individuos no sistema,

▶ novos individuos entram no sistema a uma taxa exponencialλn,

▶ individuos saem do sistema a uma taxa exponencial µn.

Equivalentemente,

▶ o tempo ate a proxima chegada tem distribuicao exponencialcom parametro λn,

▶ o tempo ate a proxima saida tem distribuicao exponencialcom parametro µn,

▶ estes tempos sao independentes.

Tal sistema e chamado de processo de nascimento e morte.

7 / 44

Definicao. Um processo de nascimento e morte e uma cadeia deMarkov em tempo continuo com estados 0, 1, 2, . . . cujastransicoes vao do estado n para n − 1 ou n + 1.

v0 = λ0

vi = λi + µi , i = 1, 2, . . .

P01 = 1

Pi ,i+1 =λi

λi + µi

Pi ,i−1 =µi

λi + µi

8 / 44

▶ A trajetoria do processo e similar a um passeio aleatorioporem as transicoes ocorrem em tempos aleatorios ao inves detempos fixos.

▶ Uma possivel trajetoria do processo seria,

X (t) =

i , para 0 < t < t1,i + 1, para t1 < t < t1 + t2,i , para t1 + t2 < t < t1 + t2 + t3,...

9 / 44

Exemplo. Considere um processo de nascimento e morte no qual,

µn = 0, n = 0, 1, . . .

λn = λ, n = 0, 1, . . .

Neste processo nao ocorrem saidas do sistema e o tempo entrechegadas sucessivas tem distribuicao exponencial com parametroλ. Portanto e um processo de Poisson.

10 / 44

Exemplo. (Processo de Yule). Considere uma populacao em queso ha nascimentos e ninguem morre. Os individuos agem de formaindependente e cada um leva um tempo exponencial comparametro λ para dar origem a um nascimento.

▶ Em uma populacao com n individuos a taxa total denascimento e λn = nλ, n = 0, 1, . . .

▶ Se X (t) representa o tamanho da populacao no tempo t entao{X (t), t ≥ 0} e um processo de nascimento com taxa λn

11 / 44

No caso geral, considere novamente uma populacao em que so hanascimentos sendo X (t) o numero de elementos na populacao notempo t. Assume-se que X (0) = 0.

Sejam S0, S1, . . . os tempos entre nascimentos, e

Wk =k−1∑i=0

Si , k = 1, 2, . . .

o tempo para o k-esimo nascimento.

Pelo que sabemos de processos de Poisson, S0, S1, . . . saoindependentes e Sk ∼ Exponencial(λk).

Dizemos que {X (t), t ≥ 0} e um processo de nascimento puro comtaxas de nascimento λ0, λ1, . . . .

12 / 44

Sejam as probabilidades de que a cadeia esteja no estado n em umtempo t dado que comecou no estado zero,

P[X (t) = n|X (0) = 0] = Pn(t).

Pelos resultados da Secao 1.2 temos que,

P0(t) = e−λ0t

P1(t) = λ0

[e−λ0t

λ1 − λ0+

e−λ1t

λ0 − λ1

]

Pn(t) =

(n−1∏k=0

λk

) n∑j=0

Bj ,ne−λj t

13 / 44

sendo,

B0,n =

n−1∏j=0

(λj+1 − λj)

−1

Bk,n =

n∏j=0,j =k

(λj − λk)

−1

, k = 1, . . . , n − 1

Bn,n =

n−1∏j=0

(λj − λn)

−1

14 / 44

Exemplo. Um processo de nascimento puro com X (0) = 0 temtaxas de nascimento λ0 = 1, λ1 = 3, λ2 = 2 e λ3 = 5. Calcule asprobabilidades, P0(t), P1(t), P2(t) e P3(t).

P0(t) = e−t

P1(t) =e−t

2− e−3t

2...

15 / 44

Exemplo. Um equipamento esta sujeito a operacoes dostipos 1, 2e 3 em sequencia. Os tempos para executar as operacoes S1, S2,S3 sao independentes e tem distribuicoes exponenciais comparametros λ1 = 5, λ2 = 3 e λ3 = 13. Seja X (t) a operacao queesta sendo executada no tempo t. Calcule as probabilidades P1(t),P2(t) e P3(t).

16 / 44

Exemplo. Seja um processo de nascimento com taxasλk = α+ kβ, k = 0, 1, 2, . . . . Neste modelo, β representa a taxade nascimento de cada individuo e α a taxa de imigracao.Assumindo que X (0) = 0 determine as probabilidades P0(t),P1(t), P2(t), . . .

17 / 44

Probabilidades de transicao

Dado que o processo esta no estado j , define-se a probabilidade deque esteja no estado i apos um tempo t como,

Pij(t) = P[X (t + s) = j |X (s) = i ]

que sao as probabilidades de transicao da cadeia.

Note que estas probabilidades nao dependem de s.

18 / 44

Equacoes de Chapman-Kolmogorov

Seja {X (t), t ≥ 0} uma cadeia de Markov em tempo continuo.

A cadeia se move do estado i para o estado j no tempo t + smovendo-se do estado i para o estado k no tempo t e de k para oestado j no tempo restante s,

Pij(t + s) =∞∑k=0

Pik(t)Pkj(s)

19 / 44

Alem disso,

Pn(t) = P(X (t) = n)

=∞∑i=0

P(X (t) = n|X (0) = i)P(X (0) = i).

20 / 44

Comportamento limite

Em processos de nascimento e morte deseja-se saber se existe umadistribuicao limite para a cadeia, independente do estado inicial.

Para uma cadeia sem estados absorventes pode-se mostrar que,

limt→∞

Pi0(t) = π0,

limt→∞

Pi1(t) = π1,

limt→∞

Pi2(t) = π2,

...

com πj ≥ 0, j = 0, 1, . . . Se πj > 0, j = 0, 1, . . . segue tambemque

∑∞j=0 πj = 1 e temos uma distribuicao de probabilidades limite.

21 / 44

Equacoes de Kolmogorov,

P ′i0(t) = −λ0Pi0(t) + µ1Pi1(t)

P ′ij(t) = −λj−1Pij−1(t)−(λj+µj)Pij(t)+µj+1Pi ,j+1(t), j = 1, 2, . . .

Passando o limite para t → ∞, obtem-se

0 = −λ0π0 + µ1π1

0 = λj−1πj−1 − (λj + µj)πj + µj+1πj+1, j = 1, 2, . . .

22 / 44

A solucao e obtida por inducao sendo dada por,

πj+1 = θj+1π0

definindo-se os parametros θ como,

θ0 = 1 e θj =

∏j−1k=0 λk∏jk=1 µk

, j = 1, 2, . . .

Somando-se ambos os lados segue que,

∞∑k=0

πk = π0

∞∑k=0

θk

e entao,

πj = θjπ0 =θj∑∞

k=0 θk, j = 0, 1, . . .

23 / 44

Portanto, fica claro que π0, π1, . . . define uma distribuicao deprobabilidades se

∑∞k=0 θk < ∞.

Caso contrario, se∑∞

k=0 θk = ∞ entao πj = 0, ∀j e a distribuicaolimite nao existe.

24 / 44

Exemplo. Seja um processo de nascimento e morte com taxasλn = a+ nλ e µn = nµ, n = 0, 1, . . . . Os parametros λ, µ > 0 saoas taxas individuais de nascimento e morte e a > 0 e a taxa deimigracao.

θ0 = 1

θ1 =a

µ

θ2 =a(a+ λ)

2µ2

θ3 =a(a+ λ)(a+ 2λ)

6µ3

...

θk =a(a+ λ) . . . (a+ (k − 1)λ)

k!µk

25 / 44

θk =aλ(

aλ + 1) . . . ( aλ + (k − 1))

k!

(λ

µ

)k

=

(a/λ+ k − 1

k

)(λ

µ

)k

Usando a expansao binomial,

(1− x)−N =∞∑k=0

(N + k − 1

k

)xk , para |x | < 1,

segue que,

∞∑k=0

θk =∞∑k=0

(a/λ+ k − 1

k

)(λ

µ

)k

=

(1− λ

µ

)−a/λ

, para λ < µ.

26 / 44

Conclui-se entao que, para λ < µ a distribuicao limite existe e edada por,

π0 =

(1− λ

µ

)a/λ

πk =

(a/λ+ k − 1

k

)(λ

µ

)k (1− λ

µ

)a/λ

, k = 1, 2, . . .

Se λ ≥ µ a distribuicao limite nao existe,

27 / 44

Exemplo. Um sistema e composto de N maquinas. Cada maquinaopera um tempo aleatorio com distribuicao exponencial(λ).Quando uma maquina falha ela e consertada num tempo aleatoriocom distribuicao exponencial(µ).

X (t): o numero de maquinas nao defeituosas no tempo t, e umprocesso de nascimento e morte finito com parametros,

λn = (N − n)λ

µn = nµ

para n = 0, 1, . . . ,N.

28 / 44

Temos entao,

θ0 = 1

θ1 =Nλ

µ

θ2 =N(N − 1)λ2

2µ2

...

θk =N(N − 1) . . . (N − k + 1)λk

k!µk=

(N

k

)(λ

µ

)k

.

Pela formula binomial temos que,

(1 + x)N =N∑

k=0

(N

k

)xk

e portanto,

N∑k=0

θk =N∑

k=0

(N

k

)(λ

µ

)k

=

(1 +

λ

µ

)N

29 / 44

Conclui-se que a distribuicao limite existe e e dada por,

π0 =

(1 +

λ

µ

)−N

=

(µ

λ+ µ

)N

πk =

(N

k

)(λ

µ

)k (1 +

λ

µ

)−N

=

(N

k

)(λ

µ

)k ( µ

λ+ µ

)N

=

(N

k

)(λ

λ+ µ

)k ( µ

λ+ µ

)N−k

,

ou seja distribuicao Binomial com parametros N e λ/(λ+ µ).

30 / 44

Cadeias com estados absorventes

▶ Em processos de nascimento e morte com λ0 = 0 o estado 0 eabsorvente.

▶ Neste caso, deseja-se calcular a probabilidade de absorcaodado que a cadeia iniciou no estado i = 1, 2, . . . ,

P(X (t) = 0|X (0) = i).

▶ Este nao e um evento certo pois a cadeia pode ficar parasempre vagando pelos estado 1, 2, . . .

31 / 44

A probabilidade pode ser reescrita como,

P(X (t) = 0|X (0) = i) =∞∑k=0

P(X (t) = 0|X (1) = k)P(X (1) = k|X (0) = i)

P(X (t) = 0|X (0) = i + 1)Pi ,i+1 + P(X (t) = 0|X (0) = i − 1)Pi ,i−1

Defina ui a probabilidade de absorcao dado que comecou no estadoi e lembrando que,

Pi ,i+1 =λi

λi + µi

Pi ,i−1 =µi

λi + µi

segue que,

ui =λi

λi + µiui+1 +

µi

λi + µiui−1

32 / 44

Podemos reescrever esta expressao como,

ui+1 − ui = (ui − ui−1)µi

λi, i = 1, 2, . . .

νi = νi−1µi

λi

= νi−2µi

λi

µi−1

λi−1

...

= ν0µiµi−1 . . . µ1

λiλi−1 . . . λ1

= ρiν0, com ρ0 = 1.

33 / 44

Some ambos os lados para i variando de 1 ate um inteiro m − 1,

m−1∑i=1

(ui+1 − ui ) = (u1 − u0)m−1∑i=1

ρi

um − u1 = (u1 − 1)m−1∑i=1

ρi , m = 2, 3, . . .

Sendo um ≤ 1 segue que se∑m−1

i=1 ρi = ∞ entao u1 = 1 e um = 1,m > 1 e a absorcao pelo estado 0 e certa para qualquer estadoinicial.

34 / 44

Por outro lado, se 0 < u1 < 1 entao∑m−1

i=1 ρi < ∞.

▶ Neste caso um e uma funcao decrescente de m (poisu1 − 1 < 0).

▶ Pode-se mostrar que um → 0 quando m → ∞.

▶ Passando ao limite temos uma solucao para u1,

u1 =

∑∞i=1 ρi

1 +∑∞

i=1 ρi

▶ Substituindo na equacao anterior, temos que

um =

∑∞i=1 ρi −

∑m−1i=1 ρi

1 +∑∞

i=1 ρi=

∑∞i=m ρi

1 +∑∞

i=1 ρi

35 / 44

Exemplo. Considere um processo de nascimento e morte comestados 0,1,2,3,4,5 e parametros

(λ0, λ1, λ2, λ3, λ4, λ5) = (0, 1, 2, 3, 4, 0)

(µ0, µ1, µ2, µ3, µ4, µ5) = (0, 4, 3, 2, 1, 0).

Se o processo inicia no estado 2 calcular a probabilidade deabsorcao no estado 0.

▶ Os estados 0 e 5 sao absorventes.

▶ Deseja-se calcular P(X (t) = 0|X (0) = 2).

36 / 44

Segue que,

ρ0 = 1

ρ1 = µ1/λ1 = 4

ρ2 = ρ1 µ2/λ2 = 6

ρ3 = ρ2 µ3/λ3 = 4

ρ4 = ρ3 µ4/λ4 = 1

ρ5 = 0

Portanto,

P(X (t) = 0|X (0) = 2) = u2 =

∑5i=2 ρi

1 +∑5

i=1 ρi= 0.73

37 / 44

Tempo medio ate absorcao

Seja um processo de nascimento e morte com estado 0 absorvente.

▶ Assume-se que∑∞

i=1 ρi = ∞ (absorcao certa).

▶ Seja wi o tempo medio de absorcao comecando no estado i .

▶ Seja Ti o tempo de permanencia no estado i antes de mudarpara i + 1 ou i − 1.

Sabemos que,

▶ Ti ∼ Exponencial(λi + µi), e

▶ Pi ,i+1 = λi/(λi + µi) e Pi ,i−1 = µi/(λi + µi ).

Entao,

wi =1

λi + µi+

λi

(λi + µi )wi+1 +

µi

(λi + µi )wi−1, i = 1, 2, . . .

38 / 44

A expressao anterior pode ser reescrita como,

wi =1 + λiwi+1 + µiwi−1

λi + µi

λi(wi − wi+1) = 1 + µi(wi−1 − wi )

zi =1

λi+

(µi

λi

)zi−1, i = 1, 2, . . .

Fazendo substituicoes sucessivas,

z1 =1

λ1+

(µ1

λ1

)z0

z2 =1

λ2+

µ2

λ2λ1+

(µ2µ1

λ2λ1

)z0

...

39 / 44

Finalmente,

zm =m∑i=1

1

λi

m∏j=i+1

µj

λj+

m∏j=1

µj

λj

z0.

sendo∏m

j=m+1µj

λj= 1. Voltando a notacao anterior segue que,

zm =m∑i=1

1

λi

ρmρi

+ ρmz0.

Equivalentemete, como zm = wm − wm+1 e z0 = w0 − w1 = −w1,

wm − wm+1

ρm=

m∑i=1

1

λiρi− w1.

40 / 44

Teorema. Seja um processo de nascimento e morte comparametros λn e µn, n = 1, 2, . . . e λ0 = 0. Entao,

um =

∑∞i=m ρi

1 +∑∞

i=1 ρi, se

∞∑i=1

ρi < ∞

1, se∞∑i=1

ρi = ∞

wm =

∞, se∞∑i=1

1

λiρi= ∞

∞∑i=1

1

λiρi+

m−1∑k=1

ρk

∞∑j=k+1

1

λjρj, se

∞∑i=1

1

λiρi< ∞

41 / 44

Exemplo. Considere uma populacao cujo numero de elementossegue um processo de nascimento e morte com parametrosλn = nλ e µn = nµ, n = 0, 1, . . . . O estado 0 e absorvente(extincao).

Neste caso, ρj = (µ/λ)j e portanto,

∞∑j=m

ρj =∞∑j=m

(µλ

)j.

Se λ > µ temos a soma dos termos de uma progressao geometricacom razao µ/λ < 1 e assim,

∞∑j=m

ρj =

(µ/λ)m

1− µ/λ, se λ > µ, e

∞, se λ ≤ µ,

Analogamente,

1 +∞∑j=1

ρj =1

1− µ/λ, se λ > µ.

42 / 44

Finalmente,

P(X (t) = 0|X (0) = m) =

(µ/λ)m, se λ > µ, e

1, se λ ≤ µ

43 / 44

Para λ ≤ µ (extincao certa) e X (0) = 1,

∞∑i=1

1

λiρi=

∞∑i=1

1

iλi

(λ

µ

)i

=1

λ

∞∑i=1

1

i

(λ

µ

)i

=

=1

λ

∞∑i=1

∫ λ/µ

0x i−1dx =

1

λ

∫ λ/µ

0

∞∑i=1

x i−1dx

=1

λ

∫ λ/µ

0

1

1− xdx

=

1

λlog

(µ

µ− λ

), se λ < µ

∞, se λ = µ.

44 / 44