Luiz Affonso Guedes - DCA
Transcript of Luiz Affonso Guedes - DCA
Processos Estocásticos
Luiz Affonso Guedes
Sumário• Probabilidade• Variáveis Aleatórias• Funções de Uma Variável Aleatória• Funções de Várias Variáveis Aleatórias• Momentos e Estatística Condicional• Teorema do Limite Central• Processos Estocásticos• Análise Espectral• Filtragem e Predição Estocástica• Processos Markovianos
Variáveis Aleatórias Multidimensionais
• Uma V.A. X para o caso contínuo, é uma variável (domínio da função) pertencente aos reais.
• V.A. mapeia R1 em R1.S
e
X(e)X(e)
P(X)
Variáveis Aleatórias Multidimensionais
• Para o caso multidimensional, temos que n V.A. (contínuas), são o domínio da função distribuição de probabilidade pertencente aos reais.
• V.A. multidimensional mapeia Rn em R1.
e
X(e)
X(e)P(X,Y)S
Y(e)
Y(e)
• Estatística Conjunta de V.A.:– Interesse de se estudar simultaneamente várias
características num determinado experimento.– Interesse de estudo da inter-relação dessas
variáveis.• Definição:
– Sejam X1, X2, ..., Xn v.a. definidas em S, um ponto nesse conjunto n-dimensional mapeia um único ponto no espaço unidimensional.
• 0≤ P(x1,x2, ..., xn) = k ≤ 1
Variáveis Aleatórias Multidimensionais
• Estatística Conjunta de V.A.:– Exemplos:
• Numa pesquisa de opinião de votos, coleta-se além da intenção de voto, idade, sexo e renda: tridimensional f(Idade, Sexo, Renda).
• Experimento de se lançar uma moeda (X) e um dado (Y) simultaneamente: bidimensional f(X,Y)
– Deseja-se basicamente obter-se as inter-relações ou independências entre as diversas v.a. envolvidas no experimento.
Variáveis Aleatórias Multidimensionais
Variáveis Aleatórias Multidimensionais
• Para o caso de V.A. discretas, temos uma tabela de n+1 colunas.
............
k2b2a2
k1b1a1
P(X1=x1, X2=x2, ...)...X2X1
Variáveis Aleatórias Multidimensionais
• Para o caso de V.A. bidimensional:– X Fx(x) = P(X≤x)– Y Fy(y) = P(Y ≤ y)– Fx,y(X,Y) = P(X≤x; Y ≤ y) Probabilidade conjunta de
X e Y.– P(x1 ≤ X≤x2; y1 ≤ Y ≤ y2) = ?
Y
X
y1
y2
x2x1
Y
X
y1
y2
x2x1
Volume cuja baseé dada pelos limites
em X e Y.
Variáveis Aleatórias Multidimensionais
• Para o caso de V.A. bidimensional:– Caso Discreto:
• Fx,y(x,y) = P(X≤x; Y ≤ y) = ΣiΣj P(X=xi, Y=yj)– Caso Contínuo:
• Fx,y(x,y) = P(X≤x; Y ≤ y) = ∫-∞,y ∫-∞,x f(x,y) dx dy
Variáveis Aleatórias Multidimensionais
• Distribuições Marginais:– Caso bidimensional:
• Dada F(x,y), calcular a distribuição de X, independentemente do valor de Y Distribuição Marginal de X.
• Fx(x) = Fxy(x,+∞) ; {y<+ ∞}• FY(y) = Fxy(y,+∞) ; {x<+ ∞}• Caso discreto: P(Y=yj) = Σi P(X=xi, Y=yj)• Caso contínuo: fx(x) = ∫-∞,+∞ f(x,y) dy
P[(X,Y)∋D] = ∫ ∫D f(x,y) dxdy
Variáveis Aleatórias Multidimensionais
• Distribuições Marginais:– Caso n-dimensional:
• Dada F(x1,x2,...,xn) calcular a distribuição marginal de X1.• Caso discreto: P(X1 = x1) = Σx2...Σxn P(X1=x1, ..., Xn=xn)• Caso contínuo: fx1(x1) = ∫x2... ∫xn f(x1,...,xn) dx2...dxn
– E[X + Y] = E[X] + E[Y]
Variáveis Aleatórias Multidimensionais
• Distribuições Marginais:– Propriedades:
• Fxy(x,-∞) = 0;• Fxy(-∞,y) = 0;• Fxy(+∞,+∞) = 1• P(x1 ≤ X≤x2; Y ≤ y) = Fxy(x2,y) - Fxy(x1,y) • P(X≤x; y1≤Y ≤ y2 ) = Fxy(x,y2) - Fxy(x,y1)• P(x1 ≤ X≤x2; y1≤Y ≤ y2 ) = Fxy(x2,y2) - Fxy(x2,y1) -Fxy(x1,y2)
+ Fxy(x1,y1)• fx(x) = ∫-∞,+ ∞fx,y(x,y)dy
• Distribuições Marginais:– Exemplo: Determine as distribuições marginais
de X e Y.
Variáveis Aleatórias Multidimensionais
1P(Y)0,000,040,200,1030,190,100,050,0820,070,020,050,101
P(X)4321X \ Y
• Distribuições Marginais:– Exemplo: sejam (X,Y) uma v.a. bidimensional cuja
densidade de probabilidade é dada por: • f(x,y) = (3/80) (x2+xy), 0<x<2 e 0<y<4• f(x,y) = 0, para as outras regiões• Determine as densidades marginais de X e Y.• Calcular a probabilidade de P[X+Y<3]. Resp.=21/80• Determinar F(x,y).
Variáveis Aleatórias Multidimensionais
Y
X
4
2 3
3
• Distribuições Marginais:– Exemplo: sejam (X,Y) uma v.a. bidimensional cuja
densidade de probabilidade é dada por: • f(x,y) = 8xy, 0<x<y<1• f(x,y) = 0, para as outras regiões• Determine as densidades marginais de X e Y.• Calcular a probabilidade de P[0<X<0,5; 0<Y<0,5].
Resp.=0,0625
Variáveis Aleatórias Multidimensionais
Y
X
1
0,5 1
0,5
Variáveis Aleatórias Multidimensionais
• Função Densidade de Probabilidade Conjunta– fxy (x,y) = ∂ 2 Fx,y(x,y)/∂dx ∂dy
– ∂ Fx,y(x,y)/∂dx = ∫-∞,yfx,y(x,v)dv
– fx1, ...,xn (x1,..., xn) = ∂ n Fx1 ...,xn (x1,..., xn)/∂dx1... ∂dxn
Variáveis Aleatórias Multidimensionais
• V.A. Independentes:As v.a. X1, ..., Xn são ditas independentes
se para todos os seus valores tivermos:
– P[X1=x1, ..., Xn=xn] = P[X1=x1] ... P[Xn=xn]
– Se as v.a. são independentes, então a distribuição conjunta é dada pelo produto das distribuições marginais.
Variáveis Aleatórias Multidimensionais
• V.A. Independentes:Conseqüências:• Fx,y(x,y) = Fx(x) . Fy(y)• fx,y(x,y) = fx(x) . fy(y)• E[XY] = E[X] E[Y]• Var(X+Y) = Var(X-Y) = Var(X) + Var(Y)
Variáveis Aleatórias Multidimensionais
• Covariância– Sejam as v.a. X e Y. As suas variâncias fornecem
uma medida de dispersão em relação às suas médias.
– A covariância fornece uma medida de dispersão de uma v.a. bidimensional em relação ao ponto (E[X], E[Y]).
– Cov(X,Y) = E{ (X-E[X]) (Y-E[Y]) }
Variáveis Aleatórias Multidimensionais
• Covariância– Cov(X,Y) = E{ (X-E[X]) (Y-E[Y]) }– Cov(X,Y) = ΣiΣj (xi-mx) (yi-my) P(X=xi, Y=yj)– Cov(X,Y) = ∫y∫x (xi-mx) (yi-my) f(x,y) dx dy– Cov(X,Y) = E[XY] – E[X] E[Y]– Cx,y = Rx,y - mx.my ;– Rx,y = ∫y∫x xi yi f(x,y) dx dy Correlação
Variáveis Aleatórias Multidimensionais
• Covariância– Conseqüências:
• Var(X+Y) = Var(X) + Var(Y) +2Cov(X,Y)• Se X e Y são independente Cov(X,Y) = 0• Se X e Y tendem a variar no mesmo sentido, a
Cov(X,Y) será positiva.• Se X e Y tendem a variar em sentidos opostos, a
Cov(X,Y) será negativa.
Variáveis Aleatórias Multidimensionais
• Covariância e Coeficiente de Correlação– Sejam duas V.A. X e Y. Se X’= aX e Y’= bY:
• Cov(X’,Y’) = ab Cov(X,Y)
– Cov(X,Y) = E[XY] – E[x] E[Y]
• Então, a covariância depende das escalas das v.a.
• Seria interessante se trabalhar com uma medida de dispersão independente de escala!
Variáveis Aleatórias Multidimensionais
• Coeficiente de Correlação – ρ(X,Y) = Cov(X,Y)/ ( σ(X) σ(X) )– | ρ(X,Y) | ≤ 1 normalização da covariância
– Se X’= aX e Y’= bY:• Cov(X’,Y’) = ab Cov(X,Y)• ρ(X’,Y’) = ab Cov(X,Y)/ ( a σ(X) bσ(X) )
= ρ(X,Y)
– Se Y = aX + b ρ(X,Y) = signal(a) . 1
Variáveis Aleatórias Multidimensionais
• Descorrelação – Cov(X,Y) = Cx,y = 0 ρ(X,Y) = 0;– E[XY] = E[X] E[Y]
• Ortogonalidade:– E[XY] = 0 X e Y são ortogonais.
• X = [X1,X2,...,Xn]• Rn = R11 ... R1n Matriz de Correlação
... Rn1 ... Rnn
• Cn= C11 ... C1n Matriz de Covariância...
Cn1 ... Vnn• Cn=Rn – ΝxΝx
t ; Nxt = [ηx1 ηx2 ... ηxn]
Variáveis Aleatórias Multidimensionais
• Distribuição n-dimensional conjutamente normal:• f(x1, ...,xn) = (2π)-n/2 |[Cx]-1|1/2 exp{-0.5 [x-X]t [Cx]-1[x-X]}
• Exemplo para o caso bidimensional.• f(x,y) = (2π)-1 (σxσy)-1 (1-r2)-1/2 .
exp{-0.5 (1-r2)-1/2 [(x-ηx)2 /σx2 +(y-ηy)2 /σy
2 +- 2r(x-ηx)(y-ηy)/ σx σy] }
Variáveis Aleatórias Multidimensionais
Variáveis Aleatórias Multidimensionais• Distribuições de Funções de V. A.
– Sejam X e Y com distribuição conjunta dada por F(x,y) e densidade de probabilidade f(x,y).
• F(x,y) f(x,y) ?
– Outra questão importante:• Dado f(x,y) e se Z= g(X,Y) f(z)?• G(Z) = P[Z ≤ z] = P[(X,Y) ∋ Dz];
– Dz = {(x,y):g(x,y) ≤ z}
Variáveis Aleatórias Multidimensionais
• Distribuições de Funções de V. A.– Caso 1: Z=X+Y
• Dz = {(x,y): x+y ≤ z}• Gz(Z) = ∫∫Dzf(x,y)dxdy
= ∫-∞, ∞ {∫- ∞,z-x f(x,y)dy}dx• Fz(Z) = ∫-∞, ∞ {∫- ∞,z f(x,u-x)du}dx
– u=x+y y = u - y
• Fz(Z) = ∫- ∞,z {∫-∞, ∞ f(x,u-x)dx}du integrando não negativo
• fz(z) = {∫-∞, ∞ f(x,z-x)dx}• Se X e Y forem independentes: fz(z) = fx(x) . fy(y)
– fz(z) = ∫-∞, ∞ fx(x) fy(z-x)dx Integral de Convolução
X
Y
z=x+y
Variáveis Aleatórias Multidimensionais• Distribuições de Funções de V. A.
– Caso 1: Z=X+Y• Se X e Y forem independentes: fz(z) = fx(x) . fy(y)
– fz(z) = ∫-∞, ∞ fx(x) fy(z-x)dx Integral de Convolução.
• Exemplo 1: fz(z) = fx(x) ⊗ fy(y)
a X
f(x)
a Y
f(y)a Z
f(z)1/a
2a
Variáveis Aleatórias Multidimensionais• Distribuições de Funções de V. A.
– Caso 1: Z=X+Y• Se X e Y forem independentes: fz(z) = fx(x) . fy(y)
– fz(z) = ∫-∞, ∞ fx(x) fy(z-x)dx Integral de Convolução.
• Exemplo 2: fz(z) = fx(x) ⊗ fy(y)
b X
f(x)
c Y
f(y)a+c Z
f(z)
b+d
a
d
Variáveis Aleatórias Multidimensionais• Distribuições de Funções de V. A.
– Caso 1: Z=X+Y• Se X e Y forem independentes: fz(z) = fx(x) . fy(y)
– fz(z) = ∫-∞, ∞ fx(x) fy(z-x)dx Integral de Convolução.
• Exemplo 3: fz(z) = fx(x) ⊗ fy(y)
a X
f(x)
a Z
f(z)
2a
a Y
f(y)1/a
2a
3a
Variáveis Aleatórias Multidimensionais
• Distribuições Condicionais– Caso Bidimensional: Sejam X e Y v.a. conjuntas.– P[Y=y|X=x] = P[X=x,Y=y] / P[X=x]– P[Y≤y|x<X ≤ x+∆x] =
P[x<X ≤ x +∆x,Y=y] / P[x<X ≤ x+∆x]
– f(y/x) = f(x,y) / f(x) f(x,y) = f(y/x) . f(x) – Exemplo: f(x,y) = 21x2.y3 para 0<x<y<1 e 0 para outros valores.
Determine f(x), f(y), f(x|y) e f(y|x).
Variáveis Aleatórias Multidimensionais
• Distribuições Condicionais– Caso Bidimensional: Esperança condicional
• E[Y|X=x] = ∑y y. P[Y=y|X=x] para cada x há uma esperança correspondente.
• E[Y|X=x] = ∫-∝,+∝ y. f(y|x)dy• Exemplo: Obter E[Y|X=x] pra a exemplo anterior.
– f(y|x) = 4y3 / (1-x4) ; para 0<x<y<1.– E[Y|X=x] = ?
Variáveis Aleatórias Multidimensionais
• Distribuições Condicionais– Caso N-dimensional:– f(xn|xn-1,...,x1) = f(xn,xn-1,...,x1) / fxn-1,...,x1 (xn-1,...,x1)– f(xn,xn-1 |xn-2,...,x1)= f(xn,xn-1,...,x1) / fxn-2,...,x1(xn-2,...,x1)
– E[Xn|Xn-1=xn-1..., X1=x1] = ∫-∝,+∝ xn . f(xn|xn-1,...,x1)dxn
Teorema do Limite Central
• Se as v.a. Xi são independentes, então sob condições gerais, a densidade f(x) da sua soma (x = x1+x2+ ...+xn) normalizada apropriadamente, tende para a curva normal quando n tende a infinito.
• Se n é suficientemente grande:f(x) ≈ (1/σ√2π) . exp{-(x-η)2/2σ2}
Teorema do Limite Central
• Se as v.a. forem independentes:– Se x = x1 + x2 +... +xn
– Então, f(x) = f1(x1) ⊗ f2(x2) ⊗ ... fn(xn)– Para n suficientemente grande, f(x) tende a uma
distribuição normal.– Se xi’s têm média η e desvio padrão σ:
• E[x] = n. η• Var[x] = n. σ
Teorema do Limite Central• Exemplo:
– Um dado é lançado 2.500 vezes. Calcular a probabilidade de que a soma dos pontos obtidos seja menor que 8.850.
• Como n = 2.500 é muito grande aproximação normal.• X = X1+X2+ ...+ X2500
• P(Xj=i) = 1/6 ; i é a número da face no j-ésimo lançamento.• E[Xj] = 1/6=3,5 ; Var[Xj] = 2,92 σ(Xj) = 1,71• E[X] = 2.500 * 3,5 = 8.750; Var[X] = 2.500 * 2,92 =7.310 σ(X) = 85,5
• P[X<8.850] = P[Z< (8.850-8.750)/85,5] = P[Z<1,17] = 0,879
Z = (X –médiax)/ σ normalização para N(0,1).
Teorema do Limite Central• Exemplo:
– X = X1 + X2 +... +Xn
– Xi’s são independentes entre si.– Xi’s têm distribuição uniforme entre 0 e T.
• E[Xi] = η = T/2 • σ2[Xi] = E[(Xi- η)] = T2/12 σ[Xi] = T/ (12)1/2
• E[X] = n. E[Xi] = n . η = n . T/2• σ2[X] = n . E[(Xi- η)] = n . T2/12• Para o caso de T = 1 e n = 12
– E[X] = 6 e σ2[X] = 1.