Regras de Bayes (Fuzzy)Analogia com o caso Classico (Estocastico)
Autor: Ricardo Augusto WatanabeOrientador: Prof. Dr. Laecio Carvalho de Barros
IMECC - UNICAMP
Marco 2014
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 1 / 23
Assuntos explorados nesse trabalho:
Parte 1:Definicoes Basicas de Probabilidade e Analogias comConjuntos Fuzzy.
Parte 2:Regras de Bayes no caso Estocastico Classico.
Parte 3:Espacos Metricos Probabilısticos.Teorema de Sklar
Parte 4:Equacoes Relacionais Fuzzy.Regra de Composicao deInferencia Fuzzy.Regra de Bayes Fuzzy
Parte 5:Conclusao. Duvidas. Referencia.
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 2 / 23
Assuntos explorados nesse trabalho:
Parte 1:Definicoes Basicas de Probabilidade e Analogias comConjuntos Fuzzy.
Parte 2:Regras de Bayes no caso Estocastico Classico.
Parte 3:Espacos Metricos Probabilısticos.Teorema de Sklar
Parte 4:Equacoes Relacionais Fuzzy.Regra de Composicao deInferencia Fuzzy.Regra de Bayes Fuzzy
Parte 5:Conclusao. Duvidas. Referencia.
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 2 / 23
Assuntos explorados nesse trabalho:
Parte 1:Definicoes Basicas de Probabilidade e Analogias comConjuntos Fuzzy.
Parte 2:Regras de Bayes no caso Estocastico Classico.
Parte 3:Espacos Metricos Probabilısticos.Teorema de Sklar
Parte 4:Equacoes Relacionais Fuzzy.Regra de Composicao deInferencia Fuzzy.Regra de Bayes Fuzzy
Parte 5:Conclusao. Duvidas. Referencia.
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 2 / 23
Assuntos explorados nesse trabalho:
Parte 1:Definicoes Basicas de Probabilidade e Analogias comConjuntos Fuzzy.
Parte 2:Regras de Bayes no caso Estocastico Classico.
Parte 3:Espacos Metricos Probabilısticos.Teorema de Sklar
Parte 4:Equacoes Relacionais Fuzzy.Regra de Composicao deInferencia Fuzzy.Regra de Bayes Fuzzy
Parte 5:Conclusao. Duvidas. Referencia.
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 2 / 23
Assuntos explorados nesse trabalho:
Parte 1:Definicoes Basicas de Probabilidade e Analogias comConjuntos Fuzzy.
Parte 2:Regras de Bayes no caso Estocastico Classico.
Parte 3:Espacos Metricos Probabilısticos.Teorema de Sklar
Parte 4:Equacoes Relacionais Fuzzy.Regra de Composicao deInferencia Fuzzy.Regra de Bayes Fuzzy
Parte 5:Conclusao. Duvidas. Referencia.
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 2 / 23
Espaco de Probabilidades,Variavel Aleatoria
Definicoes Basicas:
Definicao 1.1 Espaco de Probabilidade (E.P.)
E uma terna (Ω,A, P). Onde Ω 6= ∅, A ⊆ 2Ω(eventos)Medida de Probabilidade P : A → [0, 1]
Definicao 1.2 Variavel Aleatoria (V.A)
Seja (Ω,A, P) um Espaco de Probabilidade. A funcao X : Ω→ R e ditaVariavel Aleatoria se: ω ∈ Ω : X(ω) ≤ r ∈ A ,∀r ∈ R
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 3 / 23
Distribuicoes de Probabilidade
Definicao 1.3 Distribuicoes de Probabilidade (Caso Discreto)fx
Seja X uma (V .A). A ⊆ < . A funcao massa de Probabilidadefx : A→ [0, 1] e :fx (x) = P(a ∈ A : X (a) = x) = P(X = x)
claro que : ∑x∈A fx (x) = 1
Definicao 1.4 Distribuicoes de Probabilidade (Caso Contnuo)
Uma (V .A) X tem Densidade de Probabilidade dada por:
P [a ≤ X ≤ b] =∫ ba f(x)dx
Definicao 1.5 Distribuicao Acumulada FX (x)
Uma (V .A) X tem Distribuicao Acumulada dada por:P [X ≤ x ] = FX (x) =
∫ x−∞ f(u)du
caso f seja continua em x: fX (x) =ddx F(x)
claro que :∫ ∞−∞ fx (u)du = 1
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 4 / 23
Distribuicao Conjunta Acumulada de Probabilidades
Definicao 1.6 Distribuicao Conjunta Acumulada de ProbabilidadeFX ,Y (x , y)
Sejam X,Y V.A. em um E.P.A Distribuicao Conjunta Acumulada define aprobabilidade de eventos em termos de X,Y por:FX ,Y (x , y) = P [X ≤ x ,Y ≤ y ]
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 5 / 23
Distribuicao Conjunta de Probabilidade- DiscretoContinuo
Definicao 1.8 Distribuicao Marginal
Caso Discreto:P(X = x) = fX (x) = ∑y fX ,Y (x , y) eP(Y = y) = fY (y) = ∑x fX ,Y (x , y)
Caso Continuo:P(X = x) = fX (x) =∫y fX ,Y (x , y)dy e
P(Y = y) = fY (y) =∫x fX ,Y (x , y)dx
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 6 / 23
Distribuicao Conjunta de Probabilidade- DiscretoContınuo
Definicao 1.9 Funcao de Densidade Conjunta
fX ,Y (x , y) = ∂2
∂x∂y FX ,Y (x , y)
Pode-se definir as distribuicoes marginais de X e Y a partir da densidadeconjunta:
fX (x) =∫ ∞
−∞fX ,Y (x , y)dy
fY (y) =∫ ∞
−∞fX ,Y (x , y)dx
(1)
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 7 / 23
Variaveis Independentes e DistribuicoesCondicionais(Caso Classico)
Definicao 1.10 V.A Independentes
X, Y sao Independentes se P(X,Y )=P(X ) . P(Y )Ou f X ,Y (x , y) = fX (x).fY (y)
Definicao 1.11 Funcao de Massa de Probabilidade Condicional:
fX |Y (x |y) = P(X = x |Y = y) = P(X=x ,Y=y )P(Y=y )
= fX ,Y (x ,y )fY (y )
. (2)
E se forem independentes: fX |Y (x |y) = P(X = x |Y = y) =P(X=x ,Y=y )
P(Y=y )= P(X=x).P(Y=y )
P(Y=y )= P(X = x)
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 8 / 23
Teorema de Bayes:
Teorema de Bayes:
(P(A|B) = P(B |A)P(A)P(B)
) (fX |Y (x |y) =fY |X (y |x)fX (x)∫
y fX ,Y (x ,y)fX (x)dy)
Decorre dos Axiomas de Kolmogorov e e consequencia direta da Lei deProbabilidade Total[4]”‘is to the theory of probability what Pythagoras’s theorem is togeometry”- Harold Jeffreys.
Metodo de Inferencia Bayesiano(Classico):
X,Y V.A., e y com funcao de Densidade dada por fSeja x um parametro desconhecido com Densidade de Probabilidadeh0(x) [Priori]
A nova Estimativa sera h1(x |y) =fY |X (y |x)h0(x)∫
y fX ,Y (x ,y )h0(x)dx=
fY |X (y |x)h0(x)
g (y )[Posteriori]
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 9 / 23
Espaco Metrico Probabilıstico
Definicao 2.1 o Conjunto de Todas as funcoes de Densidade deProbabilidade
Seja 4+ = F : < → [0, 1] tal que: ∃limx→a−F (x) (Contınua a esquerda)F (0) = 0, limx→∞F (x) = 1.
Definicao 2.2 Espaco Metrico Probabilıstico (E.M.P)
E um par (S,d), onde S 6= ∅ e d : SxS → 4+ tal que:
du,u(x) = 1 ∀x ∈ <;
(Simetrica)du,v (x) = dv ,u(x) ∀x ∈ <, ∀u, v ∈ S ;
Se du,v (x) = 1 e dv ,w (y) = 1 , entao du,w (x + y) = 1 ∀u, v ,w ∈ Se x , y ∈ <;
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 10 / 23
Teorema de Sklar:
Definicao 2.2 Copula(2D)
C : [0, 1]2 → [0, 1] tal que ∀x , x , y , y ∈ [0, 1]
C(x,y)+C(x , y) ≥ C (x , y) + C (x , y)C(x,0)=C(0,x)=0
C(x,1)=C(1,x)=x
Teorema de Sklar:
Sejam X,Y V.A com distribuicao Conjunta Acumulada FX ,Y (x , y) edistribuicao Acumulada FX (x),FY (y), resp. ∃C (x , y) Copula tal que:FX ,Y (x , y) = C (FX (x),FY (y))
Para Copula do Produto =⇒ ρX,Y = 0
Para Copula de Lukasiewicz =⇒ ρX,Y = −1
Para Copula do Mınimo =⇒ ρX,Y = 1
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 11 / 23
Contas
Lembrando que:ρXY = COV (X ,Y )/σxσy = E [(X − µx )(Y − µy )]/σxσy e µx = E (X ),
σ =√
1N ∑N
i=1(xi − µ)2
•ParaT − normadoProduto(.) :
E[(X-µx )(Y − µy )] = ∑x ∑y (x − µx )(y − µy )PX ,Y , masPX ,Y = PX .PY ,pelo Teo de Sklarentao:∑x ∑y (x − µx )(y − µy )PX .PY = ∑x x .Px ∑y y .Py −µy ∑x x .Px ∑y Py − µx ∑x Px ∑y y .Py + µxµy ∑x Px ∑y Py = 0
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 12 / 23
Contas
Para T-norma do mınimo(∧): PX ,Y = min(PX ,PY ), suponha sempreda de generalidade PX < PY entao,novamente pelo Teo.
E[(X-µx )(Y − µy )] = ∑x ,y (x − µx )(y − µy )PX =
∑x ,y x .y .Px − µy .x .Px − µx .y .Px − µxµyPx =∑y y ∑x xPX − µx ∑x ,y yPx − µxµy ∑x Px = −2µxµy
(3)
−2/√MN.
∑Mi=1 ∑N
j=1 xiyj
(∑Mi=1 ∑N
j=1(xi−µx )2(yj−µx )
2)12
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 13 / 23
Contas
Para T-norma de Lukasiewicz: max PX + PY − 1, 0:
E[(X-µx )(Y − µy )] =
∑x ,y [xy − µyx − µxy + µxµy ] (Px + Py − 1) =∑x ,y xyPx − µyxPx − µxyPx + µxµyPx+xyPy − µyxPy − µxyPy + µxµyPy+ −xy + µyx + µxy − µxµy == µy ∑x x + µx ∑y y − µxµy −∑x x ∑y y = −E (x)
[E (y)−∑y y
]+
∑x x[E (y)−∑y y
]= E (X −∑x x)E (Y −∑y y) = 2µxµy
(4)
2/√MN.
∑Mi=1 ∑N
j=1 xiyj
(∑Mi=1 ∑N
j=1(xi−µx )2(yj−µx )
2)12
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 14 / 23
Contextualizacao
Zadeh(fim da decada de 1970) uma unica funcao de pertinenciaque representasse a informacao mais de um conjunto fuzzysimultaneamente. Distribuicao de Possibilidade conjunta (πX ,Y ).
Conjuntos Fuzzy nao-interativos:πX ,Y (x , y) = πX (x) ∧ πY (y).
Bouchon(1985) Distribuicao Condicional de Possibilidade(πX |Y )
Lapointe (2000) Analogia entre Inferencia Bayesiana. Contextualiza oproblema usando relacoes Fuzzy.
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 15 / 23
problemas!!
Dada uma distribuicao P ”‘verdadeira”’ qualquer, como medir a relacao dadistribuicao Q incerta?
Figure : Ilustracao da Divergencia de KullbackLeibler
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 16 / 23
Regras de Composicao de Inferencia Classica vsFuzzy
Regra de Composicao de Inferencia Classica
Objetivo: fazer afirmacao a partir de um conjunto de valoresrepresentativo (amostra) sobre um universo de discurso.(X i ,P(Xi = xi ))Principais Escolas:Inferencia Freqentista e Inferencia Bayesiana
Regra de Composicao de Inferencia Fuzzy:
Considere A em F(U) uma relacao unaria e R uma em F(UxV),a Regra deComposicao de Inferencia Fuzzy forneceB∗ = A⊗T Rcom :ϕ∗B(v) = supu∈U(ϕA(u)4ϕR(u, v))
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 17 / 23
Relacoes Fuzzy
Definicao 3.1 Relacoes Fuzzy A⊗TR
Dada uma T-norma(4), e as relacoes Fuzzy A em UxV, R em VxW acomposicao (sup-t)A⊗T R em UxW tem funcao de pertinencia dada por:
ϕA⊗TR(u,w )=supv∈V(ϕA(u, v)4ϕR(v ,w) (5)
Para T-norma do mınimo(∧)composicao (max-mın)[A R] comϕA∧R(u,w )=supv∈V(ϕA(u, v) ∧ ϕR(v ,w)
E B∗ = A−1 ⊗g B, onde ⊗g e implicacao de Godel.
Para T-norma do produto(.) composicao [A.R] comϕA.R(u,w )=supv∈V(ϕA(u, v).ϕR(v ,w)
E B∗ = A−1 ⊗gn B, onde ⊗gne implicacao de Goguen.
Para Implicacao Fuzzy(⇒)composi c ao(inf −mın)[A⇒R] comϕA⇒R(u,w )=supv∈V(ϕA(u, v) ⇒ ϕR(v ,w)
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 18 / 23
Equacao Relacional Fuzzy
(∫XfX ,Y (x , y)fX (x)dy)︸ ︷︷ ︸
A
.︸︷︷︸⊗T
Verossimilhanca︷ ︸︸ ︷fY |X (x |y)fX (x)︸ ︷︷ ︸
R
= fX |Y (x |y)︸ ︷︷ ︸B
Como:ϕR(u, v) = ϕB |A(v , u)
de A⊗T R = B Obtemos: ϕB∗(v )=supu∈U(ϕA(u)4ϕB |A(u|v ).Estudamos:ϕB∗(v)41ϕS(v , u) = ϕA(u)42ϕR(u, v)Se ∃ solucao, tera aforma: ϕS(v , u) = ( ϕB∗(v)⇒ (ϕA(u)42ϕR(u, v)))
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 19 / 23
Regra de Bayes Fuzzy(Possibilista)
X⊗T Z = Y
•π4(y , x) =(
π∗Y (y)⇒(πX (x)4πY |X (y |x)
))Com: π∗Y (y) = supx∈X
(πX (x)4πY |X (y |x)
)Para 4(.) : π.(y |x) =
πX (x)πY |X (y |x)supx∈X (πX (x)4πY |X (y |x))
Para 4 = ∧ : π∧(y |x) = 1, seπ∗Y (y) =(πX (x) ∧ πY |X (y |x)
)ou(πX (x) ∧ πY |X (y |x)
), se π∗Y (y)>
(πX (x) ∧ πY |X (y |x)
)
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 20 / 23
Exemplo
Figure : Distribuicoes para a previsao Y = 2, t-norma=produto. x = 4 : 4[1]
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 21 / 23
OBRIGADO!
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 22 / 23
Referencia
1 BACANI, F. Modelos de predicao utilizando logica fuzzy: umaabordagem inspirada na inferencia bayesiana, Tese de MestradoUniversidade Estadual de Campinas, Campinas/SP, 2012.
2 BARROS, L., AND BASSANEZI, R. Topicos de logica fuzzy ebiomatematica, 2rd ed. G. P. Silveira, Campinas, SP, Brazil, 2010.
3 LAPOINTE, S., AND BOBE, B. Revision of possibility distributions:A bayesian inference pattern. Fuzzy Sets and Systems 116, 2 (2000)
4 http://en.wikipedia.org/wiki/Lawo ftotalprobabilityhttp ://en.wikipedia.org/wiki/Copula(probabilitytheory)
55 http://en.wikipedia.org/wiki/Relativeentropy
6 KLEMENT, E. P., MESIAR, R., AND PAP, E. Triangular Norms. Kluwer,Dordrecht, 2000.
R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 23 / 23
Top Related