Post on 10-Nov-2018
Disciplina: Processamento Estatıstico de Sinais(ENGA83) - Aula 03 / Deteccao de Sinais
Prof. Eduardo Simas(eduardo.simas@ufba.br)
Programa de Pos-Graduacao em Engenharia Eletrica/PPGEEUniversidade Federal da Bahia
ENGA83 - Semestre 2012.1
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 1 / 34
Conteudo
1 IntroducaoDecisao BinariaCurva ROCMultiplas Hipoteses
2 Decisao binaria baseada em uma unica observacaoCriterio do Maximo a Posteriori (MAP)Criterio de BayesCriterio MinmaxTeste de Neyman-PearsonAnalise de Discriminantes
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 2 / 34
Introducao
A deteccao (ou classificacao) de sinais consiste em identificar a partirde observacoes (ou medicoes) sujeitas a variacoes aleatorias o tipo(ou classe) de sinal que foi originalmente enviado:
Extração/seleção de
CaracterísticasSensor
Sinal
medido
Classificador
DecisãoPadrão de
características
No projeto de um sistema de deteccao dois parametros sao muitoimportantes:
- Eficiencia de discriminacao (maximizar acertos e minimizar erros);
- Tempo de execucao da cadeia de processamento de sinais.
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 3 / 34
Introducao - Decisao Binaria
Considerando-se a discriminacao entre duas hipoteses (decisaobinaria) H1 e H0, o problema de classificacao pode ser resumidoatraves do diagrama:
FonteMecanismo de
transiçãoprobabilística
Espaço deobservação
Regra dedecisão
Decisão
H1
H0
H0
H1
Em geral H1 e associada a classe de interesse:
- transmissao de um bit 1 num sistema de comunicacao;
- presenca de um alvo num sinal de sonar;
- presenca do “usuario autorizado” num problema de identificacao do locutor;
- existencia de uma assinatura de interesse num detector de partıculas.
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 4 / 34
Introducao - Decisao Binaria
Considerando-se a discriminacao entre duas hipoteses (decisaobinaria) H1 e H0, o problema de classificacao pode ser resumidoatraves do diagrama:
FonteMecanismo de
transiçãoprobabilística
Espaço deobservação
Regra dedecisão
Decisão
H1
H0
H0
H1
Em geral H1 e associada a classe de interesse:
- transmissao de um bit 1 num sistema de comunicacao;
- presenca de um alvo num sinal de sonar;
- presenca do “usuario autorizado” num problema de identificacao do locutor;
- existencia de uma assinatura de interesse num detector de partıculas.
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 4 / 34
Exemplo - Sistema de Radar
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 5 / 34
Introducao - Decisao Binaria
A decisao e tomada a partir de uma ou mais “observacoes”.
As observacoes sao variaveis aleatorias que correspondem a uma dashipoteses do problema.
No caso da decisao binaria, cada vez que uma observacao e efetuada4 situacoes podem ocorrer:
1: decidir pela hipotese H1, sendo H1 verdadeira (deteccao);
2: decidir pela hipotese H0, sendo H1 verdadeira (falso negativo);
3: decidir pela hipotese H1, sendo H0 verdadeira (falso positivo ou falsoalarme);
4: decidir pela hipotese H0, sendo H0 verdadeira (acerto).
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 6 / 34
Introducao - Decisao Binaria
A decisao e tomada a partir de uma ou mais “observacoes”.
As observacoes sao variaveis aleatorias que correspondem a uma dashipoteses do problema.
No caso da decisao binaria, cada vez que uma observacao e efetuada4 situacoes podem ocorrer:
1: decidir pela hipotese H1, sendo H1 verdadeira (deteccao);
2: decidir pela hipotese H0, sendo H1 verdadeira (falso negativo);
3: decidir pela hipotese H1, sendo H0 verdadeira (falso positivo ou falsoalarme);
4: decidir pela hipotese H0, sendo H0 verdadeira (acerto).
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 6 / 34
Introducao - Decisao Binaria
Os resultados obtidos por um discriminador, em geral, sao expressosresumidamente em termos dos parametros:
- Probabilidade de Deteccao: PD = P(H1|H1);
- Probabilidade de Falso Alarme: PF = P(H1|H0).
Uma vez que:
- P(H0|H1) = 1− PD ;
- P(H0|H0) = 1− PF .
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 7 / 34
Introducao - Decisao Binaria
Considerando que a decisao e baseada na observacao da variavelaleatoria L:
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 8 / 34
Introducao - Curva ROC
A curva ROC (Receiver Operating Characteristic) mostra como asprobabilidades de deteccao e falso alarme (respectivamente PD e PF )variam com o patamar de decisao.
A eficiencia de um classificador pode ser estimada a partir da area soba curva ROC. Quanto maior a area, mais eficiente e o discriminador.
Exemplo: Considerando as distribuicoes das observacoes de doisclassificadores para duas classes distintas:
−1 −0.5 0 0.5 10
100
200
300
400
500
600
Co
nta
ge
m
Saida do Classificador
Classe 1
Classe 2
−1 −0.5 0 0.5 10
100
200
300
400
500
600
Co
nta
ge
m
Saida do Classificador
Classe 1
Classe 2
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 9 / 34
Introducao - Curva ROC
0 0.1 0.2 0.3 0.4 0.50.5
0.6
0.7
0.8
0.9
1
PF
PD
Exemplo 2
Exemplo 1(6,1%,; 90,5%)SPmax=0,85
Y=−0,19
(2,6%,; 95,3%)SPmax=0,93
Y=−0,11
Para a escolha do patamar de decisao “otimo” pode-se utilizar uma medida daseficiencias de discriminacao como o ındice Soma-Produto (SP):
SP =
√Efe + Efj
2×
√Efe × Efj
onde Efe = PD e Efj = 1 − PFProf. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 10 / 34
Introducao - Decisao entre Multiplas Hipoteses
Num caso mais geral podem existir M hipoteses a serem identificadas.
Trata-se de um problema de decisao M-aria.
O problema pode ser tratado atraves de:
- um conjunto de M problemas de deteccao binaria entre HI e Hj ,j = 1, ..., I − 1, I + 1, ...,M.
- discriminadores apropriados para problemas de multiplas hipoteses.
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 11 / 34
Decisao binaria baseada em uma unica observacao
Considerando que cada uma das hipoteses e associada a uma saıdaque e mapeada numa regiao do espaco de observacao de dimensao N,um ponto neste espaco pode ser representado pelo vetor:
r = [r1, r2, ..., rN ]
O mecanismo de transicao probabilıstica gera pontos de acordo comas densidades de probabilidade condicionais Pr/H0
(R/H0) ePr/H1
(R/H1).
Quando essas probabilidades sao conhecidas (ou podem serestimadas), o projeto do sistema classificador pode ser simplificado.
Os criterios de maximo a posteriori, Bayes, Minimax eNeyman-Pearson sao procedimentos classicos utilizados para aescolha da regra de decisao quando as probabilidades condicionais saoconhecidas.
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 12 / 34
Decisao binaria baseada em uma unica observacao
Considerando o diagrama a seguir:
percebe-se que:
- PD =
∫Z1
Pr/H1(R/H1)dR e PF =
∫Z1
Pr/H0(R/H0)dR .
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 13 / 34
Criterio do Maximo a Posteriori (MAP)
Uma regra de decisao usualmente produz o particionamento doespaco de observacao em duas regioes Z1 e Z0 para as quais saoassociados as hipoteses H1 e H0 a depender da observacao de r.
A probabilidade condicional Pr/Hi(R/Hi ) e chamada de probabilidade
a posteriori, pois sao estimadas apos a observacao de r.
O criterio do maximo a posteriori (MAP) utiliza a regra de Bayes paradefinir a regra de decisao a seguir:
fr/H1(R/H1)
fr/H0(R/H0)
≷H1H0
P0
P1
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 14 / 34
Criterio do Maximo a Posteriori (MAP)
A expressao: L(R) =fr/H1
(R/H1)
fr/H0(R/H0)
e chamada razao de semelhanca.
E a fracao: λ =P0
P1e o valor limiar (ou patamar) do teste.
Assim, a equacao se reduz a:
L(R) ≷H1H0λ
Se a razao de semelhanca e maior que o patamar decide-se por H1,caso contrario escolhe-se H0.
No limite quando L(R) = λ pode-se decidir tanto por H1 como porH0 (escolha do projetista).
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 15 / 34
Criterio MAP - Exemplo
Num sistema de comunicacao binaria o sinal recebido e: R = X + N,onde X=0, 1 e N ruıdo gaussiano de media zero e variancia 1/9.Sabe-se ainda que P0 = 3/4 e P1 = 1/4. Estime a regra de decisaoMAP.
Resposta:
E facil chegar a: fr/H0(R/H0) =
√9
2πexp
(−9r2
2
)e
fr/H1(R/H1) =
√9
2πexp
(−9(r − 1)2
2
).
A regra de decisao e:fr/H1
(R/H1)
fr/H0(R/H0)
≷H1H0
P0
P1→ exp
[9
2(2r − 1)
]≷H1
H03.
Aplicando-se log em ambos os lados: r ≷H1H0
1
2+
1
9ln(3) ≈ 0, 622
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 16 / 34
Criterio MAP - Exemplo
Num sistema de comunicacao binaria o sinal recebido e: R = X + N,onde X=0, 1 e N ruıdo gaussiano de media zero e variancia 1/9.Sabe-se ainda que P0 = 3/4 e P1 = 1/4. Estime a regra de decisaoMAP.
Resposta:
E facil chegar a: fr/H0(R/H0) =
√9
2πexp
(−9r2
2
)e
fr/H1(R/H1) =
√9
2πexp
(−9(r − 1)2
2
).
A regra de decisao e:fr/H1
(R/H1)
fr/H0(R/H0)
≷H1H0
P0
P1→ exp
[9
2(2r − 1)
]≷H1
H03.
Aplicando-se log em ambos os lados: r ≷H1H0
1
2+
1
9ln(3) ≈ 0, 622
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 16 / 34
Criterio MAP - Exemplo
Num sistema de comunicacao binaria o sinal recebido e: R = X + N,onde X=0, 1 e N ruıdo gaussiano de media zero e variancia 1/9.Sabe-se ainda que P0 = 3/4 e P1 = 1/4. Estime a regra de decisaoMAP.
Resposta:
E facil chegar a: fr/H0(R/H0) =
√9
2πexp
(−9r2
2
)e
fr/H1(R/H1) =
√9
2πexp
(−9(r − 1)2
2
).
A regra de decisao e:fr/H1
(R/H1)
fr/H0(R/H0)
≷H1H0
P0
P1→ exp
[9
2(2r − 1)
]≷H1
H03.
Aplicando-se log em ambos os lados: r ≷H1H0
1
2+
1
9ln(3) ≈ 0, 622
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 16 / 34
Criterio MAP - Exemplo
Num sistema de comunicacao binaria o sinal recebido e: R = X + N,onde X=0, 1 e N ruıdo gaussiano de media zero e variancia 1/9.Sabe-se ainda que P0 = 3/4 e P1 = 1/4. Estime a regra de decisaoMAP.
Resposta:
E facil chegar a: fr/H0(R/H0) =
√9
2πexp
(−9r2
2
)e
fr/H1(R/H1) =
√9
2πexp
(−9(r − 1)2
2
).
A regra de decisao e:fr/H1
(R/H1)
fr/H0(R/H0)
≷H1H0
P0
P1→ exp
[9
2(2r − 1)
]≷H1
H03.
Aplicando-se log em ambos os lados: r ≷H1H0
1
2+
1
9ln(3) ≈ 0, 622
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 16 / 34
Criterio de Bayes
O criterio de Bayes necessita do conhecimento:
- das probabilidades a priori P1 e P0 da fonte produzir H1 ou H0;
- das distribuicoes de probabilidade condicionais fr/H0(R/H0) e
fr/H1(R/H1);
- dos custos Cij associados a escolha da hipotese i sendo j a verdadeira.
O risco e entao definido como:
R = C00P0
∫Z0
fr/H0(R/H0)dR + C10P0
∫Z1
fr/H0(R/H0)dR
+C11P1
∫Z1
fr/H1(R/H1)dR + C01P1
∫Z0
fr/H1(R/H1)dR
onde os elementos do espaco de observacao que pertencem asparticoes Z0 e Z1 sao associados, respectivamente, a H0 e H1.
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 17 / 34
Criterio de Bayes
O criterio de Bayes necessita do conhecimento:
- das probabilidades a priori P1 e P0 da fonte produzir H1 ou H0;
- das distribuicoes de probabilidade condicionais fr/H0(R/H0) e
fr/H1(R/H1);
- dos custos Cij associados a escolha da hipotese i sendo j a verdadeira.
O risco e entao definido como:
R = C00P0
∫Z0
fr/H0(R/H0)dR + C10P0
∫Z1
fr/H0(R/H0)dR
+C11P1
∫Z1
fr/H1(R/H1)dR + C01P1
∫Z0
fr/H1(R/H1)dR
onde os elementos do espaco de observacao que pertencem asparticoes Z0 e Z1 sao associados, respectivamente, a H0 e H1.
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 17 / 34
Criterio de Bayes
Minimizando o risco R da equacao anterior chega-se a:
fr/H1(R/H1)
fr/H0(R/H0)
≷H1H0
P0(C10 − C00)
P1(C01 − C11)
Que tende ao criterio MAP quando: C10 = C01 = 1 e C11 = C00 = 0.
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 18 / 34
Criterio de Bayes - Exemplo
Repetindo o exemplo anterior, para C10 = 0, 5, C01 = 0, 9 eC11 = C00 = 0, encontre o criterio de decisao de Bayes.
Resposta:
A regra de decisao e:fr/H1
(R/H1)
fr/H0(R/H0)
≷H1H0
P0(C10 − C00)
P1(C01 − C11)→ exp
[9
2(2r − 1)
]≷H1
H03
0, 5
0, 9.
Aplicando-se log em ambos os lados: r ≷H1H0
1
2+
1
9ln(1, 667) ≈ 0, 557
Percebe-se que ao considerar que o risco e maior ao classificar H1
como sendo H0 o patamar foi reduzido, diminuindo a probabilidade deocorrencia deste erro.
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 19 / 34
Criterio de Bayes - Exemplo
Repetindo o exemplo anterior, para C10 = 0, 5, C01 = 0, 9 eC11 = C00 = 0, encontre o criterio de decisao de Bayes.
Resposta:
A regra de decisao e:fr/H1
(R/H1)
fr/H0(R/H0)
≷H1H0
P0(C10 − C00)
P1(C01 − C11)→ exp
[9
2(2r − 1)
]≷H1
H03
0, 5
0, 9.
Aplicando-se log em ambos os lados: r ≷H1H0
1
2+
1
9ln(1, 667) ≈ 0, 557
Percebe-se que ao considerar que o risco e maior ao classificar H1
como sendo H0 o patamar foi reduzido, diminuindo a probabilidade deocorrencia deste erro.
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 19 / 34
Criterio de Bayes - Exemplo
Repetindo o exemplo anterior, para C10 = 0, 5, C01 = 0, 9 eC11 = C00 = 0, encontre o criterio de decisao de Bayes.
Resposta:
A regra de decisao e:fr/H1
(R/H1)
fr/H0(R/H0)
≷H1H0
P0(C10 − C00)
P1(C01 − C11)→ exp
[9
2(2r − 1)
]≷H1
H03
0, 5
0, 9.
Aplicando-se log em ambos os lados: r ≷H1H0
1
2+
1
9ln(1, 667) ≈ 0, 557
Percebe-se que ao considerar que o risco e maior ao classificar H1
como sendo H0 o patamar foi reduzido, diminuindo a probabilidade deocorrencia deste erro.
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 19 / 34
Criterio Minmax
Quando os custos sao conhecidos mas as probabilidades a priori naoestao disponıveis, pode-se adotar o criterio minmax.
Considerando que C00 = C11 = 0, entao escolhe-se o patamar dedecisao (λ) de modo que:
C01PM = C10PF
onde:
- PF =
∫Z1
fr/H0(R/H0)dR e a probabilidade de falso-alarme e
- PM =
∫Z0
fr/H1(R/H1)dR = 1− PD e a probabilidade de erro de
deteccao da hipotese de interesse (H1).
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 20 / 34
Teste de Neyman-Pearson
O teste de Neyman-Pearson e utilizado quando nao se teminformacoes sobre os custos ou as probabilidades a priori.
Escolhe-se um valor limite para a probabilidade de falso-alarme eprocura-se minimizar a probabilidade de perda do alvo para o valorescolhido.
Como o criterio utiliza PF e PM e preciso conhecer as probabilidadescondicionais Pr/H0
(R/H0) e Pr/H1(R/H1).
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 21 / 34
Analise de Discriminantes
Embora muito utilizadas, por sua formulacao matematicarelativamente simples e bom desempenho em diversas aplicacoes, astecnicas mostradas ate aqui necessitam de conhecimento previo arespeito:
- das distribuicoes de probabilidade;
- dos custos.
Em muitos casos praticos essas informacoes nao estao disponıveis,sendo necessario a utilizacao de outros metodos de classificacao.
Uma opcao neste contexto e utilizar a analise de discriminantes.
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 22 / 34
Analise de Discriminantes
Os metodos de classificacao baseados na regra de Bayes particionamo espaco de observacoes em regioes associadas a cada hipotese.
A analise de discriminantes, de modo analogo, busca as superfıciesque particionam o espaco de observacoes de modo “otimo” nasregioes que sao associadas a cada hipotese.
Uma funcao discriminante linear pode ser dada por:
y(x) = wTx + ω0
sendo w o vetor de pesos e ω0 a tendencia (ou bias).
Um vetor de entrada x e associado a hipotese H1 caso y(x) ≥ 0 e aH0 caso contrario.
A fronteira de decisao e definida por y(x) = 0.
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 23 / 34
Funcao Discriminante
w e ortogonal a superfıciede separacao.
A distancia entre asuperfıcie de separacao e a
origem e dada por:−ω0
||w||.
A distancia entre um pontox e a superfıcie de
separacao e:y(x)
||w||.
Como estimar a superfıciede separacao “otima” apartir dos dadosdisponıveis?
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 24 / 34
Funcao Discriminante
w e ortogonal a superfıciede separacao.
A distancia entre asuperfıcie de separacao e a
origem e dada por:−ω0
||w||.
A distancia entre um pontox e a superfıcie de
separacao e:y(x)
||w||.
Como estimar a superfıciede separacao “otima” apartir dos dadosdisponıveis?
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 24 / 34
Funcao Discriminante
A analise de discriminantes busca a direcao w onde as projecoes y(x)dos sinais de entrada x sejam maximamente separaveis.
z1
z2
z1 z2Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 25 / 34
Discriminante Linear de Fisher
A analise por discriminante de Fisher (FDA - Fisher DiscriminantAnalysis) busca a direcao otima de discriminacao utilizando 2parametros, a distancia inter-classes, e a distancia intra-classes.
Numa formulacao matricial o objetivo e encontrar a direcao w0 quemaximiza a expressao:
J(w) =wTSBw
wTSww
onde SB = (µ1 − µ2)(µ1 − µ2)T e a matriz de separacao inter-classese Sw = S1 + S2 e a matriz de separacao intra-classes, sendo:
Si =∑x∈D〉
(x− µi )(x− µi )T
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 26 / 34
Discriminante Linear de Fisher
Pode-se provar que a direcao otima que maximiza a expressaoanterior e dada por:
w = Sw−1(m1 −m2)
O discriminante de Fisher e capaz de encontrar a transformacao linearotima dos sinais de entrada, de modo que os sinais projetadosy = wTx tenham maxima separacao:
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 27 / 34
Discriminante de Fisher - Exemplo
Pode-se realizar a analise por discriminante de Fisher de modoanalıtico usando as equacoes definidas anteriormente.
Limitacoes podem surgir quando a dimensao de x cresce, pois ocalculo de Sw
−1 pode pode se tornar custoso computacionalmente.
Uma opcao e realizar o calculo estimado de modo iterativo a partir deum perceptron (modelo basico de rede neural artificial).
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 28 / 34
Perceptron
Outro exemplo de discriminante linear pode ser obtido atraves doperceptron.
O modelo do perceptron foi proposto por Rosenblat em 1962 e foiinspirado no funcionamento de um neuronio biologico:
S j u( )u
x1
x2
xm
w1
wm
w2
y
b=w0
x0=1
y(x) = ϕ(wTx)
sendo w = [ω0, ω1, ..., ωm] o vetor de pesos sinapticos e ϕ a funcao deativacao (normalmente e utilizada a funcao degrau: ϕ(a) = 1 paraa ≥ 0 e −1 para a < 0).
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 29 / 34
Perceptron
Pecebe-se que a expressao da saıda do perceptron pode ser vistacomo uma funcao discriminante.
A principal diferenca e que aqui a superfıcie de separacao e estimadaiterativamente, (ou seja, a medida que os dados sao apresentados).
Uma aspecto interessante e que o aprendizado iterativo permiterealizar ajustes no sistema de classicacao caso ocorram mudancas naestatıstica do problema.
Podem aparecer limitacoes quanto a convergencia do algoritmo detreinamento (longo tempo para convergencia ou ate mesmonao-convergencia).
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 30 / 34
Algoritmo do Perceptron
Para o processo de treinamento, o proposito e minimizar o erroquadratico medio da classificacao (sendo entao baseado no algoritmoLMS - Least Mean Square).
Deste modo pode-se chegar a regra de aprendizado do perceptron:
w(n + 1) = w(n) + ηx(n)e(n)
sendo:
- e(n) = d(n)−wT (n)x(n) o erro em relacao a saıda desejada d(n);
- η a taxa de aprendizado.
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 31 / 34
Perceptron - curvas de erro
Tıpicas curvas de erro no treinamento de um perceptron:
Espera-se que com o decorrer do treinamento o erro diminua atechegar ao seu mınimo.
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 32 / 34
Perceptron - escolha da taxa de aprendizado
A escolha adequada da taxa de aprendizado reflete nas caracterısticasdas curvas de erro:
- Um alto valor de η leva a proximidade do valor mınimo maisrapidamente, porem produz uma curva de erro oscilante no final dotreinamento.
- Um baixo valor de eta produz um treinamento de convergencia maislenta, porem suave (sem oscilacoes).
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 33 / 34
Exercıcios de Fixacao
Os exercıcios listados abaixo do livro: Random Signals: Detection Estimation and Data Analysis de Shanmugan eBreipohl devem ser resolvidos e entregues no dia 19/04. Neste dia, alunos serao “sorteados” para resolverem algunsdestes exercıcios para a turma.
01 Exercıcios de Fixacao (Cap. 06, a partir da pagina 370): 6.1, 6.2, 6.3, 6.4, 6.5, 6.6, 6.12.
02 Gere pontos aleatorios no plano x1 × x2 segundo as hipoteses a seguir (10.000 pontos para cada hipotese):
- Considerando que aconteceu H1 → x e descrito por uma distribuicao gaussiana bivariada com µX = [1, 0; 2, 0] eσX = [0, 2; 0, 3].
- Considerando que aconteceu H0 → x e descrito por uma distribuicao gaussiana bivariada com µX = [2, 0; 3, 0] eσX = [0, 2; 0, 3].
Encontre a curva discriminante otima e o patamar de decisao pelo criterio de Fisher e atraves da regra do perceptron.Compare as probabilidades de deteccao e falso alarme para os dois casos.
03 Repita a questao 02 considerando 20.000 pontos para a hipotese H1. Compare e comente os resultados.
04 Repita a questao 02 considerando que agora σX|H0= [0, 5; 0, 5]. Compare e comente os resultados.
Prof. Eduardo Simas (PPGEE/UFBA) Aula 03 - Deteccao ENGA83 - Semestre 2012.1 34 / 34