Introdução - Computação Unioeste – Ciência da ... · Desenvolveu-se, ainda, a...

1

Redes neurais artificiais em Redes neurais artificiais em reconhecimento de padrões e reconhecimento de padrões e

mineração de dadosmineração de dados

Leandro Augusto da [email protected]

Departamento de Eng. de Sistemas EletrônicosEscola Politécnica da Universidade de São Paulo

http://http://www.lsi.usp.br/iconewww.lsi.usp.br/icone

V CONGED – Congresso de Tecnologias para Gestão de Dados e Metadados do Cone Sul

30-31 de Agosto de 2007.

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos

2Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro

Sumário da Apresentação► Introdução

► Conceitos básicos

► O neurônio biológico e o neurônio artificial

► Tipos de arquiteturas de redes neurais artificiais

► Aprendizado em redes neurais (supervisionado e não-supervisionado)

► Principais aplicações das redes neurais

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Introdução► Próximo ao final do século XIX, Santiago Ramon y

Cajal conclui dos seus experimento que o cérebro era formado por células discretas, conectadas entre si por ligações especiais (sinapses).

► Porém, a anatomia do cérebro é estudada há séculos.

► Os antigos gregos já praticavam dissecação, tendo realizado as primeiras observações e experimentos básicos no estudo do sistema nervoso, dando início a vários dos ramos da ciência que estudam o cérebro (neuroanatomia, neurofisiologia, psicofísica, psicologia, etc.).

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Introdução

Descartes defendia a crença de que o cérebro abrigava um pequeno ser, acreditava ser “o sítio da alma”.

Tal ser era chamado de homúnculo e era responsável pelo controle e ações de todo o corpo.

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Introdução

Hipócrates a observação: “… o cérebro parece uma glândula, é branco e separado em pequenas massas, como as glândulas são…”.

Galeno associa esta estrutura à transmissão da informação sensorial e motora.

Herófilo descreve os troncos nervosos como tubos que unem as extremidades do corpo à medula espinhal e ao encéfalo.

Na antiga Grécia há registro da prática da dissecação e das primeiras observações registradas sobre o cérebro.

2

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Introdução

Em 1650, o holandês Swammerdam remove um músculo da perna de uma rã, verificou que este se contraia sempre que era perturbado ou irritado.

No início do século XIX, Müller, considerado por muitos o “pai da fisiologia”, escreveu um prognóstico negativista dizendo: “…provavelmente nunca conseguiremos medir a velocidade da ação nervosa, uma vez que não podemos comparar sua propagação em um espaço interno como fazemos com a luz.”.

Acreditava-se, até então, que os impulsos nervosos propagavam-se com a velocidade da luz.

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Indrodução

Em 1850, Hermman Ludwig Ferdinand vonHelmholtz, pupilo de Müller, mede a velocidade de propagação dos estímulos nervosos, com um aparato inteiramente mecânico, obtendo o valor de 61m/s para os nervos sensoriais do homem.

Mais tarde, Dubois-Reimond descobre a natureza elétrica da ação nervosa e realiza medidas precisas da propagação dos estímulos utilizando galvanômetros.

Ainda no século XIX, o inglês Bell e o francês Megendierealizaram experimentos em diversas partes do mecanismo sensorial, sintetizando-os em uma lei que, pela primeira vez, estabelece uma taxonomia das funções realizadas no sistema nervoso.

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Introdução

A neuroanatomia celular teve seu grande avanço com trabalhos realizados pelo cientista espanhol Ramon y Cajal.

Ele descreve com grande detalhe a taxonomia de vários neurônios do sistema nervoso e suas respectivas árvores dendritais, assim como aglomerados dessas células, formando as redes de processamento de informação no sistema nervoso

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Introdução

► Em 1906, o cientista inglês Sherrington publica “The Integrative Action of the NervousSystem”, que descreve experimentos feitos em animais, associando diversas deficiências causadas por remoção de partes do córtex e medula espinhal, criando os termos “neurônio” e “sinapse” para descrever a célula nervosa e seus botões de contato.

► Em 1909, Brodman mapeia o córtex humano em 50 áreas por critérios cito-estruturais.

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Introdução

► O avanço mais significativo em eletroneurofisiologia se deu graças a Hudgkin e Huxley, que modelaram em 1960 os processos biofísicos envolvidos na geração do potencial de ação do neurônio, trabalho que lhes valeu o prêmio Nobel de Fisiologia em 1963.

► Desenvolveu-se, ainda, a neurofisiologia funcional, onde certas funções primitivas do sistema nervoso são associadas às áreas corticais específicas, mediante estudo sistemático de pacientes lobotomizados, que tiveram de alguma maneira parte do córtex avariado ou removido.

► Neste aspecto, ressalta-se o trabalho do neurofisiologistaRoger Sperry, que recebeu em 1981 o prêmio Nobel de Fisiologia pelo seu trabalho.

3

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Introdução► Atualmente, tecnologias como a microscopia

eletrônica e técnicas modernas de mapeamento de funções cerebrais, como tomografia computadorizada (CAT-Scan, PET-Scan) e ressonância magnética (NMR), permitem a visualização do sistema nervoso em pleno funcionamento, levando a um avanço rápido e eficiente das ciências que estudam o sistema nervoso, deixando pouco espaço para o “homúnculo”.

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


O Neurônio Biológico

dentritos

soma

axônio

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


O Neurônio Biológico ► As conexões entre os neurônios se dão por meios de

sinapses, que podem ser excitatórias ou inibitórias, dependendo do mecanismo e neurotransmissoresenvolvidos nessa sinapse.

► Os dendritos se conectam aos axônios de outras células, servindo como receptores de sinal, enquanto o axônio tem a função de transmitir um pulso, dada a condição de disparo, conhecida como “potencial de ação”. Na transmissão do impulso elétrico, a sinapse efetua a troca de íons entre o citoplasma do axônio do neurônio transmissor e o dendrito do neurônio receptor.

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos



Axônio

Dendritos

Sinapse

A conexão entre um axônio de um neurônio e um dendrito de outro é denominada Sinapse R

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

ação

de

dado

são

de

dado

s


Entrada - Conexões SinápticasInformação - Impulsos Nervosos

• Impulso Nervoso: depolarização da membrana celular

Tempo

Potenciais de Ação


4

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos



► A condição de disparo se dá quando o potencial da célula em relação ao meio salino que a cerca atinge um determinado patamar (limiar de disparo).

► Quando uma célula encontra-se com potencial positivo ela é dita “polarizada”; é então acionado um mecanismo somático conhecido como “bombas de íons” visando a diminuição da diferença de potencial na membrana até o nível normal.

► Uma vez atingido o limiar de disparo, a célula é dita hiperpolarizada, é disparado um único pulso no axônio, levando o potencial da célula ao valor de despolarização absoluta, onde permanece por um período de refração absoluta (Ta).

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos



► Em Ta a célula é incapaz de produzir outro potencial de ação, não importando a intensidade da despolarização.

► Isto limita a freqüência de operação do cérebro a 1/Ta. Posteriormente, há um período de refração relativa (Tr), onde o potencial retorna assintoticamente ao valor normal.

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos



Tn Ta Tr

Tn: duração do impulsoTa: refração absolutaTr: período de refração

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Neurônio biológico.....Neurônio artificial

►Uma vez estabelecida a fisionomia e funcionamento do neurônio, podemos simplificar sua representação considerando um sistema de n entradas com pesos distintos aplicados, que, sendo x a soma ponderada, dada uma função de ativação g(x), gera uma única saída como função da entrada.

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos



Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos



• Durante Tr, a ocorrência de impulsos nervosos apenas épossível com o aumento da despolarização.

• Dessa forma pode-se dizer que o neurônio opera como um dispositivo que codifica em freqüências de pulsos o resultado da integração espacial/temporal dos estímulos

5

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Freq. De Pulsos(potenciais de ação)

Estímulo Sublimiar

(Freq. Sat.)

Depolarização daMembrana

Saturação

Tempo

Potenciais de Ação

Vendo com mais detalhe a relação entre estímulo e atividade na saída não é linear:

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Resumo … um nó (neural) realiza a seguintecomputação analógica

y = fy = fTT ( ( ΣΣ wwii xxii -- θθ ))

Estímulo Sublimiar

(Freq. Sat.)

Depolarização daMembrana

Saturação

x0

xN -1

ENTRADASAÍDA

yw

0

wN -1

x0

xN -1

ENTRADASAÍDA

yx0

xN -1

ENTRADASAÍDA

yw

0

wN -1

θ

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Função de transferência não linear do tiposigmóide ou tangente hiperbólica

•• Para efeitos de simplificação de modelos, a função resposta pode ser aproximada por várias funções analíticas:

SIGMÓIDESIGMÓIDE TANGENTE HIPERBÓLICATANGENTE HIPERBÓLICA

-1,5

-1

-0,5

0

0,5

1

1,5

-6 -4 -2 0 2 4 6

00,2

0,40,60,8

11,2

-6 -4 -2 0 2 4 6

•• Preserva Preserva -- se o fenômeno da saturaçãose o fenômeno da saturação•• Preserva Preserva -- se a se a monotonicidademonotonicidade na faixa dinâmicana faixa dinâmica•• Temos funções matematicamente amigáveisTemos funções matematicamente amigáveis

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


O NeurônioBooleano

de McCcullockand Pitts(1943)

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


O neurônio Booleano

► Baseado nestas aproximações e nos trabalhos realizados por Alan Turing e John von Newman (que afirmavam que a álgebra booleana era a natureza essencial da inteligência), Warren McCulloch , médico, filósofo, matemático e poeta, juntamente com o estatístico Walter Pitts, publicaram um artigo no Bulletin of Mathematical Biophysics com o título: “A Logical Calculus of the Ideas Immanent in NervousActivity”, que se tornou referência absoluta para a teoria das redes neurais artificiais, sendo este também o primeiro paper escrito nessa área.

6

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


O neurônio Booleano► O modelo de neurônio booleano era exageradamente

simples, considerando toda a informação já disponível naquela época sobre o comportamento elétrico da célula nervosa.

► Porém, baseado neste modelo, McCulloch implementou uma série de funções, onde, eram atribuídas as entradas um ganho arbitrário, gerando uma soma devidamente ponderada (ou subtração no caso de sinapses inibitórias), resultando em uma única saída: pulso, no caso da soma exceder um dado limiar, ou não-pulso, caso contrário.

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos



Algumas funções booleanas implementadas por McCulloch

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos



• O neurônio booleano nada mais é que um caso particular de um discriminador linear, de entradas binárias que pode ser representado pela função:

⎟⎠

⎞⎜⎝

⎛Θ−= ∑

=

n

iii dtxwsignaly

1.

•A função signal retorna –1 para parâmetros negativos e +1 para positivos, e o teta representa o limiar de ativação.

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos



⎟⎠

⎞⎜⎝

⎛Θ−= ∑

=

n

iii dtxwsignaly

1.

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


AprendizadoHebbianoD.O. Hebb

(1949):

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Aprendizado Hebbiano► Os estudo de Hebb estão concentrados nas leis de

adaptação envolvidas no sistema neural

► O Aprendizado Hebbiano baseia-se nos seguintes postulados:

1 - Se a ativação de um neurônio tiver grande influência na ativação de um outro neurônio, a ligação entre estes dois neurônios deve ser reforçada;

2 - Se a ativação de um neurônio não influencia a ativação de um segundo neurônio, a ligação entre estes dois neurônios deve ser enfraquecida ou até mesmo removida;

7

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


PerceptronsRosenblatt

(1960)

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Perceptrons► Em 1950, Rosenblatt, na Universidade de Cornell,

fez a primeira implementação genuína das idéias de McCulloch, utilizando múltiplos neurônios do tipo discriminadores lineares em rede de múltiplas camadas, experimento a qual deu o nome de “perceptron”.

► O perceptron possui uma camada de entrada, uma de saída, e uma ou mais camadas internas a entrada e saída, que são geralmente referias como camadas ocultas.

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Perceptrons

Camada de Entrada Camadas Ocultas Camada de Saída

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Perceptrons

► A primeira vista, o discriminador linear de Rosemblatt não passa de uma função linear de n dimensões onde os pesos de cada conexão dados arbitrariamente, e de fato, neste estado é de pouco uso.

► Porem, dado um conjunto de exemplos com xi entradas e yi saídas desejadas, este mecanismo se torna um poderoso reconhecedor de padrões, que , como os similares biológicos, é capaz de aprender uma determinada função.

► Utilizando-se de um processo de treinamento com o uso dos exemplos, é possível alterar os pesos de cada conexão de forma aobter (na maioria dos casos) um determinado conjunto de saída, dado um conjunto de entrada.

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Adaline,Madalinede Widrow

(1962)

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Adaline: Adaptive Linear Element

► Adaline/Madaline propõe um principio de aprendizado conhecido como regra delta.

► A saída y é uma combinação linear de x

x1

x2

xm

w2

w1

wm

y

∑=

=m

0jjj )(n(n)wxy

8

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Adaline: Adaptive Linear Element

► Adaline: usa um neuronio e o algoritmo de aprendizadoLeast-Mean-Square (LMS) A idéia: tentar minimizar o erro quadrático, o qual é uma função dos pesos

► O mínimo da função erro E pode ser encontrado pelométodo do gradiente descentende

)n(e)w(n)( 221=E

∑=

−=m

0jjj )(n(n)wx)n(d)n(e

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Adaline: Passos Iniciais ... um Modelo Linear

∑

∑

Função de Soma

soma de todas as entradas * pesos

x2

x1

xn

wn

w2

w1

Pesos (ajustáveis)

.

.

.

soma =

n soma= xi * wi

i=1

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Perceptrons: Olivro

Minsky and Pappert(1969)

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Perceptron: O livro► Se os conjuntos não forem linearmente separáveis, a

rede jamais converge, e fica oscilando entre valores

intermediários do cruzamento.

► O XOR é um caso de não separabilidade linear

► É impossível separar as classes C1 e C2 com apenas uma linha

0 10

1

-1-111

x2

x1

C1

C1

C2

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Perceptron: O livro► Começa então o período negro das

pesquisas em redes neurais artificiais, interrompendo um período de 3 décadas de intensa pesquisa.

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


MemóriaAssociativa

de Hopfield(1982)

9

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Memória associativa de Hopfield

► Em 1982, John Hopfield, apresentou um sistema neural artificial que permitia memorizar imagens nas interconexões entre os neurônios.

► Hopfield introduz o conceito de energia.

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Sistemas auto-organizados

T.Kohonen(1982)

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Sistemas auto-organizados► Cada neurônio da redes competitiva recebe único padrão,

idêntico para todos as entradas, e competem entre si.

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Redes NeuraisMulticamadas

Rummelhart,Hintone Williams (1986)

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Redes Neurais Multicamadas► O neurônio de Rummelhart, Hinton e Williams (RHW) foi o

primeiro a empregar o algoritmo de backpropagation, que resolvia algumas limitações fundamentais no treinamento de redes complexas.

► A retropropagação de erro (error backpropagation) é um modelo de treinamento mais robusto e com álgebra mais elaborada, atualmente o mais utilizado em redes neurais de múltiplas camadas, uma vez que se demonstrou muito eficiente na maioria das aplicações convencionais.

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Redes Neurais Artificiais

► São sistemas computacionais, de implementação em hardware ou software, que imitam as habilidades computacionais do sistema nervoso biológico, usando um grande número de neurônios artificiais simples e interconectados entre si.

► Algumas aplicações típicas ...

Reconhecimento de caracteresReconhecimento e Síntese de VozClassificação de padrõesRiscos de inadimplência / deteção de padrões de riscoPrevisão de vendas / previsão de séries temporais

10

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Categorias de Arquiteturas das Redes Neurais

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Aprendizado

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


“Aprendizagem” das Redes Neurais

• O aprendizado por exemplos do MLP permite que elerealize diversas funções sem a necessidade de um modelomatemático conhecido / confiável

•“Redes Neurais possuem capacidade de aprender por exemplos”

• “As informações são apresentadas a rede que extrai informações a partir dos padrões apresentados”

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


► A habilidade de aprender é uma característica fundamental da inteligência.

► Aprendizado no contexto de redes neurais pode ser entendido como o processo de ajustar os pesos da rede ou as interconexões dos neurônios para desempenhar uma tarefa específica .

► O aprendizado de uma rede é feito com base em um conjunto de treinamento.

► Existem três paradigmas de aprendizado

“Aprendizagem” das Redes Neurais

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Aprendizado Supervisionado

• As informações são apresentadas à rede sob forma de padrões de entrada e os resultados desejados são conhecidos previamente.

• O “supervisor” verifica a saída da rede e a compara com a saída esperada

• Minimização da diferença

• Os algoritmos mais conhecidos são :

• Regra Delta• Backpropagation R

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

ação

de

dado

são

de

dado

s


Aprendizado Não Supervisionado

As informações são apresentadas à rede sob forma de padrões de entrada e os resultados desejados NÃO são conhecidos previamente.

Os padrões semelhantes são agrupados de acordo com as características intrínsecas dos dados.

O algoritmo mais conhecido é:

Competitivo

11

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Aprendizado Híbrido

Supervisionado

Não Supervisionado

+

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Conhecendo detalhes de algumas arquiteturas de redes neurais

► A arquitetura, aprendizado e aplicação das principais arquiteturas de redes neurais será apresentado a seguir, a saber:

- Perceptron (SLP)- Perceptron Multicamadas (MLP)- Mapas Auto-Organizáveis (SOM)

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Arquitetura Aprendizado Aplicações

SLP

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Arquitetura

► A arquiteura representa uma rede feed-forward com uma camada

► Para este estudo é suficiente apenas um neurônio para o percepetrom de camadaúnica (SLP – Single Layer Perceptron) :

M M

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Perceptron: Modelando o Neurônio► Usa um modelo não linear (McCulloch-Pitts) :

x1

x2

xm

w2

w1

wm

b (bias)

v yϕ(v)

► ϕ é a função sinal:

ϕ(v) =+1 IF v >= 0

-1 IF v < 0Para a função sign(v)

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Outras funções de transferência não lineares

► Com escalamento do argumento, pode-se abarcar osuniversos digital e analógico / linear e não linear simultaneamente

H a r d L im it e r R a m p in g F u n c t io n( l im it e r á p id o ) ( f u n ç ã o d e r a m p a )

S ig m o id e F u n c t io n S ig m o id e F u n c t io n( f u n ç ã o s ig m ó id e ) ( f u n ç ã o s ig m ó id e )

x x

xx

y y

yy

s < 0 , y = - 1s > 0 , y = 1

s < 0 , y = 00 < = s < = 1 , y = ss 1 , y = 1

11

- 1

1 1

1

y = 1 / ( 1 + e - s )

- 1

x > = 0 , y = 1 - 1 / ( 1 + s ) x < 0 , y = - 1 + 1 / ( 1 - s )

12

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Perceptron: Aplicações

► O perceptron é usado para classificação: classifique corretamente um conjunto de exemplos entre uma de duas classes C1, C2:

Se a saída do perceptron é +1

então a entrada será classificada como C1

Se a saída é -1

então a entrada é classificada como C2 Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Perceptron: Classificação► A equação abaixo descreve um hiperpalno no

espaço de entrada. Este hiperplano é usado paraseparar as duas classes em C1 e C2

0 bxwm

1iii =+∑

=

x2

C1

C2

x1

Fronteirade decisão

w1x1 + w2x2 + b = 0

Região de Decisãopara C1

w1x1 + w2x2 + b > 0

w1x1 + w2x2 + b <= 0

Região de decisãopara C2

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Perceptron: Limitações

► O perceptron pode apenas modelar funçõesseparáveis linearmente.

► O perceptron pode ser usado para modelar as seguintes funções Booleanas:- AND- OR- COMPLEMENT

► Mas não pode modelar a função XOR.Por quê?

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Perceptron: Limitações

► O XOR não é linearmente separável

► É impossível separar as classes C1 e C2 com apenas uma linha

0 1

0

1

-1

-11

1

x2

x1

C1

C1

C2

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


1.Inicialize os pesos com um número randômico pequeno (ou zero)

2. Apresenta um vetor padrão e avalie a saída do neurônio.

3. Atualize os pesos se as saídas forem diferentes com a regra de aprendizado do perceptron.

Perceptron: Algoritmo de Aprendizado

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Perceptron: Algoritmo de Aprendizado

►Variáveis e parâmetrosx(n) = vetor de entrada / vetor padrão

= [+1, x1(n), x2(n), …, xm(n)]T

w(n) = vetor de peso= [b(n), w1(n), w2(n), …, wm(n)]T

b(n) = bias / polarizaçãoy(n) = resposta atuald(n) = resposta desejada

η = taxa de aprendizado

13

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


O algoritmo de aprendizado com incremento fixo

► Inicialização: set w(0) =0► Ativação: perceptron será ativado aplicando um exemplo

de entrada (vector x(n) e resposta desejada d(n))► Calcula a resposta atual do perceptron:

y(n) = sgn[wT(n)x(n)] ► Adaptação do vetor peso: se d(n) e y(n) são diferentes

w(n + 1) = w(n) + η[d(n)-y(n)] x(n)

onde d(n) =+1 se x(n) ∈ C1

-1 se x(n) ∈ C2

► Continuação: incrementa o passo n e volte ao passo de Ativação R

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

ação

de

dado

são

de

dado

s


Exemplo

Considere o conjunto de aprendizado C1 ∪ C2, onde: C1 = {(1,1), (1, -1), (0, -1)} elementos da classe 1

C2 = {(-1,-1), (-1,1), (0,1)} elementos da classe -1

Use o algotitmo aprendizado do perceptron paraclassificar estes exemplos.

• w(0) = [1, 0, 0]T η = 1

1

1 0

0

b (bias)=1

v yϕ(v)

1 11 1

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


+ +

-

-

x1

x2

C2

C1

- +

1

1

-1

-1 1/2

Decision boundary:2x1 - x2 = 0

Exemplo

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Aplicações

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Alguns exemplos de aplicação Perceptron

►Classificação de características de nódulos extraídos de mamografia. (L.A.Silva)

►► Filtros adaptativos / Filtros adaptativos / previsoresprevisores lineares lineares

x(n+1) = a.x(n) + b.x(n-1) + c.x(n-2) + ...

a, b, c ... São adaptados para otimizar a previsão face a um conjunto de treinamento

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos



MLP

14

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Arquitetura Perceptrons Multicamadas

Camadade

entrada

Camadade

saída

Camada escondida

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


O Multi Layer Perceptron (MLP)

► Múltiplas entradas / Múltiplas saídas

► Ambas podem ser analógicas ou digitais

► Não há mais a restrição de separabilidadelinear

► Aplicações das Redes Multicamadas ou MLP como são conhecidas usando o algoritmo de aprendizado error back-propagation

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Uma solução para problema do XOR

1

1

-1

-1

x1

x2

x1 x2 x1 xor x2

-1 -1 -1-1 1 11 -1 11 1 -1

+1

+1+1

+1-1

-1

x1

x2

1 if v > 0ϕ(v) =

-1 if v ≤ 0ϕ is the sign function.

-1

-1

0.1

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Modelando o neurônio► Função Sigmoidal

jave−+=

1

1j)(vϕ

-10 -8 -6 -4 -2 2 4 6 8 10 jv

)( jvϕ1

aumento a

i,...,0

jijv ywmi

∑=

=

• Vj campo induzido do neurônio j•Uma das funções de ativação mais comum•a →∞⇒ ϕ → função threshold•Diferenciavel

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Algoritmo de Aprendizado

► Algoritmo Back-propagation

► Os pesos da rede são ajustados com o objetivo de minimizar o erro médio quadrático.

Sinal de FunçãoPasso Forward

Sinal de ErroPasso Backward

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Algoritmo Backpropagation

► Duas fases de calculos:

- Forward: inicia na camada de entrada. O sinalde entrada é propagado e o erro para cadaneurônio da camada de saída é calculado.

- Backward: inicia da camada de saída e o erroé retropropagado camada por camada pelocalculo recursivo do gradiente local de cadaneurônio.

15

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Erro Médio Quadrático

► O sinal de erro da saída do neurônio j na apresentação dos n-th exemplos de treinamento:

► Erro na saída do neurônio:

► Energia total do erro:

► Energia média do erro quadrático:

► Objetivo: Ajustar os pesos da rede para diminuir EAV

(n)y-(n)d(n)e jjj =

(n)eE(n)Cj

2j2

1∑∈

=

∑=

=N

1nN

1AV (n)EE

C: conjunto de neurônios nacamada de saída

N: tamanho do conjunto de treinamento

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Notação

jejy

i,...,0

jijv ywmi

∑=

= Campo local induzido do neurônio j

Erro na saída do neurônio j

Saída do neurônio j

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Regra de atualização dos pesos

jiji w

-w∂∂

=ΔEη Passo na direção oposta ao gradiente

Regra de atualização é baseada no método do gradiente descendente que caminha na direçãoda minimização de E

Com peso associado entre o neurônio i e o neurônio j

jiw

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Definição do Gradiente Local do neurônio j

jj v

-∂∂

=Eδ Gradient Local

)v(e jjj ϕδ ′=Obtemos

porque

)v(')1(evy

ye

ev jj

j

j

j

jj

ϕ−−=∂∂

∂∂

∂∂

−=∂∂

− jEE

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Regra de atualização

►

ijyηδ=Δ jiw

ij y

v=

∂∂

jiw

ji

j

jji wv

vw ∂∂

∂∂

=∂∂ EE

Obtemos

porque

jj

E δ=∂∂

−v

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Cálculo do gradiente local do neurônio j

► O fator chave é o cálculo de ej

► Existem dois casos:

- Caso 1): j é um neurônio de saída- Caso 2): j é um neurônio escondido

16

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Erro ej do neurônio de saída

►Caso 1: j neurônio de saída

jjj y-de =

)(v')y-d( jjj jϕδ =Então

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Gradiente Local do Neurônio Escondido

► Caso 2: j neurônio escondido

o gradiente local para o neurônio j érecursivamente determinado em termos do gradiente local de todos os neurônios no qual o neurônio j está diretamente conectado

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos



j

j

jj v

yy

-∂∂

∂∂

=Eδ

j

k

Ck k

kk

Ck j

kk

j yv

vee

yee

y ∂∂

⎥⎦

⎤⎢⎣

⎡∂∂−

=∂∂

−=∂∂

− ∑∑∈∈

E

)v('vy

jj

j ϕ=∂∂

kjj

kk

k

k wyv )v('

ve

=∂∂

=∂∂

− ϕde

Obtemos ∑∈

=∂∂

−Ck

kjkj

wy

δE

(n)eE(n)Ck

2k2

1∑∈

=

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos



∑∈

′=Ck

kjkjj w)v( δϕδ

ϕ’(v1)

ϕ’(vk)

ϕ’(vm)

δ1

δk

δm

w1j

wkj

wm j

e1

ek

em

Grafoorientado do sinal do erroretropropagadopara o neurônio j

δj ϕ’(vj)

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Regra Delta

► Regra Delta Δwji = ηδj yi

C: Conjunto de neurônios na camada que contém um j

=jδ))( jjj y(dv −′ϕ

∑∈

′Ck

kjkj w)v( δϕSE j nó de saída

SE j nó escondido

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Exemplo de ajuste sináptico

A etapa “calcular erro” é obtida através da Regra Delta:

wi (n + 1) = wi(n) + Δ

Regra Delta “traduzida”...

Erro = saída esperada - saída obtida

Peso novo = Peso antigo + (Erro * Entrada * Constante)

17

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


O Ajuste sináptico durante o aprendizado

• Quando ocorre erro no reconhecimento / tratamento de uma entrada, um ajuste sináptico é necessário.

• O ajuste sináptico representa o aprendizado em cada neurônio do fato apresentado

• O ajuste sináptico procura corrigir os pesos de modo que se produza a saída desejada diante da respectiva entrada.

• Esse cálculo visa somar ao peso atual, um valor que corresponda a quantidade de erro gerada pela rede, e desta forma corrigir o valor do peso.

• O conhecimento dos neurônios reside nos pesos sinápticos. R

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

ação

de

dado

são

de

dado

s


Exemplo de ajuste sináptico

Entrada X Saída Y (yi)

resultado esperado (di)

Algoritmo:

• Aplicar entrada X• Comparar saída Y com a saída desejada• Se saída estiver errada então• Calcular ajuste em pesos• Aplicar nova entrada

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


► Modo sequencial (on-line ou modoestocástico):

- (x(1), d(1)) :é apresentado, - uma sequência de forward e backward é

calculada e - os pesos atualizados usando a regra delta.- Mesmo para (x(2), d(2)), … , (x(N), d(N)).

Treinamento

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Treinamento

► O processo de treinamento continua época por época até que um critério de parada seja satisfeito.

► De uma época para outro, a seleção das amostras de treinamento é feita aleatoriamente.

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


1.Inicialize os pesos com um número randômico pequeno

2.Randomicamente escolha padrão de entrada x(m)

3.Propague o sinal para frente pela rede.

4.Calcule o erro na saída da rede

5.Calcule os erros para as camadas procedentes pela propagação dos erros

6. Atualize os pesos usando regra delta

7. Volte ao passo 2 e repita para o próximo padrão até o erro da camada de saída estiver abaixo do threshold pré-estabelecido ou até um número máximo de iteração alcançado.

Aprendizado MLP

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Exemplo Aprendizado

f

h

g

W1=+1

W4=+1,5

W6=-1

W5=+1W3=-1

W2=-1,5

x1μ = 1

x2μ = 2

yμ = 0.5

Na figura a seguir, temos uma arquitetura neural do tipo MLP. Os valores dos pesos iniciais e do padrão de treinamento está representado na figura. Calcule a adaptação Δw1 no peso superior do nó escondido superior, considerando apenas o primeiro passo de adaptação / aprendizado.Considere a taxa de aprendizado η = 0.01.

18

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Exemplo

1

2

1 vf

ϕ(vf)

-2-0,95

1

0,5

e

d

vh

-1,5 -1

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Exemplo

1

2

1

-1,0

vf

ϕ(vf)

-2-0,95

1

0,5

e

d

ϕ(vg)vg2

0,95-1

ϕ(vh)

-1,90vh

-1,51,5

-1

-0,95

-1,45

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Exemplo► Primeiro vamos calcular a saída do neurônio f (ϕ

(yf)) e a saída do neurônio g (ϕ (yg))

ϕ (yf)=tgh(x1.W1 + x2.W2) = tgh(1.1+2.-1,5)=-0,95

ϕ (yg)=tgh(x1.W3 + x2.W4) = tgh(1.-1+2.1,5)= 0,95

► Calculamos a saída apresentada pela rede

ϕ (yh)= tgh(-0,95.W5 + 0,95.W6) = tgh(-0,95.1+0,95.-1)= - 0,95

► Calculamos o erro na saída da rede

e= ϕ (yh) – d = -0,95-0,5=-1,45 Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Regra Delta► Regra Delta Δwji = ηδj yi

=jδ))( jjj y(dv −′ϕ

∑∈

′Ck

kjkj w)v( δϕSE j nó de saída

SE j nó escondido

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Exemplo

fδ1

-1,0 ϕ’(vf)1

-1ϕ’(vh)

vh

-1,5e

hδ

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Exemplo

► O calculo do erro interno do neurônio escondido

► O gradiente em h será a derivada parcial da saída em relação a saída interna do neurônio

5hf w).v( δϕδ ′=f

( )65 ).().( wywy gfh ϕϕϕδ +′=( ) 1,090,1 =−′=ϕδh

19

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Exemplo

( ) 08,0)2(.. '2211

'' =−′=+′=′ ϕϕϕ μμ wxwxf

)v( fϕ′

fδ

• O cálculo

• O resultado do

5hf w).v( δϕδ ′=f

008,01.1,0.08,0 ==fδ

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Exemplo► Regra Delta

μμ δη 11 .. xW f=Δ

00008,01.008,0.01,01 ==Δ μW

Logo

00008,100008,01111 =+=Δ+= μμ WWW novo

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Aplicações

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Áreas de aplicações► Reconhecimento de padrões

- Reconhecimento de caracteres manuscritos- Reconhecimento de placas de veículos- Reconhecimento de voz- Reconhecimento de faces

► Classificação- Classificação de tumores- Classificação de odores - Classificação de vinhos- Classificação de café

► Previsão de séries temporais não lineares- Tendência de carteiras de bolsa de valores

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Aproximação de funções com o MLP / superposição de sigmoides deslocadas

► Ex: aplicação em metrologia e linearização de sensores - trabalho de mestrado de (I.M. Barbosa)

20

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Aplicação MLP na Confiabilidade Metrológica

► Aplicação das MLP’s nas curvas de calibração da Balança Externa do túnel de vento TA-2.

► Balança Externa => Instrumento de medição de forças e momentos aerodinâmicos.

Itamar Magno Barbosa(estudante de doutorado)

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Reconhecimento de caracteres manuscritos

The MINIST database

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Categorização de textos WEB

Televisão Xtrom29’’ Preço $900

Eletrônico > TVEduardo Akira Kinto(estudante de doutorado)

• Categorizar produtos para comércio eletrônico

• Com base no texto descritivo do produto, se faz medidas usadas para treinar o classificador

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Classificação de câncer de mama

nódulo benigno com contorno circunscrito

nódulo maligno com contorno espiculado.

nódulo benigno com contorno espiculado.

nódulomaligno com

contorno circunscrito.

a)

b)

c)

d)

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Classificação de câncer de mama

► Para cada imagem de mama, o médico define a região de interesse e traça o contorno sobre a região suspeita

► Técnicas de processamento de imagens são aplicadas para a extração de medidas (features) para caracterizar uma lesão.

► Estas features e sua etiqueta (maligno/benigno) são usadas para treinar o MLP.

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Classificação de vinho/café► Fonte de medidas de

vinho é a língua eletrônica.

► Dispositivo com centenas de sensores (p.ex. 100)

► A cada amostra de vinho são coletadas 100 medidas.

► As medidas de uma coleção de vinho são usadas para treinar MLP.

A "língua eletrônica" / Foto: Embrapa

21

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Aplicação MLP

Camadade

entrada

Camadade

saída

Camada escondida

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos



SOM

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Arquitetura do SOM

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Arquitetura da rede SOM

...

padrão de entrada(dimensão N)

neurônios de saída(cada neurônio tem N dimensão)

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Rede SOM e o Aprendizado Não-Supervisionado

► O aprendizado não-supervisionado não requer saídas desejadas e por isso é conhecido pelo fato de não precisar de “professores” para o seu treinamento.

► Para o treinamento da rede, são usados apenas os valores de entrada. A rede trabalha essas entradas e se organiza de modo que acabe classificando-as, usando para isso, os seus próprios critérios.

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Arquiteturas de Kohonen (SOM) para clustering

sexo idade

22

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Dados são agrupados em torno de protótiposorganizados em espaço bidimensional

sexo idade Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Aprendizado SOM► Inicialização: defina o tamanho do mapa e seus respectivos

pesos, w, aleatoriamente. Defina a relação de vizinhança do mapa.

► Ativação: escolha um padrão de entrada, x, do conjunto de treinamento.

► Calcula a resposta do mapa:

► Adaptação:

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Exemplo de treinamento do SOM

A

D

G

EC

BF

I

H

Espaço de Atributos

xiE

B

D

F

H

Base de dados

A B C

D E F

G H I

Espaço do Reticulado

BMU

...

...

...

...

... ... ... ......

Atr1 (idade)

Atr2 (sexo)

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Exemplo de treinamento do SOM

Espaço de Atributos

Espaço do Reticulado

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Vizinhança SOM

Vizinhança hexagonal Vizinhança retangular

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Aprendizado SOM

(sexo)

(idad

e)

23

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Rede SOM

Aplicações

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Áreas de aplicaçãoClassificação de dados

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


2-D 3-D

Áreas de aplicaçãoVisualização de dados

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Mineração de dados

Áreas de aplicação

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Base

deDados

SOM K-medias

k

IDBprotótipos /

vetores de pesos

Áreas de aplicaçãoMineração de dados

Esquema para segmentação do mapa SOM (VESANTO E ALHONIEMI, 2000) R

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

ação

de

dado

são

de

dado

s


Algumas aplicações do SOM

► Divisão de universos de dados multidimensionais emsub-grupos de elementos similares

► (Congresso ABAR 2003 – segmentação de empresasdo setor elétrico – trabalho de Virginia Parente et al.)

► Data mining (R.J.Sassi, L.A.Silva e C.Boscarioli)► Pré processamento de dados multidimensionais para

posterior classificação, de padrões dentro de sub universos mais específicos (C.Boscarioli e L.A.Silva)

► Recuperação de imagens baseda em conteúdo(L.A.Silva)

24

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Recuperação de imagens basedo em conteúdo

400 imagens

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Recuperação de imagens basedo em conteúdo

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Descoberta de conhecimento em base de dados

Rough Sets +

SOM

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos

142Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandroLucroSimMédiaAltae6

PrejuízoSimMédiaMédiae5

PrejuízoNãoMédiaBaixae4

LucroNãoBoaMédiae3

PrejuízoNãoBoaMédiae2

LucroNãoBoaAltae1

Retorno

Boa

Localização

(BL)

Qualidade do

Produto

(QP)

Experiência do Vendedor

(EV)

Loja

Atributo de Decisão

Atributos Condicionais


Sistema de Decisão (SD)

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Redução (seleção) de atributos por Rough Sets

► Existem Dois Redutos:

► -{Experiência do Vendedor (EV), Qualidade do Produto (QP)}

► -{Experiência do Vendedor (EV); Boa Localização (BL)}


Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


► Base de Dados Consumidor [SAS05].

► Contém informações de 1.968 consumidores com 48 atributos, sendo 47 atributos condicionais e um atributo de decisão dividido em duas classes (M = masculino; F = feminino).

► Eliminou-se o atributo número da conta do consumidor. O atributo prefixo do nome é nominal e foi transformado em numérico para ser processado pela rede SOM.


25

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos



SOM sem redutos (47 atributos)

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos



SOM com redutos (3 atributos)9 clusters

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Descoberta de conhecimento em base de dados► Para os interessado em saber mais sobre está pesquisa:

(SASSI, 06) SASSI, R.J., Uma arquitetura híbrida para descoberta de conhecimento em bases de dados teoria dos rough sets e redes neurais artificiais mapas auto-organizáveis. Disponível para download em: http://www.teses.usp.br/teses/disponiveis/3/3142/tde-16032007-163930/

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


-Treinamento com Depósitos A e B;

- Projeção das cerâmicas no mapa.Projeção após treinamento

Classificação de cerâmicas (arqueologia)

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


►Classificação do tipo de cerâmica.

►Determinar região da argila.

►Analisar quais “medidas” devem ser feitas para caracterizar cerâmica.

►Classificar cerâmicas falsas/adulteradas

►Verificar semelhanças entre argilas das regiões do país.

Classificação de cerâmicas (arqueologia)

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Outras aplicações de SOM

►Classificação de dados categóricos (organização de biblioteca)

►Detecção de intrusos (avaliar se requisição em servidor é ou não maliciosa)

►Segmentação de imagens médicas

► ...

► etc

26

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Resumo

Tarefas que as redes neurais podem desempenhar(1) Reconhecimento de padrões(2) Agrupamento/categorização(3) Aproximação de função(4) Predição/ Previsão de séries temporais(5) Otimização (caixeiro viajante)

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Resumo

Tarefas que as redes neurais podem desempenhar (cont)(6) Recuperação de padrões ruidosos(7) Controle (controle de velocidade)

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Resumo

Categorização de padrões, análise de

dados, visualização de dados, ‘agrupamento

de dados’

KohonenSOM

Reconhecimento de padrões, classificação

de padrões, aproximação de

funções, previsão de séries temporais não

lineares, etc

Back-propagationMLP

AplicaçãoAlgoritmo de

aprendizadoArquitetura

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Ferramentasdisponíveis

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Algumas ferramentas disponíveis

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos



27

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Algumas ferramentas disponíveis► Vantagens em usar help neural toolbox matlab

- Concilia conceitos teóricos e práticos em um único ambiente.

► Desvantagens em usar help neural toolbox matlab

- Preciso pagar licença MatLabR

- Não consegue exportar o código.- Fica preso ao uso do Matlab

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos



http://www-ra.informatik.uni-tuebingen.de/SNNS/

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Algumas ferramentas disponíveis► Simulador de redes neurais

► Vantagens

- É livre- Várias arquiteturas implementadas- Interface gráfica- Código fonte disponível- Possibilidade de incorporar outras redes.

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Algumas ferramentas disponíveishttp://www.cis.hut.fi/projects/somtoolbox/

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Algumas ferramentas disponíveis► Toolbox de SOM implementado pelo grupo de pesquisa do

Kohonen

► Vantagens

- É livre- Código fonte disponível- Possibilidade de implementar contribuições.- Tem versão implementada em MatLab e em C

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Usar o não usar Toolbox► Vantagens

- Facilita bastante o entendimento- Rapidamente produz resultados experimentais- O uso do toolbox pela comunidade permite comparar

resultados► Desvantagens

- Pode prejudicar o entendimento mais aprofundado

28

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Sociedades eEventos

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Sociedades Científicas► Internacionais:

- International Neural Networks Society, INNS,IEEE Computational Intelligence Society

• Neural Networks, INNS IEEE Trans. on Neural networks, IEEE

► Brasileira- Sociedade Brasileira de Redes Neurais, SBRN,

www.sbrn.org.br

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Congressos► Internacional

- International Joint Conference on Neural Networks (IJCNN) anual, da INNS e IEEE-NNS. Próximo: Hong Kong, 2008.

► No Brasil- Congresso Brasileiro de Redes Neurais, bi-

anual, da SBRN. Próximo:.2009- Simpósio Brasileiro de Redes Neurais,bi-anual,

da SBC. Próximo: 2008.

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Referências

► Endereços WEB- http://www.gc.ssr.upm.es/inves/neural/ann2/anntutor.htm- http://www.kcl.ac.uk/neuronet/intro/index.html.- http://documents.wolfram.com/applications/neuralnetworks/- http://www.basegroup.ru/neural/math.en.htm

► Introdutório- Artificial Neural Networks: A Tutorial, de autoria de Anil K Jain e

Jianchang Mao, publicado na IEEE Computer de março de 1996, pp. 31-44,

- Kovács, Zsolt L.: Redes Neurais Artificiais - Fundamentos e Aplicações, Collegium Cognito, 1996.

► Para se aprofundar- Haykin (1999) - Neural Networks- Bishop (1995) - Neural Networks for Pattern Recognition- Kovács, Zsolt L.: O cérebro e sua mente, 1997.- Bear M.F, Connors, B.W., Paradiso, M.A., Neurociências –

Desvendando o sistema nervoso, 2002.

Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Grupo ICONE(Grupo de Inteligência Computacional, Modelagem e Neurocomputação )

http://www.lsi.usp.br/icone Red

es n

eura

is a

rtifi

ciai

s em

reco

nhec

imen

to d

e pa

drõe

s e m

iner

açR

edes

neu

rais

art

ifici

ais e

m re

conh

ecim

ento

de

padr

ões e

min

eraç

ão d

e da

dos

ão d

e da

dos


Muito Obrigado….

Leandro Augusto da SilvaEscola Politécnica da Universidade de São Paulo

Departamento de Eng. De Sistemas Eletrônicos

[email protected]

www.lsi.usp.br/~leandro

Introdução - Computação Unioeste – Ciência da ... · Desenvolveu-se, ainda, a...

Documents

Transcript of Introdução - Computação Unioeste – Ciência da ... · Desenvolveu-se, ainda, a...