Modelos de Redes Neurais Auto-Organizáveis
ou com Treinamento Não Supervisionado
ou aindaRedes Concorrentes
Prof. João Alberto FabroIF67D – Sistemas Inteligentes 1
UTFPR - 2015
Redes Neurais Auto-Organizáveis
● Características:– Modelos que operam somente sobre os padrões de
entrada (não existe um vetor de “saída” nos padrões de treinamento)
– O aprendizado se dá pela comparação entre os padrões● Aplicações:
– Agrupamento de dados em Classes (Classificação);– Detector de Regularidades (Extração de Características
comuns aos padrões de Treinamento)
Redes Neurais Auto-Organizáveis
● Os algoritmos não-supervisionados são geralmente baseados em uma forma de competição entre os processadores
● O método mais comum é o chamado Competitive Learning – Aprendizado Competitivo
● É uma forma de aprendizado que divide o conjunto de padrões de entrada em grupos inerentes aos dados
● Em sua forma mais simples “winner takes all”
● Inspiração Biológica: Um neurônio, ao dispararar, inibe os neurônios na sua vizinhança(inibição lateral)
Redes Neurais Auto-Organizáveis
● Aplicações:– Mapeamento de Fonemas(Voz) para comandos;– Reconhecimento de Padrões(Caracteres)– Previsão
● Utilização Principal:– Classificação de Padrões em grupos(Clusters) por
similaridade (Clusterização?), Agrupamento em classes de similaridade
Redes Neurais Auto-OrganizáveisModelos
● Modelo LVQ(Linear Vector Quantization)– Modelo mais simples
● Modelo SOM(Self-Organizing Memory-Kohonen)– Modelo mais utilizado
● Modelo ART (Adaptive Ressonance Theory)– Memória Associativa
Redes Neurais Auto-Organizáveis● Redes auto-organizáveis são as que não necessitam de
treinamento supervisionado. Este tipo de rede, por exemplo, classifica padrões apresentados em sua entrada a partir das similaridades encontradas entre estes padrões, criando automaticamente classes que agregam padrões similares. Um exemplo são as redes competitivas[Rum85], utilizadas para classificação de dados em agrupamentos (clusters) com características semelhantes.
● Estas redes são ditas competitivas pois, a cada apresentação de um padrão de entrada, os neurônios competem pela classificação, e o neurônio mais ativo inibe os outros. O neurônio vencedor representa a classe a qual pertence o padrão de entrada, e os pesos das conexões são então modificados de acordo com a classificação.
Redes Neurais Auto-Organizáveis
● Exemplo de Rede Competitiva:
w ij
Entradas
Saídas
Redes Neurais Auto-Organizáveis - Competitive Learning
• Características Básicas:
– Regra de Propagação -> netj = xi .wij = X.Wj
– Função de Ativação -> Degrau(para o neurônio vencedor)
– Topologia -> Uma única camada de processadores.
– Algoritmo de Aprendizado -> Não Supervisionado:
w ik = . (xi - wik )
– Valores de Entrada/Saída -> Binários/Contínuos
Redes Neurais Auto-Organizáveis - Competitive Learning
• Funcionamento:
– os vetores X e W j devem ser normalizados – somente o neurônio vencedor é ativado (neurônio com maio valor de net)
sk = 1 se netk > neti , i k
sk = 0 caso contrário
– somente os pesos do neurônio vencedor são atualizados w ik = . (xi - wik )
Redes Neurais Auto-Organizáveis - Competitive Learning
Redes Neurais Auto-Organizáveis - Competitive Learning
• Objetivo:
–Ajusta-se os pesos de forma que vetores de entrada similares ativem o mesmo neurônio
• Aprendizado:
–A direção de atualização dos pesos minimiza a diferença entre o vetor de pesos e o vetor de entrada do processador vencedor.
Redes Neurais Auto-Organizáveis - Competitive Learning
Redes Neurais Auto-Organizáveis - Competitive Learning
Redes Neurais Auto-Organizáveis - Competitive Learning
Redes Neurais Auto-Organizáveis - Competitive Learning
● Por que deve-se usar < 1?
Para representar a CLASSE ou GRUPO de padrões semelhantes e não um padrão de entrada específico.
Procura-se achar o centro do GRUPO
OBS: deve ser adaptativo, decrescendo com o tempo
Redes Neurais Auto-Organizáveis - Competitive Learning
● Como os pesos devem ser inicializados?
Prática comum -> pesos randômicos e normalizados
a aleatoriedade distribui os pesos uniformemente pela hiperesfera
( Pode gerar processadores inúteis ->nunca vencem a competição ):
– Super-grupos processadores que representam mais de uma classe
– Sub-grupos mais de um processador para representar uma única classe
Redes Neurais Auto-Organizáveis - Competitive Learning
● Como os pesos devem ser inicializados?
Solução -> distribuir os vetores de pesos de acordo com a densidade de vetores de entrada
Mais pesos na região com mais amostras de vetores de entrada
Mapa de Kohonen
Redes Neurais Auto-Organizáveis● A estratégia utilizada pelas redes competitivas é a inibição lateral
dos outros neurônios, de modo que apenas um saia vitorioso. Tal estratégia é inspirada em estudos sobre o funcionamento do córtex cerebral humano, e leva à classificação de padrões não muito diferentes em neurônios contíguos (preservando a topologia dos padrões de entrada). Baseado nestas idéias, Kohonen[Koh82] propôs uma extensão às redes competitivas, o denominado mapa de características de Kohonen.
● O algoritmo de auto-organização atua como um classificador de características dos padrões de entrada, descobrindo as regularidades, dividindo-os em classes de elementos similares. As conexões entre os neurônios na vizinhança são inibitórias, fazendo que um neurônio ativo iniba a ativação de todos os que o circundam.
Redes Neurais Auto-Organizáveis
● Exemplo de Rede SOM(Kohonen):
Entradas
Mapa Auto-
Organizável
Redes Neurais Auto-Organizáveis Mapa de Kohonen
● A atualização de pesos é feita não só para o neurônio vencedor k mas também para os neurônios pertencentes a uma certa vizinhança NE k (t), ajustável com o tempo.
Redes Neurais Auto-Organizáveis Mapa de Kohonen
Redes Neurais Auto-OrganizáveisNeuro-Darwinismo
● Modelo de Edelman aplicado à robótica móvel
-90
90
0-3
+3
-6
+6
-9
33
75 6550
4540
36
...
Redes Neurais Auto-OrganizáveisNeuro-Darwinismo
● Modelo de Pavlov – Reflexo condicionado a estímulo
Redes Neurais Auto-Organizáveis
0o3
6
9
45
75
90
o
o
o
o
o
o
o
W
W
39x39
39x2
39 neurônios
39 neurônios
Controle Motor
ré
esquerda
direita
frente(default)
Comportamento
DistânciaSensores de Sensores Nebulosos de Colisão
Sensores Nebulosos de Alvo90o-90o
o
-36
9
45
75
90o
o
o
o
60
o
o60
--
----
Ações de
Regras Nebulosas
.
.
.
.
.
.
. . . . . . . .
Pesos
Seletor de
Pesos
Top Related