Redes Neurais Artificiais Pulsadas
Alexandre Romariz, Ph.D.
Departamento de Engenharia Elétrica
Universidade de Brasília
http://www.ene.unb.br/ romariz/palestras/rnp.pdf
Resumo
• Motivação
• Modelos dinâmicos
• Primitivas Computacionais
• Aprendizado
• Implementação e Aplicações
Conselho Nacional
de Desenvolvimento Científico
e Tecnológico
Universidade de Brasília
University of Colorado
at Boulder
c© 2003 Alexandre Romariz, Universidade de Brasília 1
Motivação - Redes Neurais Artificiais
Neurônio Artificial
• Soma adaptativa das entradas1
• Função de ativação não-linear
Propriedades
• Aprendizado e Generalização2
• Aproximação Universal3
• Memória Associativa4
Aplicações5
• Reconhecimento de Padrões
• Controle não-linear
• Modelamento
Σ wnxn
����
����
����
����
��
xw
1
n
wn
x
1
y=f( )Σ
Layer 1
Layer 2
Inputs
Outputs
c© 2003 Alexandre Romariz, Universidade de Brasília 2
1W. McCulloch and W. Pitts, “A logical calculus of the ideas immanent in nervous activity”,Bulletin of Mathematical Biophysics,5,115–133, 1943.2D. Rumelhtartet al. , “Learning internal representations by error propagation”, inParallel Distributed Processing,MIT Press, 1986.3K. Hornik et al. , “Multilayer feedforward networks are universal approximators”,Neural Networks, 2(5),359–366, 1989.4J. Hopfield, “Neural networks and physical systems with emergent collective computational abilities”,Proc. Natl. Acad. Sci USA,79, 2554–2558, 1982.5Dillon et al. , “Everyday applications of neural networks”,IEEE Transactions on Neural Networks,8,199–207,1997.
Motivação - Redes Neurais Pulsadas
Níveis de abstração
• Representação estática
→ Relação tensão× freqüência
→ Código de freqüência (Rate Code)
• Resposta dinâmica
→ Série de pulsos curtos (spikes)
→ Código temporal
-4 -2 0 2 4Input
0.0
0.2
0.4
0.6
0.8
1.0
Out
put
Vantagens do código temporal
• Maior número de códigos possíveis6
• Resposta rápida a estímulos7
• Computação híbrida (D/A)8
c© 2003 Alexandre Romariz, Universidade de Brasília 3
6S. Thorpeet al., “Spike-based strategies for rapid processing”,Neural Networks, 14(6), 20017F. Riekeet al., Spikes, MIT Press 19978R. Sarpeshlar and M. O’Halloran, “Scalable hybrid computation with spikes”,Neural Computation, 14(9), 2003–2038, 2002
Motivação - Redes Neurais Pulsadas (cont.)Perspectiva Biológica
x1
xn
w1
wn
Axonhillock
����
����
����
����
��
v
t
Nodes of Ranvier
MyelinAxon
Σ
DendritesCell Body
• A maioria dos neurônios produzem pulsos
→ Pulsos são periodicamente regenerados
→ Comunicação mediada por pulsos
c© 2003 Alexandre Romariz, Universidade de Brasília 4
Motivação: Redes Neurais Pulsadas(cont.)
Número de Mensagens
• Contagem: N+1
• Binário: 2N
• Temporal:(T/τ)N
• Ordem: N!
τ
T
1
2
N
Decoder
Evidência neurodinâmica
• Respostas individuais mais reprodutíveis do que se pensava
• Não há tempo para computação de freqüência média
→ Mudança de trajetória de vôo na mosca doméstica: 30 ms após estímulo visual.
→ Reconhecimento de padrões em humanos: 150ms
c© 2003 Alexandre Romariz, Universidade de Brasília 5
Modelos Neurais: Condutâncias DinâmicasModelo de Hodgkin-Huxley9
• Condutâncias controladas por tensão (canais iônicos)
→ Na Rápido, excitatório
→ K Lento, inibitório
vm
gL gNa
VL VNam
u
tK
gK
VV+
−+
− −
−+
+
τv(t) = 1gL
[
gNa︷ ︸︸ ︷gNa0 m3(t) h(t) (v−VNa)+
gK︷ ︸︸ ︷gK0 n4(t) (v−VK)+u(t)]+(v−VL)
m = αm(v) (1−m)−βm(v) mh = αh(v) (1−h)−βh(v) hn = αn(v) (1−n)−βn(v) n
• Sistema dinâmico tetradimensional, não-linearmente acoplado.
c© 2003 Alexandre Romariz, Universidade de Brasília 6
9A.L. Hodgkin and A.F. Huxley,Journal of Physiology117, 1952.
Abstrações Computacionais
Modelo Integração-e-Disparo10
• Integrate-and-fire
• Integrar enquantov < θ
• Sev≥ θ, indicar um pulso e reinicializar
• Baseado em cláusulas condicionais
→ Inadequado para implementação física
Outro Exemplo
• Modelo de Resposta pulsada (Spike Response Model) 11
v(t) = η(t− t)+Z t
0ε(t ′− t)I(t ′) dt′
→ t marca momento do último pulso
c© 2003 Alexandre Romariz, Universidade de Brasília 7
10B.W. Knight,Journal of Physiology59, 197211W. Gerstner, in W.Maass and C.M. Bishop,Pulsed Neural Networks, MIT Press 1999
Equações de FitzHugh-Nagumo
Abstração em nível de SistemasDinâmicos12
• Redução de Dimensionalidade
→ v→ Variável de Excitação
→ w→ Variável de Recuperação
• Não-linearidade única
Pulsing under constant input
0 1 2 3 4Time(t.c.)
-0.50.0
0.5
1.0
1.5
v
1
3
0 1 2 3 40.00.10.20.3
w
24
τvv(t) = f [v]−w(t)+u(t)τww(t) = Av(t)−w(t)• u→ Entrada externa
• f [v] = v(1−v)(v−a), 0 < a < 1
State plane Trajectory
-0.2000 0.1500 0.5000 0.8500 1.2000v
0.1000
0.1500
0.2000
0.2500
0.3000
w
1
2
3
4
8
12R. FitzHugh, “Impulses and physiological states in models of nerve membrane”,Biophysical Journal, 1, 445–466, 1961
Modelos Neurais - Classes DinâmicasIntegradores
• Retorno ao equilíbrio é exponencial
• Entradas Pulsadas:menor intervalo é preferido.
• Pulsos negativos são inibitórios
• Na fronteira da instabilidade,autovalores são zero13.
Ressoadores
• Retorno ao equilíbrio é oscilatório
• Entradas Pulsadas:intervalo ressonante é preferido.
• Pulso negativo pode excitar
• Na fronteira da instabilidade,autovalores são imaginários.
Return to equilibrium
0 1 2 3 4 5Time(ms)
-1.0
-0.5
0.0
0.5
1.0
V
Integrator, τ=10msIntegrator, τ=1ms
Resonator, τ=1ms, ω=2π rad/s
c© 2003 Alexandre Romariz, Universidade de Brasília 9
13E. Izhikevich, “Neural excitability, spiking and bursting”,International Journal of Bifurcation and Chaos,2000.
Primitivas Computacionais
Detetor de Coincidência
• Atrasos adaptativos sintonizados com padrões temporais específicos
• Neurônio com pequena constante de tempo (pouca integração)
• Reconhecimento de Assinaturas Temporais
• Invariância de escala
• Possibilidade de um código de sincronismo na atividade neural
τ1
τ2
�
c© 2003 Alexandre Romariz, Universidade de Brasília 10
Primitivas Computacionais (cont.)
Ressonância e Acoplamento Temporal
• Acoplamento não é multiplicativo
→ Neurônios tipo II
→ Sinapses são dinâmicas
• Abre nova dimensão para acoplamento
• Exemplo: Multiplexação
c© 2003 Alexandre Romariz, Universidade de Brasília 11
Primitivas Computacionais (cont.)
Latência
• Decisão baseada no tempo do primeiro pulso
→ Estimativa muito rápida do perfil de intensidade
�
�
�
�
Tempo
����������� ����������������
����� "!$#�%'& (*),+.-'/$0�1'2(*),+.3'/5476�2
Códigos Populacionais
• Soma das atividades neurais em um grande conjunto
• Variável de dinâmica mais rápida do que o neurônio individual
c© 2003 Alexandre Romariz, Universidade de Brasília 12
Adaptação e aprendizado
Regra de Hebb
• Reforçar as conexões correlatas
• Base das regras de aprendizado em RNAs
• No caso temporal, a regra é mais estável
���������
� �����
� ���������������
�������! #"%$'&(*)
Weight updatecontributions
t
Problemas abertos
• Definição de ‘erro’ em um trem de pulsos
• Técnicas computacionalmente eficientes
c© 2003 Alexandre Romariz, Universidade de Brasília 13
Combinação de Microcircuitos NeuraisArquitetura da Rede
Fixed, uniformconnections
A B
Fixed, randomconnections
Inputs
Modified FNModel Neurons
Adaptive connetions
Outputs
• Neurônios pulsantes têm interconexões fixas
→ Aleatória,esparsa
→ Estado representa histórico recente das entradas
• Camada de saída combina adaptativamente os pulsos
→ Objetivo é claro na saída
→ Regras simples de aprendizado
• Trabalhos Prévios
→ ‘Liquid-state machine’14
→ Echo-state network15
c© 2003 Alexandre Romariz, Universidade de Brasília 14
14W. Maasset al. , “A model for real-time computation in generic neural microcircuits, inAdvances in Neural Information Processing Systems,15,2003.15H. Jaeger, “Adaptive nonlinear system identification with echo state networks”, inAdvances in Neural Information Processing Systems,15,2003.
Exemplo: Aprendendo trajetórias
Descrição
• Aprender a descrever uma trajetória 2D autonomamente
• Não há sinais externos após treinamento
• Testa generalização, robustez
XN-1 YN-1
XN
YN
Teacher
Current Position
Predicted Position
Adaptation
Treinamento em malha aberta
XN-1 YN-1
XN
YN
Teacher
Previous Position
Next Position
Adaptation
Z-1 Z-1
Treinamento em malha fechada
c© 2003 Alexandre Romariz, Universidade de Brasília 15
Trajetória “8”
Condição Inicial
Target and predicted trajectories
-0.4 -0.3 -0.2 -0.1 0.0 0.1x
-0.15
-0.10
-0.05
0.00
0.05
0.10
0.15
y
3 IteraçõesTarget and predicted trajectories
0.00 0.02 0.04 0.06 0.08 0.10 0.12x
0.00
0.02
0.04
0.06
0.08
0.10
0.12
y
4882 IteraçõesTarget and predicted trajectories
-0.05 0.00 0.05 0.10 0.15x
-0.05
0.00
0.05
0.10
0.15
y
291 Iterações
Malha FechadaTarget and actual trajectories
-0.05 0.00 0.05 0.10 0.15x
-0.05
0.00
0.05
0.10
0.15
y
• Trajetória se cruza
• Requer memória de curto prazo
c© 2003 Alexandre Romariz, Universidade de Brasília 16
Implementação Optoeletrônica
Vantagens
• Interconexão maciça
• Paralelismo
• Operações casadas com a física dosdispositivos
→ Produtos vetoriais
LED Input Array
Interconnection MatrixDetector Array
�
� � ��� ���
Matrix - Vector Multiplier
Implementações prévias
• Redes de Hopfield16
• Retropropagação
• Aprendizado Competitivo17
• Memória Associativa
• Redes com atraso18
c© 2003 Alexandre Romariz, Universidade de Brasília 17
16N. Farhatet al. , “Optical implementation of the Hopfield model”,Applied Optics,24,1469–1475, 1985.17K. Wagner and T. Slagle, “Optical competitive learning with VLSI liquid-crystal winner-take-all modulators”,Applied Optics,32,1408–1435,1993.18G. Zhou and D. Anderson, “Acoustic signal recognition with a photorefractive time-delay neural network”,Optics Letters,19,655-657,1994.
Sistema Experimental
LiNbO3
���������������
���������������
���������������������
���������������
MirrorPBS
ne
no
PD
Collimation
OSC
VCSEL
+f[v]
Optical Input
Electronic Feedback
vu
τvv(t) = −v+ f (v)+u(t)−w(t)τww(t) = Av(t)−w(t)
• f [v] implementada optica-mente
• Termos restantes são linea-res
+
-
u+f(v)
R1
C
+
-
v
R2
L
VB
w
+Circuito de Retroalimentação
• v→ Tensão no capacitor
• w→ Corrente no indutor
• Parâmetros
τv = R1C
τw =LR2
A =R1
R2
c© 2003 Alexandre Romariz, Universidade de Brasília 18
Experimentos: Pulsos de baixa freqüência
Verificando características dinâmicasSimulação
Input (V)
0 20 40 60 80 100Time(τv)
0.00.10.2
Driver Voltage (V)
0 20 40 60 80 100-0.20.00.2
Recovery (V)
0 20 40 60 80 1000.00
0.05
0.10
Detected Optical Signal (V)
0 20 40 60 80 1000.00
0.05
0.10
Experimento
• Limiar
• Produção dePulsos
• Períodorefratário
Oscilações sustentadasDriver Voltage(V)
10 20 30 40 50Time(τv)
0.0800.1050.1300.1550.180
Recovery
10 20 30 40 500.000.030.060.090.12
Detectd signal
10 20 30 40 500.0000.025
0.050
0.075
0.100
c© 2003 Alexandre Romariz, Universidade de Brasília 19
Experimentos: Bursting
Resultado Experimental• Polarização apenas
• Taxa de Repetição∼ 80KHz
• Burstsa 1.5MHz
• Não previsto no sistema 2D
Explicação• Efeito passa-altas dodriver
• DC necessário para manter oscilação(polarização pequena)
•
τvv = −v+g(y) f (θ)−w+xτww = −w+avτθθ = −θ+RThh(y)τyy = −y+ τyv
Simulação
• Dinâmica mais complexa pode ser obtida simplesmente
c© 2003 Alexandre Romariz, Universidade de Brasília 20
Arranjo para acoplamento óptico
Electronics
Electronics
���������������������
���������������������
3LiNbO
����������������������������
����������������������������
L3
L4
PBS
VCSELs
L2
f=3.3mm
L1
f=250mm
f=50mm
D1
D2
M2
BS
• Divisor de Feixe e Espelho transferem energia óptica
• Efeito do acoplamento verificado para diferentes níveis de polarização
c© 2003 Alexandre Romariz, Universidade de Brasília 21
Resultados do acoplamento ópticoDesacoplado Acoplado
• Pol. Baixa
• Energia óptica é recebida
• Pulsação esporádica
• Pol. Média
• Atividade desacopladainduzida por ruído
• Pulsação freqüente (masirregular) quando acoplado
• Pol. Elevada
• Oscilações irregulares comvários picos
• Regularidade e correlaçãoaumentam com acoplamento
c© 2003 Alexandre Romariz, Universidade de Brasília 22
Aplicações
Reconhecimento de Imagens
• Buonomano e Merzenich 199919
→ Explora as invariâncias naturais do código temporal
→ 93.4% de acerto em reconhecimento de dígitos manuscritos.
• van Rullen e Thorpe 200120
→ Reconhecimento rápido baseado no código de ordem.
→ Qualidade da reconstrução estabiliza após o disparo de 5% dos neurônios.
→ Aplicado ao reconhecimento de faces21
Reconhecimento de sons
• Operação direta sobre a forma de onda
• Invariância a várias formas de distorção
c© 2003 Alexandre Romariz, Universidade de Brasília 23
19D. Buonomano, M. Merzenich, “A neural network model of temporal code generation and position-invariant pattern recognition”,Neural Computation, 11, 103–116, 1999.20R. van Rullen, S. Thorpe, “Rate coding versus temporal order coding: what can the retinal ganglion cells tell the visual cortex”,Neural Computation,13,1255–1283,2001.21S. Thorpe, A. Delorme and R. van Rullen,“Spike-based strategies for rapid processing”,Neural Networks,14,715-725,2001.
Outras características neurais relevantes
Dinâmica sináptica
• Permite seleção de padrões temporais complexos
Integração Espacial
• Neurônio não é uma estrutura pontual.
• Sinais são integrados ao longo da árvore dendrítica.
Futuros Desafios
• Encontrar o ponto de equilíbrio
→ Plausibilidade biológica
→ Modelamento matemático
→ Eficiência computacional
• Implementar grandes redes
→ Combinação de óptica e micro-(nano-)eletrônica
c© 2003 Alexandre Romariz, Universidade de Brasília 24
Top Related