Análise de modelo de Hopfield com topologia de rede complexa€¦ · que Redes Neurais Ca oticas,...

Análise de modelo de Hopfield com topologia de rede complexa

Fabiano Berardo de Sousa

Análise de modelo de Hopfield com topologia de rede complexa

Fabiano Berardo de Sousa

Orientador: Prof. Dr. Zhao Liang

Dissertação apresentada ao Instituto de Ciências Matemáticas e de Computação - ICMC-USP, como parte dos requisitos para obtenção do título de Mestre em Ciências - Ciências de Computação e Matemática Computacional. VERSÃO REVISADA

USP – São Carlos Janeiro de 2014

SERVIÇO DE PÓS-GRADUAÇÃO DO ICMC-USP

Data de Depósito: Assinatura:________________________

Ficha catalográfica elaborada pela Biblioteca Prof. Achille Bassi e Seção Técnica de Informática, ICMC/USP,

com os dados fornecidos pelo(a) autor(a)

S725aSousa, Fabiano Berardo de Análise de modelo de Hopfield com topologia derede complexa / Fabiano Berardo de Sousa;orientador Liang Zhao. -- São Carlos, 2013. 78 p.

Dissertação (Mestrado - Programa de Pós-Graduaçãoem Ciências de Computação e MatemáticaComputacional) -- Instituto de Ciências Matemáticase de Computação, Universidade de São Paulo, 2013.

1. Redes Neurais Artificiais. 2. modelo deHopfield. 3. Redes Neurais Caóticas. 4. RedesComplexas. 5. Sistemas Dinâmicos. I. Zhao, Liang,orient. II. Título.

A minha famılia.

Agradecimentos

Agradeco ao meu orientador Zhao Liang pela oportunidade e pela otima orientacao, a minha

famılia pelo apoio emocional, a Fundacao de Amparo a Pesquisa do Estado de Sao Paulo

(FAPESP) pelo apoio financeiro.

Resumo

Redes neurais biologicas contem bilhoes de celulas (neuronios) agrupadas em regioes espa-

cial e funcionalmente distintas. Elas tambem apresentam comportamentos complexos, tais

como dinamicas periodicas e caoticas. Na area da Inteligencia Artificial, pesquisas mostram

que Redes Neurais Caoticas, isto e, modelos de Redes Neurais Artificiais que operam com

dinamicas complexas, sao mais eficientes do que modelos tradicionais no que diz respeito a

evitar memorias espurias. Inspirado pelo fato de que o cortex cerebral contem agrupamentos

de celulas e motivado pela eficiencia no uso de dinamicas complexas, este projeto de pesquisa

investiga o comportamento dinamico de um modelo de Rede Neural Artificial Recorrente, como

o de Hopfield, porem com a topologia sinaptica reorganizada a ponto de originar agrupamentos

de neuronios, tal como acontece em uma Rede Complexa quando esta apresenta uma estrutura

de comunidades. O modelo de treinamento tradicional de Hopfield tambem e alterado para

uma regra de aprendizado que posta os padroes em ciclos, gerando uma matriz de pesos as-

simetrica. Resultados indicam que o modelo proposto oscila entre comportamentos perıodicos e

caoticos, dependendo do grau de fragmentacao das sinapses. Com baixo grau de fragmentacao,

a rede opera com dinamica periodica, como consequencia da regra de treinamento utilizada.

Dinamicas caoticas parecem surgir quando existe um alto grau de fragmentacao. Mostra-se,

tambem, que e possıvel obter caoticidade em uma topologia adequadamente modular, ou seja,

como uma estrutura de comunidades valida. Desta forma, este projeto de pesquisa prove uma

metodologia alternativa para se construir um modelo de Rede Neural Artificial que realiza tare-

fas de reconhecimento de padroes, explorando dinamicas complexas por meio de uma estrutura

de conexoes que se mostra mais similar a topologia existente no cerebro.

Palavras-chave: redes neurais artificiais, modelo de hopfield, redes neurais caoticas, redes

complexas, sistemas dinamicos.

Abstract

Biological neural networks contain billions of neurons divided in spatial and functional clusters

to perform different tasks. It also operates with complex dynamics such as periodic and chaotic

ones. It has been shown that Chaotic Neural Networks are more efficient than conventional

recurrent neural networks in avoiding spurious memory. Inspired by the fact that the cerebral

cortex has specific groups of cells and motivated by the efficiency of complex behaviors, in this

document we investigate the dynamics of a recurrent neural network, as the Hopfield one, but

with neurons coupled in such a way to form a complex network community structure. Also,

we generate an asymmetric weight matrix placing pattern cycles during learning. Our study

shows that the network can operate with periodic and chaotic dynamics, depending on the

degree of the connection’s fragmentation. For low fragmentation degree, the network operates

with periodic dynamic duo to the employed learning rule. Chaotic behavior seems to rise for

a high fragmentation degree. We also show that the neural network can hold both chaotic

dynamic and a high value of modularity measure at the same time, indicating an acceptable

community structure. These findings provide an alternative way to design dynamical neural

networks to perform pattern recognition tasks exploiting periodic and chaotic dynamics by

using a more similar topology to the topology of the brain.

Keywords: artificial neural networks, hopfield model, chaotic neural networks, complex networks,

dynamical systems.

Sumario

Lista de Figuras xi

1 Introducao 1

1.1 Contextualizacao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 Objetivos e Motivacoes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.3 Organizacao do Documento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

2 Topicos Fundamentais 5

2.1 Sistemas Dinamicos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.1.1 Dinamica Estacionaria . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.1.2 Dinamica Periodica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2.1.3 Dinamica Caotica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.1.4 Estabilidade de Pontos Fixos em Sistemas Dinamicos Nao-Lineares . . . 11

2.1.5 Analise do Comportamento de Sistemas Dinamicos . . . . . . . . . . . . 14

2.2 Algumas Caracterısticas das Redes Neurais Biologicas . . . . . . . . . . . . . . . 23

2.2.1 A Estrutura Basica do Cerebro . . . . . . . . . . . . . . . . . . . . . . . 23

2.2.2 A Neurodinamica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

2.2.3 O Aprendizado Hebbiano . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

2.3 O Modelo de Hopfield . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

2.4 Redes Complexas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

3 Extensoes de Redes Recorrentes 39

3.1 Redes Celulares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

3.2 Rede Hopfield com Topologia Livre de Escala . . . . . . . . . . . . . . . . . . . 43

3.3 Redes Neurais Caoticas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

ix

4 O Modelo de Rede Recorrente com Estrutura de Comunidades 53

4.1 Metodologia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

4.1.1 Geracao da Topologia de Rede . . . . . . . . . . . . . . . . . . . . . . . . 54

4.1.2 Regra de Aprendizado . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

4.1.3 Regra de Propagacao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

4.1.4 Analise do Comportamento Dinamico . . . . . . . . . . . . . . . . . . . . 57

4.2 Analise do Modelo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

4.2.1 Calculo do Numero de Conexoes . . . . . . . . . . . . . . . . . . . . . . . 57

4.2.2 Relacao entre Parametros na Condicao de Bifurcacao . . . . . . . . . . . 58

4.3 Experimentos e Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

4.3.1 Verificacao do Comportamento Periodico . . . . . . . . . . . . . . . . . . 60

4.3.2 Analise do Surgimento do Comportamento Caotico . . . . . . . . . . . . 63

4.3.3 Analise do Comportamento Dinamico no Contexto de Comunidades . . . 63

5 Consideracoes Finais 69

5.1 Conclusoes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

5.2 Contribuicoes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

5.3 Trabalhos Futuros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

Bibliografia 73

Lista de Figuras

2.1 Representacao da dinamica estacionaria do mapa logıstico da Equacao 2.4 quando

a = 2, 75 e x0 = 0, 50. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2.2 Representacao da dinamica periodica do mapa logıstico da Equacao 2.4 com

a = 3, 20 e x0 = 0, 50. Nota-se uma dinamica de perıodo 2. . . . . . . . . . . . . 9

2.3 Representacao da dinamica periodica do mapa logıstico da Equacao 2.4 com

a = 3, 50 e x0 = 0, 50. Neste caso, ha uma dinamica de perıodo 4. . . . . . . . . 9

2.4 Representacao da dinamica caotica do mapa logıstico da Equacao 2.4 com a =

3, 95 e x0 = 0, 50. Nota-se um comportamento erratico nao-periodico. . . . . . . 11

2.5 Diagrama de bifurcacao que apresenta o comportamento dinamico do mapa

logıstico da Equacao 2.4 em relacao aos valores assumidos pelo coeficiente de

bifurcacao a. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

2.6 Expoentes de Lyapunov λ do mapa logıstico segundo a Equacao 2.18 em relacao

aos valores assumidos pelo coeficiente de bifurcacao a. . . . . . . . . . . . . . . . 16

2.7 Expoentes de Hurst H do mapa logıstico da Equacao 2.4 em relacao aos valores

do coeficiente de bifurcacao a. O espectro exibe dinamicas periodicas (valores

proximos a 0) e caoticos (valores proximos a 0, 5). Nota-se que nao existe expo-

ente para os valores de a em que o mapa apresenta uma dinamica estacionaria. . 19

2.8 Coeficientes de Fourier c da serie temporal com dinamica estacionaria exibida

pela Figura 2.1. A curva constante salienta um comportamento estacionario. . . 21

2.9 Coeficientes de Fourier c da serie temporal com dinamica periodica de perıodo 2

exibida pela Figura 2.2. O pico ao centro indica um comportamento periodico. . 22

2.10 Coeficientes de Fourier c da serie temporal com dinamica periodica de perıodo 4

exibida pela Figura 2.3. Notam-se 3 picos sobressalentes, indicando que ha um

relacionamento entre o numero de picos e o numero de perıodos da serie. . . . . 22

xi

xii LISTA DE FIGURAS

2.11 Coeficientes de Fourier c da serie temporal com dinamica caotica exibida pela

Figura 2.4. A curva irregular reforca a indicacao de um comportamento caotico. 22

2.12 Mapa do cortex cerebral evidenciando suas diversas regioes estruturais e funci-

onais. As areas consideradas mais importantes sao: 1, 2 e 3: cortex somatosen-

sorial; 4. cortex motor; 6. cortex pre-motor; 17, 18 e 19: cortex visual; 41 e 42:

cortex auditivo. Fonte: Haykin 1999, p. 10. . . . . . . . . . . . . . . . . . . . . 25

2.13 Exemplo de uma Rede Complexa: rede de relacoes entre membros do clube de

karate Zachary [Zachary 1977]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

2.14 Tipos de Redes Complexas: (a) Rede Aleatoria, (b) Rede Pequeno-Mundo, (c)

Rede Livre de Escala. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

2.15 Estrutura de comunidades da rede de relacoes entre membros do clube de karate

exibida na Figura 2.13. 5 comunidades sao observadas. . . . . . . . . . . . . . . 36

3.1 Expoentes de Lyapunov para a Equacao 3.16 pela variacao do parametro θ(t) =

a, com k = 0, 5, ε = 0, 015 e α = 1, 0. Valores positivos de λ indicam dinamica

caotica; valores negativos indicam outras dinamicas; valores iguais a zero indicam

pontos de bifurcacao. Fonte: Adachi e Aihara 1997. . . . . . . . . . . . . . . . . 46

3.2 Diagrama de bifurcacao da Equacao 3.16. Grafico do estado interno u do

neuronio pela variacao do parametro θ(t) = a, com k = 0, 5, ε = 0, 015 e

α = 1, 0. Fonte: Adachi e Aihara 1997. . . . . . . . . . . . . . . . . . . . . . . . 46

3.3 Base utilizada na analise do modelo proposto. Padroes de (a) a (d) sao ar-

mazenados e o padrao (e) utilizado para recuperacao associativa dos padroes

armazenados. Fonte: Adachi e Aihara 1997. . . . . . . . . . . . . . . . . . . . . 48

3.4 Demonstracao da dinamica estacionaria para α = kf = kr = 0. O padrao visto

em t = 0 converge para o padrao armazenado (c) da Figura 3.3. Fonte: Adachi

e Aihara 1997. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

3.5 Saıdas da rede durante o ciclo de recuperacao de padrao para α = 8, 0, kf = 0, 15

e kr = 0, 5. Nota-se um comportamento periodico ou quase-periodico, no qual

a rede, algumas vezes, aproxima-se do padrao (c) da Figura 3.3, porem nao o

mantem estavel. Fonte: Adachi e Aihara 1997. . . . . . . . . . . . . . . . . . . . 49

3.6 Saıdas da rede durante o ciclo de recuperacao de padrao para α = 10, 0, kf = 0, 2

e kr = 0, 9. Nota-se uma trajetoria semelhante a de uma itinerancia caotica, na

qual cada um dos quatro padroes, ora ou outra, e visitado pela rede. Fonte:

Adachi e Aihara 1997. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

LISTA DE FIGURAS xiii

4.1 Exemplo da topologia do modelo de RNA proposto para N = 100, C = 4,

Pin = 1, 00 e Pout = 0, 10. As comunidades contem 25 neuronios cada. A

Medida de Modularidade para esta topologia e Q = 0, 452569. . . . . . . . . . . 55

4.2 Organizacao de 10 padroes (M = 10) em 2 ciclos (K = 2). Cada ciclo contem 5

diferentes padroes (L = 5). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

4.3 Curva da relacao entre Pout e C, dada pela Equacao 4.10. . . . . . . . . . . . . . 59

4.4 Base de padroes: imagens binarias de 10 × 10 pixeis. (a) mostra os padroes a

serem armazenados. O padrao em (b) e utilizado na fase de propagacao. . . . . 60

4.5 Evolucao da rede para o padrao apresentado na Figura 4.4(b). Os padroes da

Figura 4.4(a) sao organizados em um ciclo (K = 1 e L = 4). Nota-se um

comportamento periodico de perıodo 4, no qual a rede converge para o ciclo unico. 61

4.6 Serie temporal do estado interno u referente a evolucao exibida pela Figura 4.5.

Reforca-se a observacao de um comportamento periodico de perıodo 4. . . . . . 61

4.7 Evolucao da rede para o padrao apresentado na Figura 4.4(b). Os padroes da

Figura 4.4(a) sao organizados em 2 ciclo, 2 padroes em cada ciclo (K = 2 e

L = 2). Desta vez, nota-se um comportamento periodico de perıodo 2, no qual

a rede converge para o primeiro dos dois ciclos. . . . . . . . . . . . . . . . . . . 62

4.8 Serie temporal do estado interno u referente a evolucao exibida na Figura 4.7.

Reforca-se a observacao de um comportamento periodico de perıodo 2. . . . . . 62

4.9 Analise do comportamento dinamico da rede considerando uma base de 30

padroes divididos em 5 ciclos, 6 padroes por ciclo (K = 5 e L = 6). Em

(a) e exibido o diagrama de bifurcacao do estado interno u em relacao a Pin,

para C = 1 e Pout = 1. (b) mostra o espectro dos expoentes de Hurst H para a

mesma evolucao. Nota-se uma regiao de bifurcacao para Pin em torno de 0, 20. . 64

4.10 Comportamento da rede para Pin = 0, 30, C = 1 e Pout = 1. (a) mostra uma serie

temporal periodica de perıodo 6 que e ratificado pelos coeficientes de Fourier c

em (b). O expoente de Hurst para a serie e H = 0, 060113, valor que tambem

indica um comportamento periodico. . . . . . . . . . . . . . . . . . . . . . . . . 65

4.11 Analise do comportamento da rede para Pin = 0, 10, C = 1 e Pout = 1. Em (a) e

exibida a serie temporal e em (b) os relacionados coeficientes de Fourier. O expo-

ente de Hurst da serie e H = 0, 493295. Este dados sugerem um comportamento

caotico. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

4.12 Variacao do valor crıtico de Pout em relacao ao numero C de comunidades. Nota-

se que nao ha alteracao significante no valor de Pout para C ≥ 50. . . . . . . . . 66

xiv LISTA DE FIGURAS

4.13 Comparacao entre as curvas datas pela Figura 4.12 e pela Equacao 4.10 quando

N = 400, p(c) = 0, 20. e θ = 0, 202. Observa-se que o resultado experimental e

compatıvel com o resultado teorico. . . . . . . . . . . . . . . . . . . . . . . . . . 67

4.14 Variacao da Medida de Modularidade Q pelo numero de C, considerando Pout =

0, 05 e Pin = 1. (a) mostra a curva completa e (b) magnifica a regiao na qual

Q ≥ 0, 3. E indicado que a rede possui uma estrutura de comunidade valida

para 2 ≤ C ≤ 29. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

4.15 Comportamento dinamico da rede para C = 20, Pout = 0, 05 e Pin = 1. (a)

mostra a serie temporal e (b) os coeficientes de Fourier. Para esta serie, a

Modularidade e Q = 0, 387818 e o expoente de Hurst e H = 0, 587774. Este

resultado indica que a rede pode comportar-se caoticamente e, ao mesmo tempo,

exibir uma estrutura de comunidades valida. . . . . . . . . . . . . . . . . . . . . 68

Capıtulo 1Introducao

Este capıtulo discute, na Secao 1.1, o contexto de pesquisa no qual este projeto se insere.

A Secao 1.2 disserta sobre as motivacoes e objetivos gerais. A organizacao do restante deste

documento e comentada na Secao 1.3.

1.1 Contextualizacao

O cerebro e considerado o principal orgao responsavel pelo processamento da informacao

em animais dotados de um sistema nervoso central. Pode ser encarado como um processador de

sinais que explora um paralelismo massivo por meio de um numero muito vasto de elementos

processadores chamados neuronios. Estas celulas nervosas conectam-se umas as outras por

meio de substancias quımicas (os neurotransmissores) formando as sinapses neurais, as quais

permitem a continuidade do sinal eletrico que trafega pela celula. A existencia, a quantidade

e o tipo das sinapses e o que da ao cerebro sua capacidade de armazenar, processar, recuperar

e, principalmente, de generalizar informacoes (aprendizado) [McClelland e Rumelhart 1986].

Inspiradas na estrutura do cerebro humano, as Redes Neurais Artificiais (RNAs) represen-

tam uma tentativa computacional para explorar os mecanismos de processamento e memoria

presentes nos sistemas neurais biologicos. Tratam-se, portanto, de sistemas de processamento

paralelo e distribuıdo compostos por unidades de processamento simples (neuronios artificiais)

que calculam determinadas funcoes matematicas, normalmente nao-lineares, chamadas funcoes

de ativacao. Tais unidades sao dispostas em uma ou mais camadas e interligadas por um certo

numero de conexoes (sinapses), normalmente unidirecionais. Na maioria dos modelos, as co-

nexoes estao associadas a pesos, os quais servem para armazenar o conhecimento adquirido e

ponderar a entrada recebida por cada neuronio da rede [Haykin 1999].

Tal como o cerebro, RNAs sao capazes de: (i) aprender por meio de exemplos, (ii) generalizar

1

2 Introducao

a informacao armazenada e (iii) reconhecer padroes, tornando-se importante ferramenta na

area de aprendizado de maquina. Ha muitos modelos diferentes de RNAs, cada qual baseado

em diferentes metodologias e aplicado para fins especıficos. Um modelo que particularmente

interessa a este projeto e o modelo proposto por Hopfield em 1982, por tratar-se de uma Rede

Neural Recorrente que funciona como uma memoria associativa, como o cerebro, e que opera

com um comportamento dinamico estacionario, conforme discutido na Secao 2.3. Por outro

lado, tem-se demostrado que o cerebro dificilmente opera com dinamicas estacionarias, mas sim

complexas (como periodicas e caoticas). Neste sentido, as chamadas Redes Neurais Caoticas

surgem como modelos recorrentes alternativos e com um comportamento dinamico mais similar

ao funcionamento do cerebro. Alem disso, tem-se demostrado que o uso de dinamicas complexas

pode ajudar a superar algumas das limitacoes de modelos recorrentes tradicionais como, por

exemplo, a existencia de memorias ditas indesejaveis, ou espurias.

Alem do comportamento dinamico complexo, as redes biologicas tambem apresentam uma

topologia extremamente complexa e difıcil de ser reproduzida por modelos artificiais. Ha um

numero muito grande de neuronios e sinapses que permanecem em constante evolucao e se

organizam em blocos funcionais especializados, cada qual responsavel por uma atividade es-

pecıfica. Neste sentido, uma area de pesquisa que atualmente fornece o ferramental teorico e

pratico para lidar com tais estruturas de grande porte e a das chamadas Redes Complexas.

Na area da ciencia da computacao, tem-se visto um numero cada vez maior de pesquisas

relacionadas ao estudo das redes complexas, dado ao aumento do poder computacional nas

ultimas decadas e, principalmente, a sua relevancia multidisciplinar. Lidando com quantidades

muito vastas de unidades e conexoes, as redes complexas modelam perfeitamente varios sistemas

dinamicos reais (como redes metabolicas, redes sociais, redes de citacoes, redes de computadores

- como a Internet - e, neste caso particular de interesse, as redes neurais biologicas) sendo sua

teoria aplicada, seja para estudar e resolver problemas especıficos da area, seja para extrair in-

formacoes relevantes destes sistemas [Albert e Barabasi 2002], [Boccaletti et al. 2006], [Newman

2003].

1.2 Objetivos e Motivacoes

Inspirado pelo fato de que o cortex cerebral apresenta dinamica e topologia complexas,

este projeto analisa o comportamento de um modelo de Hopfield porem com seus neuronios

e conexoes reestruturados de forma a apresentarem a estrutura topologica de comunidades de

uma rede complexa. Desta forma, e proposto um novo modelo de Rede Neural Caotica cuja

dinamica caotica surge como consequencia da estrutura de comunidades. Trata-se, portanto de

1.3 Organizacao do Documento 3

um modelo inedito cuja dinamica e estrutura topologica sao mais similares ao cerebro do que

outros modelos de RNAs.

Assim sendo, os seguintes objetivos sao definidos:

• Gerar um modelo de RNA recorrente, baseado no modelo de Hopfield, mas que apresente

uma estrutura de comunidades valida.

• Analisar o comportamento dinamico do modelo proposto em diferentes configuracoes da

estrutura de comunidades.

• Avaliar o grau de modularidade nas diferentes configuracoes da estrutura de comunidades

utilizadas no item anterior.

Tais objetivos sao revisitados e aprofundados no Capıtulo 4.

1.3 Organizacao do Documento

Este documento esta organizado da seguinte forma: no Capıtulo 2, apresenta-se uma re-

visao bibliografica sobre conceitos fortemente relacionados com este projeto, como Sistemas

Dinamicos, funcionamento basico do cerebro e neurodinamica, o modelo de Hopfield e Redes

Complexas. No Capıtulo 3, abordam-se alguns trabalhos de pesquisa, como Redes Celulares,

Rede de Hopfield com topologia de Rede Livre de Escala e Redes Neurais Caoticas, os quais,

de forma direta ou indireta, relacionam-se com o modelo de Hopfield e com este projeto. O

Capıtulo 4 discute a metodologia e os resultados obtidos. Por fim, as conclusoes e contribuicoes

sao dissertadas no Capıtulo 5.

4 Introducao

Capıtulo 2Topicos Fundamentais

Sao apresentados neste capıtulo os principais conceitos relacionados com o tema de pesquisa

deste trabalho. O capıtulo inicia-se abordando conceitos basicos sobre a teoria de Sistemas

Dinamicos na Secao 2.1. Na Secao 2.2 sao descritas algumas caracterısticas das redes neurais

biologicas, as quais embasam as motivacoes deste projeto de pesquisa. O modelo de RNA de

Hopfield, proposto em 1982, e discutido na Secao 2.3. O capıtulo encerra-se com a abordagem,

ainda que em carater introdutorio, dos conceitos e caracterısticas das Redes Complexas na

Secao 2.4.

2.1 Sistemas Dinamicos

Sistemas Dinamicos sao sistemas que evoluem no tempo e essa evolucao pode ser des-

crita por modelos matematicos baseados em equacoes diferenciais (para sistemas cujo tempo

e considerado contınuo) ou equacoes de diferencas (para sistemas cujo tempo e considerado

discreto) [Ott 1993]. Sistemas dinamicos contınuos sao tambem chamados de fluxo e sistemas

dinamicos discretos de mapa. Tais modelos nao se preocupam em obter solucoes explıcitas para

as equacoes, mas sim em tentar prever o comportamento do sistema a longo prazo, medindo

propriedades como: estabilidade mediante perturbacoes, ocorrencia de mudancas (bifurcacoes),

entre outras.

A teoria de sistemas dinamicos teve inicio a partir da invencao do Calculo Diferencial, por

Newton e Leibnitz, utilizado principalmente para interpretar problemas relacionados com a

mecanica celeste, como o problema dos tres corpos [Strogatz 1989]. Hoje em dia, as equacoes

diferenciais sao ferramenta indispensavel para estudar e descrever os mais diversos fenomenos

que evoluem no tempo, sejam fısicos, economicos, sociais, biologicos, entre outros, tais como

a dinamica cerebral (tambem chamada de Neurodinamica), cujo primeiro trabalho conhecido

5

6 Topicos Fundamentais

remete a Nicholas Rashevisk em 1938, de acordo com Haykin 1999.

A caracterıstica fundamental de um sistema dinamico e a retroalimentacao (recorrencia, ou

feedback), ou seja, o estado do sistema em um dado instante de tempo depende do estado do

sistema no instante de tempo anterior (configurando uma especie de memoria). Matematica-

mente, um sistema dinamico de tempo discreto pode ser descrito pela equacao de diferencas

como segue:

x(t+ 1) = f(x(t)), (2.1)

onde t e o tempo (discreto), x e a variavel independente que denota o estado do sistema e f e

a funcao que descreve como o sistema evolui no tempo. Por outro lado, se x assumir valores

contınuos, o sistema e descrito pelas seguintes equacoes diferenciais:dx1dt

= f1(x1(t), x2(t), ..., xn(t))dx2dt

= f2(x1(t), x2(t), ..., xn(t))...dxndt

= fn(x1(t), x2(t), ..., xn(t)),

(2.2)

onde n e a dimensao do sistema. Em formato vetorial, o mesmo sistema pode ser representado

como: x = f(x(t))

x(t0) = x0,(2.3)

onde x e o vetor de estados, x significa dx/dt e x0 e o estado inicial.

Para qualquer estado inicial x0, o sistema alcancara um estado futuro x(t, t0, x0), para t > 0.

O caminho gerado pela mudanca contınua de estado no espaco de estados e conhecido como

orbita ou trajetoria. Se f e uma funcao diferenciavel, entao existe uma unica solucao para a

Equacao 2.3 dada uma condicao inicial x0 [Ott 1993]. De acordo com o comportamento da

funcao f , um sistema dinamico pode ser classificado como linear (se f for linear), ou nao-linear

(se f for nao-linear). Vale a pena mencionar que observa-se na natureza que a maioria dos

fenomenos, ou leis, comportam-se de maneira nao-linear.

Em relacao a analise a longo prazo, um dos principais objetos de interesse da teoria de siste-

mas dinamicos e o estudo do comportamento assintotico do sistema, ou seja, o comportamento

quando t→∞ [Devaney 1989]. Neste sentido, um sistema dinamico pode apresentar diversos

tipos de atratores, ou seja, um ponto, ou uma regiao no espaco de estados para onde as tra-

jetorias convergem a partir de determinadas condicoes iniciais. Os atratores mais comuns sao:

estacionario (ou ponto fixo), ciclo limite (ou periodico), quase-periodico e caotico. O perıodo

2.1 Sistemas Dinamicos 7

de tempo que o sistema leva ate atingir a convergencia para um atrator e normalmente descrita

como fase de transiencia (ou simplesmente transiente).

As proximas subsecoes discutem mais aprofundadamente alguns destes atratores. Como

resultado de simulacoes computacionais, estas subsecoes apresentam series temporais obtidas

para o mapa logıstico, dado pela Equacao 2.4. Trata-se de um mapa unidimensional e nao-

linear que emergiu na decada de 70 para calculos demograficos e que, atualmente, e largamente

utilizado como fonte para demonstracao de comportamentos dinamicos, pois, pela variacao de

apenas um parametro, e possıvel obter dinamicas distintas e facilmente observaveis.

x(t+ 1) = ax(t)(1− x(t)), (2.4)

onde t e o tempo (discreto), x e a variavel de estado e a e dito parametro de bifurcacao. De

acordo com o valor de a, pode-se observar as diversas dinamicas abordadas nas subsecoes a

seguir.

2.1.1 Dinamica Estacionaria

Um ponto fixo (tambem chamando de ponto de equilıbrio para sistemas de tempo contınuo)

e um estado do espaco de estados que, uma vez atingido, o sistema nele permanece ao decorrer

do tempo. Em outras palavras, ao atingir-se um ponto fixo, o sistema retorna sempre o mesmo

valor. Matematicamente, um dado ponto x∗ e considerado um ponto fixo se:

f(x∗) = x∗. (2.5)

No caso do sistema dinamico logıstico apresentado na Equacao 2.4, o ponto fixo representa

uma solucao constante data por:

x(t+ 1) = x(t). (2.6)

Na Figura 2.1 e ilustrada a serie temporal (ou seja, o comportamento da trajetoria ao longo

do tempo) do mapa logıstico, considerando-se o valor do parametro de bifurcacao a = 2, 75 e

condicao inicial x0 = 0, 50. Nota-se que quando t→∞, o valor de x(t+1) permanece constante

em 0, 636364, evidenciando que o sistema converge para um ponto atrator.

Um ponto fixo e dito estavel se solucoes que tem inıcio em uma certa vizinhanca proxima

deste, permanecem nesta mesma vizinhanca conforme o tempo prossegue. De maneira mais

formal, definicoes sobre a estabilidade de pontos fixos sao dadas a seguir.

Definicao: Um ponto fixo x∗ e estavel se, para toda vizinhanca Nε de x∗, existe uma


Figura 2.1: Representacao da dinamica estacionaria do mapa logıstico da Equacao 2.4 quandoa = 2, 75 e x0 = 0, 50.

vizinhanca Nδ em Nε, tal que toda solucao x(t), com x(0) em Nδ, e definida e permanece

em Nε para todo t > 0.

Definicao: Se um ponto fixo x∗ e estavel e se toda solucao x(t) tende a x∗ (ou seja:

limt→∞x(t) = x∗), entao x∗ e dito assintoticamente estavel.

Definicao: Se existe ao menos uma vizinhanca Nε de x∗ tal que, para toda vizinhanca Nδ

em Nε, existe ao menos uma solucao x(t), com inicio x(0) em Nδ, que nao pertence a Nε,

entao x∗ e instavel.

Um criterio para determinacao da estabilidade de pontos fixos pode ser estabelecido pelas

seguintes condicoes:

(a) Se |f ′(x∗)| < 1, entao x∗ e assintoticamente estavel.

(b) Se |f ′(x∗)| > 1, entao x∗ e instavel.

(observa-se que no caso |f ′(x∗)| = 1, maiores analises sao necessarias).

Uma analise mais profunda sobre a estabilidade de pontos fixos, considerando-se o caso de

sistemas nao-lineares, e apresentada na Subsecao 2.1.4.

2.1.2 Dinamica Periodica

Tem-se um atrator do tipo periodico quando o comportamento do sistema se repete ao

longo do tempo, ou seja, ha uma repeticao sucessiva de valores quando t → ∞. O numero de

iteracoes entre as repeticoes e chamado de perıodo. Um ciclo de perıodo p ocorre se:


x(t+ p) = x(t)

x(t+ j) 6= x(t), j = 1, 2, ..., p− 1.(2.7)

Outra forma de se representar um comportamento periodico e:

fp(x) = x, (2.8)

onde fp representa a p-esima iteracao da funcao f , ou seja: f(f(f(...))) p vezes. Neste caso,

diz-se que ha uma dinamica de perıodo p.

Considerando um valor de a = 3, 20 para mapa logıstico dado pela Equacao 2.4, existe um

comportamento periodico de perıodo 2, o qual e ilustrado pela serie temporal da Figura 2.2.

Ja a Figura 2.3 ilustra o comportamento periodico de perıodo 4 quando a = 3, 50.

Figura 2.2: Representacao da dinamica periodica do mapa logıstico da Equacao 2.4 com a =3, 20 e x0 = 0, 50. Nota-se uma dinamica de perıodo 2.

Figura 2.3: Representacao da dinamica periodica do mapa logıstico da Equacao 2.4 com a =3, 50 e x0 = 0, 50. Neste caso, ha uma dinamica de perıodo 4.

A estabilidade de atratores periodicos e definida em funcao da analise da estabilidade dos


pontos que compoem a trajetoria dentro do ciclo. Um criterio para a determinacao da estabi-

lidade de ciclos periodicos pode ser estabelecido como uma extensao do criterio utilizado para

pontos fixos. Seja Ω = x(0), x(1), ..., x(p− 1) um ciclo periodico de perıodo p. Entao:

(a) Se |f ′(x(0)) · f ′(x(1)) · ... · f ′(x(p− 1))| < 1, entao Ω e assintoticamente estavel.

(b) Se |f ′(x(0)) · f ′(x(1)) · ...·, f ′(x(p− 1))| > 1, entao Ω e instavel.

(da mesma forma observada para o criterio da estabilidade de pontos fixos, caso |f ′(x(0)) ·f′(x(1)) · ... · f ′(x(p− 1))| = 1, uma analise mais detalhada do sistema sera necessaria).

Existe tambem um tipo de dinamica definida como quase-periodica, na qual o sistema exibe

uma dinamica recorrente, porem com comportamento imprevisıvel, isto e, impossıvel de ser

medido. O mapa logıstico da Equacao 2.4 nao apresenta esse tipo de comportamento. Quando

um sistema nao apresenta recorrencia para dado valor de parametro, tem-se uma dinamica dita

ser nao-periodica. Dinamicas caoticas sao, por definicao, nao-periodicas, conforme apresentado

na Subsecao a seguir.

2.1.3 Dinamica Caotica

Um dos primeiros relatos sobre dinamica caotica em equacoes diferencias remete aos tra-

balhos do matematico, filosofo e pesquisador frances Henry Poincare, no seculo XIX. A de-

monstracao de tal fenomeno, entretanto, era impraticavel na epoca, dada a complexidade dos

calculos de uma trajetoria do sistema. Com o advento da computacao digital, o assunto ree-

mergiu gracas a Edward Lorez que observou o mesmo fenomeno em simulacoes computacionais

de eventos meteorologicos. Dadas condicoes iniciais muito proximas, o sistema apresentava,

aparentemente, o mesmo resultado nas primeiras iteracoes, porem resultados cada vez mais

divergentes a cada iteracao seguinte. Foi Lorez que popularizou a famosa ideia do efeito borbo-

leta, no qual o simples bater de asas de uma borboleta em um canto do mundo pode provocar

uma tempestade no canto oposto, em analogia as consequencias de perturbacoes nas condicoes

iniciais do sistema.

O caos pode ser definido como uma dinamica limitada, nao-periodica em um sistema de-

terminıstico com grande sensibilidade a condicao inicial [Kaplan e Glass 1995]. Limitada pois

a variavel de estado permanece sempre restrita a um domınio fechado, nunca se aproximando

de ±∞. Nao-periodica pois um estado nunca e repetido mais de uma vez. Determinıstico

pois o sistema nao e governado por termos randomicos, mas por uma lei de evolucao bem

definida. Grande sensibilidade a condicao inicial, pois pontos inicialmente bem proximos terao


trajetorias totalmente distintas com o decorrer do tempo. Esta ultima propriedade e um dos

aspectos essenciais da Teoria do Caos.

Particularmente, o caos descreve um tipo complexo de dinamica presente em sistemas

dinamicos nao-lineares. E este comportamento caotico prove aos pesquisadores um extraor-

dinario problema de previsibilidade, no qual previsoes a curto prazo sao muito difıceis e, a

longo prazo, impossıveis, dada a divergencia exponencial de trajetorias proximas. Logo, o com-

portamento de um sistema caotico a longo prazo e indeterminado, a nao ser que se conheca o

valor exato da condicao inicial. Um exemplo de dinamica caotica pode ser observado na Figura

2.4 que apresenta a dinamica do mapa logıstico dado pela Equacao 2.4 com valor de a = 3, 95.

Figura 2.4: Representacao da dinamica caotica do mapa logıstico da Equacao 2.4 com a = 3, 95e x0 = 0, 50. Nota-se um comportamento erratico nao-periodico.

2.1.4 Estabilidade de Pontos Fixos em Sistemas Dinamicos Nao-

Lineares

Esta Subsecao visa aprofundar a analise da estabilidade de pontos fixos, considerando-se o

caso particular de sistemas dinamicos nao-lineares. Uma das principais ferramentas utilizadas

para esta analise sao os metodos Direto e Indireto propostos pelo matematico e engenheiro

russo Aleksandr Mikhailovich Lyapunov. Tais abordagens exigem uma melhor formalizacao do

conceito de estabilidade em relacao ao conteudo apresentado na Subsecao 2.1.1. Assim, seja x∗

um ponto fixo, entao:

(a) x∗ e estavel, no sentido de Lyapunov, se, dados ε > 0 e t0 ∈ [0,∞), existe um

δ(ε, t0) > 0, tal que ‖x(t0)− x∗‖ < δ implica que ‖fn(x(t0))− x∗‖ < ε, para todo t > t0.

(b) x∗ e assintoticamente estavel, no sentido de Lyapunov, se, alem de ser estavel, existe

η(t0) > 0, tal que ‖x(t0) − x∗‖ < η implica que limt→∞x(t) = x∗ (comportamento


chamado de convergencia).

(c) x∗ e instavel se ele nao for estavel.

A seguir, sao descritos, respectivamente, o Metodo Indireto e o Metodo Direto de Lyapunov,

considerando-se as definicoes de estabilidade conforme apresentadas nos itens (a), (b) e (c)

acima.

O Metodo Indireto de Lyapunov (Linearizacao)

Este metodo basicamente opera transformacoes matematicas na funcao f nao-linear do

sistema dinamico a fim de que sua estabilidade seja analisada da mesma forma que seria feito

caso f fosse linear. Para tanto, considere o sistema dinamico autonomo e nao-linear:

x = f(x), (2.9)

supondo f uma funcao continuamente diferenciavel. Considerando-se que o sistema possui um

ponto fixo x∗ e expandindo f na serie de Taylor em torno de x∗, tem-se:

f(x) = f(x∗) +Df(x∗)(x− x∗) + g(x), (2.10)

onde g(x) representa os termos de ordem superior da expansao e Df(x∗) e a matriz Jacobiana

que contem as derivadas parciais de f em x∗, calculada como segue:

Df(x∗) =∂f(x)

∂x

∣∣∣∣x=x∗

(2.11)

Assim, a Equacao 2.9 pode ser reescrita como:

x = f(x∗) +Df(x∗)(x− x∗) + g(x). (2.12)

Aplicando a mudanca de variavel y = x − x∗, tem-se que y = x (como consequencia da

derivacao aplicada em ambos os lados da Equacao 2.12). Fazendo ainda f(x∗) = 0, a Equacao

2.12 fica:

y = Df(x∗)y + g(y + x∗), (2.13)

para a qual x∗ representa a origem do sistema. Considerando o comportamento das solucoes

apenas em uma pequena vizinhanca em torno de x∗, pode-se desprezar os termos de ordem

superior g(y + x∗), obtendo um sistema linear da forma:


y = Ay, (2.14)

onde A e a matriz Jacobina Df(x∗). E possıvel demonstrar que, por estar-se considerando

uma vizinhanca muito proxima ao ponto de origem x∗, as trajetorias das solucao deste sistema

comportam-se da mesma forma que no sistema nao-linear equivalente [Hartman 1964]. Assim,

o criterio para avaliacao da estabilidade de um sistema dinamico nao-linear, segundo o metodo

indireto de Lyapunov, pode ser estabelecido como segue:

(a) x∗ e assintoticamente estavel, se todos os autovalores de A tiverem parte real negativa,

ou seja, Re λi < 0, para todo i.

(b) x∗ e instavel se um ou mais autovalores de A tiverem parte real positiva, ou seja,

Re λi > 0, para algum i.

Nota-se que este criterio nada conclui para o caso de autovalores nulos (Re λi = 0). Uma

forma de se contornar este problema foi encontrada pelo proprio Lyapunov no metodo descrito

a seguir.

O Metodo Direto de Lyapunov

Este metodo de Lyapunov permite generalizar a nocao de norma em Rn para superar a

limitacao imposta em seu metodo indireto. Lyapunov demonstrou que e possıvel utilizar outras

funcoes para se verificar o decrescimento de |x(t) − x∗|, quando x(t) e uma solucao em uma

vizinhanca proxima de x∗. Tais funcoes sao conhecidas como funcoes de Lyapunov. Considere,

novamente, o sistema dinamico autonomo nao-linear dado pela Equacao 2.9 e x∗ como sendo um

ponto fixo e tambem a origem do sistema 2.9. Seja V uma funcao de Lyapunov, diferenciavel,

cuja derivada e dada por:

V (x) = 5V (x) · x, (2.15)

definida para cada x ao longo das solucoes da Equacao 2.9.

Definicao: V e dita ser definida positiva no espaco das solucoes do sistema se (i) V (x∗) = 0

e (ii) V (x) > 0 para x 6= x∗.

Definicao: V e dita ser semidefinida negativa se V ≤ 0.

Definicao: V e dita ser definida negativa se V < 0.


Com base nas definicoes acima, e possıvel estabelecer o criterio para analise de sistemas

dinamicos nao-lineares, segundo o metodo direto de Lyapunov:

(a) x∗ e estavel se, em uma vizinhanca proxima de x∗, existe uma funcao definida positiva

V , tal que sua derivada V e semidefinida negativa.

(b) x∗ e assintoticamente estavel se, em uma vizinhanca proxima de x∗, existe uma funcao

definida positiva V , tal que sua derivada V e definida negativa.

(c) x∗ e instavel se nao for estavel.

Desta forma, Lyapunov define um metodo que estende seu metodo anterior. Ainda assim, o

criterio apresenta uma condicao suficiente, mas nao necessaria para se determinar a estabilidade

de um ponto fixo, uma vez que afirma a existencia de uma funcao V , mas nao sugere como

encontra-la. Abstrai-se que a funcao de Lyapunov pode ser encarada como uma generalizacao

do conceito de energia de um sistema mecanico dissipativo, ou seja, sistemas em que a energia

sempre decresce ate alcancar o equilıbrio. Esta analogia e a base para a construcao de muitos

modelos recorrentes de RNAs, como o modelo de Hopfield, conforme discutido na Secao 2.3.

2.1.5 Analise do Comportamento de Sistemas Dinamicos

Conforme visto anteriormente, alem de pontos fixos, um sistema dinamico pode apresentar

comportamentos mais complexos como periodicidade e caoticidade. Esta subsecao disserta

sobre algumas ferramentas matematicas que retornam indıcios sobre o comportamento dinamico

de um sistema. Sao discutidos: Diagramas de Bifurcacao, Expoentes de Lyapunov, Expoentes

de Hurst e Coeficientes de Fourier.

Diagrama de Bifurcacao

Nas subsecoes de 2.1.1 a 2.1.3 sao apresentadas as series temporais para o sistema logıstico

dado pela Equacao 2.4, onde varias dinamicas sao observadas de acordo com o valor do

parametro a. Percebe-se, portanto, que ao passo que o valor de a aumenta, o sistema transita

por entre diversos comportamentos dinamicos. Para a < 3, por exemplo, o sistema apre-

senta regime de convergencia a um ponto fixo. Com a > 3, observam-se dinamicas periodicas

de perıodos 2 e 4 e dinamicas bastante complexas, que inclui trajetorias periodicas de altos

perıodos ate, enfim, atingir orbitas caoticas para a proximo de 4.

Umas das maneiras de se analisar a dinamica global do sistema e descobrir para quais

valores de parametros o sistema altera seu comportamento. Tais valores sao conhecidos como


pontos de bifurcacao. Um diagrama de bifurcacao e um grafico que resume o comportamento do

sistema de acordo com os valores de um determinado parametro. Para cada valor do parametro,

todos os pontos obtidos durante a iteracao do sistema sao colocados no grafico, apos a fase de

transiencia (isto e, apos o sistema convergir para um ponto atrator), permitindo visualizar os

pontos de bifurcacao e as diferentes dinamicas por estes separados. O diagrama de bifurcacao

para o mapa logıstico da Equacao 2.4 e apresentado na Figura 2.5.

Figura 2.5: Diagrama de bifurcacao que apresenta o comportamento dinamico do mapa logısticoda Equacao 2.4 em relacao aos valores assumidos pelo coeficiente de bifurcacao a.

Um sistema dinamico que nao apresenta pontos de bifurcacao e dito ser estruturalmente

estavel, pois seu comportamento nao e significativamente alterado quando seus parametros sao

perturbados.

Expoentes de Lyapunov

Outra maneira de se analisar o comportamento dinamico de um sistema, principalmente em

relacao a sua caoticidade, e por meio dos expoentes de Lyapunov que, basicamente, medem o

grau de divergencia de trajetorias inicialmente proximas [Ott 1993]. O expoente de Lyapunov

e definido como segue:

λi = limk→∞

1

kln|Dk(xi)ui|, (2.16)

onde k e o numero de iteracoes em que o sistema e observado, λi e o i-esimo expoente de

Lyapunov do sistema N -dimensional, Dk e um vetor composto pelos N autovalores da matriz

Jacobiana J e u sao os autovetores associados aos autovalores do vetor Dk. A matriz J pode


ser calculada como:

J(x) =k∏

t=t0

J(x(t)), (2.17)

onde J(x(t)) e a matriz Jacobiana do sistema no instante t.

Os valores dos expoentes λi indicam a condicao dinamica do sistema para dados valores de

parametros. Considera-se que, se ao menos um dos N expoentes de Lyapunov for positivo, o

sistema pode ser considerado caotico. Se todos os expoentes forem negativos, o sistema e dito ter

trajetorias convergentes a pontos fixos ou dinamicas periodicas. Um valor nulo representa uma

dinamica quase-periodica ou ainda uma mudanca significativa no comportamento do sistema

(isto e, um ponto de bifurcacao). Apesar de existirem contra-exemplos a esta regra, como

verificado em Leonov e Kuznetsov 2007, a condicao de caoticidade dada por ao menos um

expoente positivo e aceitavel ate que se prove o contrario. Assim, o expoente que realmente

interessa para avaliacao da dinamica do sistema normalmente e o expoente de valor maximo.

No caso do sistema logıstico representado pela Equacao 2.4, o calculo do maximo expoente

de Lyapunov para dado valor do parametro a e dado por:

λ = limk→∞

1

k

k∑t=t0

ln|f ′(x(t))|, (2.18)

onde f′(x(t)) = a(1 − 2x(t)) e a primeira derivada da Equacao 2.4. A representacao grafica

dos expoentes de Lyapunov do mapa logıstico pode ser conferida na Figura 2.6.

Figura 2.6: Expoentes de Lyapunov λ do mapa logıstico segundo a Equacao 2.18 em relacaoaos valores assumidos pelo coeficiente de bifurcacao a.


Expoentes de Hurst

Os Expoentes de Hurst [Hurst 1951] foram propostos por Harold Edwin Hurst no ramo

de hidrologia, porem ganharam espaco em outras areas, como, por exemplo, em economia

utilizados para analisar tendencias em curvas financeiras. Trata-se de uma ferramenta que

avalia o grau de autocorrelacao de uma serie temporal. Em outras palavras, um expoente de

Hurst H e um numero real entre 0 e 1 onde:

• 0 ≤ H < 0, 5 indica autocorrelacao negativa, ou seja, quando mais proximo de 0, maior

a probabilidade de que uma subida na curva seja imediatamente seguida, a longo prazo,

por uma descida. Assim sendo, pode-se afirmar que o grau de autocorrelacao negativa

reflete o grau de periodicidade da serie temporal (quanto mais proximo de zero for H,

menor sera o perıodo da serie periodica).

• 0, 5 < H ≤ 1 indica autocorrelacao positiva, ou seja, quando mais proximo de 1, maior a

probabilidade de que uma subida na curva seja imediatamente seguida por outra subida,

ou que uma descida seja imediatamente seguida por outra descida a longo prazo.

• quando mais proximo de 0, 5 for H, maior sera a imprevisibilidade da autocorrelacao,

isto e, tornar-se impossıvel predizer o comportamento da serie a longo prazo. Pode-

se considerar, portanto, que, partindo de valores proximos a 0, 5, quanto maior o valor

do expoente, menos periodica e a serie, ou seja, o perıodo p cresce ate que se torne

indefinido. Neste ponto, a serie passa a exibir um comportamento nao-periodico o qual

e forte indıcio de uma dinamica caotica. Nota-se que o expoente nao e calculado para

series com comportamento estacionario.

Uma das formas de se calcular os expoentes de Hurst e pelo metodo de analise do resca-

led range da serie temporal apos t observacoes. Data uma serie temporal T de tamanho N ,

inicialmente, geram-se L componentes Ti, sendo:

• T1 composto por uma subserie de tamanho n = N (ou seja, a propria serie T );

• T2 composto por duas subseries de tamanho n = N/2 (resultado da divisao de T em duas

partes);

• T3 composto por quatro subseries de tamanho n = N/4 (resultado da divisao de T em

quatro partes);

• T4 composto por oito subseries de tamanho n = N/8 (resultado da divisao de T em oito

partes).


• O processo de decomposicao segue ate atingir um componente TL, para o qual o tamanho

das subseries e n = 8.

Para cada componente Ti, calcula-se a media dos chamados rescaled ranges RS. Um RS e

calculado para cada uma das subseries que compoes a componente Ti da seguinte forma:

RS =R(n)

S(n), (2.19)

sendo S o desvio padrao eR o chamado range da subserie. Considerando uma subserie composta

por n elementos x1, x2, ..., xn, o algoritmo para o calculo do RS e dado como segue:

1. calcula-se a media m:

m = 1n

∑ni=1 xi

2. gera-se o chamado ajuste da media Y :

Yi = xi −m, i = 1, 2, ..., n

3. calcula-se a chamada serie de desvio cumulativo Z:

Zi =∑i

j=1 Yj, i = 1, 2, ..., n

4. calcula-se o range R:

R(n) = max(Z1, Z2, ..., Zn)−min(Z1, Z2, ..., Zn)

5. finalmente, calcula-se o desvio padrao S:

S(n) =√

1n

∑ni=1(xi −m)2

Apos calculados os rescaled range medios para cada componente Ti, gera-se uma tabela de

L linhas, onde cada linha contem o log2 do RS medio e o log2 do tamanho n das subseries

referentes a componente Ti. Com essa tabela log em maos, aplica-se uma regressao linear a fim

de se encontrar a reta que melhor se ajusta aos pontos. O expoente de Hurst H e dado pelo

valor coeficiente angular da reta gerada.

A Figura 2.7 exibe o espectro de Hurst do sistema logıstico dado pela Equacao 2.4 em relacao

a variacao do parametro a. Nota-se que os expoentes mantem-se iguais a (ou muito proximos

de) 0 para 0, 30 < a < 3, 60 indicando um comportamento periodico. Nota-se, tambem, que

nao ha valor de expoente para quando o sistema exibe um comportamento estacionario. A

partir de a ∼ 3, 60, os expoentes comecam a se afastar de zero e mantem-se em direcao a 0, 50

enquanto a cresce, indicando um possıvel comportamento caotico.


Figura 2.7: Expoentes de Hurst H do mapa logıstico da Equacao 2.4 em relacao aos valoresdo coeficiente de bifurcacao a. O espectro exibe dinamicas periodicas (valores proximos a 0)e caoticos (valores proximos a 0, 5). Nota-se que nao existe expoente para os valores de a emque o mapa apresenta uma dinamica estacionaria.

Coeficientes de Fourier

Os trabalhos do matematico frances Jean Baptiste Joseph Fourier mostram que uma funcao

periodica pode ser aproximada pela soma de funcoes senoides e cossenoides, chamadas de

harmonicas, cada qual adequadamente regulada por um coeficiente [Boashash 2003]. Assim,

dada uma funcao periodica f(x) de perıodo p, sua expansao na chamada serie de Fourier,

considerando um conjunto de N valores, e feita da seguinte forma:

fN(x) ∼ a02

+N∑n=1

[an cos(2πnx/p) + bn sen(2πnx/p)], (2.20)

onde a0, an e bn sao os ditos coeficientes de Fourier e servem para ajustar o peso de cada uma

das harmonicas da serie. Tais coeficientes sao calculados como:

a0 =2

p

∫ x0+p

x0

f(x) dx

an =2

p

∫ x0+p

x0

f(x) cos(2πnx/p) dx

bn =2

p

∫ x0+p

x0

f(x) sen(2πnx/p) dx


com n = 1, 2, ..., N . A Equacao 2.22 pode ainda ser reescrita em notacao complexa de Euler

como segue:

fN(x) ∼N∑

n=−N

cn e2πinx/p (2.21)

onde os coeficientes cn sao calculados pela Equacao abaixo.

cn =1

p

∫ x0+p

x0

f(x) e−2πnx/p dx (2.22)

Os coeficientes cn podem ser repensados como uma funcao F que depende de n. Quando

x e uma variavel de tempo, n passa a representar valores de frequencia (se x e segundos,

n e Hertz). Neste caso, F e chamada de Transformada de Fourier : uma funcao inversıvel

que retorna coeficientes relacionados a valores de frequencia de uma serie temporal. Assim,

a transformada faz uma conversao de valores em um domınio de tempo para valores em um

domınio de frequencia. A Equacao 2.23 define uma transformacao de Fourier considerando

valores contınuos. F (w) contera informacoes de amplitude e fase referentes a frequencia w. A

transformada inversa e dada pela Equacao 2.24.

F (w) =

∫ ∞−∞

f(x) e−2πixw dx (2.23)

f(x) =

∫ ∞−∞

F (w) e2πiwx dx (2.24)

Considerando valores discretos, a Transformada Discreta de Fourier pode ser aplicada se-

gundo a Equacao que segue, considerando uma serie temporal com N elementos x1, x2, ..., xN.

Fk =1

N

N∑n=1

xn e−2πikn/N (2.25)

onde k = 1, 2, ..., N , gerando a chamada serie de coeficientes de Fourier F1, F2, ..., FN.

Vislumbrando uma forma computacionalmente mais eficiente para o calculo os coeficientes

de Fourier sobre valores discretos, Cooley e Tukey 1965 desenvolveram um algoritmo conhecido

como Transformada Rapida de Fourier, cuja ideia e calcular a Transformada Discreta de Fourier

aplicando-se o metodo dos desdobramentos sucessivos. Dada a transformada discreta F sobre

uma serie temporal x0, x2, ..., xN−1, tem-se que:


Fk =N−1∑n=0

xn e−2πink/N =

=

N/2−1∑n=0

x(2n) e−2πi(2n)k/N +

N/2−1∑n=0

x(2n+1) e−2πi(2n+1)k/N =

=

N/2−1∑n=0

xparn e−2πink/(N/2) + e−2πik/NN/2−1∑n=0

ximparn e−2πink/(N/2)

A analise sobre a dinamica da serie temporal pode ser feita construindo-se a curva que

contem as amplitudes dos coeficientes de Fourier. Tal curva e conhecida como espectro de

Fourier. Series periodicas geram espectros de Fourier com um numero de picos bem definido.

O espectro de series nao-periodicas pode ser considerado como uma curva “irregular”. Para

exemplificar a aplicacao dos Coeficientes de Fourier, as figuras a seguir exibem os espectros

de Fourier das series temporais exibidas pelas Figuras de 2.8 a 2.11, respectivamente, as quais

representam os diversos comportamentos dinamicos assumidos pelo mapa logıstico da Equacao

2.4, em relacao aos valores do parametro a. Nota-se que quando a serie temporal possui um

perıodo p, seu espectro contem p − 1 picos. Quando o comportamento da serie e caotico, o

espectro e irregular.

Figura 2.8: Coeficientes de Fourier c da serie temporal com dinamica estacionaria exibida pelaFigura 2.1. A curva constante salienta um comportamento estacionario.

Esta Subsecao apresentou quatro maneiras para se verificar o comportamento de um sistema

dinamico. Conforme ja dito, o tais comportamentos podem ser observados em varios sistemas

da natureza, incluindo redes neurais biologicas. Alguns aspectos interessantes do cerebro,

incluindo analises sobre sua dinamica, serao discutidos a seguir.


Figura 2.9: Coeficientes de Fourier c da serie temporal com dinamica periodica de perıodo 2exibida pela Figura 2.2. O pico ao centro indica um comportamento periodico.

Figura 2.10: Coeficientes de Fourier c da serie temporal com dinamica periodica de perıodo 4exibida pela Figura 2.3. Notam-se 3 picos sobressalentes, indicando que ha um relacionamentoentre o numero de picos e o numero de perıodos da serie.

Figura 2.11: Coeficientes de Fourier c da serie temporal com dinamica caotica exibida pelaFigura 2.4. A curva irregular reforca a indicacao de um comportamento caotico.

2.2 Algumas Caracterısticas das Redes Neurais Biologicas 23

2.2 Algumas Caracterısticas das Redes Neurais Biologicas

Esta Subsecao aborda os principais conceitos de redes neurais biologicas que fundamen-

tam as pesquisas relacionadas a RNAs. A estrutura basica do cerebro, alguns aspectos de

neurodinamica, o aprendizado Hebbiano e o modelo de Hopfield sao descritos a seguir.

2.2.1 A Estrutura Basica do Cerebro

O cerebro humano e um orgao extremamente complexo no qual se observa a ocorrencia

de varios fenomenos fısicos e a compreensao de muitos aspectos de seu funcionamento ainda

permanece obscura. Esta Subsecao pretende abordar apenas algumas caracterısticas do dina-

mismo e dos mecanismos computacionais utilizados por este orgao, descobertos por estudos na

area da neurociencia, e que se mostram relevantes para fornecer o embasamento necessario ao

leitor para abstrair adequadamente as motivacoes e os objetivos deste projeto de pesquisa.

Basicamente, a rede neural biologica pode ser compreendida como um processador de in-

formacoes composta por unidades de processamento basico chamadas neuronios que se conec-

tam uns aos outros por meio das chamadas sinapses neurais, formando uma vasta e complexa

rede. Para se ter uma ideia de tal complexidade, estima-se que existam mais de 100 bilhoes

de neuronios no cerebro humano (sendo estes de milhares de tipos diferentes) e mais de 100

trilhoes de sinapses neurais (um neuronio pode vir a formar mais de 10 mil sinapses ao mesmo

tempo). A compreensao de como esta rede opera e processa informacao ganhou forca a partir

dos estudos do medico e histologista espanhol Santiago Ramon y Cajal no inıcio do seculo XX,

quando introduziu-se a ideia de que os neuronios sao a estrutura constituinte do cerebro [Haykin

1999].

Os neuronios sao celulas compostas por basicamente tres estruturas: (i) dendritos - prolon-

gamentos curtos que recebem os estımulos vindos de outros neuronios, (ii) corpo celular - que

inclui o nucleo e componentes basicos da celula, e (iii) axonios - prolongamentos longos que

propagam o estimulo recebido as outras celulas nervosas. Desta forma, neuronios operam como

processadores muito simples, cuja funcao e, portanto, propagar (ou nao) um estımulo nervoso

(um pulso eletrico) mediante um potencial de ativacao. Foi Ramon y Cajal que pela primeira

vez discutiu a unidirecionalidade da propagacao do pulso no chamado Princıpio da Polarizacao

Dinamica, o qual afirma que sinais eletricos fluem em apenas uma direcao: da recepcao do

neuronio (normalmente dendritos e corpo celular) para a zona de disparo do axonio [Haykin

1999]. Ao chegar na zona de disparo, o pulso pode ser propagado para outra celular nervosa

por meio da sinapse neural.

Tambem foi Ramon y Cajal que apresentou o Princıpio da Especificidade Conectiva, o


qual postula que as celulas nervosas nao se conectam indiscriminadamente, nem formam re-

des aleatorias. Observa-se no cerebro basicamente dois tipos de sinapses neurais: eletricas e

quımicas. As primeiras sao menos comuns e ocorrem em algumas poucas areas do cerebro.

A propagacao do sinal eletrico ocorre por meio de canais de juncoes, ou seja, uma conexao

citoplasmatica entre a celula pre-sinaptica (que enviara o pulso) e a celula pos-sinaptica (que

recebera o pulso). Muito mais abundantes sao as sinapses quımicas, nas quais nao ha contato

direto entre as membranas das celulas pre e pos-sinapticas. A transmissao do estımulo se da

atraves dos chamados neurotransmissores. Estima-se que haja mais de 100 tipos distintos de

neurotransmissores, cada qual exigindo uma morfologia unica das vesıculas que armazenam a

substancia nos axonios, assim como dos receptores quımicos nos dendritos. O tipo de neu-

rotransmissor utilizado na sinapse pode tanto estimular quanto inibir a propagacao do sinal

eletrico para a celula vizinha, agindo como um potencial de ativacao.

Um modelo elaborado para explicar o mecanismo de origem e propagacao do pulso eletrico

ao longo de uma celula nervosa foi proposto em Hodgkin e Huxley 1952. O modelo de Hodgkin-

Huxley elucida matematicamente a chamada bomba de sodio-potassio: mediante a um estımulo

que atinge o potencial de acao, a membrana celular torna-se permeavel a entrada de ıons

de sodio permitindo que o interior, repleto de ıons de potassio, torne-se mais positivamente

carregado em relacao ao exterior da celula. A diferenca de potencial eletrico gerada no local

do estımulo (despolarizacao) estimula a secao subjacente da membrana tornando-a tambem

permeavel ao sodio. Desta forma, tem-se um efeito cascata ao longo da membrana e uma

corrente eletrica e gerada. Alguns milisegundos apos aplicacao do estımulo, um processo de

difusao ativa bombeia ıons de sodio para o meio extracelular e ıons de potassio para o meio

intracelular, fazendo com que o local previamente despolarizado retorne ao estado de repouso

(repolarizacao). Por este trabalho, Hodgkin e Huxley ganharam o premio nobel na area de

fisiologia ou medicina em 1963.

Encarando as celulas nervosas como unidades simples de processamento, um neuronio iso-

ladamente processa informacao a um tempo de ciclo de aproximadamente 10−3s. Por outro

lado, a largura de banda que se observa na rede neural biologica em sua totalidade e de 1014

bits/seg [Russell e Norvig 2010], p. 12. Essa alta capacidade computacional do cerebro pode ser

explicada pelo fato de que o processamento global e explorado de forma massivamente paralela.

Alem disso, a informacao e armazenada de forma distribuıda por entre a enorme quantidade

de neuronios e conexoes. Outra caracterıstica importante e que o cerebro possui areas es-

pecializadas para tratar eventos especıficos (agrupamentos funcionais localizados). Diferentes

atividades sao tratadas em diferentes porcoes do cortex cerebral, em baixo ou alto nıvel da sua

organizacao topologica. As principais areas do cortex cerebral sao ilustradas na Figura 2.12.


Figura 2.12: Mapa do cortex cerebral evidenciando suas diversas regioes estruturais e funcionais.As areas consideradas mais importantes sao: 1, 2 e 3: cortex somatosensorial; 4. cortex motor;6. cortex pre-motor; 17, 18 e 19: cortex visual; 41 e 42: cortex auditivo. Fonte: Haykin 1999,p. 10.

Na tentativa de se reproduzir tal eficiencia computacional, as RNAs inspiram-se nos funda-

mentos conceituais das redes neurais biologicas com a intensao de gerar modelos simplificados

dos mesmos, absorvendo muitos dos mecanismos ate agora descobertos. Alem dos ja men-

cionados, como processamento paralelo e armazenamento distribuıdo, observa-se tambem a

capacidade da rede recuperar uma informacao armazenada partindo-se de apenas parte ou

de um conjunto distorcido da informacao original (diferentemente do metodo convencional de

memoria enderecavel, no qual a informacao e recuperada via acesso direto a um endereco de

memoria). Alguns modelos de RNAs (como o de Hopfield) implementam esta capacidade, a

qual da-se o nome de memoria associativa e seu funcionamento exige que a rede exiba atrato-

res dinamicos. Uma discussao sobre alguns pontos do comportamento dinamico do cerebro e

apresentada na Subsecao a seguir.

2.2.2 A Neurodinamica

A neurodinamica e um campo de pesquisa que enxerga as redes neurais biologicas como

sistemas dinamicos nao-lineares de alta dimensionalidade, com enfase em problemas de estabi-

lidade [Haykin 1999], ou seja, a analise de possıveis configuracoes, dadas condicoes iniciais, para


as quais o sistema encontra-se estavel ou instavel, no sentido de Lyapunov (conforme apresen-

tado na Subsecao 2.1.4). Porem, por mais de 25 anos, muitos trabalhos de pesquisa analisam a

dinamica cerebral e comprovam a existencia dos demais comportamentos discutidos na Secao

2.1: nao somente estacionaria, mas o cerebro tambem apresenta, principalmente, dinamicas

periodicas e caoticas, alterando esse comportamento de acordo com estımulos recebidos do

ambiente.

Os pesquisadores Skarda e Freeman [Skarda e Freeman 1987], por exemplo, demonstraram

a presenca de pontos de bifurcacao em redes neurais biologicas durante o condicionamento de

coelhos ao uso de determinados odores. Medindo a atividade cerebral destes animais por meio

da tecnica de eletroencefalograma (EEG), demonstrou-se, experimentalmente, que os sinais

de atividade cerebral destes animais apresentavam uma dinamica caotica quando nao sofriam

estimulacao (nao inalavam nenhum odor especifico). Porem, alternavam para uma dinamica

quase periodica quando um odor conhecido era inalado, evidenciando que o cerebro realiza

alternancia entre comportamentos dinamicos.

Alem do trabalho de Skarda e Freeman 1987, Babloyantz et al. 1985 mediram o EEG de um

cerebro humano durante o perıodo de sono e observaram a presenca do atrator caotico durante

o sono profundo (REM), ou quando o sonhador era perturbado por um ruıdo qualquer no

ambiente. Ja Aihara e Matsumoto 1986 identificaram dinamicas periodicas, quase-periodicas e

caoticas nas atividade de potencial de membranas dos axonios de lulas gigantes, demonstrado

que comportamentos dinamicos estao presentes no cerebro tambem em nıvel celular.

Comprova-se, portanto, que redes neurais biologicas possuem comportamento dinamico,

apresentando diversos tipos de atratores, desde periodicos a ate caoticos. RNAs que operam

dinamicamente sao conhecidas como redes recorrentes e sao modeladas como sistemas dinamicos

nao-lineares de alta dimensionalidade, utilizando, normalmente, atratores estacionarios para

armazenamento e busca de informacao, cuja estabilidade e mapeada pelo metodo direto de

Lyapunov. Nota-se, porem, que nao e comum observar convergencia a pontos fixos na dinamica

cerebral - fato que compromete a plausibilidade biologica de muitos modelos recorrentes (como

o modelo de Hopfield, abordado na Secao 2.3).

Alem dos aspectos dinamicos que redes neurais apresentam durante o processo de busca

e recuperacao de informacao, outro mecanismo que e objeto de largo interesse, tantos para

neurocientistas, quanto para cientistas da computacao, e o metodo, ou regra, pela qual a

rede adquire conhecimento (aprendizado), ainda obscuro em muitos de seus aspectos. Uma das

principais regras observadas no cerebro e aplicada a RNAs e o aprendizado Hebbiano, discutido

na Subsecao seguinte.


2.2.3 O Aprendizado Hebbiano

O cerebro possui a capacidade de se adaptar ao ambiente a sua volta. A esta capacidade da-

se o nome de plasticidade neural. Em um sistema neural adulto, a plasticidade se faz presente

por meio de dois mecanismos: (i) criacao de novas conexoes sinapticas entre neuronios e (ii)

modificacao de sinapses ja existentes [Haykin 1999]. E esta constante reconfiguracao sinaptica

que da ao cerebro sua capacidade de aprender e de generalizar a informacao aprendida. O

conhecimento emerge, nao de celulas isoladas, mas da rede como um todo, de acordo com a

configuracao de unidades e conexoes que a rede apresenta.

Observando tal fenomeno, o neurofisiologista Donald Hebb teorizou, de forma eficiente,

como a plasticidade do sistema nervoso pode ser subentendida em nıvel celular. O Postulado

de Hebb e assim descrito em Hebb 1949, p. 69:

“When an axon of cell A is near enough to excite a cell B and repeatedly or persis-

tently takes part in firing it, some growth process or metabolic changes take place in

one or both cells such that A’s efficiency, as one of the cells firing B, is increased.”

Em outras palavras, o postulado afirma que quando dois neuronios sao simultaneamente

(sincronamente) ativados, a ligacao sinaptica entre eles e, de alguma forma, fortalecida. Caso

contrario e inibida. Esta ideia por ser descrita matematicamente por meio de uma regra de

atualizacao de pesos sinapticos, tambem conhecida como Hipotese de Hebb e dada pela seguinte

equacao:

∆Wij = ηxixj, (2.26)

onde Wij e o valor do peso sinaptico do neuronio j para o neuronio i, xj e o sinal pre-sinaptico

(valor de saıda do neuronio j), xi e o sinal pos-sinaptico (valor de saıda do neuronio i) e η e

uma constante positiva que determina a taxa de aprendizado.

Esta capacidade de reforco, presente nas sinapses Hebbianas, utiliza: (i) mecanismo depen-

dente de tempo (sincronia entre sinais pre e pos-sinapticos), (ii) localidade (a informacao que

trafega pela sinapse e utilizada como fator de modificacao sinaptica local), (iii) interatividade

(a mudanca na sinapse depende de ambos os sinais pre e pos-sinapticos) e (iv) correlacao (a

mudanca so ocorre pela conjuncao dos sinais pre e pos-sinapticos).

Trata-se, portanto, de uma regra de aprendizado nao-supervisionado, pois leva em conta

apenas os valores dos sinais pre e pos-sinapticos (nao ha informacao sobre a saıda desejada

como, por exemplo, ocorre na regra Delta presente no algoritmo de aprendizado Error Back-

Propagation [Bryson e Ho 1969], [Rumelhart et al. 1986]). O aprendizado de Hebb e um dos


mais famosos e utilizados por modelos artificiais de redes neurais, um dos quais e o modelo de

Hopfield, conforme sera visto a seguir.

2.3 O Modelo de Hopfield

Um dos primeiros modelos de RNAs propostos foi o Perceptron [Rosenblatt 1958]. Composto

por somente um neuronio do tipo MCP [McCulloch e Pitts 1943], ele era usado para classificar

apenas padroes linearmente separaveis. Visando superar esta limitacao, surgiu a rede Percep-

tron Multicamadas (MLP) com algoritmo de aprendizado Error Back-Propagation [Bryson e

Ho 1969], [Rumelhart et al. 1986], o qual e capaz de classificar qualquer tipo de padrao uti-

lizando, pelo menos, tres camadas. Porem, o tempo gasto para o treinamento e a dificuldade

em se encontrar a configuracao ideal dos parametros da rede tornaram-se um obstaculo a sua

aplicacao. Outros modelos surgiram, ou para aprimorar a eficiencia computacional, ou para se

tentar resolver problemas mais complexos, ou para refletir fenomenos mais similares ao compor-

tamento do cerebro. Entre os novos conceitos estao as redes recorrentes (ou associativas), cuja

resposta obtida e devolvida como entrada para o proximo ciclo de processamento, provendo

um sistema dinamico nao-linear de alta dimensionalidade.

Pouco interesse havia no estudo de redes neurais recorrentes, dada a dificuldade em se

promover treinamento e analise. Em 1982, o fısico J. J. Hopfield, no trabalho Hopfield 1982,

apresentou um modelo recorrente que faz analogia a um sistema fısico real. Cada estado da rede

pode ser associado a um valor de energia que decresce de maneira monotonica a medida que

uma trajetoria e descrita no espaco de estados em direcao a um ponto fixo. Estes pontos fixos,

obtidos durante o treinamento, correspondem a pontos estaveis de energia mınima analogos aos

pontos atratores estacionarios de um sistema dinamico nao-linear, uma vez que a estabilidade

e garantida pelo metodo direto de Lyapunov, conforme discutido na Subsecao 2.1.4.

A rede de Hopfield e organizada em uma unica camada, na qual os neuronios sao globalmente

conectados (cada neuronio forma sinapses com todos os demais, menos com ele mesmo) de forma

recorrente, ou seja, a saıda de um neuronio sera o valor de entrada dos demais neuronios ao

longo da evolucao do sistema. Assim, uma dada resposta ira depender sempre do estado do

sistema no intervalo de tempo anterior, o que confere a rede uma especie de memoria. Uma

informacao (ou padrao de memoria) e armazenada de forma distribuıda e pode ser recuperada

com base no conteudo total ou parcial da mesma, isto e, o modelo funciona como uma memoria

associativa, como tambem ocorre no cerebro.

A rede pode ser concebida para trabalhar com valores discretos ou contınuos. Considerando-

se a versao discreta do modelo, os neuronios da rede de Hopfield sao do tipo MCP: modelo de

2.3 O Modelo de Hopfield 29

neuronio que basicamente realiza uma soma ponderada das entradas e seus respectivos pesos,

produzindo uma saıda ui, chamada de estado interno do neuronio i. Ao estado interno e

aplicada uma funcao f , nao-linear, chamada de funcao de ativacao, fabricando a saıda final xi

do neuronio i.

O tipo de neuronio usado no modelo de Hopfield, exerce uma atividade tudo-ou-nada, ou

seja: ou dispara, ou nao dispara, dependendo do valor alcancado pelo estado interno ui. Por-

tanto, a saıda xi e binaria: um valor para representar a ativacao e outro para representar a

nao-ativacao. Este calculo e realizado pela funcao de ativacao f , que introduz a nao-linearidade,

provocando a conversao do estado interno em um valor binario. No caso do modelo discreto de

Hopfield, xi ∈ −1, 1 e f e a funcao sinal, dada por:

f =

1 se ui > 0;

−1 se ui < 0.(2.27)

Outro fator que influencia na ativacao de um neuronio do tipo MCP e o chamado limiar

de ativacao (ou threshold) θ que compoe a soma ponderada na computacao do neuronio. Seu

significado e o de estabelecer um valor limite para o estado interno u. Se u atingir, ou ultrapassar

este limite, a funcao de ativacao provocara o disparo do neuronio. Caso contrario, o neuronio

nao dispara. Muitas vezes o threshold e tambem chamado de bias b. Apesar de ambos no

modelo matematico representarem a mesma entidade, cabe ressaltar que, conceitualmente,

possuem significado distinto: o objetivo do bias, alem de atuar como um ajuste para a fronteira

de decisao em um problema de classificacao linear, e tambem o de simular a possibilidade

biologica de um neuronio disparar mesmo que nao receba estımulos externos. Desta forma,

o bias b tera sempre valor unitario positivo - uma entrada que sempre esta ativada e que

sera ponderada por um valor de peso sinaptico. Assim, enquanto b atua como um fator de

incremento na computacao do neuronio, θ exerce o papel oposto:

b = −θ. (2.28)

No modelo de Hopfield, o threshold (ou bias) possui valor nulo para garantir a convergencia

do modelo discreto durante o processo de evolucao dos padroes. A Equacao 2.29 descreve a

regra de evolucao pelas quais passam as orbitas dos neuronios ate convergirem para um ponto

atrator estacionario. xi(t+ 1) = f(ui(t)),

ui(t) =∑N

j=1Wijxj(t) j 6= i e i = 1, ..., N,(2.29)

onde N e o numero de neuronios da rede, ui e o estado interno do i-esimo neuronio, Wij codifica


a eficiencia sinaptica (ou peso) entre os neuronios i e j, xi ∈ 1,−1 e a saıda, ou resposta,

emitida pelo i-esimo neuronio e f e a funcao de ativacao, dada pela funcao sinal representada

pela Equacao 2.27.

O treinamento da rede, cuja funcao e a atualizacao dos pesos sinapticos de forma a garantir

a existencia de pontos atratores, e feito em um unico ciclo iterativo e seguindo as regras do

aprendizado de Hebb (abordado na Subsecao 2.2.3), matematicamente descrito pela Equacao

2.26. Considerando o armazenamento de M padroes de memoria ξp, p = 1, 2, ...,M , sendo cada

entrada da forma ξ = [ξ1, ..., ξn]T e o valor de saıda de cada ξi ∈ −1, 1, i = 1, 2, ..., N , a regra

de aprendizado pode ser reescrita em formato matricial como:

W =1

N

M∑p=1

ξp(ξp)T −MI, (2.30)

onde W representa a matriz de pesos da rede e I e a matriz Identidade. Esta regra de apren-

dizado calcula a autocorrelacao dos padroes ξ gerando uma uma matriz de pesos simetrica.

Isto garante que os padroes sejam armazenados como pontos fixos assintoticamente estaveis da

Equacao 2.29, pois cada padrao representara um ponto de energia mınima local, segundo os

criterios de estabilidade derivados do metodo direto de Lyapunov.

A recuperacao de um item de memoria consiste em se fixar a condicao inicial com a in-

formacao (possivelmente parcial) do item de memoria a ser recuperado e, a partir de entao,

o sistema ira evoluir por entre estados intermediarios, os quais sao alcancados por meio da

atualizacao gradual dos neuronios (descrita pela Equacao 2.29), ate convergir para o estado

correspondente ao padrao de memoria ξp que representa a informacao a ser recuperada. A

eficiencia do reconhecimento do padrao pode ser medida atraves de um overlap entre o padrao

recuperado ξ′p e o padrao original ξp, por meio da equacao:

O =1

N

N∑i=1

ξpi ξ′pi , (2.31)

onde N e o numero de elementos dos padroes (que corresponde ao numero de neuronios da

rede) e ξpi representa o i-esimo elemento do padrao ξp. Este somatorio retorna o calculo da

distancia de Hamming, ou seja, o numero de elementos diferentes entre ambos os padroes ξp e

ξ′p.

Para a demonstracao de que o modelo converge para um atrator estacionario armazenado,

parte-se do conceito de energia da rede (no sentido de Lyapunov), definida como:

2.3 O Modelo de Hopfield 31

E(x) = −1

2

∑i

∑j,j 6=i

Wijxixj (2.32)

Primeiramente, deve-se encontrar a variacao discreta da energia E(x) ao longo das solucoes

da Equacao 2.29. Para isto, deve-se considerar as seguintes caracterısticas do modelo:

1. As conexoes sao simetricas (Wij = Wji).

2. Os neuronios nao sao conectados a si mesmos (Wij = 0, quando i = j).

3. A atualizacao do estado interno dos neuronios e feita de forma assıncrona (ou seja, apenas

um neuronio altera seu estado interno por vez e, uma vez atualizado, o valor de saıda deste

neuronio e prontamente utilizado para atualizar o estado interno dos demais neuronios

durante uma iteracao do processo cıclico de busca e recuperacao de padrao - uma iteracao

e completada quando todos os neuronios da rede tem seus estados internos atualizados).

Desta forma, a variacao da energia E(x) e dada por:

∆E(x) = −1

2

∑i

∑j,j 6=i

Wijxi(t+ 1)xj(t+ 1) +1

2

∑i

∑j,j 6=i

Wijxi(t)xj(t)

= (−xi(t+ 1) + xi(t))∑j,j 6=i

Wijxj(t)

= (−xi(t+ 1) + xi(t))(xi(t))

= −(xi(t+ 1))2 + xi(t)xi(t+ 1)

≤ 0,

onde a primeira passagem considera as caracterısticas (1) e (2) do modelo e a segunda passagem

considera a Equacao 2.29.

Como consequencia do resultado, pode-se afirmar que: (i) ∆E(x) e limitada; (ii) ∆E(x)

sempre decresce; (iii) ∆E(x) = 0 somente nos pontos fixos. Disto, conclui-se que x(t) nao pode

oscilar e so existem pontos fixos assintoticos estaveis para a Equacao 2.29. Mais detalhes desta

demonstracao podem ser encontrados em Rojas 1996, p. 350.

Assim sendo, a rede neural proposta por Hopfield apresenta-se como um modelo cujos me-

canismos de memoria se diferem de outros modelos tradicionais e aproxima-se de um sistema

neural biologico no que diz respeito ao armazenamento da informacao (de maneira distribuıda)

e a recuperacao da informacao (por meio da evolucao de estados no tempo e de forma associa-

tiva). Por outro lado, o modelo e baseado na convergencia para um atrator estacionario, sendo


este tipo de dinamica pouco comum no cerebro (como discutido na Subsecao 2.2.2). Alem

disso, como outros modelos tradicionais de RNAs, Hopfield possui uma estrutura topologica

simplificada quando comparada a de uma rede biologica, a qual apresenta grupos geometricos

funcionais bem definidos, com ligacoes entre um numero muito vasto de unidades neuronais.

Uma teoria que contempla e modela muito bem estas propriedades e das chamadas Redes

Complexas, tema abordado a seguir.

2.4 Redes Complexas

Redes Complexas e uma area multidisciplinar de grande interesse cuja pesquisa iniciou-se

em meados de 1930 no ramo da sociologia. Atualmente, a fim de resolver problemas especıficos

de diversas areas, pode ser utilizada para representar e estudar diversos aspectos do mundo

real, tais como a estrutura fısica de grandes redes de computadores (como a Internet), relacoes

sociais entre indivıduos e grupos de indivıduos, redes neurais biologicas, redes metabolicas,

cadeias alimentares, entre outros [Albert e Barabasi 2002], [Boccaletti et al. 2006], [Newman

2003]. Ou seja, tais redes podem modelar sistemas reais e dinamicos com eficiencia.

Como o nome sugere, refere-se a uma rede representada na forma de um grafo e cuja or-

ganizacao e estrutura topologica fogem do trivial por estarem sujeitas a constantes alteracoes

devido a configuracao dinamica do sistema. Um exemplo simples pode ser observado na Figura

2.13 que retrata uma rede de relacoes entre membros do clube de karate Zachary [Zachary 1977].

No caso geral, as redes complexas sao composta por um conjunto muito vasto de vertices e ares-

tas e possuem propriedades topograficas peculiares quando comparadas a grafos convencionais.

Algumas destas propriedades, que refletem o dinamismo deste tipo de estrutura, sao:

• coeficiente de aglomeracao: representa a chance de dois vertices estarem conectados con-

siderando o fato de ambos estarem ligados a um terceiro no em comum (exemplo: se

Fulano e amigo de Beltrano e Beltrano e amigo de Ciclano, entao Fulano e Ciclano tem

grandes chances de serem amigos);

• distribuicao de graus: trata-se de uma funcao de distribuicao de probabilidade que indica

a chance de um determinado vertice ter grau fixo, ou seja, o numero de arestas que se

conectam a este vertice permanecer o mesmo durante a evolucao da rede;

• resistencia: indica a capacidade da rede manter sua funcionalidade estavel apos a remocao

de alguns vertices ou arestas;

2.4 Redes Complexas 33

• misturas de padroes: capacidade de uma rede em apresentar grupos de vertices cada

qual representando diferentes tipos de objetos (exemplo: cadeias alimentares nais quais

os vertices podem representar plantas, animais herbıvoros, ou animais carnıvoros);

• correlacao de graus: indica se as arestas em uma rede interligam vertices com graus

parecidos (utilizada para investigar a conexao entre vertices de diferentes tipos).

Figura 2.13: Exemplo de uma Rede Complexa: rede de relacoes entre membros do clube dekarate Zachary [Zachary 1977].

A forma como vertices e arestas se correlacionam define, basicamente, o tipo da rede. Desta

forma, existem tres principais categorias de redes complexas, descritas a seguir:

• Redes Aleatorias: E o primeiro e o mais simples modelo de rede complexa. Proposto

por Erdos e Renyi 1961, tal modelo considera que arestas sao adicionadas de forma

aleatoria entre um numero fixo de N vertices. O grau esperado de cada vertice e dado

pela equacao:

〈k〉 = p(N − 1), (2.33)

onde p e a probabilidade de um dado vertice se ligar a outro vertice qualquer, segundo

uma distribuicao de Poisson. Desta forma, pode-se dizer que todos os vertices terao,


aproximadamente, a mesma quantidade de conexoes, como tambem, as mesmas chances

de receberam novas ligacoes, tornando a construcao da rede um processo aleatorio [Ba-

rabasi e Albert 1999]. A estrutura de uma rede aleatoria pode ser observada na Figura

2.14(a);

• Redes Pequeno-Mundo: Watts e Strogatz 1998 propuseram um modelo que, partindo-

se de uma uma rede regular (rede em que todos os vertices possuem o mesmo grau e

cada vertice liga-se a k vizinhos mais proximos em cada direcao), algumas arestas sao

retiradas e reinseridas de maneira aleatoria e com probabilidade p. Como consequencia,

a rede regular passa a apresentar algumas ligacoes entre vertices mais distantes. Estas

ligacoes funcionam como “atalhos”que provocam a reducao da distancia media da rede.

O fenomeno de pequeno-mundo e observado em redes sociais e linguısticas, nas quais a

maioria dos vertices se conecta a outros atraves do caminho mınimo (distancia geodesica

formada pelo menor numero de arestas que conecta o vertice origem ao vertice destino)

e uma minoria de “atalhos”que depende do valor de p. O comprimento l do caminho

mınimo medio entre pares de vertices de uma rede nao direcionada e dado pela equacao:

l =1

n(n+ 1)/2

∑i≥j

dij, (2.34)

onde n e o numero de vertices e dij e a distancia geodesica entre os vertices i e j. Um

exemplo de rede pequeno-mundo e apresentado na Figura 2.14(b);

• Redes Livres de Escala: Este modelo de rede baseia-se em caracterısticas bem definidas

presentes na dinamica de sua formacao. A principal delas e a de um determinado vertice

conectar-se, preferencialmente, a vertices que possuem um numero maior de conexoes

(maior grau). Barabasi e Albert 1999 observaram que tal propriedade esta presente em

diversos sistemas reais, tais como a Internet, redes de metabolismos, redes de citacoes

de artigos cientıficos, redes neurais biologicas, entre outros. Assim sendo, os autores

demonstraram que a distribuicao do grau de diversas redes complexas obedece a Lei da

Potencia, que e dada pela equacao:

P (k) ∼ k−λ, (2.35)

onde k e o numero de ligacoes de um vertice aleatorio e λ e o expoente de escala. Em

outras palavras, este tipo de rede contera muitos vertices com baixo grau de conexoes e


poucos vertices com um grau elevado de conexoes (denominados hubs), conforme pode

ser observado na Figura 2.14(c).

Figura 2.14: Tipos de Redes Complexas: (a) Rede Aleatoria, (b) Rede Pequeno-Mundo, (c)Rede Livre de Escala.

A Estrutura de Comunidades

Outra caracterıstica nao menos importante das redes complexas e que estas podem apre-

sentar estrutura de comunidades (tal como agrupamentos vistos em grafos simples), na qual

existem muitas conexoes entre elementos de um mesmo grupo e poucas conexoes entre elemen-

tos de grupos distintos, conforme e observado em redes reais como a World Wide Web, redes

de citacoes, redes de transporte, redes de telefonia, redes sociais, entre outras. Um exemplo de

comunidades em uma rede complexa e ilustrado na Figura 2.15.

Uma vez que estas redes podem modelar sistemas reais, a deteccao destes determinados

agrupamentos nestes sistemas pode levar a descoberta de caracterısticas especıficas e a analise

da organizacao e evolucao dinamica dos mesmos. Algoritmos para deteccao de comunidades sao,

na maior parte dos casos, baseados em tecnicas utilizadas em aprendizado nao-supervisionado

[Jain e Dubes 1988], [Radicchi et al. 2004]. Estes algoritmos necessitam de uma metrica

para avaliar a qualidade de uma determinada particao da rede (ou seja, se a estrutura de

comunidades encontrada pode ou nao ser considerada relevante). Uma das metricas mais

utilizadas e a Medida de Modularidade proposta em Newman e Girvan 2004. A modularidade

Q foi originalmente definida como:

Q =∑i

(eii − a2i ), (2.36)


Figura 2.15: Estrutura de comunidades da rede de relacoes entre membros do clube de karateexibida na Figura 2.13. 5 comunidades sao observadas.

onde eii representa a fracao das arestas da rede que estao inseridas dentro da comunidade i,

ai =∑

j eij, onde eij e a fracao das arestas que conectam vertices da comunidade i a vertices

da comunidade j. Em redes cujas arestas sao inseridas sem a preocupacao de se saber quais

as comunidades dos vertices que estao sendo conectados, pode-se considerar eij = aiaj. Assim,

a2i e considerada a fracao dos vertices que sao inseridos na comunidade i com probabilidade

aleatoria.

Em outras palavras, a funcao mede o quanto a particao encontrada se aproxima (ou se

afasta) de uma formacao aleatoria. Valores proximos de 0 indicam baixa probabilidade da

rede estar dividida em comunidades relevantes, visto que tais agrupamentos nao diferem da

casualidade de sua formacao. Assim, quanto mais o resultado for positivo e distante de 0, mais

relevante sera a estrutura de comunidades encontrada. Segundo os autores, Q ≥ 0, 3 ja reflete

uma estrutura de comunidades significativa.

Inspirados na novidade computacional do conceito de modularidade, varios outros trabalhos

surgiram utilizando, ou propondo melhorias em sua definicao e aplicacao [Newman 2004a],

[Newman 2004b], [Clauset 2005], [Duch e Arenas 2005], [Muff et al. 2005], [Massen e Doye 2005],

[Newman 2006b], [Newman 2006a], [Reichardt e Bornholdt 2006], [Newman 2008], [Newman

2011]. Uma versao mais precisa desta medida foi apresentada em Clauset et al. 2004, como


segue:

Q =1

2e

∑ij

[Aij −

kikj2e

]δ(ci, cj), (2.37)

onde e e o numero de arestas da rede, Aij e o elemento da linha i e coluna j da matriz

de adjacencia A (ou seja, Aij retorna 1 caso exista conexao entre os vertices i e j e 0 caso

contrario), ki e o grau do vertice i (isto e, o numero de vertices com os quais o vertice i esta

conectado), kj e o grau do vertice j, ci e o componente (comunidade) do vertice i, gj e o

componente (comunidade) do vertice j. A funcao δ retorna 1 caso i e j pertencam ao mesmo

componente (comunidade) e 0 caso contrario. O somatorio percorre todos os pares de vertices

i j da rede. Nota-se que esta formula privilegia a fracao de arestas que estao inseridas em uma

mesma comunidade. Mais uma vez, Q ≥ 0, 3 indica uma estrutura de comunidades valida. No

caso das comunidades observadas na Figura 2.15, Q = 0, 3532216.

Este projeto de pesquisa nao pretende conceber ou implementar algoritmos de deteccao de

comunidades, mas utiliza a modularidade definida na Equacao 2.37 para validar as particoes

formadas na rede neural proposta, uma vez que as sinapses originais de Hopfield serao quebradas

para se gerar a estrutura de comunidades. No capıtulo a seguir, serao apresentados alguns

trabalhos que, assim como este, estendem a arquitetura original de Hopfield visando obter,

ou maior similaridade com algum aspecto do funcionamento do cerebro, ou maior eficiencia e

precisao em relacao ao modelo original.

Capıtulo 3Extensoes de Redes Recorrentes

Este capıtulo versa sobre projetos de pesquisa que estendem modelos dinamicos de RNAs, ou

para aferirem maior desempenho e precisao, ou para oferecerem maior grau de similaridade com

certas caracterısticas do funcionamento das redes neurais biologicas. Atualmente, as tendencias

na area de RNAs mapeiam-se, basicamente, em duas vertentes: (i) estudo e modelagem de

deferentes tipos de unidades neuronais artificiais, algumas com a intencao de atingir maior

plausibilidade em relacao a um neuronio biologico e (ii) estudo e modelagem de diferentes regras

de aprendizado e topologias, algumas visando maior semelhanca a estrutura organizacional do

cerebro.

No primeiro caso, modelos de redes neurais sao implementados segundo caracterısticas que

esbocam um comportamento dinamico, e ate caotico, observadas em celulas nervosas, levando

em conta, entre outras, propriedades como intensidade e atraso do pulso eletrico ao percorrer a

membrana celular. Redes neurais que se baseiam em tal modelagem neuronal sao normalmente

conhecidas como Redes Pulsadas (do ingles Spiking Neural Networks) [Maass 1997], [Maass e

Bishop 2001]. Estes modelos nao sao foco de aprofundamento neste trabalho.

Este projeto de pesquisa contempla o segundo cenario, ou seja, a elaboracao de modelos

de RNAs cuja proposta significativa se concentra no aperfeicoamento da estrutura topologica.

Assim sendo, este capıtulo apresenta algumas ideias de trabalhos correlacionados, que, de forma

geral, referem-se a aperfeicoamentos de modelos de redes recorrentes, mais especificamente do

modelo original de Hopfield. Embora muitos existam, tres sao evidenciados devido a sua

relevancia: a Secao 3.1 descreve, ainda que superficialmente, o modelo de Rede Neural Celular

[Chua e Yang 1988] que, ao estender o modelo classico de Hopfield, promove acoplamentos

locais (ao inves de globais). A Secao 3.2 discute as ideias apresentadas em Stauffer et al. 2003,

onde neuronios sao adicionados ao modelo original de Hopfield para formar uma Rede Livre de

Escala. Por fim, modelos de Redes Neurais Caoticas, que introduzem dinamicas complexas a

39

40 Extensoes de Redes Recorrentes

modelos recorrentes tradicionais, sao investigados na Secao 3.3.

3.1 Redes Celulares

Proposto em 1988 por Chua e Yang no artigo Chua e Yang 1988, este modelo de RNA estende

o modelo original proposto por Hopfield, visando eliminar algumas de suas limitacoes, assim

como fornecer-lhe maior similaridade no aspecto de processamento massivamente paralelo do

cerebro. Algumas das limitacoes do modelo de Hopfield sao: (i) a possıvel formacao de estados

indesejaveis (espurios) na rede e (ii) a capacidade de armazenamento experimentalmente limi-

tada em 0, 15N padroes (onde N e o numero de neuronios da rede). Aponta-se, tambem, que

o fato de neuronios serem acoplados globalmente e conectados de forma simetrica enfraquecem

o modelo no que tange a similaridade com relacao a estrutura topologica do cerebro.

Neste sentido, as Redes Neurais Celulares (RNCs) alteram a topologia de Hopfield para

tentar explorar o paralelismo massivo, passıvel de implementacao em hardware, restringindo

as conexoes de um neuronio a uma certa vizinhanca do mesmo, ao inves da arquitetura de

conexoes globalmente acopladas. Esta configuracao gera uma rede reticulada com acoplamentos

locais. O nome da rede e uma referencia aos Automatos Celulares (sistemas dinamicos discretos

localmente acoplados) cuja semelhanca esta em relacao a conectividade local entre os neuronios.

Cada unidade da rede e chamada de celula. Dada uma RNC com estrutura bidimensional

contendo MxN celulas, a vizinhanca de uma celula C(i, j) (celula na posicao de linha i e coluna

j) e definida como:

Nr(i, j) = C(k, l) : max(|k − i|, |l − j|) ≤ r, 1 ≤ k ≤M, 1 ≤ l ≤ N, (3.1)

onde r e chamado de raio da vizinhanca em torno da celula. Assim, de acordo com o valor de

r, pode-se definir varios nıveis de vizinhanca para uma mesma celula. Definida a vizinhanca, a

lei que rege o comportamento dinamico para busca e recuperacao de informacao e dada pelas

seguintes equacoes:

ykl = f(xkl)dxij(t)

dt= −xij(t) +

∑(k,l)∈Nr(i,j)

Aij,kl ykl(t) +∑

(k,l)∈Nr(i,j)Bij,kl ukl(t) + I(t),

(3.2)

para 1 ≤ i ≤ M e 1 ≤ j ≤ N , onde xij : R → R e o estado interno da celula C(i, j), uij ∈ Rrepresenta um estımulo externo, yij ∈ [−1, 1] e a saıda da celula, I e o limiar de ativacao (bias,

ou threshold), A e a matriz de pesos de retro-alimentacao, que trata as conexoes das entradas yk

3.1 Redes Celulares 41

provenientes de celulas vizinhas, e B e a matriz de pesos de controle, que pondera os estımulos

externos uk. Esta equacao ainda pode ser simplificada e reescrita em forma vetorial, como

segue. y = f(x)

x = −x+ Ty + I,(3.3)

onde T representa uma matriz esparsa de interconexoes, referindo-se ao tratamento de conexoes

de retro-alimentacoes (elimina-se, portanto, a influencia de estımulos externos). A funcao de

ativacao f e definida como a funcao Saturacao:

f(xi) =

−1, se xi < −1;

xi, se −1 ≤ xi ≤ 1;

1, se xi > 1,

(3.4)

Entre as aplicacoes de RNCs, a area de Processamento de Imagens recebe especial destaque,

pelo fato de que celulas da retina apresentam um padrao de interconexao local [Werblin et al.

1995]. Assim, estas redes tornam-se adequadas para modelarem certas funcoes como deteccao

de movimento, extracao de contornos e suavizacao de imagens. Porem, RNCs tambem podem

funcionar como memorias associativas, sendo treinadas para o reconhecimento de padrao ba-

seado em uma versao distorcida do mesmo. Para tanto, a fase de treinamento deve ajustar os

pesos sinapticos da rede, a fim de que padroes de memoria sejam armazenados como pontos

fixos assintoticamente estaveis da Equacao 3.3. Existem varios metodos propostos na literatura

da area. Citam-se: (i) baseado em matriz pseudo-inversa [Grassi 2001], (ii) baseado em decom-

posicao por valor singular (SVD) [Liu e Michel 1994], (iii) baseado em Perceptrons [Liu e Lu

1997], (iv) baseado em LMIs [Park et al. 2001] e (v) baseado em aprendizado Hebbiano [Szolgay

et al. 1997]. A seguir, sera apresentado o metodo baseado no modelo de aprendizado de Hebb

proposto em Szolgay et al. 1997.

A ideia do metodo e garantir pontos de equilıbrio dentro de uma regiao de saturacao.

Estimando-se o valor de uma constante E que define tal regiao, estima-se tambem a capacidade

de recuperacao da informacao armazenada. Considerando o armazenamento de p padroes de

memoria em uma RNC MxN , onde n = MxN e o numero total de celulas da rede, escreve-se

a equacao da dinamica da celula como segue:yp = f(xp)

xp = Typ + I, p = 1, ...,m,(3.5)

onde yp ∈ −1, 1 representa os p padroes a serem armazenados e xp ∈ Cn(yp) (com Cn(y) =


x ∈ Rn : xi, yi > 1, i = 1, ..., n∀y ∈ Bn) os pontos fixos associados. Considerando o domınio

de xp pertencente ao conjunto Cp(yp), conforme definido acima, esta equacao pode ser reescrita

como um sistema de desigualdades da forma:

xpi ypi > 1, i = 1, ..., n e p = 1, ...,m, (3.6)

onde xpi e o i-esimo elemento de xp e e calculado como:

xpi = Tiyp + Ii, i = 1, ..., n e p = 1, ...,m, (3.7)

em que Ti refere-se a i-esima linha da matriz I e Ii o i-esimo elemento do vetor de thresholds.

Com a hipotese de que xpi existem dentro de uma regiao de saturacao limitada por uma constante

E (pois estes sao pontos de equilıbrio), tem-se que:

(Tiyp)ypi + Iiy

pi > E > 1, i = 1, ..., n e p = 1, ...,m. (3.8)

Considerando que as conexoes da RNC sao locais, havera elementos Ti em T iguais a zero.

Da mesma forma, elementos ypi em yp que sao multiplicados pelos elementos nulos de Ti tambem

serao nulos. Sendo T ∗i um novo vetor contendo apenas elementos nao-nulos de Ti e sendo y∗p o

vetor obtido a partir da eliminacao dos elementos nulos de yp, a Inequacao 3.8 fica:

(T ∗i y∗p)ypi + Iiy

pi > E > 1, i = 1, ..., n e p = 1, ...,m. (3.9)

Sendo: T ∗i = [T ∗i , Ii]

y∗p = [y∗p · ypi , ypi ],

(3.10)

a Equacao 3.9 pode ser reescrita como:

T ∗i y∗p > E > 1, i = 1, ..., n e p = 1, ...,m. (3.11)

Considerando a definicao da Hipotese de Hebb (ver Capıtulo 2, Subsecao 2.2.3), tem-se que:

T ∗i =m∑p=1

wpi (y−Pi )T , i = 1, ..., n, (3.12)

onde wpi representa um “fator de ganho”(ou taxa de aprendizado). Assim, os pontos de

equilıbrio podem ser encontrados pela Equacao 3.11 utilizando-se o valor de T ∗i encontrado

na Equacao 3.12 (pois serao calculadas as correlacoes entre os padroes de memoria).

3.2 Rede Hopfield com Topologia Livre de Escala 43

Desta forma, o modelo de RNCs estende o modelo de Hopfield em todas as suas funcio-

nalidades, agregando-lhe novas caracterısticas e capacidades. Um outro trabalho que tambem

investiga possıveis modificacoes na estrutura topologica original do modelo de Hopfield como

forma de lhe proporcionar maior plausibilidade biologica e discutido na secao seguinte.

3.2 Rede Hopfield com Topologia Livre de Escala

O trabalho de Stauffer et al. 2003 discute os resultados obtidos em tarefas de reconhecimento

de padrao de uma Rede Neural de Hopfield na qual N novos neuronios sao adicionados a m

neuronios que formam uma rede de Hopfield, a fim de se gerar a arquitetura de uma Rede

Livre de Escala [Barabasi e Albert 1999], ou seja, neuronios sao adicionados de forma que a

distribuicao de graus da rede segue a Lei da Potencia (neuronios “ricos”ficam mais “ricos”). A

justificativa e a de que observa-se a arquitetura livre de escala na topologia cerebral.

O modelo utiliza as mesmas equacoes originais para aprendizado (Equacao 2.30 e re-

cuperacao de informacao (Equacao 2.29), porem restringindo as conexoes sinapticas de um

neuronio aos vizinhos dentro da topologia livre de escala. Os autores mostram que quanto

maior o numero de neuronios inseridos na rede original de Hopfield, menor sera a eficiencia

do reconhecimento de padrao. Por outro lado, a taxa de reconhecimento de padrao aumenta

quando o numero m de neuronios que formam o nucleo da rede (neuronios que integram a rede

de Hopfield original) aumenta.

Segundo os autores, ainda nao esta claro se a eficiencia do reconhecimento resulta apenas do

uso de altos valores medios para m ou se a adicao de novos “ingredientes”tambem influenciariam

o resultado. Mais importante e que este trabalho de pesquisa mesclou duas grandes areas: Redes

Neurais Artificiais e Redes Complexas ao analisar a qualidade do reconhecimento de padrao de

um modelo de Hopfield onde neuronios sao adicionados para formar uma topologia que tambem

se observa no cerebro.

3.3 Redes Neurais Caoticas

Uma forma interessante de se estudar a neurodinamica cerebral e gerar modelos artificiais

que reproduzam, ao menos em parte, as complexas dinamicas observadas no funcionamento do

cortex. As Redes Neurais Caoticas sao modelos de RNA recorrentes que provocam a ocorrencia

de atratores dinamicos diversos (nao somente estacionarios) e possıveis pontos de bifurcacao,

tal como ocorre no cerebro, conforme discutido no capıtulo anterior, Subsecao 2.2.2.

Varias sao as formas de se provocar dinamicas (especialmente caoticas) em um modelo de


rede recorrente, como o de Hopfield. Algumas delas, utilizadas de forma isolada ou combinadas

com outras, sao: (i) uso de neuronios caoticos [Adachi e Aihara 1997], [Matykiewicz 2004], [Zhao

et al. 2006], uso de diferentes regras de aprendizado [Nara et al. 1993], uso de diferentes funcoes

de ativacao [Zheng et al. 2010], [Huang e Huang 2011], [Mathias e Rech 2012], alteracao da

estrutura topologica [Kaslik e Balint 2009], [Marichal et al. 2012], entre outras.

A maioria dos modelos de Redes Neurais Caoticas opera em duas fases: uma caotica e

outra nao-caotica. Inicialmente, a rede opera na fase caotica, na qual os neuronios exibem

trajetorias itinerantes que vagam pelo espaco de estados e visitam proximamente todos os

padroes armazenados. Este comportamento, intrınseco a um sistema caotico, e conhecido como

itinerancia caotica [Kaneko e Tsuda 2003]. Quando as orbitas se aproximam suficientemente de

um padrao desejado (de acordo com alguma medida de similaridade adotada), a rede altera seu

comportamento para a fase nao-caotica, onde ela se comporta como uma memoria associativa

convencional, fazendo com que as trajetorias convirjam para o ponto fixo referente ao padrao

desejado.

Alem da simulacao dos aspectos dinamicos do cerebro, outra motivacao para pesquisas

nesta area e o possıvel aumento na eficiencia em tarefas de reconhecimento de padrao, pois a

dinamica estacionaria, utilizada em modelos recorrentes convencionais, pode apresentar pontos

indesejaveis (espurios) de memoria e levar ao reconhecimento impreciso de padroes. O uso e

a combinacao de atratores diversos, principalmente o caotico, proporciona uma forma para se

evitar estes pontos espurios, uma vez que a manifestacao da itinerancia caotica impede que as

orbitas dos neuronios sejam capturadas por um mınimo local.

Tem havido grande interesse na pesquisa de modelos de RNAs caoticas, sendo estas utili-

zadas para os mais variados fins, como: (i) simular a dinamica cerebral [Zhao et al. 2006], [To-

kuda et al. 2010], (ii) aprimorar tarefas de reconhecimento associativo de padroes [Zhao et al.

2006], [Kaslik e Balint 2009], (iii) desenvolver novos algoritmos de aprendizado [Lysetskiy e

Zurad 2004], entre outros. A seguir, e aborda a pesquisa de Adachi e Aihara 1997, um dos

trabalhos seminais da area, e que investiga o aparecimento de comportamentos dinamicos alter-

nativos pelo uso de um modelo de neuronio caotico. A descricao deste trabalho neste documento

possui a intensao de ilustrar a analise das dinamica e itinerancia caoticas em um modelo de

Rede Neural Caotica.

Rede Neural Caotica com Modelo de Neuronio Caotico

O trabalho de Adachi e Aihara 1997 apresenta a analise de um modelo de RNA com memoria

associativa (como o modelo de Hopfield), porem composto por um modelo de neuronio, dito

caotico, cuja auto-recorrencia produz dinamicas alternativas ao do atrator estacionario utilizado

3.3 Redes Neurais Caoticas 45

em modelos recorrentes tradicionais. Tal analise nao considera eficiencia ou precisao da rede,

mas, pelo contrario, requer que o processo de recuperacao de padrao fuja do ponto de equilıbrio

a fim de simular alguns aspectos de associatividade presentes no modelo real biologico. Esta

Subsecao nao pretende detalhar todo o processo de analise realizado pelos autores, apenas apre-

sentar pontos que enfatizam a possibilidade de que demais dinamicas possam estar presentes

em uma rede recorrente, partindo-se de um modelo tradicional.

O modelo do neuronio caotico proposto e dado pela seguinte equacao:

x(t) = f [u(t)], (3.13)

onde x(t) ∈ [0, 1] e a saıda do neuronio no tempo discreto t (t = 0, 1, 2, ...), f representa

a funcao de ativacao e u(t) ∈ R e o estado interno do neuronio no tempo discreto t, que e

calculado da seguinte forma:

u(t+ 1) = A(t)− αt∑

d=0

kdg[x(t− d)]− θ, (3.14)

onde A(t) e o chamando estımulo externo no tempo discreto t, g e a chamada funcao de

obstinacao (pois preserva as t− d saıdas anteriores do neuronio), α e o parametro de escala da

obstinacao, k e o parametro de decaimento da obstinacao e θ e o limiar de ativacao (threshold).

Substituindo 3.14 na Equacao 3.13, tem-se a equacao do neuronio caotico como segue:

x(t+ 1) = f

A(t)− α

t∑d=0

kdg[x(t− d)]− θ

, (3.15)

na qual, nota-se, diferentemente de modelos matematicos tradicionais, que este e um neuronio

cujo estado atual depende dos estados anteriores do mesmo. Esta caracterıstica de auto-

recorrencia do proprio neuronio permite o desdobramento de dinamicas, desde periodicas a

caoticas, de acordo com valores escolhidos para os parametros. Para demonstrar a ocorrencia

destas dinamicas, aos autores calculam os expoentes de Lyapunov dos estados internos u, porem

considerando-se a diferenca reduzida da Equacao 3.14, dada por:

u(t+ 1) = ku(t)− αgf [u(t)]+ θ(t), (3.16)

onde θ(t) ≡ A(t)− kA(t− 1)− θ(1− k). Considera-se, ainda, g(x) = x, θ(t) = a (constante) e

f a funcao logıstica dada por f(x) = 1/1 + exp(−u/ε), com parametro de declividade ε. Os

expoentes de Lyapunov para a Equacao 3.16 sao calculados da seguinte forma:


λ = limn→∞

1

n

t0+n∑t=t0+1

ln

∣∣∣∣du(t+ 1)

du(t)

∣∣∣∣ , (3.17)

onde n e o numero de iteracoes. Na Figura 3.1, e apresentado o conjunto dos expoentes

de Lyapunov pela variacao dos valores do parametro θ(t) = a. Observa-se a ocorrencia de

dinamicas caoticas (quando λ > 0) e demais dinamicas (quando λ < 0). O diagrama de

bifurcacao e ilustrado na Figura 3.2.

Figura 3.1: Expoentes de Lyapunov para a Equacao 3.16 pela variacao do parametro θ(t) = a,com k = 0, 5, ε = 0, 015 e α = 1, 0. Valores positivos de λ indicam dinamica caotica; valoresnegativos indicam outras dinamicas; valores iguais a zero indicam pontos de bifurcacao. Fonte:Adachi e Aihara 1997.

Figura 3.2: Diagrama de bifurcacao da Equacao 3.16. Grafico do estado interno u do neuroniopela variacao do parametro θ(t) = a, com k = 0, 5, ε = 0, 015 e α = 1, 0. Fonte: Adachi eAihara 1997.

A partir da concepcao do neuronio caotico, constroi-se uma rede neural caotica, na qual a


dinamica no i-esimo neuronio integrado a rede e descrita como:

xi(t+ 1) = f [ξi(t+ 1) + ηi(t+ 1) + ζi(t+ 1)], (3.18)

onde ξi, ηi e ζi representam, respectivamente: (i) os termos de estado interno referente aos

estımulos externos, (ii) entradas de retro-alimentacao dos neuronios que constituem a rede

e (iii) a obstinacao, ou seja, a auto-recorrencia do i-esimo neuronio, levando em conta seus

proprios estados anteriores. Os tres componentes ξi, ηi e ζi sao calculados como segue:

ξi(t+ 1) =X∑j=1

Vij

t∑d=0

kdeAj(t− d), (3.19)

ηi(t+ 1) =N∑j=1

Wij

t∑d=0

kdfxj(t− d), (3.20)

ζi(t+ 1) = −αt∑

d=0

kdrg[xi(t− d)]− θi, (3.21)

onde Vij representa o peso sinaptico entre o neuronio i e a j-esima entrada externa (de um total

de X entradas externas), Wij representa o peso sinaptico entre os neuronios i e j (de um total

de N neuronios), ke e o parametro de decaimento dos estımulos externos, kf e o parametro de

decaimento das entradas de retro-alimentacao e kr e o parametro de decaimento da obstinacao.

De acordo com os valores dos parametros, a rede pode apresentar, desde um comportamento

classico de modelos recorrentes compostos pelo neuronio MCP [McCulloch e Pitts 1943] (por

exemplo, com α = ke = kf = kr = 0), ate redes com comportamento dinamico caotico (para

α 6= 0; ke 6= 0; kf 6= 0; kr 6= 0). Em outras palavras, o modelo apresentado pelos autores e

uma extensao natural dos modelos de RNAs dinamicos convencionais de tempo discreto. Isto

quer dizer, que o modelo pode funcionar como uma memoria associativa, tal como o modelo

de Hopfield, porem incorporando dinamicas caoticas.

Para analisar as caracterısticas fundamentais do modelo proposto, os autores constroem uma

RNA composta por N = 100 neuronios conectados recorrentemente, visando a recuperacao de

padroes de forma associativa. A dinamica dada pela Equacao 3.18 e simplificada, eliminando-se

a componente ξi (que opera sobre estımulos externos). Portanto, a saıda do i-esimo neuronio

da rede e calculada como sendo:

xi(t+ 1) = f [ηi(t+ 1) + ζi(t+ 1)], (3.22)

preservando o calculo das componentes ηi e ζi conforme apresentado nas equacoes 3.20 e 3.21,


respectivamente. O treinamento e feito utilizando-se uma matriz simetrica auto-associativa

como segue:

Wij =M∑p=1

(ξpi − ξ)(ξpj − ξ), (3.23)

onde ξpi e o i-esimo elemento do padrao p, ξpj e o j-esimo elemento do padrao p e ξ representa

a media dos valores espaciais dos M padroes armazenados. Na figura 3.3 e ilustrada a base de

padroes utilizada. Os quatro primeiros, de (a) a (d), sao utilizados no processo de armazena-

mento. O quinto padrao (e) e utilizado para recuperacao associativa de um dos quatro padroes

armazenados.

Figura 3.3: Base utilizada na analise do modelo proposto. Padroes de (a) a (d) sao armazenadose o padrao (e) utilizado para recuperacao associativa dos padroes armazenados. Fonte: Adachie Aihara 1997.

De acordo com os valores utilizados para os parametros α, kf e kr pode-se obter diferentes

comportamentos dinamicos. Na Figura 3.4, observa-se a completa convergencia do padrao

exibido em t = 0 para o padrao armazenado (c) da Figura 3.3, demonstrando a dinamica

estacionaria para αi = kf = kr = 0. Assim, com valores nulos para os parametros, a rede

comporta-se como um modelo de memoria associativa tradicional. Porem, ao passo que o grau

de obstinacao aumenta (incremento de kr), a rede passa a nao mais apresentar um ponto de

equilıbrio estavel. As Figuras 3.5 e 3.6 ilustram o processo de recuperacao do padrao distorcido

em t = 0. Na primeira, com um grau baixo de obstinacao (α = 8, 0, kf = 0, 15 e kr = 0, 5),

nota-se que a rede, algumas vezes, aproxima-se do padrao armazenado (c), mas nao o mantem

estavel, como em um comportamento periodico, ou quase-periodico. Na segunda figura, ja

com um alto grau de obstinacao (α = 10, 0, kf = 0, 2 e kr = 0, 9), nota-se que o processo de

recuperacao de informacao se aproxima, ora ou outra, de cada um dos padroes armazenados.

A evolucao descrita na Figura 3.6 e um exemplo de itinerancia caotica.

Analises mais profundas presentes no artigo deduzem que tais trajetorias itinerantes e tran-

sitorias movem-se nao-periodicamente sem nunca estacionarem em um ponto de equilıbrio.

Porem, apos varios ciclos de iteracao, convergem para um atrator periodico atingindo uma

certa estabilidade. Isto demonstra que a introducao do fator de obstinacao no modelo do


Figura 3.4: Demonstracao da dinamica estacionaria para α = kf = kr = 0. O padrao visto emt = 0 converge para o padrao armazenado (c) da Figura 3.3. Fonte: Adachi e Aihara 1997.

Figura 3.5: Saıdas da rede durante o ciclo de recuperacao de padrao para α = 8, 0, kf = 0, 15e kr = 0, 5. Nota-se um comportamento periodico ou quase-periodico, no qual a rede, algumasvezes, aproxima-se do padrao (c) da Figura 3.3, porem nao o mantem estavel. Fonte: Adachie Aihara 1997.


neuronio torna o processo de busca e recuperacao de padrao muito mais dinamico do que em

modelos recorrentes tradicionais. Tal dinamismo mostrou-se similar ao comportamento do sis-

tema olfativo biologico [Skarda e Freeman 1987], no qual dinamicas caoticas exercem um papel

fundamental, nao somente para o acesso a um padrao de memoria armazenado, mas tambem

para classificar e aprender novos padroes.


Figura 3.6: Saıdas da rede durante o ciclo de recuperacao de padrao para α = 10, 0, kf = 0, 2e kr = 0, 9. Nota-se uma trajetoria semelhante a de uma itinerancia caotica, na qual cada umdos quatro padroes, ora ou outra, e visitado pela rede. Fonte: Adachi e Aihara 1997.

Capıtulo 4O Modelo de Rede Recorrente com

Estrutura de Comunidades

Tal como o trabalho de Stauffer et al. 2003, este projeto altera a estrutura sinaptica padrao

do modelo de Hopfield a fim de gerar uma topologia de Rede Complexa. Porem, enquanto

Stauffer et al. 2003 analisa a eficiencia de uma rede neural livre de escala, esta pesquisa gera

estrutura de comunidades de Rede Complexa, cuja inspiracao e a existencia de agrupamentos

espaciais e funcionais observados no cortex cerebral. Os resultados aqui apresentados sugerem

que e possıvel a emersao de dinamicas complexas (especificamente a caotica) quando a rede

exibe uma topologia de comunidades e a utilizacao de dinamicas complexas pode contribuir

para melhorar a eficiencia e precisao de modelos recorrentes, conforme discutido no trabalho

de Zhao et al. 2006.

Assim, este projeto de pesquisa se mostra relevante ao propor um novo modelo de Rede

Neural Caotica contendo uma estrutura topologica mais similar a do cerebro. A Secao 4.1

aborda a metodologia utilizada para implementacao e analise do modelo de RNA proposto. A

Secao seguinte, 4.2, apresenta algumas analises matematicas que basicamente abordam con-

sequencias da fragmentacao das conexoes sinapticas. Por fim, os experimentos, simulacoes e

resultados sao discutidos na Secao 4.3. Tais resultados geraram um artigo cientıfico aceito para

publicacao no IEEE International Joint Conference on Neural Networks (IJCNN) de 2013 (ver

Secao 5.2).

4.1 Metodologia

Esta Secao descreve os metodos e tecnicas empregados neste projeto de pesquisa. A

Subsecao 4.1.1 apresenta a etapa de passos seguidos para a geracao da topologia de rede pro-

53

54 O Modelo de Rede Recorrente com Estrutura de Comunidades

posta. A seguir, a Subsecao 4.1.2, discute a regra de aprendizado utilizada que posta os padroes

em ciclos gerando uma matriz assimetrica de pesos. A regra de propagacao de padrao e abor-

dada na Subsecao 4.1.3. Por fim, a Subsecao 4.1.4 disserta sobre as metricas utilizadas para a

avaliacao do comportamento dinamico do modelo.

4.1.1 Geracao da Topologia de Rede

Para gerar a RNA com estrutura de comunidades, a topologia convencional de uma rede

de Hopfield (formada por N neuronios e numero de conexoes e = N2 − N) e fragmentada

levando-se em conta tres parametros:

• C: Numero de comunidades desejadas;

• Pin: Valor entre 0 e 1 que representa a probabilidade de um neuronio conectar-se a outro

da mesma comunidade (conexoes intra-comunidades);

• Pout: Valor entre 0 e 1 que representa a probabilidade de um neuronio conectar-se a outro

de uma comunidade diferente (conexoes inter-comunidades).

Apos definidos estes parametros, os neuronios sao rotulados em comunidades, como segue:

Comunidade do neuronioi = i%C, onde i = 1, 2, ..., N e % representa a operacao mod (nota-se,

portanto, que as comunidades terao, no geral, o mesmo numero de neuronios - obviamente que

uma das comunidades contera um diferente numero de neuronios dependendo da relacao entre

N e C). Em seguida, uma matriz de adjacencia A e construıda aplicando-se as probabilidades

Pin e Pout na ligacao entre os neuronios: para cada par de neuronios (i, j), com i 6= j, gera-se

um numero aleatorio Z entre 0 e 1. Se Z ≤ P (P = Pin se i e j pertencem a mesma comunidade;

P = Pout caso contrario), entao Aij = 1. Se Z > P , Aij = 0. Assim, a matriz A guarda a

topologia da nova RNA, que, de agora em diante, sera referenciada como RNA(Com).

Devido a natureza estocastica na formacao das sinapses, nota-se que a matriz A pode variar

de conteudo para o mesmo conjunto de valores de parametros, incluindo a possibilidade de

originar uma topologia com grupos desconexos (fato que prejudicaria a convergencia do modelo

a um atrator). Por esta razao, forca-se conexao entre os neuronios i e i+1 (e entre o ultimo e o

primeiro) gerando, assim, uma sempre existente estrutura de ciclo, mesmo que os valores de Pin

e Pout sejam nulos. Com a matriz A em maos, a analise da estrutura de comunidades e feita por

meio da Medida de Modularidade Q (Equacao 2.37), como apresentado no Capıtulo 2, Secao

2.4. A Figura 4.1 ilustra um exemplo da RNA(Com) composta por 100 neuronios (N = 100) e

parametrizada para originar uma estrutura com 4 comunidades (C = 4).

4.1 Metodologia 55

Figura 4.1: Exemplo da topologia do modelo de RNA proposto para N = 100, C = 4, Pin =1, 00 e Pout = 0, 10. As comunidades contem 25 neuronios cada. A Medida de Modularidadepara esta topologia e Q = 0, 452569.

4.1.2 Regra de Aprendizado

Uma vez definida e gerada a topologia, da-se inicio ao treinamento dos padroes. Para isto, e

utilizada a regra de aprendizado que posta os padroes em ciclos, proposta em Mori et al. 1989.

Trata-se de uma regra para redes recorrentes e que exige uma propagacao sıncrona dos padroes

(isto e, diferentemente da evolucao assıncrona de Hebb, cujo valor de saıda de um neuronio

e imediatamente atualizado para uso dentro de uma mesma iteracao, na evolucao sıncrona os

neuronios terao seus valores de saıda atualizados apenas apos a evolucao de todos os demais

neuronios e antes do inıcio da iteracao seguinte). Por meio de uma hetero-correlacao entre os

padroes, uma matriz assimetrica de pesos W e gerada conforme mostra a Equacao 4.1, na qual

K e o numero de ciclos e L e o numero de padroes em cada ciclo (K × L = M e o total de

padroes a serem armazenados). A Figura 4.2 ilustra a organizacao de 10 padroes divididos em

2 ciclos.

W =1

N

K∑µ=1

L∑v=1

ξµ,v+1%L(ξµ,v)T (4.1)


onde ξµ,v = (ξµ,v1 , ξµ,v2 , ..., ξµ,vN ), com ξµ,vi ∈ −1, 1, representa o v-esimo padrao do ciclo µ. % e

o operador mod. Para L = 1 tem-se o comportamento da regra de autocorrelacao convencional.

Figura 4.2: Organizacao de 10 padroes (M = 10) em 2 ciclos (K = 2). Cada ciclo contem 5diferentes padroes (L = 5).

A razao para a alteracao da regra de aprendizado padrao de Hopfield se faz pelo fato

de que a matriz simetrica de pesos gerada pela autocorrelacao entre os padroes (como feito

no aprendizado Hebbiano) prove apenas dinamicas estacionarias ou periodicas de, no maximo,

perıodo 2 [Goles-Chacc et al. 1985], [Marcus e Westervelt 1989]. Ja a regra da Equacao 4.1 gera

uma matriz assimetrica por dividir os padroes em ciclos. Considerando que cada ciclo contem

L padroes, o sistema evolui de forma naturalmente periodica, recuperando padroes com uma

dinamica periodica de perıodo L. Alem disso, foi demonstrado que uma matriz assimetrica de

pesos sinapticos facilita a emersao de dinamicas caoticas dependendo da estrutura topologica

que rede apresenta [Nara et al. 1993].

4.1.3 Regra de Propagacao

A fase de propagacao e aquela na qual padroes distorcidos ξ′

sao apresentados a rede e

neuronios evoluem de acordo com uma regra de evolucao. Ao final do processo, a rede gera como

resposta um padrao ξ que pode ou nao corresponder fielmente a um dos padroes previamente

armazenados, dependendo da precisao do sistema. A regra aqui utilizada exige uma evolucao

sıncrona, conforme discutido na Subsecao anterior, e e dada pela Equacao 4.2 a seguir.xi(t+ 1) = f(ui(t)),

ui(t) =∑N

j=1AijWijxj(t) j 6= i e i = 1, ..., N.(4.2)

na qual xi e a saıda do neuronio i, ui e o estado interno do neuronio i, N e o numero total de

neuronios, Aij e o elemento (i, j) da matriz de adjacencia A (Aij = 1 se existe conexao entre os

neuronios i e j e Aij = 0 caso contrario) e f e a funcao de ativacao sinal, a mesma dada pela

Equacao 2.27, conforme apresentado no Modelo de Hopfiled, Secao 2.3. Por meio da geracao

4.2 Analise do Modelo 57

da matriz A (que codifica a topologia da rede), pode-se estimular diferentes comportamentos

dinamicos durante a evolucao dos neuronios, de periodicos a caoticos, conforme discutido na

Secao 4.3.

4.1.4 Analise do Comportamento Dinamico

Para analisar o comportamento dinamico do modelo proposto foram utilizados diagramas

de bifurcacao, coeficientes de Fourier das seres temporais advindas da propagacao de padroes e,

tambem, os expoentes de Hurst, calculados por meio do metodo de rescaled range (ver Subsecao

2.1.5). Os expoentes de Hurst foram preferidos aos expoentes de Lyapunov (tradicionalmente

empregados para avaliacao da dinamica de sistemas) pois o modelo de RNA(Com) proposto

baseia-se em uma regra de propagacao que assume valores discretos e que emprega uma funcao

de ativacao descontınua, fato que impossibilita o calculo da matriz Jacobiana D, conforme

apresentado na Subsecao 2.1.5.

4.2 Analise do Modelo

Algumas analises matematicas consideradas relevantes sao descritas nesta Secao. A Subsecao

4.2.1 apresenta uma estimativa para o numero total de conexoes da rede quando esta se en-

contra em um contexto de comunidades. Um estudo sobre o comportamento dos parametros

utilizados para construcao da rede em situacao de caos e abordada na Subsecao 4.2.2.

4.2.1 Calculo do Numero de Conexoes

E importante observar que a RNA(Com) gerada contera o mesmo numero N de neuronios

da rede original de Hopfield. O numero de conexoes e, porem, estara implıcito na matriz A,

mas pode ser estimado analiticamente como segue.

• Numero de conexoes intra-comunidades eintra: considerando Pin = 1, um neuronio faz

(N/C) − 1 conexoes em sua comunidade i. Assim, todos os neuronios da comunidade

i somarao [(N/C) − 1](N/C) conexoes. Portanto, para todas as comunidades da rede

tem-se [(N/C)2 − (N/C)]C = (N2/C) − N conexoes. Considerando-se, entao, uma

probabilidade Pin < 1, o numero de conexoes intra-comunidades pode ser estimado como

sendo:

eintra = (N2

C−N)Pin (4.3)


• Numero de conexoes inter-comunidades einter: considerando Pout = 1, um neuronio faz

N−(N/C) conexoes com neuronios de comunidades diferentes da sua. Todos os neuronios

da rede somarao, portanto, [N − (N/C)]N = (N2)− (N2/C) conexoes. Pode-se estimar,

entao, o numero total de conexoes inter-comunidades para uma dada probabilidade Pout <

1 como:

einter = (N2 − N2

C)Pout (4.4)

• Numero total de conexoes e: o numero total de conexoes da RNA(Com) e dado por

e = eintra + einter. Assim, e pode ser estimado pela Equacao 4.5 a seguir.

e = (N2

C−N)Pin + (N2 − N2

C)Pout (4.5)

4.2.2 Relacao entre Parametros na Condicao de Bifurcacao

Considera-se que a RNACom proposta altera seu comportamento dinamico quando alcanca

determinado grau de fragmentacao de suas conexoes. Porem, dada a natureza estocastica

da matriz A, o ponto de bifurcacao torna-se, na realidade, uma regiao de bifurcacao, pois

diferentes resultados podem ser obtidos para a mesma configuracao dos parametros Pin, Pout e

C no contexto de um grau de fragmentacao crıtico.

Assim sendo, definindo uma probabilidade p(c) que corresponde a probabilidade crıtica na

qual existe uma regiao de bifurcacao, o calculo do numero crıtico de conexoes (isto e, o numero

de conexoes para a qual o sistema encontra-se na regiao de bifurcacao) pode ser definido como:

e(c) = (N2 −N)p(c) (4.6)

E interessante analisar a relacao entre os parametros no caso em que a rede encontram-se na

regiao de bifurcacao. Para isto, considera-se que os neuronios da rede mantem uma estrutura

de comunidades, isto e: C > 1 e Pout < 1. Na regiao de bifurcacao, o numero total de conexoes

e deve corresponder ao numero crıtico de conexoes ec, isto e: e = e(c). Desta forma, igualando

as Equacoes 4.5 e 4.6, tem-se que:

(N2

C−N)Pin + (N2 − N2

C)Pout = (N2 −N)p(c) (4.7)

No contexto da Equacao 4.7, que evidencia uma situacao de bifurcacao, intenciona-se estu-

dar o relacionamento entre os parametros C, Pin e Pout . No entanto, para simplificar a analise,

considera-se tambem que a rede apresenta uma estrutura de comunidades valida e com um

4.2 Analise do Modelo 59

grau maximo de modularidade, ou seja, faz-se Pin = 1 e mantem-se variaveis os valores de C e

Pout. Nesta situacao, a Equacao 4.7 pode ser expandida da seguinte forma:

N2

C−N + (N2 − N2

C)Pout = (N2 −N)p(c)

N2

C−N + PoutN

2 − Pout N2

C= p(c)N2 − p(c)N

N2( 1C− Pout

C+ Pout)−N = p(c)N2 − p(c)N

N2( 1C− Pout

C+ Pout) = p(c)N2 − p(c)N +N

1C− Pout

C+ Pout = [p(c)N2+(1−p(c))N ]

N2

1C− Pout

C+ Pout = p(c) + 1−p(c)

N

(4.8)

Fazendo p(c) + 1−p(c)N

= θ:

1C− Pout

C+ Pout = θ

1−Pout

C+ Pout − θ = 0

1−Pout+CPout−CθC

= 0

1− Pout + CPout − Cθ = 0

Pout(C − 1) = Cθ − 1

(4.9)

Tem-se, entao, a relacao:

Pout =θC − 1

C − 1(4.10)

onde θ = p(c) + (1− p(c))/N . Esta equacao traca uma curva hiperbolica na qual Pout converge

assintoticamente para θ quando C cresce, como pode ser observado na Figura 4.3.

Figura 4.3: Curva da relacao entre Pout e C, dada pela Equacao 4.10.


A curva da Figura 4.3 indica que, em relacao a caoticidade, a partir de um certo numero de

comunidades, o sistema atinge saturacao em termos do valor crıtico de Pout (relacionado a um

numero mınimo de conexoes necessarias para que o sistema inicie um comportamento caotico).

Em outras palavras, a partir de certo valor de C, torna-se irrelevante aumentar o numero de

comunidades, pois o grau crıtico de fragmentacao da rede tende a um valor ideal de θ%. Este

fato e comprovado experimentalmente na Secao a seguir.

4.3 Experimentos e Resultados

Nesta Secao serao descritos as simulacoes computacionais e os resultados por estas obtidos.

Inicialmente o comportamento periodico que surge como resultado da regra de aprendizado e

verificado na Subsecao 4.3.1. Em seguida, analisa-se o grau de fragmentacao necessario para que

a rede passe a apresentar um comportamento caotico (descobrimento da regiao de bifurcacao)

na Subsecao 4.3.2. Por fim, na Subsecao 4.3.3 a dinamica caotica e analisa no contexto de

comunidades propriamente dito.

4.3.1 Verificacao do Comportamento Periodico

O primeiro experimento aqui descrito e o de averiguar o comportamento naturalmente

periodico que surge como resultado da aplicacao da regra de aprendizado dos ciclos limitantes.

Para tanto, utiliza-se a base de padroes ilustrada pela Figura 4.4; 4.4(a) apresenta os padroes

utilizados pela regra de aprendizado - nota-se, portanto, um numero M = 4 de padroes, cada

um consistindo de uma imagem binaria de 10×10 pixeis (N = 100). 4.4(b) e o padrao utilizado

pela regra de propagacao. Considera-se, tambem, neste caso, uma topologia de conexoes que

nao apresenta fragmentacoes, isto e, C = Pin = Pout = 1. Desta forma, a rede apresenta a

regra de propagacao de Hopfield, fazendo com que o padrao 4.4(b) convirja para um dos ciclos.

Figura 4.4: Base de padroes: imagens binarias de 10×10 pixeis. (a) mostra os padroes a seremarmazenados. O padrao em (b) e utilizado na fase de propagacao.

A Figura 4.5 apresenta o caso em que os 4 padroes da Figura 4.4(a) sao organizados em

apenas um ciclo (K = 1 e L = 4). Apos um perıodo de transiencia de 488 iteracoes (de um

4.3 Experimentos e Resultados 61

total de 1000 iteracoes para a evolucao do padrao da Figura 4.4(b)), o sistema retorna, em

sequencia, os 4 padroes armazenados. Nota-se, portanto, que a rede converge para o ciclo unico

e apresenta um comportamento periodico de perıodo 4. A Figura 4.6 mostra a serie temporal

da propagacao do padrao 4.4(b), reforcando a dinamica periodica.

Figura 4.5: Evolucao da rede para o padrao apresentado na Figura 4.4(b). Os padroes daFigura 4.4(a) sao organizados em um ciclo (K = 1 e L = 4). Nota-se um comportamentoperiodico de perıodo 4, no qual a rede converge para o ciclo unico.

Figura 4.6: Serie temporal do estado interno u referente a evolucao exibida pela Figura 4.5.Reforca-se a observacao de um comportamento periodico de perıodo 4.

Em um segundo caso, os mesmos 4 padroes da Figura 4.4(a) sao organizados em 2 ciclos,

2 padroes em cada ciclo (K = 2 e L = 2). O primeiro ciclo contem os dois primeiros padroes


da Figura 4.4(a) enquanto que o segundo ciclo contem os dois ultimos. Nota-se na Figura 4.7

que a rede continua a apresentar um comportamento periodico, porem, agora de perıodo 2,

onde o padrao 4.4(b) evolui para ser aprisionado no primeiro ciclo. Esta dinamica periodica de

perıodo 2 e enfatizada pela serie temporal da Figura 4.8.

Figura 4.7: Evolucao da rede para o padrao apresentado na Figura 4.4(b). Os padroes daFigura 4.4(a) sao organizados em 2 ciclo, 2 padroes em cada ciclo (K = 2 e L = 2). Desta vez,nota-se um comportamento periodico de perıodo 2, no qual a rede converge para o primeirodos dois ciclos.

Figura 4.8: Serie temporal do estado interno u referente a evolucao exibida na Figura 4.7.Reforca-se a observacao de um comportamento periodico de perıodo 2.


4.3.2 Analise do Surgimento do Comportamento Caotico

A proxima simulacao visa analisar a caoticidade do sistema de acordo com o grau de frag-

mentacao das conexoes sinapticas. Para tanto, utiliza-se uma base com 30 padroes (M = 30)

de 20× 20 pixeis cada (N = 400) gerados aleatoriamente porem de forma a manterem-se pro-

ximamente ortogonais uns aos outros. Esta alteracao da base visa estabelecer uma proporcao

α = N/M = 3/40. Esta proporcao e empiricamente aceita como sendo a que mais facilita

o aparecimento de pontos espurios [Mori et al. 1989]. Assim, acredita-se que esta proporcao

tambem facilita o surgimento de dinamicas complexas.

Para a etapa de treinamento, os 30 padroes sao divididos em 5 ciclos (K = 5), com 6

padroes em cada ciclo (L = 6). Assim, o comportamento dinamico natural da rede sera,

portanto, periodico de perıodo 6, devido a regra de treinamento. O primeiro padrao gerado

tambem e utilizado na etapa de propagacao, isto e, a rede evolui para um padrao nao distorcido

- isto tem a intencao de promover maior estabilidade do comportamento dinamico durante a

evolucao do padrao.

Para analisar a porcentagem de fragmentacao necessaria para iniciar um comportamento

caotico, considera-se uma rede com apenas uma comunidade (C = Pout = 1), na qual as

conexoes sao fragmentadas pela variacao dos valores de Pin (Pin inicia em 1 e decresce para 0).

A Figura 4.9(a) exibe o diagrama de bifurcacao em relacao aos valores de Pin. A Figura 4.9(b)

mostra o espectro de Hurst para o mesmo caso. Nota-se que a regiao de bifurcacao do sistema

esta em torno de Pin = 0, 20. Isto significa que aproximadamente 80% das conexoes devem ser

descartadas para que a dinamica periodica natural do sistema ceda lugar a um comportamento

caotico.

As Figuras 4.10 e 4.11 investigam o comportamento do sistema ao redor da regiao de

bifurcacao. A Figura 4.10(a) mostra a serie temporal da evolucao da rede para Pin = 0, 30

e a Figura 4.10(b) exibe os respectivos coeficientes de Fourier da serie da Figura 4.10(a).

Nota-se um comportamento periodico de perıodo 6. Ja as Figuras 4.11(a) e 4.11(b) exibem,

respectivamente, a serie temporal e os coeficientes de Fourier para Pin = 0, 10. Neste caso, tais

resultados sugerem a existencia de um comportamento caotico.

4.3.3 Analise do Comportamento Dinamico no Contexto de Comu-

nidades

Os resultados da Subsecao anterior indicam uma porcentagem crıtica (ou seja, a porcenta-

gem necessaria para que a rede altere seu comportamento dinamico de periodico para caotico)

de p(c) ∼ 20% do numero de conexoes totais da rede. Resta, portanto, a investigacao do com-


Figura 4.9: Analise do comportamento dinamico da rede considerando uma base de 30 padroesdivididos em 5 ciclos, 6 padroes por ciclo (K = 5 e L = 6). Em (a) e exibido o diagrama debifurcacao do estado interno u em relacao a Pin, para C = 1 e Pout = 1. (b) mostra o espectrodos expoentes de Hurst H para a mesma evolucao. Nota-se uma regiao de bifurcacao para Pinem torno de 0, 20.

portamento da rede no contexto de comunidades, ou seja, para C > 1. Para tanto, considera-se

o experimento no qual o valor de Pout varia em relacao a um dado valor de C. A fim de garantir

uma estrutura de comunidades valida, faz-se Pin = 1, ou seja, as comunidades internamente

sao totalmente conectadas a fim de assegurar um alto valor da Medida de Modularidade Q. A

Figura 4.12 mostra a curva entre numero de comunidades C e os valores crıticos de Pout, isto e,

valores de Pout para os quais a rede encontra-se na regiao de bifurcacao, porem na fronteira do

lado caotico. Um valor de Pout e considerado estar na fronteira caotica da regiao de bifurcacao

quando o expoente de Hurst H da serie temporal obtida para um dado valor de C excede um

certo limiar, aqui definido como 0, 3.


Figura 4.10: Comportamento da rede para Pin = 0, 30, C = 1 e Pout = 1. (a) mostra umaserie temporal periodica de perıodo 6 que e ratificado pelos coeficientes de Fourier c em (b). Oexpoente de Hurst para a serie e H = 0, 060113, valor que tambem indica um comportamentoperiodico.

A analise da curva exibida na Figura 4.12 sugere que a rede exibe um comportamento caotico

para C ≥ 5. Para C = 5 o Pout crıtico e 0, 03 (cerca de 97% de conexoes descartadas) e cresce

ate alcancar um estado de saturacao ao redor de 0, 20 quando C ≥ 50. Este comportamento

assintotico e analiticamente comprovado pela Equacao 4.10, conforme demonstrado na Subsecao

4.2.2. A Figura 4.13 compara a curva exibida na Figura 4.12 com a curva teorica gerada pela

Equacao 4.10, quando N = 400, p(c) = 0, 20 e, consequentemente, θ = 0, 202. Assim, monstra-

se que os resultados experimentais sao compatıveis com os resultados teoricos.

Conclui-se, portanto, que ha indıcios relevantes de que a rede, no contexto de comunidades,

altera seu comportamento de periodico para caotico quando a rede apresenta uma certa por-

centagem crıtica na fragmentacao das conexoes que ligam comunidades distintas. Ainda resta

investigar se a rede pode ao mesmo tempo comportar-se caoticamente e apresentar uma estru-

tura valida de comunidades. Para tanto, investiga-se a qualidade da estrutura de comunidades

da rede aplicando-se a medida de modularidade dada pela Equacao 2.37. Para simplificar o ex-

perimento, supoe-se que a rede sera tanto mais modular quanto maior for o numero de conexoes

entre neuronios da mesma comunidade e menor for o numero de conexoes entre neuronios de

comunidades distintas. Desta forma, a Figura 4.14 mostra a relacao entre a Medida de Modu-


Figura 4.11: Analise do comportamento da rede para Pin = 0, 10, C = 1 e Pout = 1. Em (a) eexibida a serie temporal e em (b) os relacionados coeficientes de Fourier. O expoente de Hurstda serie e H = 0, 493295. Este dados sugerem um comportamento caotico.

Figura 4.12: Variacao do valor crıtico de Pout em relacao ao numero C de comunidades. Nota-seque nao ha alteracao significante no valor de Pout para C ≥ 50.

laridade Q e o numero de comunidades C para Pin = 1 e Pout = 0, 05, ainda considerando a

base de 30 padroes 20 × 20 (N = 400). A curva mostra uma Medida de Modularidade valida

(Q ≥ 0, 3) para 2 ≤ C ≤ 29.


Figura 4.13: Comparacao entre as curvas datas pela Figura 4.12 e pela Equacao 4.10 quandoN = 400, p(c) = 0, 20. e θ = 0, 202. Observa-se que o resultado experimental e compatıvel como resultado teorico.

Figura 4.14: Variacao da Medida de Modularidade Q pelo numero de C, considerando Pout =0, 05 e Pin = 1. (a) mostra a curva completa e (b) magnifica a regiao na qual Q ≥ 0, 3. Eindicado que a rede possui uma estrutura de comunidade valida para 2 ≤ C ≤ 29.

Comparando os resultados apresentados nas Figuras 4.12 e 4.14, conclui-se que a rede pode

comportar-se caoticamente e com alto grau de modularidade para 5 ≤ C ≤ 29, considerando

Pin = 1 e Pout = 0, 05. Este resultado e reforcado pela Figura 4.15 que exibe o comportamento


dinamico da rede para C = 20 sugerindo uma dinamica caotica.

Figura 4.15: Comportamento dinamico da rede para C = 20, Pout = 0, 05 e Pin = 1. (a)mostra a serie temporal e (b) os coeficientes de Fourier. Para esta serie, a Modularidade eQ = 0, 387818 e o expoente de Hurst e H = 0, 587774. Este resultado indica que a rede podecomportar-se caoticamente e, ao mesmo tempo, exibir uma estrutura de comunidades valida.

Capıtulo 5Consideracoes Finais

Ha tempos que muitos projetos de pesquisa tentam compreender e assimilar a complexa

funcionalidade das redes neurais biologicas. Modelos artificiais surgiram com propostas de

reproduzir aspectos simples da funcionalidade do cerebro, baseados em um padrao de apren-

dizado conexionista. Demonstrou-se que o cortex cerebral exibe comportamentos dinamicos

complexos. Modelos artificiais, como o de Hopfield, operam com comportamento dinamico,

mas com um dinamismo estacionario sob uma estrutura topologica simples. Variacoes do mo-

delo de Hopfield surgiram, ou modificando o tipo de neuronio, ou a regra de aprendizado, ou

a topologia das conexoes sinapticas. Neste sentido, as Redes Neurais Caoticas operam com

dinamicas complexas, porem ainda com uma estrutura topologica simples, quando comparadas

a das redes neurais biologicas. Alem do dinamismo complexo, o cerebro contem grupos espe-

cializados de celulas, que podem ser estudados como as estruturas de comunidades das Redes

Complexas.

Desta forma o projeto de pesquisa aqui descrito analisou o comportamento dinamico de um

novo modelo de Rede Neural Caotica que opera com dinamicas periodicas e caoticas sob uma

arquitetura de comunidades, sendo assim mais similar a estrutura de uma rede neural biologica.

A Secao 5.1 disserta sobre as conclusoes da pesquisa. As principais contribuicoes cientıficas sao

discutidas na Secao 5.2. O capıtulo e encerrado na Secao 5.3, sugerindo alguns topicos a serem

investigados em uma proxima etapa desta pesquisa.

5.1 Conclusoes

Os resultados exibidos na Subsecao 4.3.1 mostram que, em uma topologia sem fragmentacoes,

a rede neural proposta opera com dinamica periodica como consequencia natural da regra de

aprendizado utilizada. Para altos graus de fragmentacao, ha fortes indıcios de que a rede altera

69

70 Consideracoes Finais

seu comportamento para uma dinamica caotica em duas situacoes:

• utilizando-se um baixo valor de probabilidade de ocorrerem ligacoes entre neuronios da

mesma comunidade em uma topologia com apenas uma comunidade, conforme exibido na

Subsecao 4.3.2. O diagrama de bifurcacao e o espectro dos expoentes de Hurst indicam

a regiao de bifurcacao, reforcada pela analise dos coeficientes de Fourier em pontos ao

redor da bifurcacao.

• utilizando-se um baixo valor de probabilidade de ocorrerem ligacoes entre neuronios de

comunidades distintas em uma topologia com consideravel numero de comunidades. Os

graficos da Subsecao 4.3.3 mostram que o uso de comunidades provoca aparecimento

da regiao de bifurcacao, porem o aumento do numero de comunidades, a partir de um

valor crıtico, nao necessariamente provoca o aumento da porcentagem de fragmentacao

necessaria para surgir a regiao de bifurcacao. Assim, torna-se irrelevante utilizar um

numero muito elevado de comunidades. Mostrou-se, tambem, que para um intervalo

especıfico do numero de comunidades, a rede comporta-se caoticamente e exibe um alto

valor da medida de modularidade, indicando que pode existir caos em uma estrutura de

comunidades valida.

5.2 Contribuicoes

Este projeto de mestrado desenvolveu uma pesquisa inedita, propondo um modelo de Rede

Neural Caotica que possui topologia mais similar a topologia observada em uma rede neural

biologica. Se modelos tradicionais de RNA de tipos Feedforwards ou recorrentes, formam redes

totalmente conectadas, ou se Redes Neurais Celulares apresentam topologia em retıculos, este

trabalho fornece uma arquitetura alternativa cujos neuronios sao agrupados em comunidades,

similarmente ao que ocorre no cortex cerebral. Alem disso, tambem como no cerebro, o modelo

pode operar com dinamicas periodicas e caoticas em tarefas de reconhecimento de padroes.

Diferentemente da maioria dos modelos de Redes Neurais Caoticas, onde modelos de neuronios

caoticos sao empregados para facilitar a ocorrencia do caos, a rede aqui proposta utilizou um

modelo simples de neuronio (MCP) e o comportamento caotico foi derivado, tao somente, da

fragmentacao da estrutura sinaptica da rede - algo que, comparativamente, e muito mais difıcil

de ser alcancado. Este fato, por si so, ja indicaria uma otima contribuicao para a grande area de

pesquisa. Todavia, alem disso, os resultados foram expressivos e, portanto, fornecem garantia

de aplicabilidade da metodologia aqui desenvolvida.

5.3 Trabalhos Futuros 71

Outra importante contribuicao cientıfica desta pesquisa foi a elaboracao, publicacao e apre-

sentacao de um artigo cientıfico que contempla os principais resultados aqui descritos [Sousa e

Zhao 2013]. O artigo foi aceito no IEEE International Joint Conference on Neural Networks

(IJCNN), de 2013, realizado na cidade de Dallas, EUA. Trata-se de um dos principais even-

tos da area de RNA, categorizado como A2 pelo Qualis CAPES e com Indice-H 46 em 2012.

Uma apresentacao oral foi realizada na referida conferencia, durante a qual o artigo foi um dos

premiados com o Travel Grant Award.

5.3 Trabalhos Futuros

Uma vez estabelecidas as garantias de que a rede opera com dinamicas complexas por meio

de uma arquitetura de comunidades, conforme indicam os resultados obtidos neste projeto de

pesquisa, a proxima etapa obvia e o desenvolvimento uma aplicacao para reconhecimento de

padroes que utiliza a metodologia aqui apresentadas. Para tanto, faz-se necessaria a adequacao

da rede a uma base de dados especıfica e uma medida de similaridade adequada para contemplar

o objetivo da aplicacao. A medida de similaridade deve ser utilizada para provocar a alteracao

da dinamica da rede a partir de uma fase caotica para uma fase nao-caotica (periodica). Alem

disso, deve-se imaginar uma maneira efetiva para se dividir os neuronios em comunidades, visto

que, conforme mencionado na Secao 5.1 acima, a rede nao precisa, necessariamente, conter

comunidades para que apresente um comportamento caotico.

Em relacao ao processo de analise da dinamica da rede, algumas complementacoes aos

resultados aqui apresentados seriam relevantes. A curva dos expoentes de Lyapunov, por

exemplo, poderia reforcar a indicacao do comportamento caotico quando a rede apresenta

um alto grau de fragmentacao. Para isto, deve-se substituir a funcao de ativacao por outra

contınua (como uma funcao sigmoide configurada para se aproximar do comportamento da

funcao sinal). Outra tarefa e constatar o processo de itinerancia caotica exibindo a evolucao

de padroes durante a fase de propagacao. Para isto, deve-se construir uma base de padroes

visivelmente diferenciaveis e em quantidade suficiente para provocar a dinamica caotica. Porem,

deve-se ter em mente que a regra de aprendizado utilizada, para que funcione adequadamente,

exige padroes proximamente ortogonais uns aos outros e pouca variabilidade na proporcao

α = M/N (normalmente em torno de 3/40).

72 Consideracoes Finais

Referencias Bibliograficas

[Adachi e Aihara 1997] Adachi, M. e Aihara, K. (1997). Associative dynamics in a chaotic

neural network. Neural Networks, 10:83–89.

[Aihara e Matsumoto 1986] Aihara, K. e Matsumoto, G. (1986). Chaotic oscillations and bi-

furcations in squid giant axons. Chaos, pages 257–269.

[Albert e Barabasi 2002] Albert, R. e Barabasi, A. L. (2002). Statistical mechanics of complex

networks. Review of Modern Physics, 74:47–97.

[Babloyantz et al. 1985] Babloyantz, A., Salazar, J. M., e Nicolis, C. (1985). Evidence of chaotic

dynamics of brain activity during the sleep cycle. Physics Letters A, 111(3):152–156.

[Barabasi e Albert 1999] Barabasi, A. L. e Albert, R. (1999). Emergence of scaling in random

networks. Science, 286(5439):509–512.

[Boashash 2003] Boashash, B., editor (2003). Time-frequency signal analysis and processing:

A comprehensive reference. Oxford: Elsevier Science.

[Boccaletti et al. 2006] Boccaletti, S., Latora, V., Moreno, Y., Chaves, M., e Hwang, D. U.

(2006). Complex networks: Structure and dynamics. Physics Reports, 424(4-5):175–308.

[Bryson e Ho 1969] Bryson, A. E. e Ho, Y. C. (1969). Applied optimal control, volume 1.

Blaisdell, New York.

[Chua e Yang 1988] Chua, L. O. e Yang, L. (1988). Cellular neural networks: Theory. IEEE

Transactions on Systems and Circuits, 35(10):1257–1272.

[Clauset 2005] Clauset, A. (2005). Finding local community structure in networks. Physical

Review E, 72(2):026132.

73

74 REFERENCIAS BIBLIOGRAFICAS

[Clauset et al. 2004] Clauset, A., Newman, M. E. J., e Moore, C. (2004). Finding community

structure in very large networks. Physical Review E, 79(6):066111.

[Cooley e Tukey 1965] Cooley, J. W. e Tukey, J. W. (1965). An algorithm for the machine

calculation of complex Fourier Series. Mathematics Computation, 19:297–301.

[Devaney 1989] Devaney, R. L. (1989). An introduction to chaotic dynamical systems. Addison-

Wesley, Redwood City, California.

[Duch e Arenas 2005] Duch, J. e Arenas, A. (2005). Community detection complex networks

using extremal optimization. Physical Review E, 72(2):027104.

[Erdos e Renyi 1961] Erdos, P. e Renyi, A. (1961). On the strength of connectedness of a

random graph. Acta Mathematica Hungarica, 12(1-2):261–267.

[Goles-Chacc et al. 1985] Goles-Chacc, E., Fogelman-Soulie, F., e Pellegrin, D. (1985). Decre-

asing energy functions as a tool for studying threshold networks. Discrete Applied Mathe-

matics, 12(3):261–277.

[Grassi 2001] Grassi, G. (2001). On discrete-time cellular neural networks for associative me-

mories. IEEE Transactions on Circuits and Systems, 48(1):107–111.

[Hartman 1964] Hartman, P. (1964). Ordinary differential equations. Wiley, New York.

[Haykin 1999] Haykin, S. (1999). Neural networks: A comprehensive foundation. Prentice Hall,

New York, 2nd edition.

[Hebb 1949] Hebb, D. O. (1949). The organization of behavior. Wiley, New York.

[Hodgkin e Huxley 1952] Hodgkin, A. e Huxley, A. (1952). A quantitative description of mem-

brane current and its application to conduction and excitation in nerve. The Journal of

Physiology, 117(4):500–544.

[Hopfield 1982] Hopfield, J. J. (1982). Neural networks and physical systems with emergent

collective computational abilities. Proceedings of the National Academy of Sciences of the

USA, 79(8):2554–2558.

[Huang e Huang 2011] Huang, W. Z. e Huang, Y. (2011). Chaos, bifurcations and robustness

of a class of Hopfield neural networks. International Journal of Bifurcation and Chaos,

21(3):885–985.

REFERENCIAS BIBLIOGRAFICAS 75

[Hurst 1951] Hurst, H. E. (1951). Long-term storage capacity of reservoirs. Transactions of

the American Society of Civil Engineers, 116:770–799.

[Jain e Dubes 1988] Jain, A. K. e Dubes, R. C. (1988). Algorithms for clustering data. Prentice

Hall.

[Kaneko e Tsuda 2003] Kaneko, K. e Tsuda, I. (2003). Chaotic itinerancy. Chaos, 13(3):926–

936.

[Kaplan e Glass 1995] Kaplan, D. e Glass, L. (1995). Understanding nonlinear dynamics.

Springer-Verlag, New York.

[Kaslik e Balint 2009] Kaslik, E. e Balint, S. (2009). Complex and chaotic dynamics in a

discrete-time-delayed Hopfield neural network with ring architecture. Neural Networks,

22:1411–1418.

[Leonov e Kuznetsov 2007] Leonov, G. A. e Kuznetsov, N. V. (2007). Time-varying lineariza-

tion and the Perron effects. International Journal of Bifurcation and Chaos, 17(4):1079–1107.

[Liu e Lu 1997] Liu, D. e Lu, Z. (1997). A new synthesis approach for feedback neural networks

based on the perceptron training algorithm. IEEE Transactions on Neural Networks,

8(6):1468–1482.

[Liu e Michel 1994] Liu, D. e Michel, A. N. (1994). Sparsely interconnected neural networks

for associative memories with applications to cellular neural networks. IEEE Transactions

on Circuits and Systems, 41:295–307.

[Lysetskiy e Zurad 2004] Lysetskiy, M. e Zurad, J. M. (2004). Bifurcating neuron: computation

and learning. Neural Networks, 17:225–232.

[Maass 1997] Maass, W. (1997). Networks of spiking neurons: The third gerenarion of neural

network models. Neural Networks, 10:1659–1671.

[Maass e Bishop 2001] Maass, W. e Bishop, C. M. (2001). Pulsed neural networks. The MIT

Press.

[Marcus e Westervelt 1989] Marcus, C. M. e Westervelt, R. M. (1989). Dynamics of iterated-

map neural networks. Physical Review A, 40(1):501–504.

[Marichal et al. 2012] Marichal, R. L., Gonzalez, E. J., e Marichal, G. N. (2012). Hopf bifur-

cation stability in Hopfield neural networks. Neural Networks, 36:51–58.


[Massen e Doye 2005] Massen, C. P. e Doye, J. P. K. (2005). Identifying communities within

energy landscapes. Physical Review E, 71:046101.

[Mathias e Rech 2012] Mathias, A. C. e Rech, P. C. (2012). Hopfield neural network: The

hyperbolic tangent and the piecewise-linear activation functions. Neural Networks, 34:42–45.

[Matykiewicz 2004] Matykiewicz, P. (2004). Chaotic itinerancy for patterns separation. Lecture

Notes in Computer Science, 3070:235–240.

[McClelland e Rumelhart 1986] McClelland, J. L. e Rumelhart, D. E. (1986). Parallel distri-

buted processing - explorations in the microstructure of cognition: Foundations, volume 1.

The MIT Press.

[McCulloch e Pitts 1943] McCulloch, W. S. e Pitts, W. (1943). A logical calculus of the ideas

immanent in nervous activity. Bulletin of Mathematical Biophysics, 52(1-2):99–115.

[Mori et al. 1989] Mori, Y., Davis, P., e Nara, S. (1989). Pattern retrieval in an asymmetric

neural network with embedded limit cycles. Journal of Physics A, 22:L525–L532.

[Muff et al. 2005] Muff, S., Rao, F., e Caflisch, A. (2005). Local modularity measure for

network clusterizations. Physical Review E, 72(5):056107.

[Nara et al. 1993] Nara, S., Davis, P., e Totsuji, H. (1993). Memory search using complex

dynamics in a recurrent neural network model. Neural Networks, 6:963–973.

[Newman 2003] Newman, M. E. J. (2003). The structure and function of complex networks.

SIAM Review, 45:167–256.

[Newman 2004a] Newman, M. E. J. (2004a). Detecting community structure in networks. The

European Physical Journal B, 38(2):321–330.

[Newman 2004b] Newman, M. E. J. (2004b). Fast algorithm for detecting community structure

in networks. Physical Review E, 69(6):066133.

[Newman 2006a] Newman, M. E. J. (2006a). Finding community structure in networks using

the eigenvectors of matrices. Physical Review E, 74(3):036104.

[Newman 2006b] Newman, M. E. J. (2006b). Modularity and community structure in networks.

Proceedings of the National Academy of Sciences, 103(23):8577–8582.

[Newman 2008] Newman, M. E. J. (2008). Community structure in directed networks. Physical

Review Letters, 100:118703.

REFERENCIAS BIBLIOGRAFICAS 77

[Newman 2011] Newman, M. E. J. (2011). Communities, modules and large-scale structure in

networks. Nature Physics, 8:25–31.

[Newman e Girvan 2004] Newman, M. E. J. e Girvan, M. (2004). Finding and evaluating

community structure in networks. Physical Review E, 69(2):026113.

[Ott 1993] Ott, E. (1993). Chaos in dynamical systems. Cambridge University Press, New

York.

[Park et al. 2001] Park, J., Kim, H. Y., e Lee, S. W. (2001). A synthesis procedure for associa-

tive memories based on space-varying cellular neural networks. Neural Networks, 14:107–113.

[Radicchi et al. 2004] Radicchi, C., Castellano, F., Cecconi, F., Loreto, V., e Parisi, D. (2004).

Defining and identifying communities in networks. Proceedings of the National Academy of

Science USA, 101(9):2658–2663.

[Reichardt e Bornholdt 2006] Reichardt, J. e Bornholdt, S. (2006). Statistical mechanics of

community detection. Physical Review E, 74:016110.

[Rojas 1996] Rojas, R. (1996). Neural networks: A systematic introduction. Springer-Veriag,

Berlin.

[Rosenblatt 1958] Rosenblatt, F. (1958). The Perceptron: A probabilistic model for informa-

tion storage and organization in the brain. Psychological Review, 65:386–408.

[Rumelhart et al. 1986] Rumelhart, D. E., Hinton, G. E., e Williams, R. J. (1986). Learning

representations of back-propagation errors. Nature (London), 323:533–536.

[Russell e Norvig 2010] Russell, S. e Norvig, P. (2010). Artificial intelligence: A modern ap-

proach. Prentice Hall, New Jersey, 3rd edition.

[Skarda e Freeman 1987] Skarda, C. A. e Freeman, W. J. (1987). How brains make chaos in

order to make sense of the world. Behavioral and Brain Sciences, 10(2):161–195.

[Sousa e Zhao 2013] Sousa, F. B. e Zhao, L. (2013). Investigation of complex dynamic in a

recurrent neural network with network community structure and asymmetric weight matrix.

Proceedings of International Joint Conference on Neural Networks, 1:999–1005.

[Stauffer et al. 2003] Stauffer, D., Aharony, A., Costa, L. F., e Adler, J. (2003). Efficient

hopfield pattern recognition on a scale-free neural network. The European Physical Journal

B, 32:395–399.


[Strogatz 1989] Strogatz, S. H. (1989). Nonlinear dynamics and chaos: With applications to

physics, chemistry, and engineering. Addison-Wesley, Reading, Massachusets.

[Szolgay et al. 1997] Szolgay, P., Szatmari, I., e Laszlo, K. (1997). A fast fixed point learning

method to implement associative memory on cnns. IEEE Transactions on Circuits and

Systems, 44(4):362–366.

[Tokuda et al. 2010] Tokuda, I. T., Han, C. E., Aihara, K., Kawato, M., e Schweighofer, N.

(2010). The role of chaotic resonance in cerebellar learning. Neural Networks, 23:836–842.

[Watts e Strogatz 1998] Watts, D. J. e Strogatz, S. H. (1998). Collective dynamics of ’small-

world’ networks. Nature, 393:440–442.

[Werblin et al. 1995] Werblin, F., Roska, T., e Chua, L. (1995). The analogic cellular neural

network as a bionic eye. Int. J. Circuit Theory and Applications, 23:541–569.

[Zachary 1977] Zachary, W. W. (1977). An information flow model for conflict and fission in

small groups. Journal of Anthropological Research, 33:452–473.

[Zhao et al. 2006] Zhao, L., Caceres, J. C. G., Damiance-Jr., A. P. G., e Szu, H. (2006). Chaotic

dynamics for multi-valey content addressable memory. Neurocomputing, 69:1628–1636.

[Zheng et al. 2010] Zheng, P. S., Tang, W. S., e Zhang, J. X. (2010). A new chaotic Hopfield

network with piecewise linear activation function. Chinese Physics B, 19(3):030514.

Análise de modelo de Hopfield com topologia de rede complexa€¦ · que Redes Neurais Ca oticas,...

Documents

Transcript of Análise de modelo de Hopfield com topologia de rede complexa€¦ · que Redes Neurais Ca oticas,...