Redes Neurais ArtificiaisRedes Neurais Artificiais

Aplicações em Telecomunicações

Prof. João Marcos Meirelles da Silva, D.Sc.

Professor Adjunto II do Departamento de Engenharia de Telecomunicações Universidade Federal Fluminense – Niterói – Rio de Janeiro

www.professores.uff.br/jmarcos

O que são?O que são?

Busca por “emular” o mecanismo utilizadopelo cérebro para resolver problemascomplexos, suplantando as limitaçõesimpostas pelo modelo Von Neumann de computação…

Por quê Redes Neurais Artificiais?Por quê Redes Neurais Artificiais?

� Desafio de Utilizar máquinas para realizar tarefas “fáceis” para os seres humanos:– Reconhecimento de escrita– Reconhecimento de faces– Mapeamento de conhecimento tácito– Problemas de otimização com restrições

→ Algoritmos convencionais não lidam bemcom esses problemas !

AplicaAplicaççõesões

� Processamento de sinais (vídeo, áudio, imagem, texto, etc...)

� Controle e automação� Reconhecimento de Padrões� Clusterização� Auxílio a diagnóstico em medicina� Síntese de fala� Problemas de Otimização com restrições

conflitantes� Etc..

AplicaAplicaçções em Telecomunicaões em Telecomunicaççõesões

� Segurança– Detecção de Intrusão em redes– Criptografia/Criptoanálise– Esteganografia e marcas d’água– Reconhecimento de voz e locutor

� Desempenho– Gerenciamento Inteligente de Redes– Compactação de dados– Predição de falhas– Correlação de Alarmes

Firewalls mais Inteligentes

Busca por Padrões

VantagensVantagens

� Capacidade de aprendizado, esquecimento e reaprendizado (adaptação)

� Generalização� Robustez� Não requer um modelo matemático do

problema

DesvantagensDesvantagens

� Instabilidade (nas redes realimentadas)� Mínimos Locais� Problemas de aprendizagem (convergência

prematura, overtraining , etc...)� Parâmetros a serem ajustados� Etc...

Redes Neurais Artificiais: Quando Usar?Redes Neurais Artificiais: Quando Usar?

Existe um modelo matemático que resolve o seu problema a um custo razoável?

� SIM → Então Use-o ! � NÃO → Então pense em usar Redes Neurais Artificiais !

HistHistóórico das rico das RNAsRNAs

McCulloch e Pitts

Hebb

Rosenblatt

Linha do Tempo

(Psiquiatra e matemático)

1943 1949 1958

(The Organization of Behavior)

(Modelo Perceptron)

Widrow e Hoff(Regra Delta)

Rumelhar et al.(Backpropagation)

Hopfield e Tank(Otimização Combinatória)

1960 1986 80’

O O NeurônioNeurônioBiolBiolóógicogico

Figura 1: Neurônios do córtex cerebral.

O Neurônio BiolO Neurônio Biolóógicogico

Figura 2: Representação de um neurônio biológico.

O Neurônio BiolO Neurônio Biolóógicogico

Figura 3: Exemplo de sinapse.

E a memE a memóória, onde reside?ria, onde reside?

Figura 4: Neurônios de diferentes espécies

→ Nas sinapses !

E o aprendizado?E o aprendizado?

Figura 5: Evolução de um neurônio humano

→ Alteração nas sinapses !

Neurônio ArtificialNeurônio Artificial

MISO

e1e2e3

en

S

estado

Ativo ou excitado → S > S0

Inativo → S < S0

Figura 6: O neurônio biológicovisto como um sistema MISO.

Neurônio ArtificialNeurônio Artificial

Figura 7: Modelo matemático de um neurônio (perceptron).

Neurônio ArtificialNeurônio Artificial

Figura 8: Detalhamento do modelo.

)( , ,1

kkkkk

m

jjkjk vybuvxwu ϕ=+== ∑

=

Neurônio ArtificialNeurônio Artificial

Figura 9: Modelo simplificado do neurônio.

)(

,

,1

kk

kkk

m

jjkjk

vy

buv

xwu

ϕ=+=

= ∑=

Como os neurônios formam uma rede?Como os neurônios formam uma rede?

ORGANIZAÇÃO EM CAMADAS !

Figura 10: Córtex cerebral.

Redes Redes FeedfowardFeedfoward

Figura 11: Modelo de rede feedfoward.

Emprego das RNAEmprego das RNA

• Classificação de Padrões

• Interpolação de funções

• Associação de Padrões

Os problemas onde as RNA são empregadaspodem ser incluídos dentre uma das categorias principais:

ClassificaClassificaçção de Padrõesão de Padrões

Figura 12: Exemplo de problema de classificação.

ClassificaClassificaçção de Padrõesão de Padrões

Figura 13: Há diferentes critérios para classificação…

AprendizadoAprendizado

Mas, como as Redes Neurais

Artificiais “aprendem” alguma

Tarefa?

Há algumas formas chamadas de “paradigmas de aprendizado”. Veremosapenas as duas principais…

AprendizadoAprendizado

Aprendizado sem Professor(não supervisionado)

Aprendizado com Professor(supervisionado)

Aprendizado SupervisionadoAprendizado Supervisionado

Figura 14: Esquema do Aprendizado Supervisionado.

Aprendizado SupervisionadoAprendizado Supervisionado

1. Aprendizado requer treinamento;2. Treinamento = Problema de Otimização;3. Problema de otimização → Minimização do Erro de Saída !

),( ii dx

Dado:

A rede encontra:

iidy ≈

Objetivo:

0=⇒= iiiedy

Figura 15: Identificação de Sistemas

Aprendizado SupervisionadoAprendizado Supervisionado

Função Objetivo = Erro Médio Quadrático na Saída

∑=

=m

kk nenE

1

2 )(2

1)(

Método → Gradiente Descendente

)()()1(

)(

)()()(

nwnwnw

nw

nEnwnw

iii

iii

∆+=+∂∂−=∆→ α

Problemas no treinamentoProblemas no treinamento

O processo de treinamento da RNA pode sofrer com alguns problemas, levando-a a um desempenho inadequado:

1. Paralisia→ A rede não aprende e erra

em demasia;

2. Overtraining→ A rede não consegue

“generalizar”

Aprendizado não supervisionadoAprendizado não supervisionado

?),( ix

Neste caso, a resposta desejada di não é fornecida.

A rede encontra:

)ˆ,(ii yx

→ Critério: Por exemplo, o de “classificação por similaridade”!

Figura 16: Aprendizado sem professor.

IdentificaIdentificaçção de Padrões com ruão de Padrões com ruíídodo

Figura 17: Identificação de padrões com ruído.

• Entradas: Padrões de A a F formados por 63 pixels (7x9)

• Rede de Kohonen

• Aprendizado nãosupervisionado.

• Rede previamente treinada.

Compressão de DadosCompressão de Dados

• Entradas: Padrões de A a J formados por 63 pixels (7x9)

• Rede feedfoward do tipo 63 x N x 63

• Camada de saída só é útilpara a fase de treinamento

• Após treinamento, a camadaintermediária oferece o padrãocomprimido para cada padrãoapresentado.

Figura 18: Padrões originais.

Compressão de DadosCompressão de Dados

N < 63

Compressão de DadosCompressão de Dados

1631

0

1

1

0

0

x

M

1631

0

1

1

0

0

x

M

[ ]TxNAv 112,075,063,0 −−= LN < 63

codevector

Compressão de DadosCompressão de Dados

[ ]TNxJBA vvvv 10L= codebook

Compressão de DadosCompressão de Dados

Após o treinamento, apenasmetade da rede é necessáriapara o trabalho de compressão e descompressão !

A rede é então desmembradaem duas…

Compressão de DadosCompressão de Dados

Transmissor Receptor

Compressão de DadosCompressão de Dados

Transmissor Receptor

Pesos da RNA

Compressão de DadosCompressão de Dados

Transmissor Receptor

Pesos da RNA

Compressão de DadosCompressão de Dados

Transmissor Receptor

VA

Compressão de DadosCompressão de Dados

Transmissor Receptor

VA

Compressão de DadosCompressão de Dados

Transmissor Receptor

VA

Compressão de DadosCompressão de Dados

Transmissor Receptor

VA

Compressão de DadosCompressão de Dados

Transmissor Receptor

VA

PrediPrediçção de Cobertura*ão de Cobertura*

� Desenvolver ferramenta que permita predizer o nível de potência recebida em uma determinada posição de um terreno;

� Frequência escolhida para testes: 150MHz;� Percurso de ~35 Km a partir da Base Aérea de

Santa Cruz pela Av. Brasil;

* TCC dos alunos Gilbert Ferreira e Ericson Bittencourt

PrediPrediçção de Coberturaão de Cobertura

Figura 19 : Configuração experimental

Figura 20: Medições 2009/2010

PrediPrediçção de Coberturaão de Cobertura

• ∆S ≈ 35 Km

• Vel. ≈ 20Km/h

• T = 105 min

• 1 amostra a cada 2 s

• 3.150 medições

Figura 21: Representação do trajeto.

PrediPrediçção de Coberturaão de Cobertura

Grau 0 : Visada Direta Grau 1 : Suaves obstruções

Grau 2 : Poucas obstruções nalinha de visada

Grau 3 : Obstruções que ultrapassamA 1a. Zona de Fresnel

PrediPrediçção de Coberturaão de Cobertura

Tabela 1 : Extrato do arquivo contendo as medições.

PrediPrediçção de Coberturaão de Cobertura

Figura 22 : Dados experimentais 2009/2010.

PrediPrediçção de Coberturaão de Cobertura

Figura 23 : Resultados obtidos

O Futuro...O Futuro...

IBM desenvolve chip que “reage” como o cérebro e “sente” eventos.

Projeto SyNAPSE

• Reconhecer padrões

• Fazer previsões

• Aprender com os próprioserros

• 3,8 milhões de transistores em4,2 mm2

• CPU atual com 2 bilhões de transistores não pode executartarefas semelhantes

http://adrenaline.uol.com.br/forum/tecnologia/358491-noticia-ibm-desenvolve-chip-que-reage.html

11 de agosto de 2011

O Futuro...O Futuro...

Projeto SyNAPSE IBM

“A Cognitive Computing Project…”

http://www.ibm.com/smarterplanet/us/en/business_analytics/article/cognitive_computing.html

O Futuro...O Futuro...

Projeto SyNAPSE IBM

“A Cognitive Computing Project…”

Estamos mais próximos ???

http://www.ibm.com/smarterplanet/us/en/business_analytics/article/cognitive_computing.html

Hasta la vista, Baby !

PerguntasPerguntas??

Obrigado !

PARA MAIS INFORMAÇÕES...

Cadeira Optativa de Introdução às Redes Neurais Artif iciais, onde a ênfase é o domínio das principais arquiteturas d e redes e suas aplicações em Telecomunicações.

ReferênciasReferências

“ Artificial Neural Networks ” – A Comprehensive Foundation – Simon Haykin – 2 nd. Edition – Prentice-Hall

“ Fundamentals of Neural Networks – Architectures, Algo rithms andApplications ” - Laurenne Fausset

“ Neural Networks for Optimization and Signal Processing ” – Cichokiand Unbehauen – Wiley, 1993

“ Neural Networks for Pattern Recognition ” – Bishop, C.M. – Oxford 1999.

Sociedade Brasileira de Redes Neuraishttp://www.sbrn.org.br/