Redes Neurais Artificiais (Simplificada) - professores.uff.br · Processamento de sinais (vídeo,...

Redes Neurais ArtificiaisRedes Neurais Artificiais

Aplicações em Telecomunicações

Prof. João Marcos Meirelles da Silva, D.Sc.

Professor Adjunto II do Departamento de Engenharia de Telecomunicações Universidade Federal Fluminense – Niterói – Rio de Janeiro

www.professores.uff.br/jmarcos

O que são?O que são?

Busca por “emular” o mecanismo utilizadopelo cérebro para resolver problemascomplexos, suplantando as limitaçõesimpostas pelo modelo Von Neumann de computação…

Por quê Redes Neurais Artificiais?Por quê Redes Neurais Artificiais?

� Desafio de Utilizar máquinas para realizar tarefas “fáceis” para os seres humanos:– Reconhecimento de escrita– Reconhecimento de faces– Mapeamento de conhecimento tácito– Problemas de otimização com restrições

→ Algoritmos convencionais não lidam bemcom esses problemas !

AplicaAplicaççõesões

� Processamento de sinais (vídeo, áudio, imagem, texto, etc...)

� Controle e automação� Reconhecimento de Padrões� Clusterização� Auxílio a diagnóstico em medicina� Síntese de fala� Problemas de Otimização com restrições

conflitantes� Etc..

AplicaAplicaçções em Telecomunicaões em Telecomunicaççõesões

� Segurança– Detecção de Intrusão em redes– Criptografia/Criptoanálise– Esteganografia e marcas d’água– Reconhecimento de voz e locutor

� Desempenho– Gerenciamento Inteligente de Redes– Compactação de dados– Predição de falhas– Correlação de Alarmes

Firewalls mais Inteligentes

Busca por Padrões

VantagensVantagens

� Capacidade de aprendizado, esquecimento e reaprendizado (adaptação)

� Generalização� Robustez� Não requer um modelo matemático do

problema

DesvantagensDesvantagens

� Instabilidade (nas redes realimentadas)� Mínimos Locais� Problemas de aprendizagem (convergência

prematura, overtraining , etc...)� Parâmetros a serem ajustados� Etc...

Redes Neurais Artificiais: Quando Usar?Redes Neurais Artificiais: Quando Usar?

Existe um modelo matemático que resolve o seu problema a um custo razoável?

� SIM → Então Use-o ! � NÃO → Então pense em usar Redes Neurais Artificiais !

HistHistóórico das rico das RNAsRNAs

McCulloch e Pitts

Hebb

Rosenblatt

Linha do Tempo

(Psiquiatra e matemático)

1943 1949 1958

(The Organization of Behavior)

(Modelo Perceptron)

Widrow e Hoff(Regra Delta)

Rumelhar et al.(Backpropagation)

Hopfield e Tank(Otimização Combinatória)

1960 1986 80’

O O NeurônioNeurônioBiolBiolóógicogico

Figura 1: Neurônios do córtex cerebral.

O Neurônio BiolO Neurônio Biolóógicogico

Figura 2: Representação de um neurônio biológico.

O Neurônio BiolO Neurônio Biolóógicogico

Figura 3: Exemplo de sinapse.

E a memE a memóória, onde reside?ria, onde reside?

Figura 4: Neurônios de diferentes espécies

→ Nas sinapses !

E o aprendizado?E o aprendizado?

Figura 5: Evolução de um neurônio humano

→ Alteração nas sinapses !

Neurônio ArtificialNeurônio Artificial

MISO

e1e2e3

en

S

estado

Ativo ou excitado → S > S0

Inativo → S < S0

Figura 6: O neurônio biológicovisto como um sistema MISO.


Figura 7: Modelo matemático de um neurônio (perceptron).


Figura 8: Detalhamento do modelo.

)( , ,1

kkkkk

m

jjkjk vybuvxwu ϕ=+== ∑

=


Figura 9: Modelo simplificado do neurônio.

)(

,

,1

kk

kkk

m

jjkjk

vy

buv

xwu

ϕ=+=

= ∑=

Como os neurônios formam uma rede?Como os neurônios formam uma rede?

ORGANIZAÇÃO EM CAMADAS !

Figura 10: Córtex cerebral.

Redes Redes FeedfowardFeedfoward

Figura 11: Modelo de rede feedfoward.

Emprego das RNAEmprego das RNA

• Classificação de Padrões

• Interpolação de funções

• Associação de Padrões

Os problemas onde as RNA são empregadaspodem ser incluídos dentre uma das categorias principais:

ClassificaClassificaçção de Padrõesão de Padrões

Figura 12: Exemplo de problema de classificação.

ClassificaClassificaçção de Padrõesão de Padrões

Figura 13: Há diferentes critérios para classificação…

AprendizadoAprendizado

Mas, como as Redes Neurais

Artificiais “aprendem” alguma

Tarefa?

Há algumas formas chamadas de “paradigmas de aprendizado”. Veremosapenas as duas principais…

AprendizadoAprendizado

Aprendizado sem Professor(não supervisionado)

Aprendizado com Professor(supervisionado)

Aprendizado SupervisionadoAprendizado Supervisionado

Figura 14: Esquema do Aprendizado Supervisionado.


1. Aprendizado requer treinamento;2. Treinamento = Problema de Otimização;3. Problema de otimização → Minimização do Erro de Saída !

),( ii dx

Dado:

A rede encontra:

iidy ≈

Objetivo:

0=⇒= iiiedy

Figura 15: Identificação de Sistemas


Função Objetivo = Erro Médio Quadrático na Saída

∑=

=m

kk nenE

1

2 )(2

1)(

Método → Gradiente Descendente

)()()1(

)(

)()()(

nwnwnw

nw

nEnwnw

iii

iii

∆+=+∂∂−=∆→ α

Problemas no treinamentoProblemas no treinamento

O processo de treinamento da RNA pode sofrer com alguns problemas, levando-a a um desempenho inadequado:

1. Paralisia→ A rede não aprende e erra

em demasia;

2. Overtraining→ A rede não consegue

“generalizar”

Aprendizado não supervisionadoAprendizado não supervisionado

?),( ix

Neste caso, a resposta desejada di não é fornecida.

A rede encontra:

)ˆ,(ii yx

→ Critério: Por exemplo, o de “classificação por similaridade”!

Figura 16: Aprendizado sem professor.

IdentificaIdentificaçção de Padrões com ruão de Padrões com ruíídodo

Figura 17: Identificação de padrões com ruído.

• Entradas: Padrões de A a F formados por 63 pixels (7x9)

• Rede de Kohonen

• Aprendizado nãosupervisionado.

• Rede previamente treinada.

Compressão de DadosCompressão de Dados

• Entradas: Padrões de A a J formados por 63 pixels (7x9)

• Rede feedfoward do tipo 63 x N x 63

• Camada de saída só é útilpara a fase de treinamento

• Após treinamento, a camadaintermediária oferece o padrãocomprimido para cada padrãoapresentado.

Figura 18: Padrões originais.


N < 63


1631

0

1

1

0

0

x

M

1631

0

1

1

0

0

x

M

[ ]TxNAv 112,075,063,0 −−= LN < 63

codevector


[ ]TNxJBA vvvv 10L= codebook


Após o treinamento, apenasmetade da rede é necessáriapara o trabalho de compressão e descompressão !

A rede é então desmembradaem duas…


Transmissor Receptor



Pesos da RNA



VA

PrediPrediçção de Cobertura*ão de Cobertura*

� Desenvolver ferramenta que permita predizer o nível de potência recebida em uma determinada posição de um terreno;

� Frequência escolhida para testes: 150MHz;� Percurso de ~35 Km a partir da Base Aérea de

Santa Cruz pela Av. Brasil;

* TCC dos alunos Gilbert Ferreira e Ericson Bittencourt

PrediPrediçção de Coberturaão de Cobertura

Figura 19 : Configuração experimental

Figura 20: Medições 2009/2010


• ∆S ≈ 35 Km

• Vel. ≈ 20Km/h

• T = 105 min

• 1 amostra a cada 2 s

• 3.150 medições

Figura 21: Representação do trajeto.


Grau 0 : Visada Direta Grau 1 : Suaves obstruções

Grau 2 : Poucas obstruções nalinha de visada

Grau 3 : Obstruções que ultrapassamA 1a. Zona de Fresnel


Tabela 1 : Extrato do arquivo contendo as medições.


Figura 22 : Dados experimentais 2009/2010.


Figura 23 : Resultados obtidos

O Futuro...O Futuro...

IBM desenvolve chip que “reage” como o cérebro e “sente” eventos.

Projeto SyNAPSE

• Reconhecer padrões

• Fazer previsões

• Aprender com os próprioserros

• 3,8 milhões de transistores em4,2 mm2

• CPU atual com 2 bilhões de transistores não pode executartarefas semelhantes

http://adrenaline.uol.com.br/forum/tecnologia/358491-noticia-ibm-desenvolve-chip-que-reage.html

11 de agosto de 2011


Projeto SyNAPSE IBM

“A Cognitive Computing Project…”

http://www.ibm.com/smarterplanet/us/en/business_analytics/article/cognitive_computing.html


Projeto SyNAPSE IBM

“A Cognitive Computing Project…”

Estamos mais próximos ???

http://www.ibm.com/smarterplanet/us/en/business_analytics/article/cognitive_computing.html

Hasta la vista, Baby !

PerguntasPerguntas??

Obrigado !

PARA MAIS INFORMAÇÕES...

Cadeira Optativa de Introdução às Redes Neurais Artif iciais, onde a ênfase é o domínio das principais arquiteturas d e redes e suas aplicações em Telecomunicações.

ReferênciasReferências

“ Artificial Neural Networks ” – A Comprehensive Foundation – Simon Haykin – 2 nd. Edition – Prentice-Hall

“ Fundamentals of Neural Networks – Architectures, Algo rithms andApplications ” - Laurenne Fausset

“ Neural Networks for Optimization and Signal Processing ” – Cichokiand Unbehauen – Wiley, 1993

“ Neural Networks for Pattern Recognition ” – Bishop, C.M. – Oxford 1999.

Sociedade Brasileira de Redes Neuraishttp://www.sbrn.org.br/

Redes Neurais Artificiais (Simplificada) - professores.uff.br · Processamento de sinais (vídeo,...

Documents

Transcript of Redes Neurais Artificiais (Simplificada) - professores.uff.br · Processamento de sinais (vídeo,...