REDE NEURAL FEED-FORWARD BACKPROPAGATIONadao/MATLABRN.pdf · rede neural com mÚltiplas camadas 01...

21
REDE NEURAL FEED-FORWARD REDE NEURAL FEED-FORWARD BACKPROPAGATION BACKPROPAGATION

Transcript of REDE NEURAL FEED-FORWARD BACKPROPAGATIONadao/MATLABRN.pdf · rede neural com mÚltiplas camadas 01...

Page 1: REDE NEURAL FEED-FORWARD BACKPROPAGATIONadao/MATLABRN.pdf · rede neural com mÚltiplas camadas 01 camada escondida do 4 neurÔnios 01 camada de saÍda com 3 neurÔnios rede feed-foward

REDE NEURAL FEED-FORWARD REDE NEURAL FEED-FORWARD BACKPROPAGATIONBACKPROPAGATION

Page 2: REDE NEURAL FEED-FORWARD BACKPROPAGATIONadao/MATLABRN.pdf · rede neural com mÚltiplas camadas 01 camada escondida do 4 neurÔnios 01 camada de saÍda com 3 neurÔnios rede feed-foward

REDE NEURAL COM MÚLTIPLAS CAMADAS

01 CAMADA ESCONDIDA DO 4 NEURÔNIOS01 CAMADA ESCONDIDA DO 4 NEURÔNIOS01 CAMADA DE SAÍDA COM 3 NEURÔNIOS01 CAMADA DE SAÍDA COM 3 NEURÔNIOS

REDE FEED-FOWARD REDE FEED-FOWARD O FLUXO DE DADOS É SEMPRE EM UMA ÚNICA DIREÇÃO, A DA SAÍDA O FLUXO DE DADOS É SEMPRE EM UMA ÚNICA DIREÇÃO, A DA SAÍDA

Page 3: REDE NEURAL FEED-FORWARD BACKPROPAGATIONadao/MATLABRN.pdf · rede neural com mÚltiplas camadas 01 camada escondida do 4 neurÔnios 01 camada de saÍda com 3 neurÔnios rede feed-foward

PROCESSAMENTO NEURALLEARNING (APRENDIZADO)LEARNING (APRENDIZADO)É O PROCESSO DE ATUALIZAÇÃO DOS PESOS SINAPTICOS DAS CONEXÕES ENTRE OS É O PROCESSO DE ATUALIZAÇÃO DOS PESOS SINAPTICOS DAS CONEXÕES ENTRE OS NEURÔNICOS PARA AQUISIÇÃO DO CONHECIMENTO. NEURÔNICOS PARA AQUISIÇÃO DO CONHECIMENTO. O CONHECIMENTO ESTÁ NO PESSO SINÁPTICOO CONHECIMENTO ESTÁ NO PESSO SINÁPTICO

RECALL (RECUPERAÇÃO DA INFORMAÇÃO)RECALL (RECUPERAÇÃO DA INFORMAÇÃO)CÁLCULO DA SAÍDA DADOS UMA CERTA ENTRADACÁLCULO DA SAÍDA DADOS UMA CERTA ENTRADA

CADA CONEXÃO POSSUI UM PESOCADA CONEXÃO POSSUI UM PESO

Page 4: REDE NEURAL FEED-FORWARD BACKPROPAGATIONadao/MATLABRN.pdf · rede neural com mÚltiplas camadas 01 camada escondida do 4 neurÔnios 01 camada de saÍda com 3 neurÔnios rede feed-foward

PROCESSO DE TREINAMENTO DA RNOCORRE ATRAVÉS DO FORNECIMENTO DE VALORES DE ENTRADA E SEUS RESPECTIVOS OCORRE ATRAVÉS DO FORNECIMENTO DE VALORES DE ENTRADA E SEUS RESPECTIVOS VALORES DESEJADOS DE SAÍDAVALORES DESEJADOS DE SAÍDA

É EFETUADO ATRAVÉS DE UM PROCESSO DE MINIMIZAÇÃO DOS ERROS DE SAÍDAÉ EFETUADO ATRAVÉS DE UM PROCESSO DE MINIMIZAÇÃO DOS ERROS DE SAÍDA

CADA CONEXÃO POSSUI UM PESOCADA CONEXÃO POSSUI UM PESO

12345

15 (SOMA)

120 (MULT)

-13 (SUBTRAÇÃO)

ENTRADAS E SAÍDAS NÃO NORMALIZAÇÃO

Page 5: REDE NEURAL FEED-FORWARD BACKPROPAGATIONadao/MATLABRN.pdf · rede neural com mÚltiplas camadas 01 camada escondida do 4 neurÔnios 01 camada de saÍda com 3 neurÔnios rede feed-foward

DUAS FASES DO ALGORITMO DE APRENDIZADO DUAS FASES DO ALGORITMO DE APRENDIZADO BACKPROPAGATIONBACKPROPAGATION

CADA CONEXÃO POSSUI UM PESOCADA CONEXÃO POSSUI UM PESO

FEED-FORWARDFEED-FORWARDAS ENTRADAS SE PROPAGAM PELA REDE, DA CAMADA DE ENTRADA ATÉ A CAMADA DE SAÍDAAS ENTRADAS SE PROPAGAM PELA REDE, DA CAMADA DE ENTRADA ATÉ A CAMADA DE SAÍDA

FEED-BACKWARDFEED-BACKWARDOS ERROS SE PROPAGAM NA DIREÇÃO CONTRÁRIA AO FLUXO DE DADOS INDO DA CAMADAOS ERROS SE PROPAGAM NA DIREÇÃO CONTRÁRIA AO FLUXO DE DADOS INDO DA CAMADADE SAÍDA ATÉ A PRIMEIRA CAMADA ESCONDIDADE SAÍDA ATÉ A PRIMEIRA CAMADA ESCONDIDA

Page 6: REDE NEURAL FEED-FORWARD BACKPROPAGATIONadao/MATLABRN.pdf · rede neural com mÚltiplas camadas 01 camada escondida do 4 neurÔnios 01 camada de saÍda com 3 neurÔnios rede feed-foward

CARACTERÍSTICAS DO ALGORITMO BACKPROPAGATIONCARACTERÍSTICAS DO ALGORITMO BACKPROPAGATION

CADA CONEXÃO POSSUI UM PESOCADA CONEXÃO POSSUI UM PESO

Page 7: REDE NEURAL FEED-FORWARD BACKPROPAGATIONadao/MATLABRN.pdf · rede neural com mÚltiplas camadas 01 camada escondida do 4 neurÔnios 01 camada de saÍda com 3 neurÔnios rede feed-foward

NORMALIZAÇÃO NORMALIZAÇÃO ENTRADA/SAÍDA DE ENTRADA/SAÍDA DE

DADOS EM REDE DADOS EM REDE NEURALNEURAL

Page 8: REDE NEURAL FEED-FORWARD BACKPROPAGATIONadao/MATLABRN.pdf · rede neural com mÚltiplas camadas 01 camada escondida do 4 neurÔnios 01 camada de saÍda com 3 neurÔnios rede feed-foward

NORMALIZAÇÃONORMALIZAÇÃO

EFETUE OS CALCULOS E ENCONTRE A SAÍDA DO NEURÔNIO JEFETUE OS CALCULOS E ENCONTRE A SAÍDA DO NEURÔNIO J

Page 9: REDE NEURAL FEED-FORWARD BACKPROPAGATIONadao/MATLABRN.pdf · rede neural com mÚltiplas camadas 01 camada escondida do 4 neurÔnios 01 camada de saÍda com 3 neurÔnios rede feed-foward

PARA QUE NORMALIZAÇÃO DA PARA QUE NORMALIZAÇÃO DA ENTRADA DE UM RN ?ENTRADA DE UM RN ?

• Os valores de saída de uma RN (no caso do treinamento) tem de ser normalizados com valores entre 0 e 1 (quando uso função sigmóide) e entre -1 e 1 (quando função tangente hiperbólica).

• Os valores da entrada de RN têm de ser normalizados para que valores de entrada numericamente maiores não influenciem erroneamente a saída de uma rede.

Page 10: REDE NEURAL FEED-FORWARD BACKPROPAGATIONadao/MATLABRN.pdf · rede neural com mÚltiplas camadas 01 camada escondida do 4 neurÔnios 01 camada de saÍda com 3 neurÔnios rede feed-foward

COMO NORMALIZAR A ENTRADA DE UM RN ?COMO NORMALIZAR A ENTRADA DE UM RN ?

PADRÕES DE ENTRADA/SAÍDA PARA TREINAMENTO(CÁLCULO DA MÉDIA DO VALOR DE ENTRADA)

SNORM = SNORM = (S-3,5) (S-3,5) = S-3,5= S-3,5 4,5-3,5 4,5-3,5

QUAL EXPRESSÃO PARA X1NORM ?QUAL EXPRESSÃO PARA X1NORM ?

QUAL EXPRESSÃO PARA X2NORM ?QUAL EXPRESSÃO PARA X2NORM ?

Page 11: REDE NEURAL FEED-FORWARD BACKPROPAGATIONadao/MATLABRN.pdf · rede neural com mÚltiplas camadas 01 camada escondida do 4 neurÔnios 01 camada de saÍda com 3 neurÔnios rede feed-foward
Page 12: REDE NEURAL FEED-FORWARD BACKPROPAGATIONadao/MATLABRN.pdf · rede neural com mÚltiplas camadas 01 camada escondida do 4 neurÔnios 01 camada de saÍda com 3 neurÔnios rede feed-foward
Page 13: REDE NEURAL FEED-FORWARD BACKPROPAGATIONadao/MATLABRN.pdf · rede neural com mÚltiplas camadas 01 camada escondida do 4 neurÔnios 01 camada de saÍda com 3 neurÔnios rede feed-foward
Page 14: REDE NEURAL FEED-FORWARD BACKPROPAGATIONadao/MATLABRN.pdf · rede neural com mÚltiplas camadas 01 camada escondida do 4 neurÔnios 01 camada de saÍda com 3 neurÔnios rede feed-foward
Page 15: REDE NEURAL FEED-FORWARD BACKPROPAGATIONadao/MATLABRN.pdf · rede neural com mÚltiplas camadas 01 camada escondida do 4 neurÔnios 01 camada de saÍda com 3 neurÔnios rede feed-foward
Page 16: REDE NEURAL FEED-FORWARD BACKPROPAGATIONadao/MATLABRN.pdf · rede neural com mÚltiplas camadas 01 camada escondida do 4 neurÔnios 01 camada de saÍda com 3 neurÔnios rede feed-foward
Page 17: REDE NEURAL FEED-FORWARD BACKPROPAGATIONadao/MATLABRN.pdf · rede neural com mÚltiplas camadas 01 camada escondida do 4 neurÔnios 01 camada de saÍda com 3 neurÔnios rede feed-foward
Page 18: REDE NEURAL FEED-FORWARD BACKPROPAGATIONadao/MATLABRN.pdf · rede neural com mÚltiplas camadas 01 camada escondida do 4 neurÔnios 01 camada de saÍda com 3 neurÔnios rede feed-foward

VETOR COM ENTRADAS (0,0), (0,1), (1,0), (1,1)SAÍDA XOR

FUNÇÃO DE ATIVAÇÃO

ALGORITMO DE TREINAMENTO

P ENTRADA / T SAÍDA DESEJADA

C RESULTADO DA SIMULAÇÃO

PLOTANDO VETOR DE ENTRADA COMBINADOCOM SAÍDA DESEJADA TQUANDO FOR 1 AZULQUANDO FOR 0 VERMELHO

Page 19: REDE NEURAL FEED-FORWARD BACKPROPAGATIONadao/MATLABRN.pdf · rede neural com mÚltiplas camadas 01 camada escondida do 4 neurÔnios 01 camada de saÍda com 3 neurÔnios rede feed-foward

PLOTANDO VETOR DE ENTRADA COMBINADOCOM RESULTADO DA SIMULAÇÃOQUANDO FOR 1 AZULQUANDO FOR 0 VERMELHO

Page 20: REDE NEURAL FEED-FORWARD BACKPROPAGATIONadao/MATLABRN.pdf · rede neural com mÚltiplas camadas 01 camada escondida do 4 neurÔnios 01 camada de saÍda com 3 neurÔnios rede feed-foward
Page 21: REDE NEURAL FEED-FORWARD BACKPROPAGATIONadao/MATLABRN.pdf · rede neural com mÚltiplas camadas 01 camada escondida do 4 neurÔnios 01 camada de saÍda com 3 neurÔnios rede feed-foward