RNA – PAKDD 2007Projeto da Cadeira Tóp. Avan. em Int. Artificial

Roteiro

Descrição do Problema Preparação dos Dados Experimentação Resultados

Descrição do Problema

Problema: Cross-selling Empresa com 2 produtos:

Cartão de Crédito Financiamento de Imóvel

Informações 40700 instâncias 40 variáveis modeladas

Preparação dos Dados

Dados 700 instâncias na classe 1 40000 instâncias na classe 2

Separação dos Dados Treinamento: 350 classe 1 e 20000 classe 2 Validação: 175 classe 1 e 10000 classe 2 Teste: 175 classe 1 e 10000 classe 2

Igualar os dados dos conjuntos das classes Apenas para os conjuntos de treinamento e

validação Aleatorização e Junção dos Conjuntos

Classes Treinamento Validação Teste1 20.000 10.000 1752 20.000 10.000 10.000

Experimentação

Estratégia:

Parâmetro Valores TestadosNúmero máximo de iterações de treinamento(Epochs)

5.000, ou 8.500, ou 10.000

Limite máximo de erros na validação

5, ou 7, ou 9

Função de aprendizagem learngdFunção de treinamento trainoss, traingdm e traingdFunção de ativação e de saída logsig e poslinCoeficiente de aprendizagem 0.1, 0.01 e 0.001Quantidade de unidades na camada escondida

1, 5 e 15

Experimentação

Selecionar configurações com MSE de treinamento baixo

Ordenar as redes pelo MSE de teste Verificar a relação do MSE de treinamento e

teste Avaliar a área da curva ROC Selecionar as 6 melhores Rodar 10 vezes cada rede selecionada para

avaliar a confiabilidade Seleção das 3 melhores redes

Resultados

Algoritmo de Treinamento trainlm

Algoritmo de Aprendizagem learngd

Função de Ativação logsig

Número máxima de Iterações 8500

Número de neurônios na camada escondida 5

Erro máximo 9

Taxa de Aprendizagem 0.01

Fator Média Desvio-PadrãoMSE de Treina. 0.169695 0.008156857033605

MSE de Vali. 0.278427 0.01282102877654MSE de Teste 0.210916 0.02758170939832

AUROC 0.649991 0.010748607610087Erro de Teste 30.872728 6.15489178895902Erro Classe 1 47.885715 6.61366567082505Erro Classe 2 30.575 6.37175058799036

Configuração 1:

Resultados

Algoritmo de Treinamento trainlm

Algoritmo de Aprendizagem learngd

Função de Ativação logsig

Número máxima de Iterações 5000

Número de neurônios na camada escondida 5

Erro máximo 5

Taxa de Aprendizagem 0.01

Fator Média Desvio-PadrãoMSE de Treina. 0.182102 0.008459491447809

MSE de Vali. 0.260841 0.010266876026004MSE de Teste 0.197498 0.026641892575416

AUROC 0.643433 0.025639389423308Erro de Teste 27.774938 8.07450562632483Erro Classe 1 51.942857 11.3343747012568Erro Classe 2 27.352 8.40557857087252

Configuração 2:

Resultados

Configuração 3:

Algoritmo de Treinamento traingdm

Algoritmo de Aprendizagem learngd

Função de Ativação logsig

Número máxima de Iterações 10000

Número de neurônios na camada escondida 5

Erro máximo 7

Taxa de Aprendizagem 0.1

Fator Média Desvio-PadrãoMSE de Treina. 0.213342 0.006480990665013

MSE de Vali. 0.232839 0.003789272724122MSE de Teste 0.211541 0.005512568366924

AUROC 0.6521721 0.010821125136102Erro de Teste 30.166093 1.21887699745873Erro Classe 1 49.371428 2.01940592508336Erro Classe 2 33.738 12.6406309617483

Dúvidas