Avaliacao de particao vs avaliacao de clusters wci 2010
-
Upload
gustavo-henrique-rodrigues-pinto-tomas -
Category
Technology
-
view
347 -
download
2
description
Transcript of Avaliacao de particao vs avaliacao de clusters wci 2010
Avaliação de Partições vs Avaliação de Clusters
Gustavo Henrique Rodrigues Pinto Tomas
Dra. Katti Faceli
Projeto financiado por: Programa Institucional de Bolsas de Iniciação Cientifica – PIBIC
Conselho Nacional de Desenvolvimento Científico e Tecnológico – CNPq
Universidade Federal de São Carlos – Campus Sorocaba
III Workshop on Computational Intelligence
Motivação
• Definição de cluster;
• Abordagens tradicionais: cada algoritmo segue um critério diferente;
• Abordagens multi-objetivos: Ex.: MOCLE.
• Nova Abordagem: Análise de Clusters Individualmente.
Análise de Partições vs Avaliação de Clusters – III WCI – UFSCar Campus Sorocaba
Análise de Partições vs Avaliação de Clusters – III WCI – UFSCar Campus Sorocaba
Preparação dos Dados
Agrupamento Validação
Motivação
Critérios de Agrupamento
Critérios de Agrupamento
• Compactação:
– Pequena variação intra-cluster;
– Clusters esféricos e/ou bem separados;
• Encadeamento:
– Objetos vizinhos tem que compartilhar o mesmo cluster;
– Adequado para clusters com forma arbitrária;
– Ruim quando há pouca separação entre os clusters;
• Separação:
– Somente a separação espacial fornece pouca informação;
– Aplicada em associação com outros critérios.
Análise de Partições vs Avaliação de Clusters – III WCI – UFSCar Campus Sorocaba
Abordagens
Estrutura Real K-Means
Single Link Average
Análise de Partições vs Avaliação de Clusters – III WCI – UFSCar Campus Sorocaba
Índices Relativos
Índice Critério Característica
Desvio Total (Adaptado)
Compactação Avalia a qualidade de um agrupamento em termos da
compactação dos clusters
Conectividade (Adaptado)
Encadeamento Reflete o grau com que os objetos vizinhos são colocados no mesmo
cluster
Silhueta Compactação e Separação
Baseia-se na proximidade entre os objetos de um cluster e na distância dos objetos de um cluster ao cluster
mais próximo
Consistência-KNN (Adaptado)
Encadeamento Os objetos de cada classe são distribuídos de forma consistente.
Análise de Partições vs Avaliação de Clusters – III WCI – UFSCar Campus Sorocaba
Experimento Realizado
1. Preparação dos dados artificiais FCPS;
2. Execução para vários conjuntos de dados, utilizando
a distância Euclideana como função de
proximidade;
3. Tratamento dos resultados;
4. Plotagem de gráficos;
5. Análise dos índices.
Análise de Partições vs Avaliação de Clusters – III WCI – UFSCar Campus Sorocaba
Experimento Realizado
1. Preparação dos dados artificiais FCPS;
2. Execução para vários conjuntos de dados, utilizando
a distância Euclideana como função de
proximidade;
3. Tratamento dos resultados;
4. Plotagem de gráficos;
5. Análise dos índices.
Análise de Partições vs Avaliação de Clusters – III WCI – UFSCar Campus Sorocaba
-Normalizar: Silhueta, Desvio Total e Conectividade
- Alterar melhor valor: Silhueta e Consistência-KNN
Conjunto de Dados Fundamental Clustering Problems Suite (FCPS)
Wing Nut Atom
LSun Target
Análise de Partições vs Avaliação de Clusters – III WCI – UFSCar Campus Sorocaba
Resultados: Wing Nut
0,28 0,28 0,28
0,39 0,39 0,39
0,01
0,13 0,13 0,12 0,11 0,14
0,0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,0
Real C1 C2
sil
dev
con
cknn
Análise de Partições vs Avaliação de Clusters – III WCI – UFSCar Campus Sorocaba
Resultados: Atom
0,34
0,62
0,07
0,55
1,00
0,10
0,00 0,00 0,00 0,04 0,01
0,08
0,0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,0
Real C1 C2
sil
dev
con
cknn
Análise de Partições vs Avaliação de Clusters – III WCI – UFSCar Campus Sorocaba
Resultados: LSun
0,26 0,29 0,32
0,16 0,24
0,29 0,29
0,13
0,01 0,00 0,00 0,01
0,13
0,00
0,13
0,26
0,0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,0
Real C1 C2 C3
sil
dev
con
cknn
Análise de Partições vs Avaliação de Clusters – III WCI – UFSCar Campus Sorocaba
Resultados: Target
0,35
0,13
0,61
0,02 0,02 0,02 0,02 0,09 0,08
0,41
0,01 0,01 0,01 0,01
0,44
0,00 0,00
0,70 0,65 0,65 0,65
0,67
0,00 0,00
1,00 1,00 1,00 1,00
0,0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,0
Real C1 C2 C3 C4 C5 C6
sil
dev
con
cknn
Análise de Partições vs Avaliação de Clusters – III WCI – UFSCar Campus Sorocaba
Considerações Finais
• Análise de clusters individualmente é uma abordagem
promissora;
• Conjunto de índices complementares para avaliar
estruturas heterogêneas;
• Qualidade baixa de um cluster influência
negativamente o resultado da partição.
Análise de Partições vs Avaliação de Clusters – III WCI – UFSCar Campus Sorocaba
Considerações Finais
• As estruturas destes conjuntos de dados
favorecem os critérios baseados em
encadeamento;
• O índice consistência-KNN obteve em média bom
desempenho;
• Índices com mesmo critério podem se comportar
de maneira diferente.
Análise de Partições vs Avaliação de Clusters – III WCI – UFSCar Campus Sorocaba
Gustavo Henrique Rodrigues Pinto Tomas
Email: [email protected]
Katti Faceli
Email: [email protected]
Obrigado!
Análise de Partições vs Avaliação de Clusters – III WCI – UFSCar Campus Sorocaba
Dúvidas?