Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução !...
Transcript of Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução !...
![Page 1: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/1.jpg)
Aprendizado de Máquina André C. P. L. F. de Carvalho Centro de Pesquisa AMDA
ICMC-USP
![Page 2: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/2.jpg)
André Ponce de Leon F de Carvalho 2
Tópicos
n Introdução n Aprendizado de Máquina n Métodos Preditivos
n Algoritmos de treinamento n Avaliação de desempenho
n Métodos Descritivos n Algoritmos de treinamento n Avaliação de desempenho
n Conclusão
![Page 3: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/3.jpg)
Introdução n Sem perceber, as pessoas geram dados a
todo momento n Aplica para um cartão de fidelidade
n Empresa aérea, supermercado, ...
n Faz uma compra com cartão de débito ou crédito n Navega pela internet n Vai ao médico
n Esses dados são armazenados em computadores
André Ponce de Leon F de Carvalho 3
![Page 4: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/4.jpg)
Explosão de dados
n Máquinas estão continuamente coletando dados n E consumidos n Por pessoas e máquinas
André Ponce de Leon F de Carvalho 4
![Page 5: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/5.jpg)
Explosão de dados n Todo mundo é um cineasta
n E quer uma grande audiência
n Todo mundo tem um ótimo gosto para vídeos e músicas n E quer que todos possam se beneficiar de seu
bom gosto
n Todo mundo esta sendo visto e ouvido n A toda hora e em todo lugar
André Ponce de Leon F de Carvalho 5
![Page 6: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/6.jpg)
Dados nunca dormem
6
Quantos dados são gerados a cada minuto Origem: Domo business management platform https://www.domo.com 07/2013 e 05/2014
André Ponce de Leon F de Carvalho 6
![Page 7: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/7.jpg)
n Análise dos dados por seres humanos n Falta de especialistas n Custo elevado n Subjetividade n Grande volume
n Técnicas tradicionais para análise n Planilhas n Sistemas de gerenciamento de bancos de
dados André Ponce de Leon F de Carvalho 7
Análise de dados
André Ponce de Leon F de Carvalho 7
![Page 8: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/8.jpg)
André Ponce de Leon F de Carvalho 8
n Técnicas tradicionais de análise de dados permitem apenas consultas simples n Quantos itens de um produto em particular foram
vendidos em um dado dia? n Não conseguem responder consultas do tipo:
n Que novo filme eu gostaria de assistir? n Um tecido pode apresentar um tumor? n Qual a estrutura terciária de uma nova proteína
n Técnicas mais sofisticadas, capazes de extrair conhecimento de grandes conjuntos de dados
Análise de dados
8
![Page 9: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/9.jpg)
André Ponce de Leon F de Carvalho 9
Aprendizado de Máquina n Investiga técnicas computacionais capazes de
adquirir automaticamente n Novas habilidades, conhecimentos e formas de
organizar o conhecimento existente
n Definições n Área de pesquisa que dá aos computadores a
habilidade de aprender sem ser explicitamente programado (Arthur Samuel, 1959)
n Técnicas capazes de melhorar seu desempenho em uma dada tarefa utilizando experiências prévias (Mitchell, 1997)
![Page 10: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/10.jpg)
10
Aplicações de AM n Programas baseados em AM têm sido
bem sucedidos para: n Análise de redes sociais n Análise de dados biológicos n Detecção de fraudes n Diagnóstico médico n Biometria n Recomendação de filmes e séries
André Ponce de Leon F de Carvalho
![Page 11: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/11.jpg)
11
Aplicações clássicas de AM
n Aprender a reconhecer palavras faladas n SPHINX (Lee 1989)
n Aprender a conduzir um automóvel n ALVINN (Pomerleau 1989)
n Aprender a classificar objetos celestiais n (Fayyad et al 1995)
n Aprender a jogar gamão n TD-GAMMON (Tesauro 1992)
André Ponce de Leon F de Carvalho
![Page 12: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/12.jpg)
12
ALVINN
André Ponce de Leon F de Carvalho
![Page 13: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/13.jpg)
13
ALVINN n Autonomous Land Vehicle In a Neural
Network n Sistema automático de navegação para
automóveis baseado em redes neurais n Tese de doutorado da CMU
n Comunicação por uma câmera montada no veículo n Dirigiu a 70 M/h (110 Km/h) em uma rodovia
pública americana em 1989 n De costa a costa por 2850 milhas (com exceção
de 50 milhas)
André Ponce de Leon F de Carvalho
![Page 14: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/14.jpg)
Carros da Google n Stanford Artificial Intelligence Laboratory n Vários algoritmos de AM n Comunicação por sensores no topo do carro
n Lasers, câmeras e informação do Google street view
n Atua no volante de direção e nos pneus n Mais de 2 milhões de milhas percorridos
n Metade da rede de estradas americana n Acidentes provocados por terceiros (distração)
n Várias cidades permitem carros autônomos
André Ponce de Leon F de Carvalho 14
![Page 15: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/15.jpg)
Carros da Google
André Ponce de Leon F de Carvalho 15
http://www.citylab.com/tech/2014/05/the-trick-that-makes-googles-self-driving-cars-work/371060/
![Page 16: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/16.jpg)
Carros da Google
André Ponce de Leon F de Carvalho 16
http://www.theguardian.com/technology/2015/jun/28/google-self-driving-cars-accidents
![Page 17: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/17.jpg)
17
Aprendizado de Máquina n Algoritmos de AM aprendem a partir de um
conjunto de exemplos n Indução de hipóteses ou modelos
n Aplicados depois a novos dados
n Todo algoritmo de AM indutivo possui um viés n Tendência a privilegiar uma dada hipótese
ou conjunto de hipóteses
André Ponce de Leon F de Carvalho
![Page 18: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/18.jpg)
18
Viés indutivo
n Viés de preferência ou busca n Como as hipóteses são pesquisadas no espaço de
hipóteses n Preferência de algumas hipóteses sobre outras n Ex.: preferência por hipóteses simples (curtas)
n Viés de representação ou linguagem n Define o espaço de busca ou de hipóteses n Restrição das hipóteses que podem ser geradas n Ex.: hipóteses no formato de ADs
André Ponce de Leon F de Carvalho
![Page 19: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/19.jpg)
19
Viés de representação
Peso
Sexo
≥ 50
Doente Saudável Doente
< 50
M F Se Peso ≥ 50 então Doente Se Peso < 50 e Sexo = M então Doente Se Peso < 50 e Sexo = F então Saudável
0.45 -0.40 0.54 0.12 0.98 0.37 -0.45 0.11 0.91 0.34 -0.20 0.83 -0.29 0.32 -0.25 -0.51 0.41 0.70
Árvore de decisão
Redes neurais
Conjunto de regras
André Ponce de Leon F de Carvalho
![Page 20: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/20.jpg)
20
Viés indutivo
n Algoritmos de AM precisam ter um viés indutivo n Necessário para restringir o espaço de
busca n Se não houvesse viés, não haveria
generalização n Regras / equações seriam especializados para
os exemplos específicos
André Ponce de Leon F de Carvalho
![Page 21: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/21.jpg)
21
Algoritmos de AM
n Extraem conhecimento de um conjunto de dados n Novo, útil e relevante n Precisam ser tratados
n Entra lixo, sai lixo
n Precisam ser representativos n Cobrir situações que possam ocorrer
n Podem ser estruturados ou não
André Ponce de Leon F de Carvalho
![Page 22: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/22.jpg)
n Estruturados n Mais facilmente analisados por técnicas de AM n Ex.: Planilhas e tabelas atributo-valor
n Não estruturados n Mais facilmente analisados por seres humanos
n Para AM, são geralmente convertidos em dados estruturados
n Ex.: Sequência de DNA, textos, conteúdo de página na web, emails
André Ponce de Leon F de Carvalho 22
Conjuntos de dados
![Page 23: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/23.jpg)
André Ponce de Leon F de Carvalho 23
Conjuntos de dados
João 70 37 70 94 12 Saudável Maria 38 39 30 40 14 Doente José 39 38.5 70 85 18 Doente Sílvia 38 37.5 15 60 13 Saudável Pedro 37 40 90 78 14 Doente
Nome Batim. Temp. Idade Peso Pressão Diagn.
Atributos de entrada (preditivos)
Exemplos (objetos, instâncias)
Atributo alvo
![Page 24: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/24.jpg)
24
Tarefas de aprendizado
Tarefa
Preditiva Descritiva
Classificação Regressão Agrupamento Associação
Sumarização
André Ponce de Leon F de Carvalho
![Page 25: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/25.jpg)
Aprendizado pode ser n Supervisionado
n Tarefa preditiva (mais comum) ou descritiva n Ensina ao modelo o que ele deve fazer
n Fornece, para cada entrada, a saída desejada (correta)
n Não supervisionado n Tarefa descritiva (mais comum) ou preditiva n Algoritmo aprende por si só
n Semi-supervisionado (aprendizado ativo) n Reforço
André Ponce de Leon F de Carvalho 25
![Page 26: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/26.jpg)
André Ponce de Leon F de Carvalho 26
![Page 27: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/27.jpg)
Algoritmos de AM preditivos
n Induzem modelos (funções) preditivas n Dados de treinamento
n Modelo pode ser aplicado a novos dados
n Dados de teste n Predição
n Classificação e regressão
André Ponce de Leon F de Carvalho 27
![Page 28: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/28.jpg)
André Ponce de Leon F de Carvalho 28
Algoritmos de AM preditivos
x11 x12 ... x1m y1
x21 x22 ... x2m y2
xn1 xn2 ... xnm yn
Algoritmo de AM f(x)
Modelo para Classif. / Regres.
conjunto de dados
. . . . . .
. . . . . .
Treinamento
Classe ou valor numérico Modelo f(x)
Previsão
Teste
Indução
Dedução x1i X2i
Xni
.
. . .
Novo exemplo
![Page 29: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/29.jpg)
André Ponce de Leon F de Carvalho 29
Regressão
n Objetivo: aprender uma função que mapeia um exemplo em um valor real n Caso especial: análise de séries temporais
n Exemplos: n Prever valor de mercado de um imóvel n Prever o lucro de um empréstimo bancário n Prever tempo de internação de um
paciente
![Page 30: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/30.jpg)
André Ponce de Leon F de Carvalho 30
Regressão Va
zão
Ano
![Page 31: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/31.jpg)
André Ponce de Leon F de Carvalho 31
Regressão Va
zão
Ano
Função aproximada
![Page 32: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/32.jpg)
André Ponce de Leon F de Carvalho 32
Regressão
n Técnicas n Árvores de Regressão n Redes Neurais Artificiais n Máquinas de Vetores de Suporte n Regressão Linear
![Page 33: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/33.jpg)
André Ponce de Leon F de Carvalho 33
Classificação
n Objetivo: aprender uma função que associa descrição de um exemplo a uma classe
n Exemplos: n Definir a função de uma proteína n Distinguir emails entre spam ou ham n Definir se um paciente tem ou não uma
doença
![Page 34: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/34.jpg)
Classificação
n Posto médico A n Tem um histórico de vários atendimentos e
diagnósticos n João, ao sentir alguns sintomas, vai ao
posto para uma consulta médica n O único médico, faltou
n Mas uma enfermeira pode anotar os sintomas
n É possível fazer um pré-diagnóstico?
André Ponce de Leon F de Carvalho 34
![Page 35: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/35.jpg)
Classificação
n Sintomas coletados pela enfermeira: n Temperatura
André Ponce de Leon F de Carvalho 35
![Page 36: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/36.jpg)
André Ponce de Leon F de Carvalho 36
Classificação
n Forma mais simples
Temperatura
Saudável Doente
![Page 37: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/37.jpg)
André Ponce de Leon F de Carvalho 37
Classificação
n Forma mais simples
Temperatura
Função estimada: diagnóstico = f(temperatura) Se temperatura > c Então doente Senão saudável
Saudável Doente
![Page 38: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/38.jpg)
Classificação
n Basta encontrar um valor de temperatura que separa n Doentes n Saudáveis
n Mas todo problema de classificação é simples assim?
André Ponce de Leon F de Carvalho 38
![Page 39: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/39.jpg)
André Ponce de Leon F de Carvalho 39
Classificação
n Problema pode não ser tão simples
n Alternativa: considerar outros sintomas para o diagnóstico
Temperatura
Saudável Doente
![Page 40: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/40.jpg)
Classificação
n Sintomas coletados pela enfermeira: n Batimentos cardíacos n Temperatura
André Ponce de Leon F de Carvalho 40
![Page 41: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/41.jpg)
André Ponce de Leon F de Carvalho 41
Classificação Ba
timen
tos
Temperatura
n Incluir número de batimentos Saudável Doente
![Page 42: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/42.jpg)
André Ponce de Leon F de Carvalho 42
Classificação Ba
timen
tos
Temperatura
n Função linear permite diagnóstico
Nova função: Se a.t + b > 0 Então doente Senão saudável
Saudável Doente
![Page 43: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/43.jpg)
Classificação n Basta encontrar uma função linear que
separa doentes de saudáveis n Inclinação da reta e ponto onde cruza o eixo da
ordenada
n Espaço de pacientes n Ordenada: número de batimentos n Abscissa: temperatura
n Mas toda tarefa de classificação é simples assim?
André Ponce de Leon F de Carvalho 43
![Page 44: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/44.jpg)
André Ponce de Leon F de Carvalho 44
Classificação Ba
timen
tos
Temperatura
n Supor inclusão de outros pacientes Saudável Doente
![Page 45: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/45.jpg)
André Ponce de Leon F de Carvalho 45
Classificação Ba
timen
tos
Temperatura
n Supor inclusão de outros pacientes Saudável Doente
![Page 46: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/46.jpg)
André Ponce de Leon F de Carvalho 46
Classificação Ba
timen
tos
Temperatura
n Supor inclusão de outros pacientes Saudável Doente
Nova função: Muito complexa Para por aqui
![Page 47: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/47.jpg)
André Ponce de Leon F de Carvalho 47
Classificação Ba
timen
tos
Temperatura
n Supor inclusão de mais pacientes Saudável Doente
Nova função: Muito extensa para por aqui
![Page 48: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/48.jpg)
André Ponce de Leon F de Carvalho 48
Classificação Ba
timen
tos
Temperatura
n Supor inclusão de outros pacientes Saudável Doente
Nova função: Muito complexa para por aqui
![Page 49: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/49.jpg)
Classificação
n Função para definir fronteira de decisão se torna mais complexa n Difícil de obter por técnicas tradicionais
n Algoritmos de AM utilizam heurísticas para procurar essas funções
n Conjunto de atributos utilizados podem não representar bem a tarefa n Dificultando a indução de bons modelos
André Ponce de Leon F de Carvalho 49
![Page 50: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/50.jpg)
Classificação
n Sintomas que poderiam permitir um melhor modelo para diagnóstico: n Batimentos cardíacos n Idade n Peso n Pressão n Temperatura n Taxas em uma amostra de sangue
André Ponce de Leon F de Carvalho 50
![Page 51: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/51.jpg)
Classificação n Atributos preditivos procuram descrever a
tarefa a ser resolvida n Em geral, quanto mais atributos são extraídos,
melhor n Facilitam indução de bons modelos
n No entanto n Dificultam visualizar distribuição dos dados n Podem incluir atributos irrelevantes,
redundantes. ... n Maldição da dimensionalidade
André Ponce de Leon F de Carvalho 51
![Page 52: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/52.jpg)
André Ponce de Leon F de Carvalho 52
![Page 53: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/53.jpg)
André Ponce de Leon F de Carvalho 53
Algoritmos de classificação n Indução de Árvores de Decisão n Indução de conjuntos de regras n Redes Neurais n Máquinas de Vetores de Suporte n K-NN n Regressão Logística n Redes Bayesianas
![Page 54: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/54.jpg)
Algoritmos de classificação n Podem ser agrupados por diferentes critérios
n Baseados em distâncias n K-NN
n Baseados em otimização n RNs
n Baseados em probabilidade n NB
n Baseados em procura (lógicos) n Indução de ADs
André Ponce de Leon F de Carvalho 54
![Page 55: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/55.jpg)
Algoritmos de classificação n Podem ser agrupados por diferentes critérios
n Baseados em distâncias n K-NN
n Baseados em otimização n RNs
n Baseados em probabilidade n NB
n Baseados em procura (lógicos) n Indução de ADs
André Ponce de Leon F de Carvalho 55
Geométricos
![Page 56: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/56.jpg)
Algoritmos baseados em distância
n Usam medidas de distância para classificar novos exemplos n Medem (dis)similaridade entre dados n Diversas medidas podem ser usadas
n Vários algoritmos são baseados em distância n Algoritmo k-NN
André Ponce de Leon F de Carvalho 56
![Page 57: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/57.jpg)
Algoritmo K-NN n Algoritmo lazy (preguiçoso)
n Consulta os dados de treinamento apenas quando vai classificar um novo objeto
n Não constrói um modelo explicitamente n Diferente de algoritmos eager
n Induzem um modelo n Ex.: ADs, RNs e SVMs
André Ponce de Leon F de Carvalho 57
![Page 58: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/58.jpg)
André Ponce de Leon F de Carvalho 58
K-Vizinhos mais próximos
Seja k o número de vizinhos mais próximos Para cada novo exemplo x
Definir a classe dos k exemplos (vizinhos) mais próximos Classificar x na classe majoritária entre seus k vizinhos
![Page 59: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/59.jpg)
André Ponce de Leon F de Carvalho 59
1-vizinho mais próximo
Exame 1
Exam
e 2
Classe saudável Classe doente
1-NN
?
![Page 60: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/60.jpg)
André Ponce de Leon F de Carvalho 60 60
Exame 1
Exam
e 2
Classe saudável Classe doente
3-NN
?
Quantos vizinhos?
![Page 61: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/61.jpg)
André Ponce de Leon F de Carvalho 61 61
Exame 1
Exam
e 2
Classe saudável Classe doente
3-NN 5-NN
?
Quantos vizinhos?
![Page 62: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/62.jpg)
André Ponce de Leon F de Carvalho 62
Redes Neurais Artificiais
n Sistemas distribuídos inspirados no cérebro humano n Compostas por várias unidades de
processamento (“neurônios”) n Interligadas por um grande número de
conexões (“sinapses”)
n Arquitetura e aprendizado
![Page 63: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/63.jpg)
André Ponce de Leon F de Carvalho 63
Neurônio natural n Um neurônio simplificado:
Corpo
Dendritos Axônio
Sinal
Sinapse
![Page 64: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/64.jpg)
André Ponce de Leon F de Carvalho 64
Neurônio artificial
n Modelo de um neurônio abstrato:
Sinal
Entradas Saída
f
Pesos
f
. . . . . .
wn
w2
w1
w
w
![Page 65: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/65.jpg)
André Ponce de Leon F de Carvalho 65
Perceptron
n Primeira rede - Rosemblat, 1958 n Modelo de neurônio de McCulloch-Pitts
n Treinamento n Supervisionado n Correção de erro
n wi(t)= wi(t-1) + Δwi n Δwi = ηxi δ
n Δwi = ηxi (y – f(x))
n Teorema de convergência
x1
x2
xm
f (∑xiwi)
w1 w2 wm
![Page 66: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/66.jpg)
André Ponce de Leon F de Carvalho 66
Algoritmo de treinamento
1 Iniciar todas as conexões com wi = 0 2 Repita
Para cada par de treinamento (X, y) Calcular a saída f(X) Se (y ≠ f(X)) Então
Atualizar pesos do neurônio Até valor erro aceitável
![Page 67: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/67.jpg)
André Ponce de Leon F de Carvalho 67
Treinamento modificando fronteiras
![Page 68: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/68.jpg)
André Ponce de Leon F de Carvalho 68
Treinamento modificando fronteiras
![Page 69: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/69.jpg)
André Ponce de Leon F de Carvalho 69
Treinamento modificando fronteiras
![Page 70: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/70.jpg)
André Ponce de Leon F de Carvalho 70
Treinamento modificando fronteiras
![Page 71: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/71.jpg)
André Ponce de Leon F de Carvalho 71
1
0, 0 → 0 0, 1 → 1 1, 0 → 1 1, 1 → 0
Problemas com Perceptron
![Page 72: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/72.jpg)
André Ponce de Leon F de Carvalho 72
Rede Multi-Layer Perceptron
n Arquitetura de RNA mais utilizada n Uma ou mais camadas intermediárias de neurônios
n Funcionalidade (teórica) n Uma camada intermediária: qualquer função contínua
ou Booleana n Duas camadas intermediárias: qualquer função
n Originalmente treinada com o algoritmo Backpropagation
![Page 73: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/73.jpg)
André Ponce de Leon F de Carvalho 73
MLP e Backpropagation camadas intermediárias
camada de saída
camada de entrada
conexões
![Page 74: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/74.jpg)
André Ponce de Leon F de Carvalho 74
Backpropagation
n Treina a rede com pares entrada-saída n Cada vetor de entrada é associado a uma saída
desejada
n Treinamento em duas fases, cada uma percorrendo a rede em um sentido n Fase forward n Fase backward
Sinal (forward)
Erro (backward)
![Page 75: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/75.jpg)
André Ponce de Leon F de Carvalho 75
Treinamento Iniciar todas as conexões com valores aleatórios ∈ [a,b] Repita erro = 0;
Para cada par de treinamento (X, y) Para cada camada k := 1 a N Para cada neurônio j := 1 a Mk Calcular a saída fkj(net) Se k= N Calcular soma dos erros de seus neurônios;
Se erro > ε Para cada camada k := N a 1 Para cada neurônio j:= 1 a Mk
Atualizar pesos; Até erro < ε (ou número máximo de ciclos)
![Page 76: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/76.jpg)
André Ponce de Leon F de Carvalho 76
Treinamento modificando fronteiras
![Page 77: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/77.jpg)
André Ponce de Leon F de Carvalho 77
Treinamento modificando fronteiras
![Page 78: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/78.jpg)
André Ponce de Leon F de Carvalho 78
Treinamento modificando fronteiras
![Page 79: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/79.jpg)
André Ponce de Leon F de Carvalho 79
Treinamento modificando fronteiras
![Page 80: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/80.jpg)
André Ponce de Leon F de Carvalho 80
Treinamento modificando fronteiras
![Page 81: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/81.jpg)
André Ponce de Leon F de Carvalho 81
MLPs como classificadores Classe A Classe B
Classe A Classe B
Classe A Classe B
![Page 82: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/82.jpg)
André Ponce de Leon F de Carvalho 82
Teoria de Aprendizado Estatístico
n Difícil garantir que função induzida representa função verdadeira n Modelo apresenta boa generalização
n TAE estabelece princípios para obter modelo com boa generalização n Vapnik e Chervonenkis em 1968 n Busca função com menor erro e complexidade n Máquinas de Vetores de Suporte (SVMs)
![Page 83: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/83.jpg)
André Ponce de Leon F de Carvalho 83
Máquinas de Vetores de Suporte (SVMs)
γ
γ
Rede Neural SVMs
![Page 84: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/84.jpg)
André Ponce de Leon F de Carvalho 84
SVMs
Margem máxima
Vetores de suporte (pontos críticos)
Hiperplano separador ótimo
1bx . w −=+!! 1bx . w +=+
!!0=+ bx . w !!
2||||2 Margemw!
=2||||1w! 2||||
1w!
⎩⎨⎧
−≤+−
≥+=
1b x. wif11b x. wif1
iy
1b) x. w( ≥+iy
![Page 85: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/85.jpg)
André Ponce de Leon F de Carvalho 85
Fronteiras mais complexas
Φ
Espaço de entradas Espaço de características
f(x) = w.Φ(x) + b
![Page 86: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/86.jpg)
Redes neurais profundas (RNP)
n Redes neurais MLP em geral têm 1 ou 2 camadas intermediárias n Redes neurais rasas
n Poucas camadas tornam difícil extrair função que represente os dados
n Uso de backpropagation em redes com muitas camadas leva a soluções pobres n Problema de atribuição de erro
André Ponce de Leon F de Carvalho 86
![Page 87: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/87.jpg)
RNs profundas n RNs rasas
n Características extraídas manualmente (por especialistas) ou por técnicas de extração
n RN profundas n Características extraídas hierarquicamente por
algoritmos de aprendizado n Não supervisionado
n Pode usar dados não rotulados
n Semi-supervisionado
André Ponce de Leon F de Carvalho 87
![Page 88: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/88.jpg)
RNs profundas
n Extração de características n Inicialmente características simples n Nível crescente de abstração
n Cada camada aplica transformação não linear àa características recebidas da camada anterior
André Ponce de Leon F de Carvalho 88
pixels arestas partes de objetos objetos
![Page 89: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/89.jpg)
Principais RNs profundas
n Redes neurais profundas (RNP) n Redes credais profundas (RCP) n Redes autocodificadoras profundas
(RAP) n Redes neurais convolucionais profundas
(RNCP)
André Ponce de Leon F de Carvalho 89
![Page 90: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/90.jpg)
Compreensibilidade
n Explicação das decisões pode ser importante para algumas aplicações
n RNAs, SVMs e RNPs são caixas pretas n Modelos gerados por algoritmos de
indução de n Árvores de características (decisão) n Conjunto de regras n Redes Bayesianas
André Ponce de Leon F de Carvalho 90
![Page 91: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/91.jpg)
Árvores de características n Alguns algoritmos de AM particionam
características (atributos) de forma hierárquica
André Ponce de Leon F de Carvalho 91
Atrib. Pred.
Atrib. Pred.
Valores Valores
Atrib. Alvo
Atrib. Alvo Atrib. Alvo
Valores Valores
Classificação: decisão (AD) Regressão: regressão (AR)
![Page 92: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/92.jpg)
André Ponce de Leon F de Carvalho 92
Algoritmo de indução de AD n Induzem modelos representados por
ADs
Inimigo Amigo
sorri
segura
não sim
espada bandeira
Inimigo
Nó raiz
Nó intermediário Nós folha
![Page 93: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/93.jpg)
André Ponce de Leon F de Carvalho 93
Algoritmo de indução de AD
n Existem vários, entre eles: n Algoritmo de Hunt
n Um dos primeiros n Base de vários algoritmos atuais
n CART n ID3 n C4.5 n VFDT
![Page 94: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/94.jpg)
André Ponce de Leon F de Carvalho 94
Algoritmo de Hunt n Seja Xt o conjunto de objetos de
treinamento que atingem o nó t
Se todos os objetos de Xt ∈ a mesma classe yt Então t é um nó folha rotulado como yt
Se os objetos de Xt ∈ a mais de uma classe Então Selecionar um atributo preditivo teste para dividir Xt Dividir Xt em subconjuntos utilizando esse atributo Aplicar algoritmo a cada subconjunto gerado
![Page 95: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/95.jpg)
Algoritmo de indução de AD n Valores numéricos e
simbólicos n Grau de pureza é
calculado para cada atributo n Atributo que gera
menos impureza é escolhido
n Critério de parada precisa ser definido
André Ponce de Leon F de Carvalho 95
x2
x1
![Page 96: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/96.jpg)
Algoritmo de indução de AD n Valores numéricos e
simbólicos n Grau de pureza é
calculado para cada atributo n Atributo que gera
menos impureza é escolhido
n Critério de parada precisa ser definido
André Ponce de Leon F de Carvalho 96
x2
a2 x1
![Page 97: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/97.jpg)
Algoritmo de indução de AD n Valores numéricos e
simbólicos n Grau de pureza é
calculado para cada atributo n Atributo que gera
menos impureza é escolhido
n Critério de parada precisa ser definido
André Ponce de Leon F de Carvalho 97
x2
a2 x1
b1
![Page 98: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/98.jpg)
Algoritmo de indução de AD n Valores numéricos e
simbólicos n Grau de pureza é
calculado para cada atributo n Atributo que gera
menos impureza é escolhido
n Critério de parada precisa ser definido
André Ponce de Leon F de Carvalho 98
x2
a2 x1
b2 b1
![Page 99: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/99.jpg)
Algoritmo de indução de AD n Valores numéricos e
simbólicos n Grau de pureza é
calculado para cada atributo n Atributo que gera
menos impureza é escolhido
n Critério de parada precisa ser definido
André Ponce de Leon F de Carvalho 99
x2
a1 a2 x1
b2 b1
![Page 100: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/100.jpg)
Algoritmo de indução de AD n Valores numéricos e
simbólicos n Grau de pureza é
calculado para cada atributo n Atributo que gera
menos impureza é escolhido
n Critério de parada precisa ser definido
André Ponce de Leon F de Carvalho 100
x2
a1 a2 x1
b2 b1
![Page 101: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/101.jpg)
Classe 1
Classe 2
Classe 3
André Ponce de Leon F de Carvalho 101
Árvore e partição do espaço de hipóteses
x1<a2
x1<a1
x2<b1 x2<b2
Classe 1
Classe 2
x2
a1 a2 x1
Classe 1
b2 b1
V V
V F
V
F
F
F Classe 3
Classe 2 Classe 1
Classe 2
![Page 102: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/102.jpg)
André Ponce de Leon F de Carvalho 102
![Page 103: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/103.jpg)
Algoritmos e modelos
n Algoritmos de AM induzem modelos n Funções, hipóteses
n Desempenho a ser avaliado n Saída de um algoritmo de AM:
n Modelo induzido
n Saída de um modelo de classificação: n Classificação para um novo exemplo
André Ponce de Leon F de Carvalho 103
![Page 104: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/104.jpg)
André Ponce de Leon F de Carvalho 104
Avaliação de desempenho n Depende da tarefa
n Classificação: considera taxa de exemplos incorretamente classificados
n Ex.: Acurácia
n Regressão: considera diferença entre valor previsto e valor correto
n Ex.: MSE
n Média dos erros obtidos em diferentes execuções de um experimento
![Page 105: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/105.jpg)
André Ponce de Leon F de Carvalho 105
Desempenho de classificação
n Principal objetivo de um modelo é a classificação correta de novos exemplos n Desempenho preditivo n Errar o mínimo possível
n Minimizar taxa de erro de classificação n Geralmente não é possível medir com
exatidão essa taxa de erro n Ela deve ser estimada do erro de treinamento n Amostragem de dados
![Page 106: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/106.jpg)
Amostragem de dados n Erro de treinamento
n Ajuste de híper-parâmetros de um algoritmo n Comparação de algoritmos ou de híper-
parâmetros de um algoritmo n Para dados de treinamento
n Erro de teste n Comparação de algoritmos para novos dados n Nunca para escolha
André Ponce de Leon F de Carvalho 106
![Page 107: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/107.jpg)
André Ponce de Leon F de Carvalho 107
Amostragem de dados
n Permite melhor avaliação do desempenho preditivo
n Alternativas n Amostragem única
n Hold-out
n Re-amostragem
![Page 108: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/108.jpg)
André Ponce de Leon F de Carvalho 108
Hold-out Partição 1
2 3 5 7
4 8 1 6
Treinamento
Teste
1
2
8
7
6
5
4
3
![Page 109: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/109.jpg)
André Ponce de Leon F de Carvalho 109
Métodos de reamostragem
n Utilizam várias partições para os conjuntos de treinamento e teste n Random subsampling n K-fold Cross-validation
n Leave-one-out
n Bootstrap
![Page 110: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/110.jpg)
André Ponce de Leon F de Carvalho 110
Random subsampling Partição 1 Partição 2 ... Partição N
2 3 5 7
4 8 1 6
1 3 4 7
2 6 1 8
5 6 7 8
1 2 3 4
Treinamento
Teste
1
2
8
7
6
5
4
3
...
![Page 111: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/111.jpg)
André Ponce de Leon F de Carvalho 111
K-fold cross-validation Partição 1 Partição 2 ... Partição 4
Treinamento
Teste
1
2
8
7
6
5
4
3
1
2
8
7
6
5
4
3
7
8
6
5
4
3
2
1
3
4
2
1
8
7
6
5
...
![Page 112: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/112.jpg)
André Ponce de Leon F de Carvalho 112
Leave-one-out
n Estimativa de erro é praticamente não tendenciosa n Média das estimativas tende a taxa de erro
verdadeiro n Computacionalmente caro
n Geralmente utilizado para pequenos conjuntos de exemplos
n 10-fold cross validation aproxima leave-one-out
n Variância tende a ser elevada
![Page 113: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/113.jpg)
André Ponce de Leon F de Carvalho 113
Bootstrap
n Funciona melhor que cross-validation para conjuntos muito pequenos
n Forma mais simples de bootstrap: n Amostragem com reposição
n Cada partição é uma amostra aleatória com reposição do conjunto total de exemplos
n Conjunto de treinamento têm o mesmo número de exemplos do conjunto total
n Exemplos que restarem são utilizados para teste
![Page 114: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/114.jpg)
André Ponce de Leon F de Carvalho 114
Bootstrap
n Se conjunto original tem N exemplos n Amostra de tamanho N tem ≈ 63,2% dos
exemplos originais
n Processo é repetido k vezes n Resultado final = média dos k
experimentos
n Existem diversas variações
![Page 115: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/115.jpg)
André Ponce de Leon F de Carvalho 115
Acurácia
n Quantos exemplos foram corretamente classificados n Avalia erro nas classes igualmente
n Pode não ser adequada para dados desbalanceados n Pode prejudicar desempenho para classe
minoritária n Geralmente mais interessante que a classe
majoritária
n Acurácia balanceada
![Page 116: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/116.jpg)
André Ponce de Leon F de Carvalho 116
Classificação binária
n Classe de interesse é a classe positiva n Dois tipos de erro:
n Classificação de um exemplo N como P n Falso positivo (alarme falso)
n Ex.: Diagnosticado como doente, mas está saudável
n Classificação de um exemplo P como N n Falso negativo
n Ex.: Diagnosticado como saudável, mas está doente
![Page 117: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/117.jpg)
André Ponce de Leon F de Carvalho 117
Desempenho preditivo
n Matriz de confusão (tabela de contingência) pode ser utilizada para distinguir os erros n Base de várias medidas n Pode ser utilizada com 2 ou mais classes
Classe predita 1 2 3
1 25 0 5 2 10 40 0 3 0 0 20 Cl
asse
ver
dade
ira
![Page 118: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/118.jpg)
André Ponce de Leon F de Carvalho 118
Exemplo n Matriz de confusão para 200 exemplos
divididos em 2 classes
Classe predita
VP FN
FP VN
p n
P N
Clas
se v
erda
deira
Classe predita p n P 70 30 N 40 60
Clas
se v
erda
deira
![Page 119: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/119.jpg)
André Ponce de Leon F de Carvalho 119
Medidas de avaliação
Taxa de FP (TFP) = (Alarmes falsos) VNFP
FP+
Taxa de FN (TFN) =
FNVPFN+
Classe predita
VP FN
FP VN
p n
P N
Clas
se v
erda
deira
Classe predita
VP FN
FP VN
p n
P N
Clas
se v
erda
deira
Erro do tipo I Erro do tipo II
![Page 120: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/120.jpg)
André Ponce de Leon F de Carvalho 120
Medidas de avaliação
Taxa de FP (TFP) = (Alarmes falsos) VNFP
FP+
Taxa de VP (TVP) =
VPVP +FN
Custo Benefício
Classe predita
VP FN
FP VN
p n
P N
Clas
se v
erda
deira
Classe predita
VP FN
FP VN
p n
P N
Clas
se v
erda
deira
![Page 121: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/121.jpg)
André Ponce de Leon F de Carvalho 121
Exemplo
n Avaliação de 3 classificadores Classe predita
20 30
15 35
p n
P N
Clas
se v
erda
deira
Classe predita
70 30
50 50
p n
P N
Clas
se v
erda
deira
Classe predita
60 40
20 80
p n
P N
Clas
se v
erda
deira
Classificador 1 TVP = TFP =
Classificador 2 TVP = TFP =
Classificador 3 TVP = TFP =
VNFPFP+FNVP
VP+
![Page 122: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/122.jpg)
André Ponce de Leon F de Carvalho 122
Exemplo
n Avaliação de 3 classificadores
Classificador 1 TVP = 0.4 TFP = 0.3
Classificador 2 TVP = 0.7 TFP = 0.5
Classificador 3 TVP = 0.6 TFP = 0.2
Classe predita
20 30
15 35
p n
P N
Clas
se v
erda
deira
Classe predita
70 30
50 50
p n
P N
Clas
se v
erda
deira
Classe predita
60 40
20 80
p n
P N
Clas
se v
erda
deira
VNFPFP+FNVP
VP+
![Page 123: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/123.jpg)
André Ponce de Leon F de Carvalho 123
Medidas de avaliação
n Medidas frequentemente utilizadas
TFP = (Erro tipo I) Precisão = TVP = Sensibilidade Revocação (Recall)
FPFP +VN TFN =
(Erro tipo II) Especificidade = = 1–TFP Acurácia = Medida-F1 =
FPVPVP+
FNFPVNVPVNVP
+++
+
FNVPVP+
revprec /1/12+
FPVNVN+
FNVPFN+
![Page 124: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/124.jpg)
André Ponce de Leon F de Carvalho 124
Revocação X Precisão n Revocação (recall)
n Porcentagem de exemplos positivos classificados como positivos
n Nenhum exemplo positivo é deixado de fora
n Precisão n Porcentagem de exemplos classificados
como positivos que são realmente positivos n Nenhum exemplo negativo é incluído
FNVPVP+
FPVPVP+
![Page 125: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/125.jpg)
André Ponce de Leon F de Carvalho 125
Sensibilidade X Especificidade
n Sensibilidade n Porcentagem de exemplos positivos
classificados como positivos n Igual a revocação
n Especificidade n Porcentagem de exemplos negativos
classificados como negativos n Nenhum exemplo negativo é deixado de fora
FNVPVP+
FPVNVN+
![Page 126: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/126.jpg)
André Ponce de Leon F de Carvalho 126
Medidas de avaliação
n Medida-F n Média harmônica ponderada da precisão e
da revocação
n Medida-F1 n Precisão e revocação têm o mesmo peso
revprecrevprec
+
×× )(2revprec /1/1
2+
revprecrevprec
+×
××+
αα )()1(
=
![Page 127: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/127.jpg)
André Ponce de Leon F de Carvalho 127
Exemplo n Seja um classificador com a seguinte
matriz de confusão, definir: n Acurácia n Precisão n Revocação n Especificidade
Classe predita
70 30
40 60
p n
P N
Clas
se v
erda
deira
![Page 128: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/128.jpg)
André Ponce de Leon F de Carvalho 128
Exemplo
Acurácia = Precisão = Revocação = Especificidade =
FPVPVP+
FNFPVNVPVNVP
+++
+
FNVPVP+
p n P N
VP FN
FP VN
p n P N
70 30
40 60
FPVNVN+
Predito
Verd
adei
ro
![Page 129: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/129.jpg)
André Ponce de Leon F de Carvalho 129
Exemplo
Acurácia = = (70 + 60) / (70 + 30 + 40 + 60) = 0.65 Precisão = = 70/(70+40) = 0.64 Revocação = = 7/(70+30) = 0.70 Especificidade = = 60/(40+60) = 0.60
FPVPVP+
FNFPVNVPVNVP
+++
+
FNVPVP+
FPVNVN+
p n P N
VP FN
FP VN
p n P N
70 30
40 60
Predito
Verd
adei
ro
![Page 130: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/130.jpg)
André Ponce de Leon F de Carvalho 130
Observação 5
5 4 3
4
2 1
3 2 1
Revocação
Prec
isão
Classificador 1 Classificador 2
FNVPVP+
FPVPVP+
![Page 131: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/131.jpg)
André Ponce de Leon F de Carvalho 131
Gráficos ROC n Do inglês, Receiver operating characteristics
n Medida de desempenho originária da área de processamento de sinais n Muito utilizada nas áreas médica e biológica n Mostra relação entre custo (TFP) e benefício
(TVP)
VNFPFP+
VPVP +FNX
![Page 132: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/132.jpg)
André Ponce de Leon F de Carvalho 132
Exemplo
n Colocar no gráfico ROC os 3 classificadores do exemplo anterior
Classificador 1 TFP = 0.3 TVP = 0.4
Classificador2 TFP = 0.5 TVP = 0.7
Classificador 3 TFP = 0.2 TVP = 0.6
![Page 133: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/133.jpg)
André Ponce de Leon F de Carvalho 133
Gráficos ROC
Taxa de FP
Taxa
de
VP
Escolha aleatória
Sempre positiva
Classificador ideal
Sempre negativa
ROC para os três classificadores
0.0 0.2 0.4 0.6 0.8 1.0
Robert Holte University of Alberta
1.0 0.8 0.6 0.4 0.2 0.0
Pior classificador
![Page 134: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/134.jpg)
André Ponce de Leon F de Carvalho 134
Gráficos ROC n Classificadores discretos produzem um
simples ponto no gráfico ROC n ADs e conjuntos de regras
n Outros classificadores produzem uma probabilidade ou escore n RNAs e NB
n Curvas ROC permitem uma melhor comparação de classificadores n São insensíveis a mudanças na distribuição
das classes
![Page 135: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/135.jpg)
André Ponce de Leon F de Carvalho 135
Curvas ROC
n Mostram ROC para diferentes variações n Classificadores que geram valores
continuos (threshold, probabilidade) n Diferentes valores de threshold podem ser
utilizados para gerar vários pontos n Ligação dos pontos gera uma curva ROC
n Classificadores discretos n Convertidos internamente ou comitês
![Page 136: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/136.jpg)
André Ponce de Leon F de Carvalho 136
Curvas ROC
0.0 0.2 0.4 0.6 0.8 1.0
1.0 0.8 0.6 0.4 0.2 0.0
Taxa de FP
Taxa
de
VP
![Page 137: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/137.jpg)
André Ponce de Leon F de Carvalho 137
Área sob a curva ROC (AUC) n Fornece uma estimativa do desempenho de
classificadores n Gera um valor continuo no intervalo [0, 1]
n Quanto maior melhor n Adição de áreas de sucessivos trapezóides
n Um classificador com maior AUC pode apresentar AUC pior em trechos da curva
n Mais confiável utilizar médias de AUCs
![Page 138: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/138.jpg)
Área Sob Curvas ROC
André Ponce de Leon F de Carvalho 138
TFP TFP
TVP
T
VP
TVP
T
VP
TFP TFP
Área = 0,5 Nenhuma
Área = 1,0 Perfeita
Área = 0,74
Área = 0,74 Área = 0,67
![Page 139: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/139.jpg)
André Ponce de Leon F de Carvalho 139
Avaliação de Desempenho n Teste de Hipóteses
n Permite afirmar que uma técnica é melhor que outra com X% de confiança
n Podem assumir que os dados seguem uma dada distribuição de probabilidade
n Paramétricos n Não paramétricos
n Número de técnicas comparadas n Duas n Mais que duas
![Page 140: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/140.jpg)
André Ponce de Leon F de Carvalho 140
![Page 141: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/141.jpg)
André Ponce de Leon F de Carvalho 141
Agrupamento (Clustering) n Objetivo: organizar exemplos em grupos
(clusters) n Utilizando medida de similaridade ou
correlação entre exemplos n Em geral exemplos não têm rótulo
n Aprendizado não supervisionado
n Não existe conhecimento anterior sobre: n Número de grupos (geralmente) n Significado dos grupos
![Page 142: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/142.jpg)
André Ponce de Leon F de Carvalho 142
Agrupamento
n Organização de um conjunto de objetos em grupos (clusters) n Particiona objetos de acordo com alguma
relação entre eles
Como particionar?
![Page 143: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/143.jpg)
André Ponce de Leon F de Carvalho 143
Agrupamento
Forma
Cor
Forma e cor
![Page 144: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/144.jpg)
André Ponce de Leon F de Carvalho 144
Objetivo n Encontrar partição que maximiza
similaridade e minimiza dissimilaridade n Quanto maior a homogeneidade dentro dos
grupos e menor entre os grupos, melhor n Alternativa 1:
n Busca exaustiva pela partição ideal
![Page 145: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/145.jpg)
André Ponce de Leon F de Carvalho 145
Algoritmos de agrupamento n Busca exaustiva
n Tentar todos os possíveis agrupamentos de k grupos (para vários valores de k)
n Números de Stirling do segundo tipo n Número de formas de particionar n exemplos
em k subconjuntos não vazios
n Impraticável
k
kn
kn
⎟⎠
⎞⎜⎝
⎛≥⎟⎟⎠
⎞⎜⎜⎝
⎛>>
k = número de grupos n = número de objetos
![Page 146: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/146.jpg)
André Ponce de Leon F de Carvalho 146
Objetivo n Encontrar partição que maximiza
similaridade e minimiza dissimilaridade n Quanto maior a homogeneidade dentro dos
grupos e menor entre os grupos, melhor n Alternativa 1:
n Busca exaustiva pela partição ideal n Alternativa 2:
n Utilizar uma heurística (algoritmo de agrupamento)
![Page 147: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/147.jpg)
André Ponce de Leon F de Carvalho 147
Agrupamento de dados
x1
x2
x1
x2
Algoritmo de agrupamento
![Page 148: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/148.jpg)
André Ponce de Leon F de Carvalho 148
Dados originais
4 clusters 2 clusters
6 clusters
Quantos clusters?
![Page 149: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/149.jpg)
André Ponce de Leon F de Carvalho 149
Possíveis formatos
Compacto Alongado Elipsoidal Espiral
![Page 150: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/150.jpg)
André Ponce de Leon F de Carvalho 150
Agrupamento de dados
n Várias definições n Gera partições
n Grupos ou clusters
n De acordo com a pertinência dos dados, pode ser: n Duro (crisp) n Fuzzy
![Page 151: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/151.jpg)
André Ponce de Leon F de Carvalho 151
Algoritmos de agrupamento
n Principais abordagens n Particionais
n Protótipos (erro quadrático médio) n Densidade
n Hierárquicos n Baseados em grids n Baseados em grafos
![Page 152: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/152.jpg)
André Ponce de Leon F de Carvalho 152
Particional X Hierárquico
Tam
anho
do
pesc
oço
Textura
Reso
luçã
o
Mamíferos
Zebra Girafa
Velha Nova
Zebra X Girafa
![Page 153: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/153.jpg)
André Ponce de Leon F de Carvalho 153
Algoritmos particionais n Existem vários, incluindo
n K-médias (K-médias ótimo, K-médias sequencial)
n SOM n FCM n DENCLUE n CLICK n CAST n SNN
![Page 154: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/154.jpg)
André Ponce de Leon F de Carvalho 154
Algoritmo k-médias
1 Sugerir médias µ1, µ2, ..., µk iniciais 2 Repetir Usar as médias sugeridas para agrupar os objetos em K clusters Para i variando de 1 a K
Substituir µi pela média de todos os objetos do cluster Ci
Até nenhuma das médias mudar
![Page 155: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/155.jpg)
André Ponce de Leon F de Carvalho 155
![Page 156: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/156.jpg)
André Ponce de Leon F de Carvalho 156
Validação de agrupamentos
n Existem várias medidas para avaliar qualidade de classificadores n Acurácia, precisão, revocação, F1
n Como avaliar a partição gerada por um algoritmo de agrupamento? n Existem várias medidas de validação para
agrupamento de dados n Julgam aspectos diferentes
![Page 157: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/157.jpg)
André Ponce de Leon F de Carvalho 157
Medidas de validação n Podem ser divididas em três grupos
n Índices ou critérios externos n Medem o quanto os rótulos dos grupos
coincidem com a classe verdadeira
n Índices ou critérios internos n Medem a qualidade da partição obtida sem
considerar informações externas
n Índices ou critérios relativos n Usados para comparar duas partições ou
grupos
![Page 158: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/158.jpg)
André Ponce de Leon F de Carvalho 158
Medidas internas
n Coesão de clusters n Mede o quão próximos estão os objetos
dentro de um cluster
n Separação de clusters n Mede o quão distinto ou separado cada
cluster está dos demais clusters
![Page 159: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/159.jpg)
André Ponce de Leon F de Carvalho 159
Silhueta
n Combina coesão com separação n Calculada para cada objeto que faz
parte de uma partição n Baseada em:
n Distância entre os objetos de um mesmo cluster e
n Distância dos objetos de um cluster ao cluster mais próximo
![Page 160: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/160.jpg)
André Ponce de Leon F de Carvalho 160
Silhueta n Para cada objeto xi
n a(xi ): distância média de xi aos outros objetos de seu cluster
n b(xi ): min (distância média de xi a todos os objetos de cada um dos demais clusters)
n Largura média da silhueta n Média sobre todos os objetos do conjunto de dados n Valor entre -1 e 1 (quanto mais próximo de 1, melhor)
⎪⎩
⎪⎨
⎧
>−
=
<−
=
)()( se ,1)(/)()()( se 0)()( se ,)(/)(1
)(
iiii
ii
iiii
i
xbxaxaxbxbxa,xbxaxbxa
xs
![Page 161: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/161.jpg)
Ambiente para experimentos
n Microcomputador (notebook) pessoal n Cluster de computadores n Nuvens
n Quatro das principais nuvens possuem ferramentas para uso de AM
n Amazon n Microsoft n Google n IBM
André Ponce de Leon F de Carvalho 161
![Page 162: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/162.jpg)
André Ponce de Leon F de Carvalho 162
![Page 163: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/163.jpg)
André Ponce de Leon F de Carvalho 163
Conclusão
n Mineração de Dados n Aprendizado de Máquina n Algoritmos
n Viés indutivo n Tarefas
n Preditivas n Descritivas
![Page 164: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/164.jpg)
André Ponce de Leon F de Carvalho 164
Considerações Finais n Dados são bens preciosos n Permitem extração de modelos e
conhecimentos relevantes n Extração manual e com técnicas simples é
impossível ou ineficiente n AM automatiza extração de modelos e
conhecimentos a partir de dados n Cada vez mais usada em problemas reais n Várias aplicações em diversas tarefas
![Page 165: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/165.jpg)
Desafios n Meta-aprendizado n Pré-processamento n Fortalecimento de base teórica n Aprendizado em fluxos contínuos de dados n Tarefas de classificação mais complicadas
n Multiclasse, hierárquica, multirrótulo, uma classe, ranking
n Prova de corretude n Comitês de algoritmos
André Ponce de Leon F de Carvalho 165
![Page 166: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/166.jpg)
Áreas de interesse
n Aprendizado ativo n Classificação multirrótulo n Comitês n Dados desbalanceados n Detecção de anomalia n Detecção de novidades n Limpeza de dados n Meta-aprendizado n Visualização de resultados
n Agricultura n Bioinformática n Biometria n Ecologia n Finanças n Medicina n Redes sociais n Sistemas de
recomendação
Aplicado a
André Ponce de Leon F de Carvalho 166 André Ponce de Leon F de Carvalho 166
![Page 167: Aprendizado de Máquinakdmile/MachineLearning_Andre.pdf · 2015. 10. 14. · Introdução ! Aprendizado de Máquina ! Métodos Preditivos ! ... E consumidos ! Por pessoas e máquinas](https://reader035.fdocumentos.tips/reader035/viewer/2022063012/5fc7c887c9f50c07651e52a5/html5/thumbnails/167.jpg)
167
Perguntas
André Ponce de Leon F de Carvalho