Modelos Pontuais de Distribuição em Visão Computacional...
Transcript of Modelos Pontuais de Distribuição em Visão Computacional...
MESTRADO EM ESTATÍSTICA APLICADAE MODELAÇÃO
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
Maria João Medeiros de VasconcelosLicenciada em Matemática Aplicada à Tecnologia
Orientador:
João Manuel R. S. TavaresProf. Auxiliar da Faculdade de Engenharia da Universidade do Porto
Departamento de Engenharia Mecânica e Gestão Industrial
Março de 2006 - Maria João Medeiros de Vasconcelos 2
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
Etapas da Apresentação:1. Introdução;
2. Modelo Pontual de Distribuição (PDM) e modelos derivados: Modelo de Forma Activa (ASM) e Modelo de Aparência Activa (AAM);
3. Etiquetagem e emparelhamento automático dos pontos-chave;
4. Implementações usadas, adaptadas e desenvolvidas;
5. Modelos construídos e resultados obtidos;
6. Conclusões e Trabalho Futuro.
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
Objectivos: Estudar a modelação de objectos deformáveis por intermédio de Modelos Pontuais de Distribuição, implementar e automatizar a metodologia envolvida. Aplicar esta modelação em objectos representados em imagens, e analisar os resultados obtidos no reconhecimento em novas imagens.
Março de 2006 - Maria João Medeiros de Vasconcelos 3
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
Análise de objectos representados em imagens:
– Área da Visão Computacional:• “Conjunto de métodos e técnicas através dos quais sistemas
computacionais são capazes de interpretar imagens.”
– Modelização de objectos:• Modelos flexíveis permitem analisar e simular objectos que apresentam
formas variáveis.
– Aplicações:• Medicina – localização de estruturas em imagens médicas;• Indústria – inspecção de produtos;• Sistemas de segurança – reconhecimento de faces;• …
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
Março de 2006 - Maria João Medeiros de Vasconcelos 4
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
Modelos Pontuais de Distribuição:– Propostos por Cootes e Taylor em 1992;– Método de modelização de objectos baseado em análise
estatística;– Obtêm a forma geométrica média dos objectos e as suas
variações;– Modelos derivados:
• Modelo de Forma Activa;• Modelo de Aparência Activa.• São utilizados na segmentação e reconhecimento de objectos.
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
Março de 2006 - Maria João Medeiros de Vasconcelos 5
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
Etapas para a construção do PDM:1. Consideração de um conjunto
de treino;2. Representação do objecto por um
conjunto de pontos-chave;3. Consideração das coordenadas dos
pontos-chave de cada instância:
- número de instâncias- número de pontos-chave
4. Alinhamento das instâncias (rotação, translação e redimensionamento);
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
1 1, , , , ,⎛ ⎞⎜ ⎟⎝ ⎠
= … …T
i in ini ix x x y y1= … si N
sNn
Março de 2006 - Maria João Medeiros de Vasconcelos 6
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
Etapas para a construção do PDM: (cont.)5. Aplicação de uma Análise em Componentes Principais aos
desvios da média, para obter a forma média e os modos de variação (desvios);
6. Obtenção do Modelo Pontual de Distribuição:
- forma média do objecto- matriz dos primeiros t vectores próprios
- vector de pesos de cada valor próprio
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
( )1= … tP p p
( )1= … tb b b
x
= +x x Pb
Março de 2006 - Maria João Medeiros de Vasconcelos 7
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
Utilização do PMD na pesquisa de objectos:
1. Modelo de Forma Activa – ASM:– Modelo da forma geométrica;– Consideração dos perfis de intensidade dos pontos-chave;
• Pressuposto: Níveis de cinzento em torno de cada ponto-chave são semelhantes nas várias imagens do objecto;
– Fase de pesquisa:• Estudo da região de cada ponto-chave para calcular o movimento
associado;• Cálculo dos parâmetros de forma e de pose do PDM;• Actualização dos parâmetros tendo em conta os limites impostos para
a deformação.
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
Março de 2006 - Maria João Medeiros de Vasconcelos 8
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
2. Modelo de Aparência Activa – AAM:– Modelo de aparência:
• Combinação do modelo da forma geométrica com um modelo de textura.
• Modelo de textura:– Deforma-se cada instância do objecto para coincidir com a forma
geométrica média;– Obtém-se os níveis de cinzento da imagem do modelo
normalizado:
– Modelo activo:• Considera a relação entre os parâmetros obtidos pelo modelo de
aparência e os erros residuais existentes entre a nova instância e o modelo construído.
.g gg g P b= +
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
Março de 2006 - Maria João Medeiros de Vasconcelos 9
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
Objectos considerados:
– Mão:• 25 imagens de treino;• 4 indivíduos diferentes.
– Face:• 22 imagens de treino;• 1 indivíduo.
Março de 2006 - Maria João Medeiros de Vasconcelos 10
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
– Mão:
1. Extracção do contorno através de um algoritmo de detecção de zonas de pele;
2. Cálculo das zonas de maior curvatura do contorno;
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
Colocação automática de pontos-chave:
Março de 2006 - Maria João Medeiros de Vasconcelos 11
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
Colocação automática de pontos-chave:
– Mão: (cont.)
3. Delimitação da zona com interesse (eliminar a zona do pulso);
4. Colocação dos pontos-chave tendo em conta as zonas de maior curvatura.
Março de 2006 - Maria João Medeiros de Vasconcelos 12
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
Colocação automática de pontos-chave:
– Face - Metodologia I:
1. Extracção do contorno atravésde um algoritmo de detecção de zonas de pele;
2. Localização das sobrancelhas e dos olhos através de um mapa cromático;
3. Localização da boca através do valor da componente de saturação da imagem;
Março de 2006 - Maria João Medeiros de Vasconcelos 13
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
Colocação automática de pontos-chave:
– Face - Metodologia I: (cont.)
4. Colocação dos pontos-chavenos contornos determinados.
Março de 2006 - Maria João Medeiros de Vasconcelos 14
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
Colocação automática de pontos-chave:
– Face - Metodologia II:
1. Localização da região da face e dos olhos segundo a metodologia anterior;
2. Colocação de uma malha rectangular centrada no contorno e rodada de acordo com os olhos;
3. Consideração dos pontos-chave como sendo os nodos da malha definida.
Março de 2006 - Maria João Medeiros de Vasconcelos 15
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
Colocação automática de pontos-chave:
– Face - Metodologia III:
1. Localização das regiões da face, olhos e boca segundo a primeira metodologia apresentada para faces;
2. Colocação de uma malha formada por duas sub-malhas adaptativas: uma na região dos olhos e outra na região da boca;
3. Colocação de nodos na malha exterior;4. Consideração dos pontos-chave como
sendo os nodos das malhas definidas.
Março de 2006 - Maria João Medeiros de Vasconcelos 16
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
Emparelhamento automático:
– Método de Shapiro: determinação de correspondências entre pontos-chave de duas instâncias através de análise modal da forma.
– Método de Sclaroff: determinação de correspondências entre pontos-chave de duas instâncias através de modelação física, por intermédio do método dos elementos finitos, seguida de análise modal.
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
Março de 2006 - Maria João Medeiros de Vasconcelos 17
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
Implementações usadas, adaptadas e desenvolvidas:
1. Modelo pontual de distribuição:– Etiquetagem do conjunto de treino:
• Automática:• Mão;• Face:
• Contornos;• Malha regular;• Malha adaptativa de
multirresolução;• Manual;
– Emparelhamento automático dos pontos-chave.
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
Março de 2006 - Maria João Medeiros de Vasconcelos 18
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
2. Modelo de forma activa:
– Fase de treino:• Permite construir o modelo de
forma activa;– Fase de observação dos modos:
• Permite ver os modos de variação do modelo;
– Fase de pesquisa:• Reconhece o objecto modelado
numa nova imagem.
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
Implementações usadas, adaptadas e desenvolvidas:
Março de 2006 - Maria João Medeiros de Vasconcelos 19
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
3. Modelo de aparência activa:
– Fase de treino:• Permite construir os modelos
de forma, textura e aparência;
– Fase de pesquisa:• Permite reconhecer o objecto
modelado em novas imagens.
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
Implementações usadas, adaptadas e desenvolvidas:
Março de 2006 - Maria João Medeiros de Vasconcelos 20
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
Objectos considerados:– Mão:
• 25 imagens de treino;• 4 indivíduos diferentes;• Etiquetadas automaticamente
com 79 pontos-chave.– Face:
• 22 imagens de treino;• 1 indivíduo;• Etiquetadas automaticamente
com 44, 49, 54 e 75 pontos-chave.
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
Março de 2006 - Maria João Medeiros de Vasconcelos 21
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
Modelos construídos:– ASM:
• Utilizaram-se dois métodos de alinhamento dos pontos-chave: tendo em conta as variâncias dos pontos-chave e considerando os pontos-chave com o mesmo peso;
• Percentagem de variação retida: 95 e 99;• Dimensão do perfil: reduzida (7 píxeis), média (15 píxeis) e elevada
(33 píxeis).
– AAM:• Percentagem de variação retida: 95 e 99;• Número de píxeis a usar no modelo de textura: 5000, 10000 e 50000.
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
Março de 2006 - Maria João Medeiros de Vasconcelos 22
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
1. Mão:
• ASM:– Os primeiros
6 modos de variação explicam 95% da variância total da forma geométrica.
2 0 2i iλ λ− ← →
1ºm
odo
2ºm
odo
3ºm
odo
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
Março de 2006 - Maria João Medeiros de Vasconcelos 23
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
2. Face - Metodologia I:
• Modelo da forma:– Os primeiros 13 modos
explicam 95% da variância total da forma geométrica.
• Modelo de aparência:– Os primeiros 12 modos
explicam 95% da variação total da aparência.
1ºm
odo
2ºm
odo
3ºm
odo
3ºm
odo
1ºm
odo
2ºm
odo
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
Março de 2006 - Maria João Medeiros de Vasconcelos 24
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
2. Face - Metodologias II e III:
• Modelo de aparência (II):– Os primeiros 5 modos
explicam 95% da variância total da aparência.
• Modelo de aparência (III):– Os primeiros 8 modos
explicam 95% da variação total da aparência.
1ºm
odo
2ºm
odo
3ºm
odo
3ºm
odo
1ºm
odo
2ºm
odo
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
Março de 2006 - Maria João Medeiros de Vasconcelos 25
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
3. Utilização: Modelos de Forma Activa:
Posição inicial 9ª iteração 19ª iteração 29ª iteração
18ª iteração14ª iteração8ª iteraçãoPosição inicial
(imagens “novas”)
erro: 6.13±3.67
erro: 6.20±5.26
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
Março de 2006 - Maria João Medeiros de Vasconcelos 26
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
3. Utilização: Modelos de Aparência Activa: (imagens “novas”)
Imagem original 10ª iteração 19ª iteração 24ª iteração
Imagem original 7ª iteração 17ª iteração 21ª iteração
Met
. IM
et. I
IM
et. I
II
Imagem original 10ª iteração 20ª iteração 23ª iteração
erro: 5.11±4.15
erro: 2.93±0.11
erro: 1.58±0.43
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
Março de 2006 - Maria João Medeiros de Vasconcelos 27
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
Observações:– ASM:
• Utilizaram-se dois métodos de alinhamento dos pontos-chave: tendo em conta as variâncias dos pontos-chave e considerando os pontos-chave com o mesmo peso;
• Percentagem de variação retida pelos modelos: 95 e 99;• Dimensões consideradas para o perfil de intensidade: reduzida (7
píxeis), média (15 píxeis) e elevada (33 píxeis).
– AAM:• Percentagem de variação retida pelos modelos: 95 e 99;• Número de píxeis usada nos modelos de textura: 5000, 10000 e
50000.
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
(Melhores resultados)
Março de 2006 - Maria João Medeiros de Vasconcelos 28
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
Conclusões:• Realizou-se um estudo detalhado sobre o modelo pontual de
distribuição e seus derivados: modelo de forma activa (ASM) e modelo de aparência activa (AAM).
• Foram considerados dois exemplos de aplicação: Objectos representados em imagens do tipo Mão e Face.
• O ASM pesquisa o objecto modelado à volta de cada ponto-chave e localiza mais rapidamente o objecto numa nova imagem.
• O AAM utiliza também na modelação informação sobre os níveis de cinzento do objecto e por isso tende a ser mais robusto que oASM.
• O AAM permite construir um modelo robusto utilizando um número reduzido de pontos-chave, ao contrário do que acontece com o ASM. Assim, nos casos nos quais a colocação de pontos-chave não seja um processo automático é preferível a utilização de modelos de aparência.
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
Março de 2006 - Maria João Medeiros de Vasconcelos 29
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
Trabalho Futuro:
• Tornar o processo de extracção de pontos notáveis automático para outros tipos de objectos (como ossos e órgãos, de modo a facilitar a utilização dos modelos de distribuição pontual na área médica);
• Utilizar os modelos pontuais de distribuição em objectos 3D;• Estudar alternativas de construção de modelos robustos usando
números reduzidos de imagens de treino;• Construir modelos estatísticos capazes de englobar algum
conhecimento preexistente sobre as propriedades físicas dos objectos.
| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |
MESTRADO EM ESTATÍSTICA APLICADAE MODELAÇÃO
Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação
Maria João Medeiros de VasconcelosLicenciada em Matemática Aplicada à Tecnologia
Orientador:
João Manuel R. S. TavaresProf. Auxiliar da Faculdade de Engenharia da Universidade do Porto
Departamento de Engenharia Mecânica e Gestão Industrial