Reconstrução de cenas a partir de imagens através de Escultura do Espaço por

Refinamento Adaptativo por

Anselmo A. Montenegro

Tese de doutorado

Orientadores: Marcelo Gattass, PUC-Rio Paulo Cezar Carvalho, IMPA

Roteiro

• Introdução• Trabalhos anteriores• Processamento no espaço das imagens• Processamento no espaço da cena• O método proposto• Implementação do sistema• Resultados• Conclusões e trabalhos futuros

Motivação básica

• Cenários virtuais• Telepresença• Jogos• Engenharia: “As-built” models

Um sistema de modelagem de objetos baseado em câmeras e computadores pessoais para dar suporte a atividades como:

Reconstrução por superfícies

Cena reconstruída

Texturização

Estruturação

Registro

Aquisição de dados

Reconstrução Volumétrica

Características:– Representa a cena através de uma subdivisão

volumétrica do espaço.– Não requer a solução explícita do problema de

correspondências.– A solução é obtida através da satisfação de

restrições.– Subdivide-se em duas classes:

• Métodos baseados em silhuetas.• Métodos baseados em foto-consistência.

Reconstrução Volumétrica

• Reconstrução volumétrica através de silhuetas:–Primeiro método de reconstrução volumétrica. –Procura estimar o Visual Hull:

forma que quando visualizada reproduz as silhuetas observadas

–Aproximado através de interseções de cones volumétricos.–Não captura formas com curvatura negativa.

Reconstrução Volumétrica

• Reconstrução baseada em critérios de foto-consistência:– Baseia-se na existência de coerência das cores geradas pelos

pontos da cena em cada uma das imagens. – Não requer uma segmentação explícita da cena em fundo e

objeto.– Exemplos:

• Coloração de voxels (Seitz e Dyer 1997/1999).• Escultura do espaço (Kutulakos e Seitz 2000).

– Assume que a iluminação é localmente computável.

Reconstrução Volumétrica

Reconstrução Volumétrica: cronologia

Interseções entre

Superfícies

Martin e Aggarwal (83)

Representações por octrees

Chien(84, 85), Potmesil(87), Szeliski(93)

Representações por voxels

Massone(85), Fromhertz(94,95) e Moezzi(96, 97)

Reconstrução baseada em silhuetas

Seitz e Dyer

(1997,1998)

Seitz e Kutulakos

(2000)

Variações

Reconstrução baseada em foto-consistência

Escultura do espaço no espaço das imagens

Imagem 1 Imagem 2 Imagem 3 Imagem 4 Estado

Segmentação objeto objeto objeto objeto OBJETO

Amostra/Visibilidade

VISÍVEL

Resultado combinado

NÃOCONSISTENTE

Exemplo 1: não-foto-consistência

Escultura do espaço no espaço das imagens

Imagem 1 Imagem 2 Imagem 3 Imagem 4 Estado

Segmentação objeto objeto objeto objeto OBJETO

Amostra/Visibilidade

VISÍVEL

Resultado combinado X X CONSISTENTE

Exemplo 2: foto-consistência

Escultura do espaço no espaço das imagens

Imagem 1 Imagem 2 Imagem 3 Imagem 4 Estado

Segmentação fundo objeto objeto objeto FUNDO

Amostra/Visibilidade X X X X XResultado combinado X X X X NÃO

CONSISTENTE

Exemplo 3: não-foto-consistência trivial

Escultura do espaço no espaço das imagens

Imagem 1 Imagem 2 Imagem 3 Imagem 4 Estado

Segmentação objeto objeto objeto objeto OBJETO

Amostra/Visibilidade

NÃO VISÍVEL

Resultado combinado X X X X NÃO

CONSISTENTE

Exemplo 4: foto-consistência trivial

Escultura do espaço no espaço das imagens

Escultura do espaço no espaço das imagens: problemas

Dificuldade de registro

Amostragem inadequada

Conseqüências:–Erros na avaliação de foto-consistência.

–Erros no tratamento das informações sobre a visibilidade dos voxels.

–Dificuldade de lidar com imagens em resoluções diferentes .

Solução: Processamento no espaço da cena.

Aproximação da reprojeção dos voxels

através de pontos

Escultura do espaço no espaço da cena• Estratégia:

– Registrar as informações relevantes nos planos de varredura (referência).

• Mecanismo utilizado:– Mapeamento projetivo de texturas.

• Vantagens:– Fácil registro.– Reamostragem correta.– Tratamento correto da visibilidade.– Possibilidade de programação em hardware.

Escultura do espaço no espaço da cena

Escultura do espaço no espaço da cena

Imagens e segmentação

Mapas de visibilidade

Escultura do espaço no espaço da cena

Imagens e segmentação

Mapas de visibilidade

amostra

Escultura do espaço no espaço da cena

Imagem 1 Imagem 2 Imagem 3 Imagem 4 Estado

SegmentaçãoO O O O O F F O

FUNDOO F O O O O O O

AmostraX X X X X X X X

XX X X X X X X X

Resultado combinado

X X X X X X X X NÃOCONSISTENTEX X X X X X X X

Exemplo1: não-foto-consistência

Escultura do espaço no espaço da cena

Imagem 1 Imagem 2 Imagem 3 Imagem 4 Estado

SegmentaçãoO O O O O O O O

FUNDOO O O O O O O O

AmostraVISÍVEL

Resultado combinado CONSISTENTE

X X X X

Exemplo 2: foto-consistência

Escultura do espaço no espaço da cena

Proposta do trabalho: Escultura do espaço por refinamento adaptativo

• Motivação:– Não é possível conhecer a príncipio a resolução

adequada para a realização da reconstrução.– A representação do espaço através de partição

uniforme não é econômica.– Processo ineficiente: muitos elementos

individuais são avaliados de forma desnecessária.

Escultura do espaço por refinamento adaptativo

• Objetivos:– Descartar grandes regiões vazias já nos

estágios iniciais do processo.– Concentrar esforços em regiões próximas à

superfície da cena.– Utilizar células de grande resolução

somente onde for necessário.

• Estratégia:– Representar o espaço de reconstrução através de

subdivisão adaptativa: octrees. – Projetar as imagens de entrada em níveis de resolução

compatíveis com o nível de refinamento do espaço(uso de mipmapping).

– Aplicar uma etapa do algoritmo de varredura de planos para cada nível de refinamento.

– Utilizar as informações sobre a segmentação dos objetos de interesse para a remoção de espaços vazios.

– Trabalhos correlatos: Prock 1999 e Sainz 2002.

Escultura do espaço por refinamento adaptativo

Escultura do espaço por refinamento adaptativo

Escultura do espaço por refinamento adaptativo

• Varredura dos planos.– O número de planos de varredura depende somente

do nível de refinamento corrente da octree.– As células em cada plano de varredura podem ser

determinadas através da interseção do plano corrente com a octree.

– Em uma dada iteração são consideradas somente células não avaliadas.

Escultura do espaço por refinamento adaptativo

Escultura do espaço por refinamento adaptativo

– Classificações para cada célula:• Foto-consistente.• Não-foto-consistente.• Indefinida.

– Célula indefinida:• Caso 1: célula mista (fundo/objeto).• Caso 2: célula intermediária com informação fotométrica incoerente.

– Célula não-foto-consistente:– Caso 1: célula de fundo.– Caso 2: célula de nível máximo com informação fotométrica

incoerente.

Escultura do espaço por refinamento adaptativo: classificação das células

• É realizada com base em teste estatístico (determinar se as diferenças fotométricas são significantes, comparadas com o ruído).

• Deve levar em consideração os efeitos da filtragem sobre as imagens projetadas.

Escultura do espaço por refinamento adaptativo: avaliação da coerência fotométrica.

Efeito da filtragem na foto consistência

Sistema de aquisição

Calibração do fundo da cena

Calibração das câmeras

Captura das imagens

Segmentação dos objetos

Reconstrução por E.E.

Dificuldades na calibração das câmeras

• Excesso de ruído nas imagens.• Necessidade de um método robusto.• Método utilizado: (Szenberg 2001).

– Baseado em reconhecimento de modelos.– Não requer que todas as feições sejam

identificadas nas imagens.

Calibração das câmeras

Resultado da calibração

Identificação do fundo da cena

• Necessária para a segmentação dos objetos de interesse.

• As imagens do fundo são modeladas através de intervalos de confiança para as médias dos valores observados nas componentes r, g e b de cada pixel.

• Feita em etapa de pré-processamento e pode usar um número grande de amostras (foram usadas 128 amostras, obtidas de 128 quadros).

Captura das imagens e segmentação

• Cada imagem é obtida como uma média de vários quadros (foram usados quatro quadros).

• Os objetos de interesse são segmentados com base nos mapas de intervalos de confiança.

• Se o valores observados para um pixel estão dentro dos respectivos intervalos de confiança, o pixel é classificado como do fundo; senão, ele é considerado como pertencente aos objetos.

• Problemas: sombras e penumbras são consideradas como parte dos objetos.

Captura das imagens e segmentação: tratamento de sombras

• Métodos baseados em correlação não conseguem corrigir problemas associados às sombras.

• Solução: teste com base em intervalos de confiança para os canais de cromaticidade.

Testes: dado I – “Al”

Testes: dado I – imagens segmentadas

Testes: dado II – “Dolphins”

Testes: dado II – imagens segmentadas

Testes: dado III – “Tigre”

Testes: dado III – imagens segmentadas

Testes: dado III – “Tigre”

Testes: dado III – imagens segmentadas

Recontrução EEEI - dado I – 256x256

Recontrução EEEC - dado I – 256x256

Recontrução EERA - dado I – 256x256

Recontrução EEEI - dado II – 256x256

Recontrução EEEC - dado II – 256x256

Recontrução EERA - dado II – 256x256

Recontrução EEEI - dado III – 256x256

Recontrução EEEC - dado III – 256x256

Recontrução EERA - dado III – 256x256

Reconstruções em diferentes resoluções – dado Tigre

EEEI 64x64

EEEI 128x128

EEEC 64x64

EEEC 128x128

EERA 64x64

EERA 128x128

Reconstruções em diferentes resoluções – dado Dino

EEEI 64x64

EEEI 128x128

EEEC 64x64

EEEC 128x128

EERA 64x64

EERA 128x128

Níveis de refinamento no método EERA

Nível 5Nível 6Nível 7Nível 8

Níveis de refinamento no método EERA

Nível 4Nível 5Nível 6Nível 7Nível 8

Níveis de refinamento no método EERA

Nível 5Nível 6Nível 7Nível 8

Níveis de refinamento no método EERA

Nível 5Nível 6Nível 7Nível 8

Resultados: dado “Al”EEEI

Tamanho Total de voxs. Voxs. removidos Voxs. consistentes Tempo64x64 262144 242683 19461 1s

128x128 2097152 1941614 155538 6s

256x256 16777216 15532893 1244323 49s

EEEC

Tamanho Total de voxs. Voxs. removidos Voxs. consistentes Tempo64x64 262144 244540 17604 3s

128x128 2097152 1948049 149103 12s

256x256 16777216 15530995 1246221 70s

EERA

Tamanho Tempo64x64 4s

128x128 8s

256x256 18s

Resultados: dado “Dolphins”EEEI

Tamanho Total de voxs. Voxs. removidos Voxs. consistentes Tempo64x64 262144 257438 4706 1s

128x128 2097152 2059575 37577 6s

256x256 16777216 15532893 299199 45s

EEEC

Tamanho Total de voxs. Voxs. removidos Voxs. consistentes Tempo64x64 262144 258286 3858 3s

128x128 2097152 2062666 34486 12s

256x256 16777216 16476192 301024 71s

EERA

Tamanho Tempo64x64 3s

128x128 6s

256x256 13s

Resultados: dado “Tigre”EEEI

Tamanho Total de voxs. Voxs. removidos Voxs. consistentes Tempo64x64 262144 260314 1803 1s

128x128 2097152 2033893 63259 2s

256x256 16777216 16010084 767132 12s

EEEC

Tamanho Total de voxs. Voxs. removidos Voxs. consistentes Tempo64x64 262144 252885 9259 4s

128x128 2097152 2009781 80371 9s

256x256 16777216 16058761 718455 31s

EERA

Tamanho Tempo64x64 6s

128x128 11s

256x256 22s

Resultados: dado “Dino”EEEI

Tamanho Total de voxs. Voxs. removidos Voxs. consistentes Tempo64x64 262144 259663 2481 1s

128x128 2097152 2033893 33985 2s

256x256 16777216 16434518 342698 12s

EEEC

Tamanho Total de voxs. Voxs. removidos Voxs. consistentes Tempo64x64 262144 252885 3542 4s

128x128 2097152 2061380 35772 9s

256x256 16777216 16474304 302912 34s

EERA

Tamanho Tempo64x64 5s

128x128 10s

256x256 21s

Conclusões

• Reconstrução no espaço da cena:– Resolve parte dos problemas de amostragem

encontrados no método que trabalha no espaço da imagem.

Permite que a reconstrução seja realizada mesmo quando a taxa de ruído é bastante elevada.

Sem programação em GPU é mais lento que o método no espaço da imagem.

Conclusões

• Uso de informações de segmentação:– É importante para aumentar a precisão geométrica

da reconstrução.É fundamental quando poucas imagens são

utilizadas.É fundamental em estratégia baseadas em

refinamento adaptativo.

Conclusões

• Uso de refinamento adaptativo:– Produz resultados de qualidade similar aos métodos não

adaptativos que trabalham no espaço da cena.– Apresenta-se como uma estratégia eficiente para

reconstrução.– Aproveita coerência espacial da cena.– Tem potencial para aproveitar também a coerência

temporal.Com a classificação proposta ele pode ser

implementado sem critérios de foto-consistência complicados.

Conclusões

Sobre o aparato implementado:– É de fácil construção e de baixo custo.– É simples de se utilizar.– É escalonável.– Produz resultados razoáveis mesmo com

equipamentos de aquisição de baixo custo.– Consegue lidar razoavelmente bem em

condições de pouco controle sobre a iluminação.

Trabalhos futuros

• Programação em placas gráficas.• Investigação de outras estruturas para

representação do espaço.• Uso de câmeras reposicionáveis.• Reconstrução em tempo real.• Investigação de modelos probabilísticos.• Uso de estimativas da superfície no cálculo da

foto-consistência.