slides in Portuguese

IntroduçãoFundamentos TeóricosMetodologia Proposta

Conclusão

Rastreamento de Objetos Baseado emReconhecimento Estrutural de Padrões

Defesa de Dissertação de Mestrado

Ana Beatriz Vicentim Graciano

Orientador: Colaboradora:Roberto Marcondes Cesar Jr. Isabelle Bloch (ENST - Paris)

Depto. de Ciência da Computação - IME - USP

Agência de fomento patrocinadora: CNPQ

São Paulo, 23 de Março de 2007.

[email protected] Rastreamento de Objetos baseado em Grafos (slide 1)


Conclusão

ContextoObjetivosMotivações

Introdução



Conclusão


Contexto

uso de vídeo digital (ou seqüências de imagens) emsistemas de visão computacional para aplicações diversas:

vigilância automatizada

recuperação de informação em bancos de dadosmultimídia

edição de vídeo (ex: chroma-key digital)

interfaces homem-máquina inteligentes



Conclusão


Operações sobre vídeo digital

Reconhecimento de Objetos:classificação/rotulação de um ou vários objetos

envolve algoritmos e técnicas de Visão Computacional,Reconhecimento de Padrões e Inteligência Artificial

abordagem baseada em modelo:conhecimento prévio a respeito do(s) objeto(s) de interesse

identificação de determinado(s) objeto(s) segundo modelo



Conclusão


Operações sobre vídeo digital

Rastreamento de Objetosprocesso de determinação da posição de certo(s) objeto(s)ao longo do tempo numa seqüência de imagens

exemplo: localização da bola em vídeo de um jogo defutebol, para posterior tira-teima.



Conclusão


Objetivos

reconhecer e rastrear objetos em vídeo digital através deuma metodologia em que:

informação a priori é introduzida por um modelo de objetosdescrito por partes

objetos subdivididos em partes são representados porgrafos relacionais com atributos (ARGs)

tarefa de reconhecimento é realizada por técnica decasamento inexato entre grafos

tarefa de rastreamento é baseada no reconhecimentoefetuado



Conclusão


Exemplo - Objeto e Partes

Modelo dereferência

Quadros a seremclassificados

Reconhecimento/Rastreamento



Conclusão


Motivações

utilização de uma representação abrangente para objetosatravés de grafos: descrição de características dos objetose de relações (estrutural, temporal) entre eles

modelo contém informação estrutural e quantitativa sobreos objetos e suas partes componentes

imprecisões entre modelo e entrada são consideradas



Conclusão

Representação de Imagens DigitaisProcesso de Reconhecimento

Fundamentos Teóricos



Conclusão


Estruturas de Dados

Representação por Grafos

vértices do grafo representam regiões (ou pixels) de umaimagem, enquanto arestas denotam relações entre asmesmasaplicações em morfologia matemática [2] ereconhecimento estrutural de padrões [3]



Conclusão


Representação por Grafos (cont.)

Em Reconhecimento Estrutural de Padrões...grafos relacionais: modelagem de relações apenas

grafos relacionais com atributos (ARGs, do inglês,attributed relational graphs): modelagem de relações epropriedades dos objetos

neste mestrado, proposição de dois tipos de ARGs parauso em vídeo digital:

ARG intra-quadros (ARG-intra)

ARG inter-quadros (ARG-inter)



Conclusão


ARG Intra-quadros (ARG-intra)

Definição

Grafo Gintra = (V , E , µ, ν) representante de objetos presentesnuma única imagem (modelo ou quadro de um vídeo):

V : conjunto de vértices (objetos, partes ou subpartes dosmesmos)E : conjunto de arestas (relações entre os elementossupracitados)µ: vetor de atributos associados a cada vérticeν: vetor de atributos associados a cada aresta



Conclusão


Atributos

Vetor de atributos de objeto (ou de vértice)

µ(v) = (g(v), c(v), l(v), t(v)) , v ∈ V

g(v) = nível de cinza médio da região da imagem associadaao vértice v

c(v) = coordenadas (em pixels) do centróide dessa região

l(v) = rótulo único atribuído ao vértice v

t(v) = índice equivalente a um instante de tempo do quadro dovídeo



Conclusão


Atributos

Vetor de atributos relacional (ou de aresta)

ν(v , w) = (−→v ), com −→v =

−−−−−−−−−−→(c(w)− c(v))

dmax

v , w = vértices de Gintra

dmax = módulo do maior vetor calculado entre dois vérticesadjacentes de G



Conclusão


ARG Inter-quadros (ARG-inter)

Definição

grafo representante de objetos presentes num subconjuntode quadros consecutivos It , . . . , It+n

introduz informação espaço-temporal compartilhada porobjetos em quadros distintos através de arestas temporais

|[email protected] Rastreamento de Objetos baseado em Grafos (slide 15)


Conclusão


ARG Inter-quadros (ARG-inter)

Definição (cont.)

Dados Gt = (Vt , Et , µt , νt), . . . , Gt+n = (Vt+n, Et+n, µt+n, νt+n):

Ginter = (V , E , µ, ν, νinter )

V =⋃t+n

i=t Vi (objetos, partes ou subpartes dos mesmos)

E = (⋃t+n

i=t Ei) ∪ Einter (relações espaciais ou temporaisentre os elementos supracitados)Einter = conjunto de arestas temporais(einter = (v , w) ∈ Einter se v ∈ Vi , w ∈ Vj , i 6= j , ede(centroide(v), centroide(w)) ≤ ε)µ, ν, νinter : vetores de atributos



Conclusão


Atributos

Vetores de atributos de objeto (ou de vértice) e relacional (oude aresta)Equivalentes aos vetores de atributos de objeto e relacional deum ARG-intra

Vetor de atributos temporais

νinter (vi , vj) = (−→v , dt), com dt = |t(vi)− t(vj)|

νinter (vi , vj) = distância absoluta entre dois vértices doARG-inter, em termos de quadros.



Conclusão


Reconhecimento

ProblemaSe objetos em duas imagens (ex.: um quadro e um modelo)são representados através de grafos, como se dá o processode reconhecimento?

Solução

Reconhecimento = correspondência (ou casamento) adequadaentre os vértices de um dos grafos e os vértices do outro.



Conclusão


Casamento entre Grafos

Casamento entre dois grafos G1 e G2.



Conclusão


Abordagens para Classificação baseadas em Grafos

Casamento Exato entre GrafosConsideremos dois grafos G1 = (V1, E1, µ1, ν1) eG2 = (V2, E2, µ2, ν2).

mapeamento f : V1 → V2 que preserva a presença dearestas, ou seja:Se v1, w1 ∈ V1 e (v1, w1) ∈ E1, então (f (v1), f (w1)) ∈ E2

formulação rígida (respostas "binárias")

algoritmos com custo computacional (tempo e memória)elevado



Conclusão


Abordagens para Classificação baseadas em Grafos(cont.)

Casamento Inexato entre Grafosabordagem [1, 4, 5] permite que seja violada a condiçãode preservação de arestas

mais tolerante a erros e à variabilidade entre dois dadosgrafos

algoritmos podem encontrar uma solução ideal ouaproximada (similaridade entre grafos) em tempopolinomial ou não



Conclusão

Pré-Processamento e SegmentaçãoVídeo digital: representação por ARGsCasamento Inexato entre ARGsRastreamentoResultados

Metodologia Proposta



Conclusão


Visão Geral

Fluxogramada

metodologia.



Conclusão


Pré-Processamento

Técnicas adotadaspodem variar de acordo com a aplicação

Nos exemplos . . .suavização por filtragem Gaussiana

operadores morfológicos:gradiente morfológico

dilatação, erosão

abertura, fechamento



Conclusão


Segmentação dos Objetos

Fase I - remoção de fundo

seleção de pixels de objeto através de algoritmos pararemoção de fundo (podem variar de acordo com aaplicação)nos exemplos:

limiarização globalestimação de fundo a partir da média dos quadroscomponentes de um vídeo, seguido de subtração deimagens

Fase II - segmentação das regiões de interesse

segmentação pelo algoritmo de Watershed (imagenssupersegmentadas)



Conclusão


Segmentação dos Objetos

Exemplo

Objetos selecionados e supersegmentados.



Conclusão


Criação de ARG-intra modelo

Imagem dereferência.

Máscara-modelorotulada.

ARG-intra modelo.

Imagem de referência + Máscara-modelo rotulada = ARG-intramodelo Gmodel = (Vmodel , Emodel , µmodel , νmodel)



Conclusão


Criação de ARG-intra referente a um quadro It

Quadro original. Objetosupersegmentado

(watershed).

ARG-intra relativoao quadro.

Quadro It + segmentação = ARG-intra Gt = (Vt , Et , µt , νt)



Conclusão


Criação de ARG-inter a partir de n quadros

Arestas coloridas = subconjunto de arestas temporais



Conclusão


Etapa de classificação

mapeamento (função) de vários vértices de Ginter nummesmo vértice de Gmodelcasamento inexato entre Ginter e Gmodel



Conclusão


Etapa de classificação

Algoritmo de Otimização

busca em árvore (tree-search), similar ao descrito em [1]custo associado a cada correspondência entre vértices earestas, calculado com base em atributossolução encontrada através da minimização de umafunção custo:

f (G̃S) =α

|VS|∑

(a1,a2)∈VS

cV (a1, a2) +(1− α)

|ES|∑

e∈ES

cE(e)

cV e cE : medidas de dissimilaridadeα: fator de ponderação



Conclusão


Função Custo (cont.)

Custo de associação entre vértices

cV (a1, a2) = γV |g(a1)− g(a2)| + (1− γV ) de(c(a1), c(a2))

γV : fator de ponderação

g(a1), g(a2): níveis de cinza médios

c(a1), c(a2): centróides



Conclusão


Função Custo (cont.)

Custo de associação entre arestas

cE(e) =

w(−→v ), se ∃e2 ∈ Emodel

0, se @e1 ∈ E e @e2 ∈ Emodel

ou ∃e2 = (a2, a2) ∈ Emodel

∞, c.c.

w(−→v ) =

{γE |‖

−→v 1‖ − ‖−→v 2‖|+ (1− γE) | cos θ−1|

2 , se e1 6∈ Einter1

dt(e1)+1(γE |‖−→v 1‖ − ‖

−→v 2‖|+ (1− γE) | cos θ−1|2 ), c.c.

γE : fator de ponderação



Conclusão


Processo de Rastreamento

ARG-modelo atualizado através de transformação afim:

−→q = α(A−→s +−→b )



Conclusão


Seqüência real I - Modelo

Imagem de referência Máscara modelo binária

Máscara modelo rotulada ARG-modelo resultante



Conclusão


Seqüência real I

Segmentações obtidas com n = 1, 3 e 5 - coerênciaespaço-temporal.



Conclusão


Seqüência real II - Modelo

Imagem de referência Máscara modelo binária

Máscara modelo rotulada ARG-modelo resultante



Conclusão


Seqüência real II

Segmentações obtidas com n = 1, 3 e 5 - coerênciaespaço-temporal.



Conclusão

Conclusão



Conclusão

Considerações Finais

Resumometodologia para rastrear e reconhecer objetos em vídeodigital:

abordagem através de grafos relacionais com atributos

modelo descrito por partes

dificuldades:etapas inter-dependentes ao longo do processamento

características de vídeo digital (oclusões, deformações,coerência espaço-temporal, etc.)



Conclusão


Contribuiçõesproposta de uma abordagem original para reconhecimentoe rastreamento de objetos baseado em modelo

grafos relacionais com atributos: formulação dos conceitosde ARG intra-quadros e, principalmente, ARGinter-quadros

incorporação de informação temporal: otimizações sobre oalgoritmo de busca em árvore e modificações nafunção-custo adotada

conseqüências:melhorias na manutenção da coerência espaço-temporal naclassificação e rastreamento entre os quadros



Conclusão


Trabalhos futurospesquisa sobre topologia do grafo e sua utilização nafunção custoseleção automática de pesos na função custootimizações para atingir processamento em tempo realextensão para vídeos 3Ddesenvolvimento de medidas para avaliação automáticada classificação



Conclusão

Artigos publicados

1 Homomorfismo entre grafos para segmentação ereconhecimento de características faciais em sequênciasde vídeo: Resultados preliminares, SIBGRAPI, 2003.

2 Inexact Graph Matching for Facial Feature Segmentationand Recognition in Video Sequences: Results on FaceTracking, CIARP, 2003.


ApêndiceReferências BibliográficasFim

Referências Bibliográficas I

[1] R. Cesar, E. Bengoetxea, P. Larranaga and I. Bloch.Inexact graph matching for model-based recognition:Evaluation and comparison of optimization algorithmsPattern Recognition, vol. 38, n. 11, pp. 2099-2113, 2005.Some Press, 1990.

[2] L. Vincent.Graphs and Mathematical Morphology.Signal Processing, vol. 16, pp. 365-368, 1989.

[3] M. Vento, D.Conte, et. al.Graph Matching Applications in Pattern Recognition andImage Processing.Proceedings of ICIP’03.



Referências Bibliográficas II

[4] H. Bunke.Recent developments in graph matching.Em ICPR, pp. 2117-2124, 2000.

[5] H. Bunke.Graph matching: Theoretical foundations, algorithms, andapplications.Em Proceedings of Vision Interface 2000, Montreal, pp. 82- 88, 2000.



Obrigada!


slides in Portuguese

Documents

Transcript of slides in Portuguese