Metricas de Similaridade de ImagensFelipe Schimith Batista1

1Instituto de Matematica e Estatısitica - Universidade Estadual do Rio de Janeiro

felipeschimith@gmail.com

Resumo. Este trabalho apresenta o referencial teorico utilizado como basepara analise de metricas de similaridade de imagens. Vamos listar algumas me-todologias de registro da imagem, apresentar as etapas envolvidas nesse registroe descrever alguns metodos de analise de similaridade de imagens disponıveisna literatura.

1. IntroducaoNos ultimos anos, a analise de imagens se tornou parte essencial do conhecimento davisao computacional, possibilitando tecnicas de extracao de informacoes como tipica-mente, medidas e tambem dados quantitativos que podem ser utilizados em diversasaplicacoes. A analise de imagens tem uma relacao direta com varias areas do conhe-cimento, ocupando um lugar de destaque, estudada nao somente por professores decomputacao grafica, mas tambem de engenheiros, geologos, medicos, mecanicos e ci-entistas da computacao. Na area computacional, quando se visa a avaliacao quantitativadas imagens, o embasamento teorico da visao computacional torna-se cada vez mais im-portante na implementacao de algoritmos para resolucao de problemas. Esse trabalhovisa contextualizar as Metricas de Similaridade de Imagens que podem ser aplicadas emsolucoes computacionais.

O capıtulo a seguir tem como objetivo apresentar as propriedades e metodos daanalise de imagens que sao usadas como base para implementar solucoes computacionaise definir as metricas de similaridade de imagens.

2. Analise de ImagensQuando se quer analisar qualidade e comparar imagens, logo se pensa no coeficiente decorrelacao que e uma metrica classica usada como uma medida relativa para comparara qualidade do registro de duas imagens, porem, e preciso ter em mente que nao sepode empregar o coeficiente de correlacao como uma medida absoluta da qualidadedo registro, isto e, ter um coeficiente de correlacao maior nao significa que um parde imagens esta melhor registrado do que outro par de imagens. E preciso definirmetodologia de registro da imagem, seguir as etapas envolvidas nesse registro e escolhero metodo de similaridade que melhor se adeque ao trabalho que deseja fazer.

2.1. Metodologia de registro da imagem

O registro e analise de imagens, e amplamente usado em sensoriamento remoto, imagensmedicas, imagens mecanicas, imagens minerais, visao computacional, entre outros. Deacordo com a forma da aquisicao de imagens, elas podem ser divididas em quatro grandes

grupos:[Zitova and Flusser 2003]

• Diferentes pontos de vista (multiview analysis)Imagens da mesma cena sao adquiridos a partir de diferentes pontos de vista. Oobjetivo e ganhar maior visibilidade 2D ou uma representacao em 3D da cenadigitalizada.

• Diferentes epocas (multitemporal analysis)Imagens da mesma cena sao adquiridas em epocas diferentes, muitas vezes emmesma base, e, eventualmente, sob diferentes condicoes. O objetivo e a encontrare avaliar as alteracoes na cena que apareceu entre as aquisicoes de imagemconsecutivas.

• Diferentes sensores (multimodal analysis)Imagens da mesma cena sao adquiridas por sensores diferentes. O objetivo e aintegrar as informacoes obtidas a partir de diferentes fontes para obter uma cenamais complexa e detalhada da representacao.

• Registro de Modelo de cena (Scene to model registration)Imagens de uma cena e um modelo da cena sao registrados. O modelo pode seruma representacao computacional da cena, por exemplo, mapas ou modelos deelevacao digital (DEM) em GIS, uma outra cena com conteudo semelhante. Oobjetivo e localizar a imagem adquirida na cena / modelo.

2.2. Etapas envolvidas na Registro de Imagens

Imagens digitais obtidas por sensores estao sujeitas a uma grande variedade de distorcoesdurante a aquisicao, processamento, realce, segmentacao, compressao, qualquer um dosquais pode resultar numa degradacao da qualidade visual. Cada metodo deve levarem conta nao apenas o tipo de deformacao geometrica entre as imagens, mas tambemdeformacoes radiometricas e corrupcao de ruıdo, a precisao de registo exigido e carac-terısticas dos dados dependentes da aplicacao. Registro de imagens consiste essencial-mente nos seguintes passos:[Zitova and Flusser 2003]

• Funcao de deteccaoObjetos salientes e distintivos (regioes de fronteira, bordas, contornos, intersecoesde linha, cantos, etc.), sao manualmente ou, de preferencia, automaticamentedetectados.

• Funcao de correspondenciaA correspondencia entre as caracterısticas de referencia da imagem de entrada eda imagem de referencia sao estabelecidos.

• Transformacao de modelo de estimativaOs parametros das funcoes de mapeamento sao estabelecidos e calculadas pormeio da correspondencia caracterıstica.

• Reconstrucao da imagem e transformacaoA imagem detectada e transformada por meio das funcoes de mapeamento e os va-lores das imagens em coordenadas nao inteiras sao calculadas atraves de tecnicasde interpolacao apropriadas.

Neste estudo vamos focar a analise de imagens obtidas de diferentes sensores, para issolistamos as diferentes formas de medida de similaridade de imagens.

2.3. Similaridade de Imagens

Uma medida de similaridade de imagem significativa tem dois componentes:

• A transformacao T.Isso extrai as caracterısticas de uma imagem de entrada e representa-o como umvetor de caracterısticas multi-dimensional.

• Uma medida da distancia D.Esta quantifica a semelhanca entre as duas imagens, em que D e definido no espacode caracterısticas multi-dimensional.

Nao existe uma medida de similaridade universal que pode ser utilizada em todas asaplicacoes. Podemos dividir as medidas de similaridade amplamente em dois grupos,Medida Global e Medida Local.[Mitchell 2010]

• Medidas globaisEssas medidas retornam um unico valor de similaridade que descreve asemelhanca global das duas imagens de entrada. As medidas globais podemainda ser divididas em medidas que exijam que as imagens de entrada a sejamespacialmente registadas e as que nao requerem as imagens de entrada a seremespacialmente registradas.

• Medidas locaisEstas medidas retornam uma imagem de semelhanca ou mapa que descreve assemelhancas locais das duas imagens de entrada. Por definicao das medidas desimilaridade locais exigem que as imagens de entrada sejam espacialmente regis-tradas.

2.3.1. Medidas de similaridade probabilısticas

A Medida de similaridade probabilıstica e uma medida global sem alinhamento espacial,onde ao converter as imagens de entrada para distribuicoes de probabilidade, elas saorobustas contra mudancas na iluminacao e sao amplamente utilizados quando as imagensforam capturadas sob condicoes de diferente de visibilidade.[Mitchell 2010]

A media e obtida da seguinte forma, A e B representam as duas imagens deentrada. Convertemos os pixels em tons de cinza, sendo a ∈ A e b ∈ B . Seja p (x) e q(x) a probabilidade de um nıvel de cinza apresentado em A e B, aplica-se as formulaspara obter as medidas de similaridade probabilısticas, algumas delas sao apresentadas naFigura 1:

Figura 1. Similaridades Probabilısticas

Se as imagens A e B sao espacialmente registradas, em seguida, podemos utilizar oprocedimento de janela deslizante para gerar mapas de similaridade probabilısticoslocais. Seja W (m, n) define um local de janela L x L centrada no (m, n). Se A e Bdesignar os tons de cinza dos pixeis em A e B que se encontram em W (m, n) e p (x)e q (x) designar o local de transformacao correspondente (janela) em densidades deprobabilidade, entao os mapas de similaridade probabilısticos locais sao representadosna Figura 2:

Figura 2. Similaridades Probabilısticas Locais

2.3.2. Erro quadratico medio (MSE) e Erro medio absoluto(MAE)

A metrica mais simples e amplamente usada em referencia geral de medidada de qua-lidade e o erro quadrado medio (MSE), calculado pela media das diferencas de inten-sidade quadraticas distorcidas e referencia dos pixels da imagem, juntamente com aquantidade da Relacao sinal-ruıdo de pico (PSNR) . Estes sao atraentes porque sao sim-ples de calcular, tem significados fısicos claros, e sao matematicamente conveniente nocontexto da optimizacao. Mas eles nao estao muito bem adaptados a qualidade visualpercebida.[Wang 2004]

Erro quadratico medio (MSE) e Erro medio absoluto(MAE) sao definidos na Fi-gura 3:

Figura 3. MSE and MAE

onde ake bk sao, respectivamente, tons de cinza do pixel de ordem k em A e B.O MSE e MAE devem ser usados quando as imagens de entrada forem capturadas como mesmo sensor em condicoes semelhantes. Ambas as medidas sao sensıveis a valorestıpicos embora a MAE e menos sensıvel (mais robusto).

2.3.3. Coeficiente de correlacao cruzada

O coeficiente de correlacao cruzada e definido na Figura 4:

Figura 4. Coeficiente de correlacao cruzada

Os coeficientes de correlacao cruzada sao mais resistentes as alteracoes deiluminacao do que o MSE e MAE. O coeficiente de correlacao cruzada deve ser utili-zado quando as imagens sao capturadas pelo mesmo sensor e quaisquer mudancas nailuminacao podem ser aproximadas com uma transformacao linear. Muitas modificacoesna iluminacao nao sao no entanto lineares. Neste caso, deve usar a informacao mutua ede outras medidas de similaridade ordinais.[Rubner 2000]

2.3.4. Informacao Mutua

A informacao mutua entre duas imagens de entrada A e B e definida na Figura 5:

Figura 5. Informacao Mutua

onde PA (a) e a probabilidade de um pixel (x, y) e A terem tons de cinza a, PB

(b) e a probabilidade de um pixel (x, y) e B terem tons de cinza b e PAB (a , b) e aprobabilidade de um pixel (x, y) e A terem tons de cinza a e um mesmo pixel em B teremtons de cinza b. Em aplicacoes multi-modais podem ser assumida qualquer relacao diretaentre as intensidades de imagem de entrada. Neste caso, e usado medidas de similaridadeque se baseiam na relacao probabilıstica e distribuicao das intensidades das imagens deentrada. Se as imagens de entrada foram capturadas pelos sensores diferentes ou pordiferentes bandas espectrais, em seguida, e usada a informacao mutua entre duas imagensA e B.[Mitchell 2010]

2.3.5. Medidas ordinais globais de similaridade

Medidas ordinais similaridade globais sao baseadas em estatısticas de ordem. Eles naousam o pixel em tons de cinza em A e B, em vez disso usam os nıveis de cinza ordena-dos. Em geral, estas medidas sao insensıveis a mudancas de iluminacao se a ordem dostons de cinza e preservada. Elas sao muitas vezes usadas em aplicacoes que envolvem adeteccao de alteracoes ou em aplicacoes em que as imagens foram capturadas com doissensores diferentes.[Mitchell 2010] Duas medidas classicas de dissimilaridade ordinaissao a medida Spearman ρ e medida de Kendall’s τ . Se A, B conter K pixels com tonsde cinza ak, bk, k 1, 2, ..., K, em seguida, sao definidas estas medidas de dissimilaridade,respectivamente, na Figura 6:

Figura 6. Medidas ordinais de similaridade globais

sendo que rA (k) e rB (k) denotam, respectivamente, a classificacao do kesimopixel em A e B, onde

2.4. Conclusao

De acordo com as referencias analisadas, as imagens obtidas a partir de diferentes sen-sores tem um melhor resultado de avaliacao de similaridade de imagens quando se usamMedidas Globais, pois retornam um unico valor. As Medidas Locais fornecem uma ima-gem de semelhanca ou mapa, que sao geralmente utilizadas para analisar imagens obtidasatraves do mesmo sensor. Os sensores utilizados em Microscopia sao de diferentes es-pecificidades e estao posicionados em diferentes pontos do microscopio, por esse motivooptamos por Medidas Globais que sao espacialmente registradas, assim e possıvel pro-cessarmos a equalizacao dos pontos de referencia da imagem em conjunto com o calculode similaridade probabilıstico local.

Novos estudos devem ser feitos para avaliar Medidas Globais de SimilaridadesProbabilısticas Locais aplicadas a analise de imagens obtidas por sensores distintos emMicroscopia Multimodal.

ReferenciasMitchell, H. (2010). Image fusion. pages 174–191. Springer-Verlag Berlin Heidelberg.

Rubner, Y. e. a. (2000). The earth mover’s distance as a metric for image retrieval. vo-lume 40, pages 99–121. Int. J. Comp.

Wang, Z. e. a. (2004). Image quality assessment: from error visibility to structural simi-larity. 13.

Zitova, B. and Flusser, J. (2003). Image registration methods: a survey. 21.