Relatório sobre os trabalhos desenvolvidos no âmbito da...
Transcript of Relatório sobre os trabalhos desenvolvidos no âmbito da...
Faculdade de Engenharia da Universidade do Porto
Programa Doutoral em Engenharia Biomédica
2008/2009
Disciplina: Técnicas de Investigação
Relatório sobre os trabalhos desenvolvidos no âmbito da
disciplina Técnicas de Investigação
Francisco Paulo Marques de Oliveira
ii
Orientador: Prof. João Manuel R. S. Tavares
Prof. Auxiliar do Departamento de Engenharia Mecânica
Faculdade de Engenharia da Universidade do Porto
Gab. M205
Tel. 225081487
Email: [email protected]
URL: http://www.fe.up.pt/~tavares
Co-orientador: Doutor Prof. Durval C. Costa
HPP-Medicina Molecular, SA
Email: [email protected]
iii
Índice
1 Introdução ..................................................................................................................... 1
1.1 Descrição ................................................................................................................ 1
1.2 Organização adoptada............................................................................................. 2
2 Fundamentos teóricos ................................................................................................... 3
2.1 Metodologia baseada em contornos ....................................................................... 3
2.1.1 Extracção dos contornos em imagens de pedobarografia ................................ 5
2.1.2 Construção da matriz de custos ....................................................................... 6
2.1.3 Determinação do emparelhamento óptimo ...................................................... 6
2.1.3 Determinação da transformação geométrica ................................................... 7
2.2 Metodologia baseada nos eixos principais ............................................................. 9
2.3 Metodologia baseada na correlação das fases ...................................................... 10
3 Resultados e análise dos mesmos ............................................................................... 15
3.1 Dados .................................................................................................................... 15
3.2 Metodologia baseada nos contornos ..................................................................... 16
3.3 Metodologia baseada nos eixos principais ........................................................... 16
3.4 Metodologia baseada na correlação das fases ...................................................... 18
4 Conclusões e perspectivas de trabalho futuro............................................................. 20
4.1 Conclusões ............................................................................................................ 20
4.2 Perspectivas de trabalho futuro............................................................................. 21
Referências ..................................................................................................................... 22
ÍNDICE _____________________________________________________________________________________
iv
Anexos ............................................................................................................................ 25
v
Índice de figuras
Figura 2.1: Metodologia adoptada para alinhar duas imagens. (A região destacada a
cinzento corresponde ao algoritmo desenvolvido.) .......................................................... 4
Figura 2.2: Processo completo de extracção do contorno ordenado: (a) imagem original;
(b) imagem binarizada após suavização; (c) pontos fronteira; (d) subcontornos
seleccionados; (e) contorno global virtual. (Neste exemplo, para facilitar a visualização,
na suavização foi usado um elemento estruturante de dimensão 3x3.) ............................ 6
Figura 2.3: Visualização da saída do algoritmo de alinhamento de imagens usando a
metodologia baseada em contornos em imagens de pedobarografia. No canto superior
esquerdo estão representadas as imagens originais e os respectivos contornos, ao centro
em cima estão representados os dois contornos nas posições originais e as respectivas
correspondências obtidas, no canto inferior esquerdo estão representados os dois
contornos após alinhamento, ao centro em baixo está representada uma perspectiva 3D
das correspondências, e finalmente, do lado direito estão representadas as duas imagens
sobrepostas após alinhamento. ......................................................................................... 9
Figura 2.4: Duas imagens de pedobarografia, os respectivos centróides e os eixos
principais. ....................................................................................................................... 10
Figura 2.5: Por linha, três sequências de imagens exemplo. Da esquerda para a direita:
imagens originais no domínio espacial, espectro das imagens no domínio das
frequências e, finalmente, a fase das imagens no domínio das frequências. .................. 12
Figura 2.6: Exemplo de uma imagem obtida determinando a correlação das fases
directamente. A posição do ponto mais claro indica a translação da imagem a alinhar
relativamente à imagem modelo. .................................................................................... 13
Figura 3.1: À esquerda, duas imagens de pedobarografia sobrepostas considerando as
suas posições originais. À direita, as mesmas duas imagens sobrepostas após o
ÍNDICE DE FIGURAS _____________________________________________________________________________________
vi
alinhamento obtido com o método baseado nos eixos principais. .................................. 17
Figura 3.2: À esquerda e ao centro, duas imagens de raio X do peito e os respectivos
eixos principais. À direita, as duas imagens sobrepostas e alinhadas com base na
metodologia baseada nos eixos principais. (Na figura resultado, a imagem modelo foi
colocada em tons de azul e a outra em tons de vermelho.) ............................................ 17
Figura 3.3: Alinhamento de duas imagens de CT da cabeça. Em cima, as duas imagens
originais; em baixo, à esquerda as duas imagens sobrepostas antes do alinhamento e à
direita as mesmas imagens sobrepostas após o alinhamento obtido usando correlação
das fases. (Para facilitar a visualização, a imagem modelo foi representada em tons de
azul e a imagem a alinhar em tons de vermelho.) .......................................................... 18
Figura 3.4: As duas imagens de raio X do peito apresentadas na Figura 3.2 sobrepostas
após o alinhamento obtido usando a correlação das fases. ............................................. 19
1
CAPÍTULO I
Introdução
1.1 Descrição
Este relatório visa essencialmente apresentar as técnicas/trabalhos desenvolvidos
durante o segundo semestre no âmbito da disciplina Técnicas de Investigação. O tema
da Tese de Doutoramento a realizar é na área do emparelhamento e alinhamento de
estruturas representadas em imagens médicas. Assim, o trabalho desenvolvido foi
naturalmente nesta área.
As técnicas desenvolvidas/implementadas baseiam-se principalmente em três
metodologias:
− A primeira baseia-se na extracção de contornos das imagens a alinhar, seguindo-se o
emparelhamento dos pontos usando técnicas de optimização e, finalmente, a
determinação da transformação geométrica de similaridade e consequente alinhamento.
− A segunda metodologia baseia-se na determinação dos eixos principais das imagens a
alinhar (ou conjunto de pontos característicos destas), sendo estes eixos posteriormente
usados para definir o ângulo de rotação envolvido entre as mesmas. A translação
existente é estimada pela diferença entre as coordenadas dos centróides das imagens.
− A terceira metodologia tem por base a transformação da imagem do domínio espacial
para o domínio das frequências. Depois, usando correlação das fases entre as imagens
CAPÍTULO I − INTRODUÇÃO _____________________________________________________________________________________
2
no espaço de Fourier, determina-se a transformação rígida e alinham-se as imagens.
Em relação à metodologia baseada em contornos, como esta apresenta pormenores
técnicos de elevada complexidade, optou-se por expor neste relatório apenas as suas
ideias fundamentais. No entanto, a mesma metodologia está apresentada em detalhe nos
artigos desenvolvidos e incluídos em anexo. Nos referidos artigos, os resultados obtidos
são também analisados e discutidos.
1.2 Organização adoptada
Além deste capítulo, este relatório apresenta mais três capítulos:
Capítulo 2 − Fundamentos teóricos
Neste capítulo é realizada uma breve explicação das metodologias implementadas.
Capítulo 3 − Resultados e análise dos mesmos
Os resultados experimentais obtidos são apresentados neste capítulo. São apresentados
exemplos de alinhamento usando as três metodologias definidas no Capítulo 2. Para
ilustração e análise dos resultados são usadas essencialmente imagens médicas.
Capítulo 4 − Conclusões e perspectivas de trabalho futuro
Neste capítulo são apresentadas conclusões sobre a implementação, qualidade do
alinhamento e limitações das metodologias desenvolvidas. Do mesmo modo, são
indicadas às perspectivas de trabalho futuro.
3
CAPÍTULO II
Fundamentos teóricos
Neste capítulo são apresentadas três metodologias de alinhamento de imagens médicas
desenvolvidas/implementadas no âmbito dos trabalhos de investigação realizados:
baseada em contornos, baseada nos eixos principais e baseada na correlação das fases.
2.1 Metodologia baseada em contornos
A metodologia de alinhamento de imagens baseada em contornos que se apresenta nesta
secção deriva de trabalhos desenvolvidos que entretanto foram publicados, [Oliveira,
2008] e [Oliveira, 2009a], ou estão em fase de publicação, [Oliveira, 2009b] e [Oliveira,
2009c]. Por este motivo, entende-se não se necessário expor neste relatório todos os
passos pormenorizados desta metodologia, optando-se por apresentar apenas os
essenciais à compreensão da mesma.
A metodologia baseada em contornos pode ser dividida em cinco passos fundamentais:
(1) extrair os contornos das imagens a alinhar; (2) construir uma matriz de custos com
base em características geométricas extraídas dos contornos; (3) determinar o
emparelhamento global óptimo; (4) determinar a transformação geométrica com base
nos emparelhamentos; (5) alinhar as imagens com base na transformação geométrica
determinada. A Figura 2.1 apresenta um esquema do processo de alinhamento adoptado.
CAPÍTULO II − FUNDAMENTOS TEÓRICOS _____________________________________________________________________________________
4
Figura 2.1: Metodologia adoptada para alinhar duas imagens.
(A região destacada a cinzento corresponde ao algoritmo desenvolvido.)
Na área do alinhamento de imagens médicas, esta metodologia foi utilizada para alinhar
imagens de pedobarografia dinâmica. Assim, a implementação que a seguir se apresenta
é relativa a esta aplicação. Para aplicação usando outras imagens, o processo de
extracção dos contornos terá de estar de acordo com as características das mesmas, mas
o restante algoritmo será comum.
Todos os algoritmos usados nesta metodologia foram desenvolvidos e implementados
na linguagem de programação C++, usando o Microsoft Visual Studio 6. Para a
visualização gráfica das imagens foi usada a biblioteca de classes de domínio público
VTK – The Visualization Toolkit, [Schroeder, 1999].
Ler imagem
modelo
Ler a imagem a
alinhar
Extrair os contornos
Determinar a matriz de custos
Determinar o emparelhamento óptimo
Determinar a transformação geométrica
Alinhar as imagens
Imagem alinhada
CAPÍTULO II − FUNDAMENTOS TEÓRICOS _____________________________________________________________________________________
5
2.1.1 Extracção dos contornos em imagens de pedobarografia
O algoritmo de emparelhamento adoptado, [Oliveira, 2009b], só pode ser aplicado a
contornos definidos por um conjunto de pontos ordenados. Assim, a simples e usual
extracção dos contornos, usando por exemplo o algoritmo de Canny, [Canny, 1986],
não é adequada. Por exemplo, para as imagens de pedobarografia usadas em [Oliveira,
2009b], a aplicação directa de um extractor de orlas apresentava os seguintes
problemas:
(a) Nas regiões onde os dedos encostam uns aos outros aparecia um grande emaranhado
de pontos;
(b) Em muitas imagens, após a extracção das orlas, surgiam vários subcontornos
desconexos, por exemplo a palma do pé e o calcanhar ou a palma do pé e o polegar.
O algoritmo desenvolvido para a extracção e ordenação dos pontos dos contornos
representados em imagens de pedobarografia pode ser resumido em cinco passos: (1)
suavização da imagem; (2) binarização da imagem suavizada; (3) extracção dos pontos
fronteira ou orlas; (4) selecção dos subcontornos mais relevantes (usualmente, a palma
do pé e o calcanhar); (5) definição de um contorno global virtual. A Figura 2.2
representa todo o processo de extracção de um contorno global virtual a partir de uma
imagem de pedobarografia.
Para minimizar o problema identificado em (a), foram testadas diversas abordagens,
optando-se finalmente por aplicar a operação morfológica de fecho sobre as imagens,
usando um elemento estruturante circular de raio igual a 3 píxeis. Esta operação foi
realizada antes da binarização das imagens, mas também podia ser realizada após a
binarização das mesmas.
Para resolver o problema (b), foi desenvolvido um novo algoritmo de seguimento de
linhas. Este algoritmo aceita no máximo os três subcontonos maiores (palma do pé,
calcanhar e polegar). Na ordenação dos pontos, para fazer a passagem de um ponto de
um subcontorno para outro ponto de outro subcontorno, foi usado um critério de
distância mínima.
Para binarizar as imagens originais foi definido um limiar δ . Note-se que a intensidade
de cada píxel representa a pressão exercida sobre o sensor correspondente, [Pataky,
2008b], [Oliveira, 2009b]. O valor de δ tem como consequência a definição de uma
CAPÍTULO II − FUNDAMENTOS TEÓRICOS _____________________________________________________________________________________
6
região do pé onde as pressões são todos maiores ou iguais a δ. Assim, para valores
muito baixos de δ o contorno extraído representa o contorno exterior do pé. Para valores
elevados de δ, o contorno extraído poderá assumir formas muito diferentes, dependendo
da distribuição das pressões no pé de cada indivíduo.
(a) (b) (c) (d) (e)
Figura 2.2: Processo completo de extracção do contorno ordenado: (a) imagem original; (b) imagem
binarizada após suavização; (c) pontos fronteira; (d) subcontornos seleccionados; (e) contorno
global virtual. (Neste exemplo, para facilitar a visualização, na suavização foi usado
um elemento estruturante de dimensão 3x3.)
2.1.2 Construção da matriz de custos
As transformações de similaridade (ou de semelhança) – translações, rotações e
escalamentos – podem originar mudanças na posição, orientação ou dimensão de um
objecto, mas não mudam a sua forma. Para o caso dos polígonos, pode-se afirmar que
dois polígonos são similares se as amplitudes dos ângulos correspondentes forem iguais
e as medidas dos lados correspondentes forem directamente proporcionais. Esta
condição é necessária e suficiente para caracterizar dois polígonos semelhantes.
Assim, representando dois objectos pelos seus contornos externos, pode-se usar esta
propriedade para quantificar a similaridade entre os mesmos. Note-se que o contorno
externo de um objecto pode ser aproximado por um polígono.
Para construir uma matriz de custos de emparelhamento, comparam-se os ângulos e as
distâncias entre elementos homólogos nos contornos externos de cada objecto. A
implementação desta metodologia pode ser consultada detalhadamente em [Oliveira,
2009a] (artigo incluído em anexo).
2.1.3 Determinação do emparelhamento óptimo
Considerando que a similaridade entre cada possível correspondência está quantificada
numa matriz de custos, C, o passo seguinte consiste em determinar o emparelhamento
CAPÍTULO II − FUNDAMENTOS TEÓRICOS _____________________________________________________________________________________
7
global do tipo um-para-um de custo mínimo. Se um contorno está definido por n pontos
e o outro por m pontos, com mn ≤ , no máximo apenas n correspondências são
estabelecidas. Portanto, há pelo menos ( )nm − pontos do contorno definido por maior
número de pontos que não serão correspondidos. Considera-se que o emparelhamento
global de custo mínimo é aquele cuja soma dos custos de todas as correspondências
individuais estabelecidas é menor.
Considere-se, sem perda de generalidade, que a matriz de custos C tem dimensão mn×
com mn ≤ (o contorno da imagem modelo tem n pontos e o contorno da imagem a
alinhar tem m pontos). O maior número possível de correspondências do tipo um-para-
um é n. Para obter estas n correspondências, o algoritmo de optimização tem que
seleccionar exactamente um elemento de cada linha da matriz C e no máximo um
elemento de cada coluna da mesma matriz. Note-se que a selecção de um elemento ijc
da matriz C significa que o ponto indexado com i no contorno modelo vai corresponder
ao ponto indexado com j no outro contorno.
Para garantir maior coerência ao emparelhamento global, evitando correspondências
cruzadas, é necessário introduzir uma condição que obrigue as correspondências a
respeitar a ordem circular. Por outras palavras, se o ponto i do contorno modelo
corresponder ao ponto j do outro contorno, então o ponto 1+i do contorno modelo tem
que corresponder a um ponto kj + do outro contorno, onde { }nmk −∈ ,...,2,1 . Repare-
se que na ordem circular, se uma sequência tem comprimento m, então os pontos j e
mj + são o mesmo. Com esta formulação, cada ponto de cada contorno é “livre” de
emparelhar com qualquer ponto do outro contorno. Não há quaisquer pontos de
referência.
Para determinar o emparelhamento global óptimo definido pelo maior número possível
de correspondências foi usado o algoritmo baseado em programação dinâmica
apresentado em [Oliveira, 2008]. Para situações em que não se desejou corresponder
todos os pontos do contorno definido por menor número de pontos, foi usado o
algoritmo apresentado em [Oliveira, 2009c].
2.1.3 Determinação da transformação geométrica
Com base nas correspondências estabelecidas e nas coordenadas dos pontos que estão
em correspondência, pode-se estimar a transformação geométrica que melhor alinha os
dois contornos. Essa mesma transformação é depois usada para alinhar as imagens.
CAPÍTULO II − FUNDAMENTOS TEÓRICOS _____________________________________________________________________________________
8
De um modo simplificado, a metodologia implementada considera os pontos definidos
no plano complexo, C, onde uma transformação de similaridade T pode ser representada
simplesmente por:
uwzzzT
+=→
'CC:
,
onde w e u são números complexos. A transformação T pode ser vista como uma função
que aplica uma rotação e um escalamento em torno da origem seguindo-se uma
translação.
Se o ponto 1p corresponde ao ponto 1q e o ponto 2p corresponde ao ponto 2q , então,
através da definição de T, tem-se:
( )( )
=+=+
⇔
==
22
11
22
11
quwpquwp
qpTqpT
.
Resolvendo este sistema de equações lineares, em ordem a u e w obtêm-se os
parâmetros da transformação T. O valor absoluto de w representa o escalamento, o
argumento de w representa o ângulo de rotação e a translação em x e y é definida,
respectivamente, por ( )uRe e ( )uIm .
Naturalmente, os contornos são definidos por mais do que dois pontos cada um e
portanto podem ser estimadas várias transformações geométricas diferentes. Em
[Oliveira, 2009a] e [Oliveira, 2009b] calculam-se todas as transformações geométricas
que alinham cada par de pontos de um conjunto com o respectivo par de pontos do
outro conjunto. Seguidamente, é realizado o tratamento estatístico das soluções obtidas,
eliminando-se assim a influência dos outliers. Repare-se que n correspondências
implicam n pontos em cada conjunto e com n pontos é possível definir ( ) 2/1−nn pares
distintos.
A Figura 2.3 representa todo o processo desenvolvido para o alinhamento de imagens.
Em todas as ilustrações apresentadas nesta figura, excepto nas imagens originais, a
imagem ou contorno modelo estão representados em tons de azul e a imagem ou
contorno a alinhar estão representados em tons de vermelho. As correspondências são
representadas pelas linhas verdes.
CAPÍTULO II − FUNDAMENTOS TEÓRICOS _____________________________________________________________________________________
9
Figura 2.3: Visualização da saída do algoritmo de alinhamento de imagens usando a metodologia baseada
em contornos em imagens de pedobarografia. No canto superior esquerdo estão representadas as imagens
originais e os respectivos contornos, ao centro em cima estão representados os dois contornos nas
posições originais e as respectivas correspondências obtidas, no canto inferior esquerdo estão
representados os dois contornos após alinhamento, ao centro em baixo está representada uma
perspectiva 3D das correspondências, e finalmente, do lado direito estão representadas as
duas imagens sobrepostas após alinhamento.
2.2 Metodologia baseada nos eixos principais
Os eixos principais podem ser usados para realizar o alinhamento de duas imagens 2D
ou 3D. A sua aplicação é muito simples e não necessita da determinação de
correspondências. Pode ser usado apenas um conjunto de pontos característicos, como
por exemplo, pontos de contornos, pontos de bifurcação ou cantos, etc. Pode também
ser usada a imagem na totalidade e características baseadas na intensidade, como o nível
de cinzento e o gradiente, por exemplo.
Na formulação seguinte, considere-se todos os píxeis de cada imagem 2D, sendo
atribuído um peso, ( )yxf , e ( )yxg , , a cada píxel das imagens envolvidas. Para o caso
de imagens 3D, o procedimento é equivalente. Por simplicidade, pode-se supor que
( )yxf , e ( )yxg , representam a intensidade das respectivas imagens f e g; no entanto,
podem representar outra característica da imagem. O centróide da imagem f, ( )ff yx , , é
dado por:
CAPÍTULO II − FUNDAMENTOS TEÓRICOS _____________________________________________________________________________________
10
( )( ) ( )
( )∑∑
∑∑−
=
−
=
−
=
−
=
×= 1
0
1
0
1
0
1
0
,
,,, n
x
m
y
n
x
m
yff
yxf
yxyxfyx .
De modo análogo, calcula-se o centróide da imagem g, ( )gg yx , . O passo seguinte
consiste em calcular a matriz de correlação das coordenadas de cada imagem, fC e gC .
Para a imagem f tem-se:
( ) [ ]
( )∑∑
∑∑−
=
−
=
−
=
−
=
−−×
−
−×
= 1
0
1
0
1
0
1
0
,
,
n
x
m
y
n
x
m
yff
f
f
f
yxf
yyxxyyxx
yxfC
Os vectores próprios de fC são os eixos principais da imagem f. De modo análogo
determinam-se os eixos principais da imagem g.
Para alinhar as imagens, usa-se a diferença das coordenadas dos centróides para estimar
a translação. Para estimar a rotação, determina-se o ângulo entre os eixos principais de
uma imagem em relação aos eixos principais da outra imagem.
A implementação prática desta metodologia foi realizada em Matlab. Na Figura 2.4 é
apresentado um exemplo de duas imagens de pedobarografia, os respectivos centróides
e os eixos principais.
Figura 2.4: Duas imagens de pedobarografia, os respectivos centróides e os eixos principais.
2.3 Metodologia baseada na correlação das fases
Um sinal periódico pode ser representado por uma soma de funções periódicas. A
CAPÍTULO II − FUNDAMENTOS TEÓRICOS _____________________________________________________________________________________
11
transformada de Fourier é um exemplo disso. Esta transformada é uma transformação
do sinal representado no domínio temporal ou espacial para o domínio das frequências.
Uma imagem bidimensional f no domínio espacial pode ser vista como uma função que
a cada par de coordenadas representando uma localização espacial faz corresponder
uma intensidade:
( ) ( )yxfyxIRIRDf
,,: 2
→⊂.
Para imagens discretas, D é um subconjunto de Z que usualmente é rectangular. No
domínio das frequências, a mesma imagem f pode ser representada por:
( ) ( )vuFvuCIRF
,,: 2
→⊂Γ,
onde cada valor de ( )vuF , é um número complexo θρ iez = , sendo ρ a amplitude ou
espectro e θ a fase do sinal. A conversão entre as duas formas é simples e rápida usando
a transformada rápida de Fourier (FFT) sem que informação seja perdida. As fórmulas
seguintes representam a relação entre as duas formas de definir uma imagem,
considerando que a imagem f é discreta e está definida num rectângulo de dimensões
NM × :
( ) ( )∑∑−
=
−
=
+−
=1
0
1
0
2,,
M
x
N
y
Nvy
Muxi
eyxfvuFπ
,
( ) ( )∑∑−
=
−
=
+
=1
0
1
0
.2,1,
M
u
N
v
Nvy
Muxi
evuFMN
yxfπ
.
A Figura 2.5 apresenta três imagens exemplo, os respectivos espectros e fases. Nas
imagens representando os espectros, a frequência aumenta do centro para a periferia e
quanto mais branco é um píxel, maior é a magnitude do espectro correspondente,
( )vuF , . Optou-se por centrar as frequências representadas nas imagens obtidas por ser
esta a forma mais comum de representação e também porque facilita a compreensão das
propriedades a seguir indicadas. Nas imagens da fase, o ângulo varia linearmente de
π− rad (preto) até π+ rad (branco).
Como pode ser observado na Figura 2.5, uma rotação no domínio espacial corresponde
à mesma rotação do espectro no domínio das frequências. Assim, a rotação pode ser
CAPÍTULO II − FUNDAMENTOS TEÓRICOS _____________________________________________________________________________________
12
determinada também no domínio das frequências. Outro facto que se pode observar é
que os espectros de duas imagens cuja diferença entre elas é apenas uma translação é
exactamente o mesmo. Esta propriedade é muito importante em aplicações de
alinhamento de imagens porque permite determinar a rotação que melhor alinha duas
imagens independentemente da translação que as estas possam ter sofrido.
Se as coordenadas rectangulares ( )vu, do espectro forem transformadas para
coordenadas polares ( )thetarho, , a rotação em coordenadas cartesianas converte-se
numa translação em coordenadas polares ao longo do eixo do theta. Assim, usando a
soma dos quadrados das diferenças ou correlação cruzada ou correlação das fases, por
exemplo, facilmente se pode encontrar o ângulo de rotação óptimo.
Figura 2.5: Por linha, três sequências de imagens exemplo. Da esquerda para a direita: imagens
originais no domínio espacial, espectro das imagens no domínio das frequências e,
finalmente, a fase das imagens no domínio das frequências.
Observado as imagens da fase, parece que não há informação relevante que possa
auxiliar no alinhamento. No entanto, estando duas imagens alinhadas em termos de
rotação, a translação pode ser pode ser determinada usando a correlação entre as fases
[Kuglin, 1975], [Foroosh, 2002], [Reddy, 1996], [Orchard, 2007].
CAPÍTULO II − FUNDAMENTOS TEÓRICOS _____________________________________________________________________________________
13
Usualmente, os métodos baseados na correlação das fases são directos, isto é,
determinam o melhor alinhamento de uma só vez, em vez de faseadamente se irem
aproximando da melhor solução através da utilização de um algoritmo de optimização,
como muitos outros métodos. Este método é simples, basta considerar a transformada
de Fourier de ambas as imagens, dividir um a um os coeficientes correspondentes das
respectivas imagens e depois calcular a inversa da transformada de Fourier. Se as duas
imagens diferirem apenas de uma translação, a imagem final obtida deverá apresentar
um píxel ou um conjunto de píxeis, normalmente adjacentes, com uma intensidade
muito maior do que os restantes. Com base na localização desses píxeis pode-se
determinar translação, [Kuglin, 1975], [Foroosh, 2002], [Reddy, 1996], [Orchard,
2007].
Para ilustrar a propriedade acabada de descrever, observe-se a Figura 2.6. Esta imagem
foi obtida usando as duas imagens de rectângulos paralelos aos eixos coordenados
representados na Figura 2.5.
Figura 2.6: Exemplo de uma imagem obtida determinando a correlação das fases directamente. A posição
do ponto mais claro indica a translação da imagem a alinhar relativamente à imagem modelo.
Repare-se que na base da propriedade acabada de enunciar está o facto de que o
quociente de dois números complexo é um número complexo cuja fase é igual à
diferença entre as fases de ambos. Em termos matemáticos, sejam θierz = e αρ iew =
dois números complexos quaisquer, sendo o primeiro um coeficiente de Fourier da
imagem modelo e o segundo o coeficiente de Fourier correspondente da imagem a
alinhar. Aplicando-se propriedades básicas das operações com potências, tem-se que:
)()/(/ αθρ −= ierwz .
Na implementação prática desenvolvida, para determinar a correlação das fases não foi
determinado o quociente entre os coeficientes de Fourier das duas imagens, pois este
método é muito sensível. Basta pensar no que acontece se o denominador for zero ou
muito próximo de zero. Algumas aplicações, em vez do complexo:
CAPÍTULO II − FUNDAMENTOS TEÓRICOS _____________________________________________________________________________________
14
)()/(/ αθρ −= ierwz ,
consideram apenas o complexo de norma 1 (um):
)( αθ −ie .
No algoritmo implementada foi usado o complexo:
( ) )(5.0 αθρ −+× ier .
Ainda em relação à implementação desenvolvida, para aumentar a velocidade do
algoritmo, a rotação foi determinada usando também correlação das fases. Após
determinar os espectros centrados de ambas as imagens, estes espectros foram
convertidos para coordenadas polares considerando a origem do referencial no centro
geométrico da imagem do espectro. Depois usando a correlação das fases, a "translação"
foi determinada directamente. Note-se que esta translação é realizada no eixo do theta,
ou seja, representa a amplitude de rotação do espectro da imagem a alinhar em relação
ao espectro da imagem modelo, sendo que esta rotação tem a mesma amplitude da
rotação da imagem original a alinhar em relação à imagem modelo original.
15
CAPÍTULO III
Resultados e análise dos mesmos
Neste Capítulo são apresentados os resultados de uma forma sucinta sendo também
realizada uma breve análise dos mesmos, relativamente às metodologias
implementadas/desenvolvidas: baseada em contornos, baseada em eixos principais e
baseada em correlação das fases.
Do desenvolvimento da metodologia baseada em contornos já resultaram publicações,
onde são apresentados e analisados os resultados obtidos. Assim, entende-se não haver
necessidade de estar a repetir os mesmos resultados e análises, pois as referidas
publicações são incluídas em anexo.
Em relação à metodologia baseada nos eixos principais e à metodologia baseada na
correlação das fases, a implementação/desenvolvimento destas ainda está numa fase
inicial, pelo que há poucos resultados disponíveis. Deste modo, não podem ser
realizadas análises pormenorizadas.
3.1 Dados
A metodologia desenvolvida baseada em contornos foi testada em imagens de
pedobarografia e da base de dados de domínio público, "silhouette database(1032
shapes)", organizado pelo por Laboratory for Engineering Man/Machine System
(LEMS) (http://www.lems.brown.edu/).
CAPÍTULO III − RESULTADOS E ANÁLISE DOS MESMOS _____________________________________________________________________________________
16
A metodologia baseada nos eixos principais e a metodologia baseada na correlação das
fases, além das imagens de pedobarografia, foram também testadas em imagens de CT
da cabeça e de raio X do peito. As duas imagens de CT usadas resultaram da mesma
imagem original, à qual foi aplicada uma rotação seguida de uma translação. Em relação
às imagens de raio X, estas foram todas obtidas também da mesma imagem através da
aplicação de uma translação e posterior redimensionamento das imagens obtidas.
3.2 Metodologia baseada nos contornos
Esta metodologia revelou-se muito eficaz no alinhamento de imagens nas quais foi
possível extrair o contorno exterior dos objectos nelas representadas. Estes factos
podem ser comprovados nos artigos publicados ou em vias de publicação. Para não
estar a repetir os resultados, optou-se indicar os trabalhos [Oliveira, 2009a], [Oliveira,
2009b] e [Oliveira, 2009c] incluídos no anexo deste relatório.
Só a título de exemplo, em [Oliveira, 2009b] pode-se verificar que esta metodologia
apresentou resultados de alinhamento de imagens de pedobarografia dinâmica melhores
do que os obtidos usando poderosos algoritmos de optimização, considerando a
qualidade do alinhamento da forma quantificada pelo "ou exclusivo" (XOR) como
definido em [Pataky, 2008a]. Além da qualidade dos alinhamentos obtidos, o tempo de
execução global da metodologia, incluindo todo o processo desde a leitura das imagens
até ao alinhamento final é muito reduzido, na ordem de alguns milissegundos, estando a
aplicação a correr num computador comum equipado com um processador AMD
Turion64 2.0GHz, 1.0GB de RAM e sistema operativo Microsoft Windows XP.
3.3 Metodologia baseada nos eixos principais
Como já referido, esta metodologia foi testada considerados os três tipos de imagens
consideradas. As Figuras 3.1 e 3.2 apresentam dois exemplos dos alinhamentos obtidos
usando imagens de pedobarografia e de raio X, respectivamente.
CAPÍTULO III − RESULTADOS E ANÁLISE DOS MESMOS _____________________________________________________________________________________
17
Figura 3.1: À esquerda, duas imagens de pedobarografia sobrepostas considerando as suas posições
originais. À direita, as mesmas duas imagens sobrepostas após o alinhamento obtido
com o método baseado nos eixos principais.
Figura 3.2: À esquerda e ao centro, duas imagens de raio X do peito e os respectivos eixos principais.
À direita, as duas imagens sobrepostas e alinhadas com base na metodologia baseada nos eixos
principais. (Na figura resultado, a imagem modelo foi colocada em tons de azul e a outra
em tons de vermelho.)
Como já referido, a implementação desta metodologia ainda está numa fase inicial, pelo
que ainda não há resultados quantificados.
Para as imagens de pedobarografia dinâmica, já foram realizadas dezenas de
experiências, observando-se que os resultados do alinhamento obtidos foram
satisfatórios quando as imagens foram binarizadas antes do processo de determinação
do alinhamento e instáveis quando as imagens foram consideradas em níveis de
cinzento. Ainda para este tipo de imagens consideradas em níveis de cinzento,
observou-se claramente que alguns alinhamentos estavam longe de ser os melhores
possíveis.
Em relação às imagens de raio X, como se pode observar na Figura 3.2, o alinhamento
também não foi adequado para os pares de imagens em que uma das imagens apresenta
diferenças significativas, isto é, quando há regiões numa imagem que não estão
CAPÍTULO III − RESULTADOS E ANÁLISE DOS MESMOS _____________________________________________________________________________________
18
presentes na outra.
Para as imagens consideradas de CT da cabeça, o alinhamento obtido foi bom.
3.4 Metodologia baseada na correlação das fases
Tal como acontece com a metodologia baseada nos eixos principais, o desenvolvimento
e teste da metodologia baseada na correlação das fases está numa fase inicial, pelo que
ainda não há resultados qualitativos quantificados. No entanto, já foram realizadas
dezenas de experiências de alinhamento de imagens de pedobarografia dinâmica usando
a metodologia baseada na correlação das fases. Nessas experiências observou-se que a
esta metodologia apresentou resultados distintos no alinhamento deste tipo de imagens,
conforme foram usadas imagens binárias ou em níveis de cinzento. Para as imagens
binarizadas, o alinhamento obtido foi sempre de boa qualidade, enquanto que para as
imagens em níveis de cinzento, foi instável.
Em relação às imagens consideradas de raio X do peito e de CT da cabeça, o
alinhamento obtido foi sempre bom, considerando estas imagens sempre em níveis de
cinzento. As Figuras 3.3 e 3.4 apresentam dois exemplos de alinhamento usando esta
metodologia. A qualidade dos alinhamentos pode ser facilmente observada.
Figura 3.3: Alinhamento de duas imagens de CT da cabeça. Em cima, as duas imagens originais; em
baixo, à esquerda as duas imagens sobrepostas antes do alinhamento e à direita as mesmas imagens
sobrepostas após o alinhamento obtido usando correlação das fases. (Para facilitar a visualização,
a imagem modelo foi representada em tons de azul e a imagem a alinhar em tons de vermelho.)
CAPÍTULO III − RESULTADOS E ANÁLISE DOS MESMOS _____________________________________________________________________________________
19
Figura 3.4: As duas imagens de raio X do peito apresentadas na Figura 3.2 sobrepostas
após o alinhamento obtido usando a correlação das fases.
Esta metodologia de alinhamento está actualmente em fase de novos desenvolvimentos
e teste, não havendo por isso mais resultados fidedignos que mereçam ser apresentados.
20
CAPÍTULO IV
Conclusões e perspectivas de trabalho futuro
4.1 Conclusões
A metodologia baseada em contornos e a metodologia baseada na correlação das fases
revelaram-se capazes de alinhar duas imagens de forma correcta para as situações
testadas. A metodologia baseada nos eixos principais revelou algumas fraquezas, em
especial nas situações em que regiões representadas numa imagem não estavam
representadas na outra imagem.
A metodologia baseada nos eixos principais e a metodologia baseada na correlação das
fases revelaram-se muito menos robustas no alinhamento das imagens de
pedobarografia do que a metodologia baseada em contornos.
A metodologia baseada nos contornos tem duas fraquezas relativamente às outras: a
qualidade dos resultados depende da qualidade dos contornos extraídos e só pode ser
aplicada em situações em que é possível construir contornos ordenados que representem
as formas presentes nas imagens a alinhar.
Para as situações em que é aplicável, a qualidade dos alinhamentos obtidos usando a
metodologia baseada nos contornos é superior à qualidade dos alinhamentos obtidos
usando as outras duas metodologias. Além disso, esta metodologia é capaz de
determinar a transformação de similaridade (rotação, translação e escalamento),
[Oliveira, 2009a], que melhor alinha duas imagens enquanto que as outras duas
CAPÍTULO IV − CONCLUSÕES E PERSPECTIVAS DE TRABALHO FUTURO _____________________________________________________________________________________
21
metodologias só lidam com transformações rígidas (rotação e translação).
A qualidade do alinhamento das imagens de pedobarografia dinâmica e a velocidade de
execução da aplicação desenvolvida garantem a adequabilidade da mesma para
aplicações de alinhamento de imagens de pedobarografia dinâmica em tempo real,
[Oliveira, 2009b].
4.2 Perspectivas de trabalho futuro
As metodologias aqui apresentadas deverão ser optimizadas e testadas em mais
aplicações práticas. A metodologia baseada em contornos já está num estado mais
avançado de desenvolvimento e aplicação, pelo que o próximo passo será aplicar em
outras situações em que seja possível a extracção de forma robusta de contornos
ordenados das imagens médicas a alinhar. Este é um problema essencialmente de
segmentação e não de alinhamento.
As metodologias baseadas nos eixos principais e em correlação das fases serão testadas
usando o gradiente das imagens e as orlas extraídas das mesmas. Caso estas
metodologias revelem robustez em aplicações práticas mais específicas, poderão ser
implementadas usando a linguagem de programação C++, com recurso a bibliotecas
adequadas.
O desenvolvimento/implementação destas metodologias foi o primeiro passo com vista
a alcançar os objectivos propostos para a Tese de Doutoramento. Seguir-se-ão outras
implementações e muitos outros ensaios. A título de exemplo, espera-se implementar e
testar metodologias baseadas na minimização da Informação Mútua, [Viola, 1995],
[Collignon, 1995], e o algoritmo ICP − Iterative Closest Point, [Besl, 1992].
A aplicação e validação clínica das metodologias desenvolvidas em casos reais serão
também consideradas ao longo deste projecto de Doutoramento em Engenharia
Biomédica.
22
Referências
[Besl, 1992] − P. J. Besl, N. D. McKay. A method for registration of 3-D shapes. IEEE
Transactions on Pattern Analysis and Machine Intelligence, vol. 14, pp. 239-
256, 1992.
[Canny, 1986] − J. F. Canny. A computational approach to edge detection. IEEE
Transactions on Pattern Analysis and Machine Intelligence, vol. 8, no. 6, pp.
679-698, November, 1986.
[Collignon, 1995] − A. Collignon, F. Maes, D. Delaere, D. Vandermeulen, P. Suetens,
G. Marchal. Automated multi-modality image registration based on
information theory. Information Processing in Medical Imaging, Y. Bizais, C.
Barillot, and R. Di Paola, Eds., pp. 263-274, Kluwer Academic Publishers,
Dordrecht, Netherlands, 1995.
[Foroosh, 2002] − H. Foroosh, J. B. Zerubia, M. Berthod. Extension of phase
correlation to subpixel registration. IEEE Transactions on Image Processing,
vol. 11, no. 3, pp. 188-200, March 2002.
[Kuglin, 1975] − C. D. Kuglin, D. C. Hines. The phase correlation image alignment
method. Proceedings International. Conference. Cybernetics and Society, pp.
163-165, 1975.
REFERÊNCIAS _____________________________________________________________________________________
23
[Oliveira, 2008] − Francisco P. M. Oliveira, João Manuel R. S. Tavares. Algorithm of
dynamic programming for optimization of the global matching between two
contours defined by ordered points. CMES: Computer Modeling in
Engineering & Sciences, vol. 31, no. 1, pp. 1-11, 2008.
[Oliveira, 2009a] − Francisco P. M. Oliveira, João Manuel R. S. Tavares. Matching
contours in images through the use of curvature, distance to centroid and
global optimization with order-preserving constraint. CMES: Computer
Modeling in Engineering & Sciences vol. 43, no. 1, pp. 91-110, 2009.
[Oliveira, 2009b] − Francisco P. M. Oliveira, João Manuel R. S. Tavares, Todd C.
Paraky. Rapid pedobarographic image registration based on contour curvature
and optimization. Journal of Biomechanics (em processamento).
[Oliveira, 2009c] − Francisco P. M. Oliveira, João Manuel R. S. Tavares, Todd C.
Pataky. A versatile matching algorithm based on dynamic programming with
circular order preserving. VIPimage 2009 – II ECCOMAS Thematic
Conference on Computational Vision and Medical Image Processing, Porto,
Portugal, 14-16 October, 2009 (aceite).
[Orchard, 2007] − Jeff Orchard. Globally optimal multimodal rigid registration: an
analytic solution using edge information. Proceedings of IEEE International
Conference on Image Processing, 2007, vol. 1, pp. I – 485-488.
[Pataky, 2008a] − Todd C. Pataky, John Y. Goulermas. Pedobarographic statistical
parametric mapping (pSPM): A pixel-level approach to foot pressure image
analysis. Journal of Biomechanics, vol. 41, pp. 2136-2143, 2008.
[Pataky, 2008b] − Todd C. Pataky, John Y. Goulermas, Robin H. Crompton. A
comparison of seven methods of within-subjects rigid-body pedobarographic
image registration. Journal of Biomechanics, vol. 41, no. 14, pp. 3085-3089,
2008.
[Reddy, 1996] − B. Reddy, B. Chatterji. An FFT-based technique for translation,
rotation, and scale-invariant image registration. IEEE Transactions on Image
Processing, vol. 5, no. 8, pp. 1266-1271, August 1996.
REFERÊNCIAS _____________________________________________________________________________________
24
[Schroeder, 1999]– Will Schroeder, Ken Martin. The vtk user’s guide. Kitware Inc.,
June 1999.
[Viola, 1995] − Paul Viola. Alignment by maximization of mutual information. PhD
Thesis, Massachusetts Institute of Technology, 1995.