Faculdade de Engenharia da Universidade do Porto · 2006. 11. 3. · Licenciatura em Engenharia...

Licenciatura em Engenharia Electrotécnica e de Computadores

Faculdade de Engenharia da Universidade do Porto

Detecção de Cortes de Cena

(Televisão Digital 2006/2007)

Joaquim Matos (010503050) Luís Neves (040503265)

Valter Mónica (990503165)

2

Índice 1. INTRODUÇÃO ............................................................................................................................................................ 5 2. OBJECTIVOS .............................................................................................................................................................. 5 3. ESPAÇOS DE COR, MÉTRICA DE SEMELHANÇA E MEDIDAS DE QUALIDADE ..................................... 5

3.1. ESPAÇO DE COR YCBCR .......................................................................................................................................... 5 3.2. ESPAÇO DE COR HSV............................................................................................................................................... 6 3.3. COMPARAÇÃO POR ELIMINAÇÃO DE VIZINHANÇA (NNE) ........................................................................................ 6 3.4. DIFERENÇA ENTRE HISTOGRAMAS ........................................................................................................................... 7 3.5. DIFERENÇA ENTRE PIXEIS ........................................................................................................................................ 7 3.6. MEDIÇÃO DA ACTIVIDADE DA IMAGEM.................................................................................................................... 7 3.7. MEDIDAS DE QUALIDADE......................................................................................................................................... 8

4. SEQUÊNCIA DE IMAGENS ANALISADA ............................................................................................................. 8 4.1. CENAS...................................................................................................................................................................... 9 4.2. CORTES DE CENA ..................................................................................................................................................... 9

5. COMPARAÇÃO INTER-FRAME ............................................................................................................................. 9 5.1. ANÁLISE DE RESULTADOS NO ESPAÇO DE COR YCBCR ............................................................................................ 9

5.1.1. Diferença entre histogramas......................................................................................................................... 10 5.1.2. Diferença entre pixeis ................................................................................................................................... 10 5.1.3. Medição da actividade da imagem................................................................................................................ 10 5.1.4. Comparação entre as diferentes métricas de semelhança ............................................................................ 11

5.2. ANÁLISE NO ESPAÇO DE COR HSV......................................................................................................................... 11 5.2.1. Diferença entre histogramas......................................................................................................................... 11 5.2.2. Diferença entre pixeis ................................................................................................................................... 11 5.2.3. Medição da actividade da imagem................................................................................................................ 12 5.2.4. Comparação entre as diferentes métricas de semelhança ............................................................................ 12

6. COMPARAÇÃO PELA ELIMINAÇÃO DE VIZINHANÇA (NNE).................................................................... 12 6.1. ANÁLISE DE RESULTADOS NO ESPAÇO DE COR YCBCR .......................................................................................... 12

6.1.1. Diferença entre histogramas......................................................................................................................... 13 6.1.2. Diferença entre pixeis ................................................................................................................................... 13 6.1.3. Medição da actividade da imagem................................................................................................................ 13 6.1.4. Comparação entre as diferentes métricas de semelhança ............................................................................ 14

6.2. ANÁLISE DE RESULTADOS NO ESPAÇO DE COR HSV .............................................................................................. 14 6.2.1. Diferença entre histogramas......................................................................................................................... 14 6.2.2. Diferenças entre pixeis.................................................................................................................................. 14 6.2.3. Medição da actividade da imagem................................................................................................................ 15 6.2.4. Comparação entre as diferentes métricas de semelhança ............................................................................ 15

7. CONCLUSÕES........................................................................................................................................................... 15 8. BIBLIOGRAFIA ........................................................................................................................................................ 17 ANEXOS ......................................................................................................................................................................... 18

3

Lista de figuras Figura 1 – Fluxograma do método de comparação por eliminação de vizinhança (NNE)................................ 6 Figura 2 – Algoritmo da métrica da diferença entre histogramas ..................................................................... 7 Figura 3 – Algoritmo da métrica da diferença entre pixeis ................................................................................ 7 Figura 4 – Algoritmo da métrica da medição da actividade da imagem ........................................................... 8 Figura 5 – Fórmula para o cálculo da precisão ................................................................................................. 8 Figura 6 – Fórmula para o cálculo da cobertura ............................................................................................... 8 Figura 7 – Cortes de cena da sequência de imagens analisada (incluindo a primeira frame) ......................... 9

4

Lista de tabelas Tabela 1 – Resultados da métrica da diferença entre histogramas (YCbCr).................................................. 10 Tabela 2 – Resultados da métrica da diferença entre pixeis (YCbCr) ............................................................ 10 Tabela 3 – Resultados da métrica da medição da actividade da imagem (YCbCr)........................................ 10 Tabela 4 – Comparação entre as diferentes métricas utilizadas (YCbCr) ...................................................... 11 Tabela 5 – Resultados da métrica da diferença entre histogramas (HSV) ..................................................... 11 Tabela 6 – Resultados da métrica da diferença entre pixeis (HSV) ............................................................... 11 Tabela 7 – Resultados da métrica da medição da actividade da imagem (HSV)........................................... 12 Tabela 8 – Comparação entre as diferentes métricas utilizadas (HSV) ......................................................... 12 Tabela 9 – Resultados da métrica da diferença entre histogramas (YCbCr).................................................. 13 Tabela 10 – Resultados da métrica da diferença entre pixeis (YCbCr) ......................................................... 13 Tabela 11 – Resultados da métrica da diferença entre pixeis (YCbCr) .......................................................... 13 Tabela 12 – Comparação entre as diferentes métricas utilizadas (YCbCr) .................................................... 14 Tabela 13 – Resultados da métrica da diferença entre histogramas (HSV) ................................................... 14 Tabela 14 – Resultados da métrica da diferença entre pixeis (HSV) ............................................................. 14 Tabela 15 – Resultados da métrica da medição da actividade da imagem (HSV)......................................... 15 Tabela 16 – Comparação entre as diferentes métricas utilizadas (HSV) ....................................................... 15 Tabela 17 – Trios de análise que resultam em precisões de 100% na identificação dos cortes.................... 15

5

1. Introdução A detecção de cortes de cena numa sequência de vídeo digital é fundamental quando se pretende efectuar a segmentação e indexação do mesmo. O maior ou menor sucesso da indexação depende em grande parte da fiabilidade dos métodos utilizados para efectuar a segmentação de vídeo. Uma sequência de vídeo é normalmente constituída por uma série de cenas distintas, sendo que cada cena é constituída por uma ou mais imagens (frames). O propósito de um algoritmo de detecção de cortes de cena é o de identificar as transições entre imagens onde ocorram quebras de sequências contínuas (ou quaisquer outros eventos significativos), recorrendo a uma determinada métrica que estima a semelhança entre duas ou mais imagens.

As referidas transições podem-se classificar em dois conjuntos:

a) Transições abruptas: De detecção fácil pois as imagens envolvidas têm uma baixa correlação (muito pouca semelhança).

b) Transições graduais: De detecção mais difícil, pois as imagens envolvidas tem uma semelhança por

vezes elevada. São disso exemplo alguns efeitos especiais como o “fade-in\out”, dissolução de imagem, movimentos de câmara, zoom, etc.

O desafio que se coloca no domínio da detecção de cortes de cena em vídeo digital é o de desenvolver algoritmos robustos, que para além de efectuarem uma análise objectiva a um dado conjunto de imagens, consigam também a realização de uma análise subjectiva (à semelhança do sistema visual humano), permitindo assim a obtenção de uma identificação unívoca à ocorrência de qualquer transição onde esteja efectivamente presente um corte de cena.

2. Objectivos

Desenvolvimento um algoritmo que permita realizar a identificação de cortes de cena em sequências vídeo, de uma forma automatizada, utilizando de diferentes técnicas de estimação\medição de semelhança entre imagens:

- Diferença entre histogramas de cor - Diferença entre pixeis - Estimação da actividade da imagem

Com vista ao preenchimento dos requisitos exigidos para o presente trabalho, foi desenvolvido um programa em Matlab® que suporta a análise de uma sequência de vídeo, através das métricas de semelhança acima referidas, tanto no espaço de cor YCbCr como no espaço de cor HSV. A análise nestes dois espaços de cor permitirá concluir sobre qual deles possui melhor características para a identificação de cortes, tanto em transições abruptas como em transições graduais. O programa permite ainda, para cada espaço de cor, a análise e a manipulação de cada componente em separado. A comparação entre imagens é efectuada recorrendo a dois métodos distintos:

a) Comparação inter-frame (entre frames consecutivas de uma sequência de vídeo). b) Comparação por eliminação de vizinhança ou NNE1 (ponto 3.3.).

3. Espaços de cor, métrica de semelhança e medidas de qualidade

3.1. Espaço de cor YCbCr O espaço de cor YCbCr é largamente utilizado em sistemas de vídeo. É constituído por três componentes: luminância (Y), crominância azul (Cb) e crominância do vermelho (Cr). É o espaço de cor utilizado em mpeg o que o torna de experiência obrigatória, quando se lida com vídeo comprimido. 1Nearest Neighborhood Elimination

6

3.2. Espaço de cor HSV

O espaço de cor HSV é constituído por três componentes: cor (H), saturação (S) e valor (V) (brilho). Enquanto que os espaços RGB e CMYK descrevem modelos aditivos e subtractivos, o espaço HSV guarda a informação acerca de uma cor de uma forma que é de certa maneira mais familiar para sistema visual humano.

Será interessante testar este espaço de cor, que à partida terá uma maior informação subjectiva que o espaço de cor YCbCr.

3.3. Comparação por eliminação de vizinhança (NNE) O método de eliminação de vizinhança tem como ideia geral a manutenção de uma frame chave, por cena, eliminando todas as frames similares a ela. A primeira frame da sequência vídeo é escolhida inicialmente como chave de cena (ponto de partida) e armazenada num buffer (keyFrameBuffer). A segunda frame é depois comparada com a chave de cena mais recente armazenada no buffer (neste caso a frame 1), utilizando uma qualquer métrica de semelhança. Se o valor da métrica obtida resultar num valor reduzido, assume-se que a frame 2 é “vizinha” da frame 1 (grande semelhança), concluindo que ambas fazem parte da mesma cena. Nesse caso a frame 2 é eliminada. Caso contrário a frame 2 é promovida a chave de cena e armazenada no buffer. O método de pesquisa é depois repetido para as frames seguintes, até se atingir o fim da sequência. No fim da comparação o buffer (keyFrameBuffer) conterá todas as chaves de cena da sequência de vídeo a analisada (cortes de cena). Na figura 1 encontra-se o fluxograma funcional deste método.

Figura 1 – Fluxograma do método de comparação por eliminação de vizinhança (NNE)

7

3.4. Diferença entre histogramas

Esta é a métrica mais utilizada para detecção de cortes de cena. Obtém-se calculando a soma ponderada das diferenças existentes entre os histogramas de duas imagens (frames). Um histograma não é nada mais que uma tabela que guarda o número de ocorrências (pixeis) que possuem um determinado valor de intensidade, exemplo: o número de pixeis que têm o valor 255. De notar que este métrica não possui informação espacial nem informação relativa à estrutura dos objectos. O algoritmo que suporta esta métrica é o observado na figura abaixo.

Figura 2 – Algoritmo da métrica da diferença entre histogramas

Onde kh é um valor que majora o valor da métrica de semelhança obtida entre duas frames. Se o valor do nível de semelhança ( dp(qi,qd) ) subir acima do majorante é porque ocorreu um corte de cena. Experimentalmente determina-se este valor de modo a identificar correctamente o maior número de cortes de cena possível.

3.5. Diferença entre pixeis

É a métrica mais simples e óbvia. Duas frames são comparadas somando o valor absoluto de todas a diferenças parciais entre os pixeis de duas quaisquer frames, sendo depois essa soma ponderada pela divisão do número de pixeis na imagem. Pode-se desde já concluir que esta métrica só é aplicável quando ambas as frames a serem analisadas possuem as mesmas dimensões. Esta métrica possui elevada informação espacial sendo por isso bastante sensível a quaisquer movimentos: movimentos de câmara, movimento de objectos em cenário com câmara fixa, etc.

Figura 3 – Algoritmo da métrica da diferença entre pixeis

Onde kp é um valor que majora o valor da métrica de semelhança obtida entre duas imagens (em tudo idêntico ao explicado no ponto anterior).

3.6. Medição da actividade da imagem Esta métrica estabelece uma medida de actividade de uma frame em termos do número de contornos e de orlas dos objectos. É comummente utilizada para determinar o grau de compressão numa sequência vídeo. A uma métrica elevada, geralmente está associada uma actividade significativa da imagem. O algoritmo que suporta esta métrica é o observado na figura abaixo.

8

Figura 4 – Algoritmo da métrica da medição da actividade da imagem

Para cada imagem qk com k Є (i,j), é calculada a diferença entre os somatórios das diferenças parciais absolutas de todas as linhas e colunas adjacentes da imagem. Este resultado é depois ponderado pela divisão da dimensão da respectiva imagem em análise. A diferença absoluta entre as métricas individuais de cada imagem produz a métrica de semelhança “global”. Esta semelhança é depois comparada com o valor de kr que majora o valor da métrica “global”. Se o valor do nível de semelhança “global” subir acima do majorante é porque ocorreu um corte de cena. O referido majorante é determinado experimentalmente.

3.7. Medidas de qualidade

Uma medida de qualidade, visa estabelecer a robustez e fiabilidade de um algoritmo de detecção de cortes de cena. São usualmente utilizados os seguintes métodos: precisão e cobertura.

Precisão: Traduz a probabilidade de um corte detectado ser um corte bem identificado.

Figura 5 – Fórmula para o cálculo da precisão

Cobertura: Traduz a probabilidade de um corte existente ser correctamente detectado.

Figura 6 – Fórmula para o cálculo da cobertura

Em que P é a precisão, C o número de cortes correctamente identificados, M o número de cortes não detectados e F o número de cortes falsamente detectados.

4. Sequência de imagens analisada Antes de apresentar os resultados obtidos com o presente trabalho, parece relevante a apresentação da sequência de vídeo analisada, já que todas as conclusões obtidas derivam da aplicação directa de dos diferentes métodos sobre as imagens (frames) que a constituem. A sequência de vídeo completa pode ser observada no Anexo A.

9

4.1. Cenas

A sequência de vídeo a analisar é composta por quatro cenas e três cortes de cena (se excluirmos a primeira frame como sendo corte de cena), retiradas do filme “O Gladiador”:

Cena 1 (da frame 1 à frame 20): Transição gradual nas primeiras 8 frames. Movimento da câmara da esquerda para a direita.

Cena 2 (da frame 21 à frame 33): Movimento de um objecto (gladiador) da esquerda para a direita.

A câmara acompanha ligeiramente esse movimento. Cena 3 (da frame 34 à frame 41): Movimento de câmara em diagonal.

Aparecimento de novos objectos. Cena 4 (da frame 42 à frame 59): Câmara parada. Um único objecto em movimento da direita para a

esquerda (tigre).

Note-se que a transição gradual presente na primeira cena é do tipo “fade in”. Tenha-se ainda em atenção que a transição entre as frames 2 e 3 é algo brusca e não tão gradual quanto o normal neste tipo de transição.

4.2. Cortes de cena

Ao todo são três os cortes de cena da sequência de vídeo a analisar (excluindo a primeira frame):

Frame 1 Frame 21 Frame 34 Frame 42

Figura 7 – Cortes de cena da sequência de imagens analisada (incluindo a primeira frame)

5. Comparação inter-frame

Para se obter rapidamente o majorante (“threshold”), para cada uma das componentes de um espaço de cor quando se usa a comparação entre frames consecutivas, basta comparar os níveis de semelhança (obtidos com as diferentes métricas) entre a frame chave cada cena (onde temos a certeza de ocorrência do corte de cena – figura 7) e a frame imediatamente anterior a esta ultima. O majorante a estabelecer, terá então que ser idêntico ou inferior ao mínimo valor de semelhança obtido com a referida comparação. Podem existir, no entanto, comparações entre frames, que não as frames chave, que resultem num nível superior a este majorante, o que se traduzirá num corte de cena mal assinalado.

5.1. Análise de resultados no espaço de cor YCbCr

Procede-se de seguida à análise dos resultados obtidos no espaço de cor YCbCr, com o programa desenvolvido. Têm-se em conta a precisão obtida, o tempo de processamento e definem-se os valores majorantes (“thresholds”) para cada componente em cada par método-métrica de comparação.

10

5.1.1. Diferença entre histogramas

Tabela 1 – Resultados da métrica da diferença entre histogramas (YCbCr) Majorantes obtidos Majorante escolhido

Comparação (frames) Y Cb Cr Y Cb Cr

20 - 21 109,648 165,148 162,164

33 - 34 126,680 105,125 126,328

41 - 42 97,914 95,008 79,281

97, 914 95,0077 79,281

Com os majorantes escolhidos, identificaram-se quatro cortes de cena: três correctamente identificados (frames 21, 34 e 42) e um falsamente identificado (frame 3). De facto, esta falsa identificação corresponde uma mudança significativa na imagem, em que se passa de uma frame com um valor reduzido de luminância e cor (frame 2) para uma outra em que estes valores já não são tão baixos. Esta transição entre as frames 2 e 3 não é tão gradual quanto o que seria de esperar num “fade in” normal. De facto, mesmo subjectivamente, um olhar mais atento poderia interpretar esta transição como corte de cena, apesar de esta se situar num espaço contínuo de acção bem definido. O método da diferença de histogramas revela-se assim bastante sensível á luminosidade, capaz de assinalar correctamente transições abruptas mas incapaz de reconhecer correctamente transições graduais.

5.1.2. Diferença entre pixeis

Tabela 2 – Resultados da métrica da diferença entre pixeis (YCbCr)

Majorantes obtidos Majorante escolhido Comparação (frames)

Y Cb Cr Y Cb Cr 20 - 21 14,889 8,571 1,732

33 - 34 30,968 1,079 5,878

41 - 42 45,585 2,225 4,693

14, 88 1,079 1,73

Com os majorantes escolhidos, identificaram-se correctamente todos os cortes de cena. Nas cenas onde existem objectos que se movimentam, é notório o crescimento dos níveis semelhança, provando assim que efectivamente a métrica da diferença entre pixeis é sensível à movimentação de objectos e operações de câmara (cenas 2 e 3).

5.1.3. Medição da actividade da imagem

Tabela 3 – Resultados da métrica da medição da actividade da imagem (YCbCr)


Y Cb Cr Y Cb Cr 20 - 21 0,3999 0,0173 0,0538

33 - 34 0,1701 0,1361 0,0506

41 - 42 0,6740 0,0046 0,0113

0,1701 0,0046 0,0113

Com os majorantes escolhidos, identificaram-se correctamente todos os cortes de cena. Nas cenas onde existe movimento de câmara, é notório o crescimento dos níveis de semelhança. Tal já não é tão evidente para a movimentação de objectos.

11

5.1.4. Comparação entre as diferentes métricas de semelhança

Tabela 4 – Comparação entre as diferentes métricas utilizadas (YCbCr) Cortes de cena Estatistica (%)

Métrica Correctamente detectados Não detectados Falsamente

detectados Precisão Cobertura

Tempo de Processamento

(segundos)

Dif. Histogramas 3 0 1 75 100 2,063 Dif. Pixeis 3 0 0 100 100 2,0625

Act. da imagem 3 0 0 100 100 3

Pela tabela 4, pode-se concluir que das três métricas, a pior é a de diferença de histogramas. A melhor métrica a utilizar, seria neste caso a diferença entre pixeis, por dois motivos:

1) Possui um tempo de processamento inferior ao da métrica da medição da actividade da imagem. 2) Era possível detectar correctamente todos os cortes de cena na sequência analisada comparando

somente a componente da luminância (o que seria impossível, em alguns casos, com a métrica da medição da actividade da imagem).

5.2. Análise no espaço de cor HSV Procede-se agora à análise dos resultados obtidos no espaço de cor HSV. A estratégia adoptada é idêntica à tomada para a análise do espaço de cor YCbCr.


Tabela 5 – Resultados da métrica da diferença entre histogramas (HSV) Majorantes obtidos Majorante escolhido


20 - 21 107,219 75,586 113,656

33 - 34 112,727 117,477 123,633

41 - 42 115,836 103,172 96,578

107,218 75,585 96,578

Com os majorantes escolhidos, identificaram-se quatro cortes de cena: três correctamente identificados (frames 21, 34 e 42) e um falsamente identificado (frame 3). Tal já havia ocorrido para o espaço de cor YCbCr. A métrica da diferença entre histogramas falha assim em ambos os espaços de cor quando se processam transições graduais.


Tabela 6 – Resultados da métrica da diferença entre pixeis (HSV)


Y Cb Cr Y Cb Cr 20 - 21 0,103 0,254 0,264

33 - 34 0,109 0,252 0,265

41 - 42 0,0828 0,2685 0,3661

0,0827 0,2519 0,2642

Com os majorantes escolhidos, identificaram-se quatro cortes de cena: três correctamente identificados (frames 21, 34 e 42) e um falsamente identificado (frame 3). A diferença mais significativa nos níveis de semelhança, verificou-se no brilho (V) e na saturação (S). Esta métrica que se tinha revelado bastante satisfatória no espaço de cor YCbCr, falha agora no espaço de cor HSV.

12


Tabela 7 – Resultados da métrica da medição da actividade da imagem (HSV) Majorantes obtidos Majorante escolhido


20 - 21 0,003258 0,006912 0,003292

33 - 34 0,005902 0,014850 0,003823

41 - 42 0,000792 0,000717 0,005672

0,00079 0,00071 0,0032

Com os majorantes escolhidos, identificaram-se correctamente todos os cortes de cena. De novo, é notório o crescimento dos níveis de semelhança nas cenas onde existe movimento de câmara.


Tabela 8 – Comparação entre as diferentes métricas utilizadas (HSV) Cortes de cena Estatistica (%)




(segundos)

Dif. Histogramas 3 0 1 75 100 2,0625 Dif. Pixeis 3 0 1 75 100 6,0938

Act. da imagem 3 0 0 100 100 8,1563

Pela tabela 8, pode-se concluir que as métricas de diferença de histogramas e diferença de pixeis não tiveram um comportamento tão regular como a métrica de medição da actividade da imagem. A melhor métrica a utilizar, seria em principio a medição da actividade da imagem. No entanto, refira-se que nesta métrica existem situações em que a análise de apenas um componente, no espaço de cor, não seria suficiente para classificar correctamente os cortes de cena existentes. Note-se ainda que o tempo de processamento desta métrica é bastante elevado para este espaço de cor. Pode-se concluir que para a sequência de vídeo que estamos a estudar, a análise no espaço de cor HSV é pouco segura, visto que as mesmas métricas no espaço de cor YCbCr produzem resultados mais favoráveis.

6. Comparação pela eliminação de vizinhança (NNE)

Para se obter rapidamente o majorante (“threshold”), para cada uma das componentes de um espaço de cor, quando se usa a comparação pelo método NNE, basta analisar os níveis de semelhança entre as frames chave consecutivas de cada cena (figura 4). Numa situação de identificação correcta de todos os cortes de cena da sequência utilizada, é de esperar que os valores da métrica de semelhança entre estas frames sejam os mais elevados de toda a sequência. Escolher-se-ia para majorante, em cada uma das métricas, o mínimo valor obtido com esta análise entre frames chave. Podem no entanto existir, entre a frame chave de uma cena e qualquer outra frame da mesma cena, que resultem num nível superior a este majorante, o que se traduzirá num corte de cena mal assinalado. A primeira frame é sempre comparada porque é por omissão, uma candidata a frame chave.

6.1. Análise de resultados no espaço de cor YCbCr Adoptada a mesma estratégia que no ponto 5.1. .

13


Tabela 9 – Resultados da métrica da diferença entre histogramas (YCbCr) Majorantes obtidos Majorante escolhido Comparação

(frames chave) Y Cb Cr Y Cb Cr 1 - 21 238,469 247,789 239,836

21 - 34 122,156 90,094 118,906

34 - 42 114,500 52,773 80,227

114,4 52,77 80,22

Com os majorantes escolhidos obtêm-se 2 cortes de cena mal assinalados e nenhum correctamente assinalado (frames 3 e 7). De facto, os valores de semelhança entre a frame 1 (chave) e a frame 3 (ou qualquer uma das seguintes da cena 1), resultam sempre em valores superiores aos majorantes escolhidos. A frame 3 é assim promovida chave de cena mais recente no “keyFrameBuffer” (ponto 3.3.), sendo a restantes comparações realizadas com esta nova chave. Isto faz com que o algoritmo tenha um comportamento não desejável. De notar que quando se excluiu a cena 1 da análise, a comparação resultou em identificações correctas dos cortes de cena (frames 21, 34 e 42). Pode dizer-se que quando há uma falsa identificação, esta estende-se às restantes frames da sequência, viciando o resultado final. Conclui-se então que o método de eliminação por vizinhança é muito sensível aos erros que ocorrem na identificação cortes de cena quando se usa a métrica da diferença entre histogramas.


Tabela 10 – Resultados da métrica da diferença entre pixeis (YCbCr) Majorantes obtidos Majorante escolhido Comparação


21 - 34 33,671 1,707 4,874

34 - 42 29,796 1,980 1,435

29,795 0,183 1,43

Com os majorantes escolhidos, obtêm-se 1 único corte de cena correctamente assinalado (frame 42) e 2 falsamente assinalados (frames 3 e 14). De facto, e de novo, o falso assinalar da frame 3 como corte de cena, provoca uma propagação da identificação de cortes falsos para as restantes frames da sequência. No entanto o valor da métrica de semelhança entre a frame 14 e a frame 42 resulta num conjunto de níveis de magnitude superior ao majorante estabelecido. Por esse motivo, este corte de cena é bem assinalado (um acaso feliz).


Tabela 11 – Resultados da métrica da diferença entre pixeis (YCbCr)

Majorantes obtidos Majorante escolhido Comparação (frames chave) Y Cb Cr Y Cb Cr

1 - 21 0,36852 0,08712 0,07350

21 - 34 0,47266 0,05272 0,01178

34 - 42 0,25975 0,00920 0,00602

0,2597 0,00919 0,006

Com os majorantes escolhidos, obtêm-se 2 cortes de cena correctamente assinalados (frames 21 e 42) e 2 falsamente detectados (frames 7 e 33).

14


Tabela 12 – Comparação entre as diferentes métricas utilizadas (YCbCr) Cortes de cena Estatistica (%)




(segundos)

Dif. Histogramas 0 3 2 0 0 1,734 Dif. Pixeis 1 2 2 33,33 33,33 1,64

Act. da imagem 2 1 2 50 66,6 2,609

Por observação da tabela 12, conclui-se imediatamente que a métrica de semelhança com maior precisão é a de medição da actividade da imagem. Esta consegue identificar metade dos cortes de cena correctamente. A insensibilidade da métrica de diferença de histogramas a variações espaciais, torna esta métrica completamente inútil quando aliada ao método da eliminação de vizinhança (NNE). Note-se que os resultados obtidos em todas as métricas, são bastante inferiores ao obtido com o método de comparação inter-frame, para o mesmo espaço de cor (ponto 5.1.).

6.2. Análise de resultados no espaço de cor HSV

Adoptada a mesma estratégia que no ponto 5.2. .


Tabela 13 – Resultados da métrica da diferença entre histogramas (HSV) Majorantes obtidos Majorante escolhido Comparação


21 - 34 105,875 111,211 122,008

34 - 42 93,609 103,711 111,125

93,608 103,71 111,124

Com os majorantes escolhidos, obtêm-se 1 único corte de cena correctamente assinalado (frame 34) e 1 corte cena falsamente assinalado (frame 3). De notar que à semelhança do ponto 6.1.1., quando se excluiu a cena 1 da análise, a comparação resultou em identificações correctas dos cortes de cena (frames 21, 34 e 42). Pode parecer estranho não haver mais detecções erróneas pela métrica da diferença de histogramas…de facto somos levados a concluir que a comparação entre a frame 3 (frame promovida a chave de cena) e as restantes frames da sequência não produzem valores de semelhança acima dos majorantes escolhidos, em parte porque a métrica não possui informação espacial e porque a frame 3 é uma frame representativa, em termos de cor, brilho e saturação, do tipo de frames que constituem a sequência do filme “O Gladiador”, analisada.

6.2.2. Diferenças entre pixeis

Tabela 14 – Resultados da métrica da diferença entre pixeis (HSV) Majorantes obtidos Majorante escolhido Comparação


21 - 34 0,098 0,237 0,255

34 - 42 0,042 0,213 0,270

0.0041 0,212 0,255

Com os majorantes escolhidos, obtêm-se 3 cortes de cena correctamente identificados (frames 21, 34 e 42) e 3 cortes mal identificados.

15


Tabela 15 – Resultados da métrica da medição da actividade da imagem (HSV) Majorantes obtidos Majorante escolhido Comparação


21 - 34 0,00023 0,00981 0,00604

34 - 42 0,00355 0,00532 0,00142

0.00022 0.0053 0.0014

Com os majorantes escolhidos, obtêm-se 1 corte de cena correctamente identificado (frame 34) e 5 cortes de cena falsamente identificados (frames 4, 8, 25, 28 e 41).


Tabela 16 – Comparação entre as diferentes métricas utilizadas (HSV) Cortes de cena Estatistica (%)




(segundos)

Dif. Histogramas 1 2 1 50 33,33 5,906 Dif. Pixeis 3 0 3 60 100 5,767

Act. da imagem 1 2 5 16,66 33,33 7,8906

É imediata a conclusão de que a métrica da diferença entre pixeis e a métrica da diferença entre histogramas, têm um melhor comportamento utilizando a comparação por eliminação da vizinhança no espaço de cor HSV. Também se pode concluir, pela comparação entre as tabelas 12 e 16, que no global, as três métricas estudadas tem uma melhor comportamento no espaço de cor HSV que no espaço de cor YCbCr (exceptuando a métrica da medição da actividade da imagem).

7. Conclusões

No presente trabalho foram testadas diferentes combinações entre métricas de semelhança, métodos de pesquisa e espaços de cor, de forma a inferir em quais das referidas combinações se obteria uma maior fiabilidade para a detecção de cortes de cena na sequência de imagens que foi analisada. O método de comparação entre frames sucessivas (inter-frame) revelou-se bastante mais fiável e preciso que o método de eliminação de vizinhança, para ambos os espaços de cor YCbCr e HSV e em todas as métricas de semelhança testadas.

Na sequência de imagens analisada, existem situações em que o trio método de comparação\espaço de cor\métrica resulta em precisões de 100% (todos os cortes de cena correctamente assinalados):

Tabela 17 – Trios de análise que resultam em precisões de 100% na identificação dos cortes Estatistica (%)

Comparação Espaço de cor Métrica Precisão Cobertura


(segundos)

Dif. Pixeis 100 100 2,0625 YCbCr

Act. da imagem 100 100 3 Inter-frame HSV Act. da imagem 100 100 8,1563

O melhor dos trios é o que possui menor tempo de processamento: inter-frame\YCbCr\diferença entre pixeis. No entanto se estivermos á procura de um algoritmo que funcione em ambos os espaços cor deve-se escolher o trio inter-frame\YCbCr\medição da actividade da imagem, à custa de um maior tempo de processamento para o espaço de cor HSV.

16

De concluir ainda que o método de comparação por eliminação de vizinhança é de todo inadequado para a detecção de cortes de cena, empregando as métricas estudadas. Podem existir outras métricas, ou combinações de métricas, que tenham em conta não só os aspectos físicos de uma imagem mas também aspectos temporais, que consigam obter resultados mais fiáveis.

17

8. Bibliografia [1] Wikipedia, the free encyclopedia

http://en.wikipedia.org/wiki/Cut_detection [2] Serkan Kiranyaz, Keren Caglar, “Unsupervised Scene Change Detection Techniques In Feature Domain Via Clustering and Elimination”. [3] S. Saha and R.Vemuri, “Adaptive Wavelet Filters in Image Coders – How Importante are They?,” in Proc. IEEE IECON’99, San Jose, California, Nov. 99, vol 2 pp. 559-564. [4] Santos, Thiago Teixeira, “Detecção de cortes de cena em vídeo digital”. [5] Qi, A. Hauptman e T. Liu, “Supervised classification for video shot segmentation”.

18

Anexos

19

Anexo A - Sequência de vídeo analisada

Faculdade de Engenharia da Universidade do Porto · 2006. 11. 3. · Licenciatura em Engenharia...

Documents

Transcript of Faculdade de Engenharia da Universidade do Porto · 2006. 11. 3. · Licenciatura em Engenharia...