Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza...
Transcript of Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza...
![Page 1: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/1.jpg)
Sumarização Automática de Vídeos Baseada em Características de Cor e
Agrupamentos
Sandra Eliza Fontes de AvilaUniversidade Federal de Minas Gerais
Departamento de Ciência da Computaçã[email protected]
![Page 2: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/2.jpg)
Visão Computacional – 2008/1 2
Sumário
Introdução Definição do Problema Objetivo
Metodologia Experimentos
Método Proposto x Open Video Conclusões Trabalhos Futuros
![Page 3: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/3.jpg)
Visão Computacional – 2008/1 3
Introdução (1/1) Sumarização automática de vídeos
Fornece rapidamente a informação concisa do conteúdo do vídeo, preservando a mensagem original (Pfeiffer et al., 1996)
Tipos de resumos Resumos estáticos (Keyframes)
Conjunto de quadros-chave Resumos dinâmicos (Video skim)
Conjunto de tomadas (shots)
![Page 4: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/4.jpg)
Visão Computacional – 2008/1 4
Definição do Problema (1/1) Por que resumir vídeos?
Popularização da distribuição de vídeos através da web Muitas vezes o usuário necessita assistir todo o
conteúdo do vídeo para descobrir do que realmente se trata
![Page 5: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/5.jpg)
Visão Computacional – 2008/1 5
Objetivo (1/1)
Desenvolver uma abordagem simples e eficiente para sumarização automática de vídeos, que gere resumos com o menor número de quadros necessários para apresentação das informações, possibilitando o reconhecimento dos principais objetos e eventos presentes no vídeo.
![Page 6: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/6.jpg)
Visão Computacional – 2008/1 6
Metodologia (1/6)
![Page 7: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/7.jpg)
Visão Computacional – 2008/1 7
Metodologia (2/6) 1) Segmentação do Vídeo
Separação do vídeo em quadros FFmpeg Pré-amostragem dos quadros
![Page 8: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/8.jpg)
Visão Computacional – 2008/1 8
Metodologia (2/6) 1) Segmentação do Vídeo
Separação do vídeo em quadros FFmpeg Pré-amostragem dos quadros
![Page 9: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/9.jpg)
Visão Computacional – 2008/1 9
Metodologia (3/6) 2) Extração de Características
Histograma de cor Perfil de linha (horizontal, vertical, diagonal) Espaço de cor
RGB Quantização de cores
![Page 10: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/10.jpg)
Visão Computacional – 2008/1 10
Metodologia (4/6) 3) Técnica de Agrupamento (clustering)
k-means Método mais simples de agrupamentos Definição prévia do número de agrupamentos (k)
Para cada agrupamento, o quadro mais próximo do centróide é selecionado como quadro-chave
![Page 11: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/11.jpg)
Visão Computacional – 2008/1 11
Metodologia (5/6) 4) Eliminação dos quadros-chave semelhantes
Determinação de limiar (experimentação visual) Comparação entre todos os quadros-chave selecionados,
conforme característica extraída
![Page 12: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/12.jpg)
Visão Computacional – 2008/1 12
Metodologia (6/6) 5) Geração do resumo
Ordenação cronológica dos quadros-chave
![Page 13: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/13.jpg)
Visão Computacional – 2008/1 13
Avaliação através de Usuários (1/1)
![Page 14: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/14.jpg)
Visão Computacional – 2008/1 14
Experimentos (1/6) Base de dados
The Open Video Project 20 vídeos 1 a 4 minutos formato MPEG-1 30 fps 320 x 240 pixels Documentários
![Page 15: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/15.jpg)
Visão Computacional – 2008/1 15
Experimentos (2/6) Análise da Taxa de Amostragem
Todos quadros, 30, 45, 60, 75, 90 Histograma 95% de confiança
90 -> perda de informação Todos, 30, 45, 60, 75 -> estatisticamente há diferença 60, 75 -> estatisticamente não há diferença 75
Tempo de execução (segundos)
todos 30 45 60 75 90
média 113,49 3,63 2,59 1,95 1,54 1,35
![Page 16: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/16.jpg)
Visão Computacional – 2008/1 16
Experimentos (3/6) Análise das Características
Projeto Fatorial 2k, k = 2 (histograma) ou k = 3 (perfis de linha)
1) Número de agrupamentos: 15 ou 35 agrupamentos 2) Número de cores quantizadas: 16 ou 256 cores 3) Intervalo entre os perfis de linha: 10 ou 40 linhas
![Page 17: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/17.jpg)
Visão Computacional – 2008/1 17
Experimentos (4/6)
A BTempo de
execução (s)
15 16 1,50
35 16 1,56
15 256 1,68
35 256 1,91
A B CTempo de
execução (s)
Hor. Ver. Diag.
15 16 10 0,87 1,00 1,01
35 16 10 1,26 1,27 1,29
15 256 10 0,81 0,95 1,12
35 256 10 0,96 1,13 1,45
15 16 40 0,65 0,90 0,82
35 16 40 0,67 1,05 1,05
15 256 40 0,86 0,72 0,79
35 256 40 1,11 0,78 0,90
Histograma
Perfis de linha(95% de confiança)
![Page 18: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/18.jpg)
Visão Computacional – 2008/1 18
Experimentos (5/6)
Vídeos
Pontuação
Hist.Perfil de linha
Hor. Ver. Diag.
video2 3,6 3,7 3,5 3,7
video8 2,9 3,4 3,1 2,8
video9 2,8 3,3 2,9 2,9
video11 3,3 3,7 3,5 3,3
video12 3,3 3,4 3,5 3,3
video17 3,7 3,4 3,3 3,1
video18 3,4 3,5 3,4 3,3
video20 3,3 3,3 3,2 3,1
média 3,3 3,5 3,3 3,2
Avaliação dos resumos
![Page 19: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/19.jpg)
Visão Computacional – 2008/1 19
Experimentos (6/6) Execução do algoritmo para os 20 vídeos
6 perfis de linha horizontal 16 cores 15, 20, 25, 30 e 35 agrupamentos
Agrupamentos Pontuação
15 3,6
20 4,2
25 4,3
30 4,0
35 3,7
AgrupamentosTempo de
execução (s)
15 0,59
20 0,64
25 0,63
30 0,64
35 0,65
![Page 20: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/20.jpg)
Visão Computacional – 2008/1 20
Método Proposto x Open Video (1/4) Open Video
Os resumos são gerados utilizando o algoritmo desenvolvido por (DeMenthon et al., 1998)
Refinamentos manuais
Resultados
9 melhores, 5 iguais, 6 piores em relação ao Open Video Pontuação
Maior: 4,4 (Método proposto) x 4,0 (Open Video) Pior: 3,3 Método proposto >= 4,0 -> 5 vídeos Open Video >= 4,0 -> 1 vídeo
![Page 21: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/21.jpg)
Visão Computacional – 2008/1 21
Método Proposto x Open Video (2/4)
vid.Pontuação #Q-chave
MP OV MP OV
v1 4,4 4,0 10 20
v2 3,8 3,8 9 14
v3 3,5 3,5 10 18
v4 4,1 3,8 9 12
v5 3,5 3,9 7 7
v6 3,3 3,3 10 12
v7 3,6 3,0 8 12
v8 3,7 3,8 7 12
v9 3,3 3,4 6 6
v10 3,7 3,4 8 12
vid.Pontuação #Q-chave
MP OV MP OV
v11 3,8 3,8 15 29
v12 3,8 3,6 10 26
v13 4,0 3,7 6 8
v14 3,5 3,8 6 10
v15 3,6 3,7 10 12
v16 4,0 3,7 5 6
v17 4,0 3,7 9 19
v18 3,8 3,8 13 22
v19 3,6 3,3 8 13
v20 3,6 3,8 11 19
![Page 22: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/22.jpg)
Visão Computacional – 2008/1 22
Método Proposto x Open Video (3/4) Exemplo
http://www.youtube.com/watch?v=ZE_zZ2fm39Y
![Page 23: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/23.jpg)
Visão Computacional – 2008/1 23
Método Proposto x Open Video (4/4)
MétodoProposto
OpenVideo
![Page 24: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/24.jpg)
Visão Computacional – 2008/1 24
Conclusões (1/1)
Os resultados gerados apresentaram qualidade com baixo consumo de tempo
Na maioria dos casos, os resumos do método proposto apresentaram qualidade superior em relação aos resumos do Open Video
Mais testes devem ser feitos para confirmar a aplicabilidade da abordagem
![Page 25: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/25.jpg)
Visão Computacional – 2008/1 25
Trabalhos Futuros (1/1) Algumas idéias/necessidades/emergências
Pré-processamento dos quadros Espaço de cor Características Número de agrupamentos Refinamento dos agrupamentos Diferentes gêneros de vídeos Método de avaliação?
![Page 26: Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento.](https://reader036.fdocumentos.tips/reader036/viewer/2022062418/552fc134497959413d8d8303/html5/thumbnails/26.jpg)
Visão Computacional – 2008/1 26
Referências The Open Video Project. http://www.open-video.org.
B. T. Truong and S. Venkatesh. Video abstraction: A systematic review and classification. ACM Trans. on Mult. Comp., Comm., and Appl. (TOMCCAP), 3(1), 2007.
S. Pfeiffer, R. Lienhart, S. Fischer, and W. Effelsberg. Abstracting digital movies automatically. J. Visual Comm. And Image Representation, 7(4):345–353, 1996.