Paulo Roberto [email protected] Recuperação de Informação Multimídia.
Transcript of Paulo Roberto [email protected] Recuperação de Informação Multimídia.
![Page 2: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/2.jpg)
Roteiro Motivação Recuperação de informação textual Recuperação de informação multimídia Conclusões Referências
![Page 3: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/3.jpg)
Motivação
Crescimento das coleções de textos digitais(bibliotecas digitais, Internet, Intranets, ...)
Tempo de busca longo / baixa precisão
Novas técnicas de recuperação de informações (IR)
+
![Page 4: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/4.jpg)
Etapas da Recuperação de Informações (IR)
Coleta daInformaçãodisponível
Seleção daInformaçãodesejada
Apresentaçãoao Usuário
![Page 5: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/5.jpg)
Paradigmas de IR
Processos Fonte daInformação
Filtragem daInformação
Sim Estável
Busca daInformação
Não Dinâmica
Data Mining Não Estável
Acesso à BD Não Estável
Perfil do Usuário
![Page 6: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/6.jpg)
Busca de Informação na Web:
Como localizar a informação relevante? Como modelar o interesse de um usuário
particular?
Aprox. 577.032 docs!!!
![Page 7: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/7.jpg)
Medidas de Eficácia para Busca e FiltragemRecall: total de documentos relevantes retornados
dividido pelo número total dos relevantes.
Precisão: documentos relevantes retornados dividido pelo número total de retornados
Todos os Documentos
Documentos Relevantes
Documentos Retornados
Relevantes Retornados
![Page 8: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/8.jpg)
Por que Agentes + IR?
IR se encaixa no modelo de agentes; Necessidade de acesso a múltiplas
fontes de informação; Necessidade de distribuição
![Page 9: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/9.jpg)
Agentes de Busca
Exemplos: Radix, AltaVista, Lycos, Excite, ...
BrowserConsulta
Resposta
Servidor de Consultas Base de
Índices
Search EngineUsuário
Busca
WebWeb)--(
Robô
Indexing Engine
![Page 10: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/10.jpg)
Agentes que Filtram Informação
Browser
Agente de Filtragem
InternetInternet
Servidor de News
Indexing Engine
Base deÍndices
Perfil dousuário
ex.: Metacrawler, NewsHound, etc.
![Page 11: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/11.jpg)
Montando a Base de Índices Dado um documento, identificar os conceitos que
descrevem o seu conteúdo e quão bem eles o descrevem.
Pesos das Palavras como indicação de relevância:– Frequência relativa da palavra no texto (TFIDF)– Frequência da palavra em relação a outros documentos do
conjunto que está sendo indexado.– Colocação da palavra na estrutura do documento (título, início,
negrito,...)
Palavras com maiores pesos são selecionadas, formando um vetor de representação.
![Page 12: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/12.jpg)
Exemplo de Representação
Brincadeira
O rato roeu a roupado rei de Roma.
brincadeira, t, m, n, irato, 1roeu, 1roupa, 1rei, 2roma, 2, m
brincadeira, 90rato, 70roeu, 70roupa, 70rei, 60roma, 65
brincadeira, 90rato, 70roeu, 70roupa, 70roma, 65rei, 60
RepresentaçãoVetorial doDocumento
![Page 13: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/13.jpg)
Estrutura de Arquivos p/ IR(Montando a Base de Índices)
Arquivos de índices invertidos
Bem-vindo!
UFPE
http://www.ufpe.br
URL: http://www.ufpe.br
ID: 455227
Words: 543, 987
Arquivo Direto
WORD: Bem-vindo
ID: 543
URLs: 455227,...
WORD: UFPE
ID: 987
URLs: 455227,...
Arquivo Invertido
![Page 14: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/14.jpg)
Indexação
Selecionar palavras da página HTML– Converter uma cadeia de caracteres em uma
cadeia de palavras/tokens. (/, -, 0-9,...) Stop-list
– Palavras sem conteúdo semântico são retiradas da indexação
Montar o centróide da página– Palavras-chave que mais aparecem na página
![Page 15: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/15.jpg)
Indexação Indexação Distribuída, Base compartilhada
– Divisão por: Localização Geográfica, Rede, Conteúdo,..
Stemming– Armazenar apenas o radical da palavra,
permitindo variações morfológicas dos termos durante o casamento
engineeringengineeredengineer
engineerengineerengineer
Term Stem
![Page 16: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/16.jpg)
Estratégias de Busca Ontologias
para aumentar precisão e recall.
Stemming String searching
– String matching exato e aproximado (N-Grams) Expansão do vocabulário
– a informação buscada pode ser expressada por diferentes palavras
– utiliza um dicionário de sinônimos
Futebol
Campeonato Brasileiro
Palmeiras
CBF
![Page 17: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/17.jpg)
Extração de Informação Extrai dados relevantes (para um determinado
objetivo) a partir de documentos digitais. Etapas:
– reconhecimento do trecho de informação;– extração da informação.
Exemplo (projeto de mestrado de Carla):
BD (CNCT):
Autor: .... Ano: ....
Título: .... Local: ....
![Page 18: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/18.jpg)
Agentes para IR Transformar o grande número de fontes de
informação em rede de agentes de informação. Organização:
– Estruturação dos agentes.
Conhecimento:– Ontologia ou modelo do seu domínio específico.– Modelo das fontes de informação.
Comunicação:– Protocolo de comunicação comum entre os agentes.
Aprendizado:– Melhorar a exatidão e performance com o tempo.– Lidar com as mudanças do ambiente
![Page 19: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/19.jpg)
Rede de Agentes
WeatherAgent
Logist.Agent
Geograf.Agent
GeoPol.AgentTransp.
AgentMap
Agent
LandAgent Sea
Agent
AirAgent
PortAgent Airport
Repository
HarborAgent
NavalAgent
AtranticRepository
PacificRepository
EuropeanRepository
![Page 20: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/20.jpg)
IR-Multimídia
Motivação:– Existência de grandes volumes de textos, gráficos,
narrações, sons e vídeos “acessíveis” em bases de dados distribuídas
Aplicações:– Diagnósticos médicos (Medical Image Databases)– Reconhecimento de padrões (faces, impressões
digitais, assinaturas, riffs e melodias musicais, etc.)– Pesquisa multimídia
![Page 21: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/21.jpg)
Convergência Digital
![Page 22: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/22.jpg)
Recuperação de Informações Multimídia Recuperação baseada em conteúdo Mas como indexar áudio/vídeo? Problemas...
– Descrevendo imagens/sons através de palavras (cada pessoa conta o filme de uma maneira diferente...)
– Extraindo informações de uma amostra de áudio...
![Page 23: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/23.jpg)
Estado da Arte
Computação Musical, processamento de som, localização frequência-tempo– Narrações: busca direcionada por voz.
Dificuldade de tornar-se independente do usuário
– Música: busca baseada em valores (timbre, altura, duração, etc.)
![Page 24: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/24.jpg)
Estado da Arte visão computacional, reconhecimento de
padrões e processamento de imagem– Fotos: busca baseada em características.
Limitações na tecnologia restringem a busca a domínios específicos
– Vídeo: sofre dos mesmos problemas das fotos. Compara quadros adjacentes com mudanças estruturais quadro-a-quadro. Parâmetros de movimento de câmera (zoom, fading, etc.)
![Page 25: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/25.jpg)
Recuperando Áudio
Categorias de recuperação:– por um trecho específico– por atributos acústicos mensuráveis– por propriedades subjetivas do som
Indexando formas de onda vs.
Indexando arquivos MIDI
![Page 26: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/26.jpg)
Recuperação de Informação Musical Baseada em Conteúdo Uso da tecnologia MIDI facilita o
tratamento... MIDI: nota, instrumento, altura, etc
![Page 27: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/27.jpg)
Recuperando Vídeo
Parsing
Extração do conteúdo e indexação
Recuperaçãoe browsing
![Page 28: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/28.jpg)
Categorias de Recuperação de Vídeo High-level
– Utiliza um conjunto de termos de indexação predefinidos para anotação de vídeo.
– Os termos são organizados em categorias ontológicas de alto nível como ação, tempo, espaço, etc.
– Desenvolveu-se a partir da perspectiva de indexação manual
– É indicada para lidar com pequenas quantidades de vídeos novos e para acessar bases de dados anotadas previamente
![Page 29: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/29.jpg)
Categorias de Recuperaçãode Vídeo Low-level
– Provê acesso a vídeo baseado em propriedades como cor, textura, formas, etc.
– Consiste em extrair características dos dados de vídeo, organizar essas características baseado em alguma distância métrica e usar casamento por similaridade para recuperar o vídeo
– Indexação automática– Principal limitação: ausência de semântica
associada às características
![Page 30: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/30.jpg)
Categorias de Recuperaçãode Vídeo Domínio específico
– Combina as duas anteriores: high-level para restringir a extração e o processamento low-level
– É efetiva no domínio da aplicação– Ex.: parsing e recuperação de vídeos de notícias– Limitação: estreito domínio de aplicabilidade
![Page 31: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/31.jpg)
Técnicas de Indexação de Vídeo
Transformada de Fourier– Processamento de padrões presentes em
imagens
Descritores de Fourier– identificação dos contornos de figuras
geométricas primitivas em imagens– ex: Applet
![Page 32: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/32.jpg)
Técnicas de Indexação (A/V) Wavelets
– ondas pequenas com determinadas propriedades que as tornam adequadas a servirem de base para decomposição de outras funções, assim como senos e cossenos servem de base para decomposições de Fourier.
– Ferramenta matemática para analisar, processar e sintetizar imagens e sinais onde o método de Fourier não obtém performance aceitável
– Aplicações: waveform matching, segmentação de sinais e time-frequency localization
– São adaptáveis para a aplicação em questão
![Page 33: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/33.jpg)
Query Based in Content (QBIC)
Ferramenta de busca, IBM Realiza consultas em grandes bases de dados
de imagens baseadas no conteúdo visual dos dados
Consultas podem ser feitas através de exemplos– “Mostre-me imagens parecidas com esta”
Ou por descrições das propriedades– “Dê-me imagens que contenham muito vermelho”
![Page 34: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/34.jpg)
Trademark Server
Permite navegação e busca de padrões de marcas registradas.
O sistema combina o IBM's DB2 Universal Database para consultar os campos numéricos e textuais e o QBIC(tm) para a consulta das figuras
Versão demo...
![Page 35: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/35.jpg)
Considerações Finais
Repositórios multimídia precisam mais do que armazenagem e acesso em rede– indexação
Extração automática completa ainda é impossível– interface
Mantra para desenvolvimento: “Overview first, zoom and filter, then details on demand”
Shneiderman
![Page 36: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/36.jpg)
Referências - Papers
Bibliography os Papers on Multimedia Retrieval. Seminários sobre Recuperação de Informação. Paulo
Oliva e Mariana Neves Representação e Recuperação Baseada em Conteúdo
de Partituras Musicais em Bases de Dados Orientadas a Objetos. Figueiredo, M.B. Traina, C. Traina, ª
Busca e Recuperação de Informação Musical. Miccolis, A. V Simpósio Brasileiro de Computação e Música, UFRJ
Image and Sound Digital Libraries Need More Than Storage and Networked Access. Aigrain, P. ISDL’95
![Page 37: Paulo Roberto prps@di.ufpe.br Recuperação de Informação Multimídia.](https://reader036.fdocumentos.tips/reader036/viewer/2022062404/552fc10b497959413d8c2705/html5/thumbnails/37.jpg)
Referências - Links
QBIC Homepage. http://wwwqbic.almaden.ibm.com/ Trademark Server.
http://wwwqbic.almaden.ibm.com/tmdemo/ Wavelets at LSI. http://www.lsi.usp.br/~regis/wlets.html Computer-Assisted Perception: A Framework for
Multimedia Interaction with Existing Media http://www.irit.fr/ACTIVITES/EQ_AMI/AIGRAIN/manifest.html
Fourier Descriptors. http://www.cim.mcgill.ca/~adq/fourdescrip/FD.html