inf207 introdu o parte2 2t2010 v2 -...
Transcript of inf207 introdu o parte2 2t2010 v2 -...
INFINF--207207Sistemas ComputacionaisSistemas Computacionais
para Processamento Multimídiapara Processamento Multimídia
IntroduçãoIntroduçãoIntroduçãoIntroduçãoParte 2Parte 2
22°°°°°°°°QQ--20102010
Prof. Roberto Prof. Roberto JacobeJacobe ([email protected])
Prof. Marcelo Z. do Prof. Marcelo Z. do NascimentoNascimento (([email protected])
1
Sumário
• Introdução;
• Sistema Multimídia;
• Arquivos;
• Codificação; • Codificação;
• Compressão;
• Comunicação multimídia;
• Outras Informações;
• Leituras Sugeridas.
2
Introdução• Multimídia é muito mais que apenas reproduzir um
filme de um DVD:
• DVD x CD = subtrato de policarbonato de 120 mm;
• Densidades mais alta de gravação > capacidade de
armazenamento;
• Tranferência de videoclipes pela Internet:• Tranferência de videoclipes pela Internet:
• ADSL e TV a cabo.
• Jogos de computadores também aplicam esses
recursos em algum tipo de ação durante sua execução.
• Vídeo sob demanda (video on demand):
• Capacidade de um usuário em casa selecionar um filme usando
o controle remoto do televisor
3
Introdução• Vídeo sob demanda (video on demand):
• Taxa de dados extremamente altas;
• Infraestrutura (Servidor, rede e caixa digital);
• Reprodução em tempo real (temporal).
ADSLADSL
TV a cabo
4
• Multimedia é qualquer combinação de texto, aúdio animação e vídeo manipulados de forma digital;
• Ambos, mídia discreta ou contínua pode ser utilizado;
• Significantes níveis de independência entre mídia
Introdução
• Significantes níveis de independência entre mídia pode ser aplicado;
• O software e hardware dão limites do que pode ser explorados em uma plataforma multimídia ou ambiente;
• Multimídia pode ser interativo quando o usuário final pode controlar o que e quanto os elementos são direcionados.
5
Sistema Multimídia• Taxa de Dados de algumas fontes digitais multimídia
• Requer compressão e memória;
• Exemplo: Filme HDTV -> 2 horas sem compressão e com alta
definição requer 570 GB.
7
ArquivosArquivos Multimídia
• Arquivos tradicionais são formados por uma sequência
de bytes sem qualquer estrutura que o SO possa
reconhecer;
• Multimídia: Vídeo e áudio são completamente • Multimídia: Vídeo e áudio são completamente
diferentes:
• São capturados por dispositivos diferentes e reproduzidos
também por equipamentos não equivalente;
• Opção de selecionar o idioma: vários arquivos de áudio;
• Vários arquivos textos com legendas para um idioma.
8
ArquivosArquivos Multimídia
• Sistema precisa manter controle sobre multiplos
“subarquivos” por arquivo;
• Necessidade de uma nova estrutura de dados que
relacione todos os subarquivos de um arquivo
multimídia;multimídia;
• Também é possível criar um i-node bidimensional em
que cada coluna relaiona os blocos de cada subarquivo;
• Além disso, é importante manté-los de forma
sincronizada para que a reprodução áudio e vídeo
garanta os dados “alinhados”.
10
CodificaçãoÁudio• Uma onda sonora -> onda acústica (de pressão)
unidimencional;
• Ondas acústicas atingem o microfone-> gera um sinal
elétrico que representa a amplitude do som como uma elétrico que representa a amplitude do som como uma
função do tempo;
• O intervalo do alcance de frequência vai de 20 a 20 mil
Hz -> percepção é registrada numa escala definida por
dB (decibeis);
• As ondas são convertidas em digital por um CAD (analog digital converter).
11
CodificaçãoErro
• Amostra o sinal em cada N segundos;
• O erro introduzido pelo número finito de bits por amostra é chamado de quantização.
12
CodificaçãoVídeo
• O olho humano:
• Ao atingir a retina -> uma imagem é retirada por alguns
milissegundos antes de desaparecer;
• Se mais de 50 imagens por segundo atingem a retina;
• O olho não consegue perceber que está sendo exibido imagens • O olho não consegue perceber que está sendo exibido imagens discretas.
• Sistema de Vídeo => TV PxB• Imagem 2D-> função unidimensional da voltagem em relação ao
tempo;
• Câmera percorre um feixe de elétrons rapidamente de um lado
para outro lentamente de cima para baixo e registra a
intensidade luminosa -> quadro.13
CodificaçãoCodificação
• Movimentos suaveis ->pessoas podem perceber a imagem
tremula:
• Necessidade de mais quadros/seg -> maior largura de banda.
• Sistema de Vídeo => TV PxB
• O NTSC (National Television System Committee) fornece 525 • O NTSC (National Television System Committee) fornece 525
linhas e 29,97 quadros/ seg.
• O sistema PAL (Phase Alternating Line) e SECAM (Séquentiel
Couleur à Mémoir) tem 625 linhas -> 25 quadros/seg.
• Solução:
• adotou-se mostrar primeiro as linhas de varredura impares e
depois as linhas pares->cada um desses meio quadro=> campo
=> técnica de entrelaçamento != Progressivo.15
CodificaçãoCodificação
• Sistema de Vídeo => Colorido
• Emprega 3 faixas movendo-se em uníssono (harmonizar);
• Usa-se o RGB (RED, GREEN e BLUE) -> transmissão ocorre a
combinação em um único composto;
• Sinal a cores -> receptor em P x B: 1 luminância (brilho) e 2 • Sinal a cores -> receptor em P x B: 1 luminância (brilho) e 2
crominância (cor).
• Vídeo Digital -> sequência de quadros
• Cada quadro contém uma grade retangular de elementos->
pixels. Emprega normalmente 25 quadros para produzir os
movimentos suáveis;
• Alerta: parâmetros aplicados -> dependem da largura de banda.
• Exemplo: 1600 x 1200 (VXGA)=> 24 bits -> 25 quadros/seg
~= 1,2 Gbps 16
Compressão• Sistema de compressão precisa de 2 algoritmos:
• Algoritmo de Codificação
• Algoritmo de Decodificação
• Diferenças em aplicações.
• Filme será codificado somente uma vez;
• Será decodificado milhares de vezes => algoritmo lento;
• VideoConferência=> não é possivel codificação lenta.
• Fatores ponderantes:
• Mídia não há necessidade de reverter em 100 % devido a
codificação/decodificação;
• Sistema de compressão utilizado pode apresentar perdas.
• Há perdas para oferecer uma compressão muito melhor.
17
CompressãoJPEG (joint photographic experts group)
• Padrão multimídia utilizado para imagens em
movimento;
• Usados com vídeo RGB de 24 bits
• Exemplo: JPEG de 640 x 480 com 24 bits/pixel• Exemplo: JPEG de 640 x 480 com 24 bits/pixel
• Passos da Codificação:
• 1- preparação do bloco;
• Uso da luminância e cromonância oferece melhor compreensão
• São calculados os sinais Y (brilho), I (cromonância), Q a
partir dos valores RGB.
• Matrizes são construidas, separadas, cada uma com elementos
de 0 a 255.
18
Compressão
JPEG (joint photographic experts group)
• 1- preparação do bloco;
• Calcula a média de todos os blocos quadrados de 4 pixels nas
matrizes I e Q, reduzindo para 320 x 240 pixels
• Não influenciam muito o olho, pois é mais sensível a luminância• Não influenciam muito o olho, pois é mais sensível a luminância
e não a crominância.
• Cada elemento de todas as matrizes é subtraído de 128 para
que o 0 fique na metade do intervalo;
• Cada matriz é dividida em blocos de 8 x 8 pixels
• Matriz Y tem 4800 blocos e as outras tem 1200 blocos
19
CompressãoJPEG (joint photographic experts group)
• 1- preparação do bloco;
• Uso da luminância e cromonância oferece melhor
compreensão são calculados os sinais Y, I e Q.
20
CompressãoJPEG (joint photographic experts group)
• 2- Aplica a Transformada Discreta de Cosseno (TDC);
• Aplica-se TDC em cada bloco => matriz 8 x 8 de coeficiente
DCT => o elemento DCT (0,0) é o valor médio do bloco;
• Outros indiciam a quantidade potência espectral presente em
cada frequência espacial.cada frequência espacial.
• 3 – Quantização
• Coeficientes menos importantes são eliminados => usa uma
tabela -> divide cada elemento DCT por um peso;
• 4 - Reduz
• O valor (0,0) de cada bloco é substituido pelo tanto que ele
difere do elemento correspondente no bloco anterior;
21
CompressãoJPEG (joint photographic experts group)
Cada aplicação fornece sua tabela de quantização
Matriz inicial, Coeficientes quantizados Tabela
23
Coeficientes com maior frequência
CompressãoJPEG (joint photographic experts group)
• 5- Linearização:
• A matriz resultante quantizada => a simples
utilização das linhas da matriz em sequência gera um
vetor com distribuição de zeros e não zeros em todo vetor com distribuição de zeros e não zeros em todo
o vetor;
24
CompressãoJPEG (joint photographic experts group)
• 5- Linearização:
• Uma linearização em zig-zag é utilizada (64
elementos).
25
CompressãoJPEG (joint photographic experts group)
• Com a lista dos números que representam a imagem no
espaço de transformação, codifica a imagem usando o
código de Huffman:
• Método que utiliza a probabilidade de ocorrência de Método que utiliza a probabilidade de ocorrência de
símbolos no conjunto de dados a ser comprimido para determinar códigos de tamanho variável para
cada símbolo.
26
CompressãoPadrão MPEG (Motion Picture Experts Group)
• MPEG 1-> gera saída de qualidade para gravação de
video usando uma taxa de 1,2 Mbps;
• MPEG 2-> foi projetado para comprimir vídeo com
qualidade de transmissão em taxas de 4 a 6 Mbps;qualidade de transmissão em taxas de 4 a 6 Mbps;
• Esse padrão tira vantagens em 2 tipos de redundância
que existem em imagem em movimento para
compressão das informações;
• A redundância espacial -> codificar cada quadro separado com
JPEG
• Pode haver quadros consecutivos quase identicos (temporal).
27
CompressãoPadrão MPEG (Motion Picture Experts Group)
• A redundância espacial -> codificar cada quadro
separado com JPEG
• Pode haver quadros consecutivos quase identicos (temporal).
28
28
Compressão
Padrão MPEG (Motion Picture Experts Group)
• A redundância temporal: quadros sucessivos;
• Ao invés de transmitir os quadros como uma sequência de
imagens, somente algumas imagens são enviadas;
• As demais somente a diferença entre o quadro e o quadro
predito são enviadas.predito são enviadas.
950 951 952
29
CompressãoPadrão MPEG (Motion Picture Experts Group)
• Vídeo Digital ->usa somente o esquema tipo JPEG para aplicações
em tempo real.
• Para cenas em que a camera e fundo são estacionário => subtrai
cada quadro do anterior e executa o JPEG para compressão;
• A saída MPEG-2 consiste em 3 tipos diferentes de quadros que• A saída MPEG-2 consiste em 3 tipos diferentes de quadros que
são processados pelo programa de visualização:
• I intracodificados: imagens estáticas autocontidas codificadas
com JPEG;
• P preditivos: diferença bloco por bloco com o último quadro
• B bidirecionais: diferença entre o último e o próximo quadro
30
Tipos de Quadros
3 Tipos de Quadros: I, P, BI : Todas as informações para apresentar o quadroP: Codificação preditiva a partir do I ou P.
B: Codificação preditiva a partir do I ouanteriores e dos próximos I ou P.
I P IP PB B B B B B B B
31
• Quadros I– Taxa de compressão similar ao JPEG => ordem de 10:1 a 20:1.
– Tempo de processamento para compressão é baixo.
• Quadros P– Depende muito do método de busca de blocos na estimação de
movimento, chegando a compressão da ordem de 20:1 a 30:1.
Compressão
– Depende muito do método de busca de blocos na estimação de movimento, chegando a compressão da ordem de 20:1 a 30:1.
– Tempo de processamento para compressão é intermediário.
• Quadros B– Depende muito do método de busca de blocos na estimação de
movimento, chegando a compressão da ordem de 30:1 a 50:1.
– Tempo de processamento para compressão é relativamente alto.
32
• Compressão MPEG é usada em:
– Televisão digital;
– Decodificador HDTV;
Compressão
– DVD players;
– Vídeoconferência;
– Vídeo na Internet
– ..
33
• Compreende um conjunto de técnicas necessárias para
distribuir os sistemas multimídia;
• Relacionado a tranferência, protocolos, serviços e
mecanismos de mídia discreta ou contínua sobre redes
de comunicação;
Comunicação Multimídia
de comunicação;
• Exemplo: protocolo projetado para reservar capacidade para
dados de mídia contínua em conjunto com mídia discreta em uma
rede ATM.
• Em aplicações de redes multimídias, vários mecanismos
são aplicados para fornecer QoS para propriedades da
mídia em questão.
34
• Nesse contexto podemos definir 4 camadas de QoS:
• QoS de usuário: informações necessárias para percepção dos
dados da mídia na interface do usuário;
• QoS de aplicação: define os requisitos necessário para que os
serviços da aplicação especifique a qualidade da mídia (delay) e
Comunicação Multimídia
serviços da aplicação especifique a qualidade da mídia (delay) e
relação da mídia (sincronização);
• QoS de sistema: parâmetros que descrevem requeridos no
serviço de comunicação resultante do QoS de aplicação;
• QoS de rede: descreve requisito de serviços de rede;
35
• Exemplos de parâmetros multimídia e QoS:
– QoS para serviço de áudio:
• Taxa de amostragem – 8000 amostra/second
• Resolução – 8 bits por amostra
Comunicação Multimídia
– QoS para redes de computadores:
• Throughput – 100 Mbps
• Tempo de configuração da conexão – 50 ms
36
• Para fornecer QoS usando reserva de recurso e escalonamento, essas etapas devem ocorrer:
• Especificação de QoS: a carga de trabalho e o QoS esperado
deve ser especificado para habilitar o sistema para
determinada onde e quando o QoS deve ser fornecido;
• Teste de capacidade e cálculo de QoS: quando uma aplicação
Comunicação Multimídia
• Teste de capacidade e cálculo de QoS: quando uma aplicação
emite sua requisição de QoS, o controle do sistema deve
checar onde essa demanda pode se satisfeita, solicitando a
reserva existente;
• Reserva de capacidade de recurso: de acordo com a garantia
de QoS =>s recursos devem ser reservados;
• Comprimento de garantia de QoS: a garantia deve ser
comprida por um escalonamento de acesso ao recurso;
38
Leituras Sugeridas• Computer Networking, A Top-Down Featuring the
Internet by James F.Kurose & Keith W.Ross.
• Fundamentals of Multimedia, Ze-Nian Li & Mark S. Drew, Pearson Education.
• Lars C. Wolf, Carsten Griwodz, and Ralf Steinmetz, "Multimedia Communication," Proceedings of the IEEE, Vol. 85, No. 12, pp. 1915-1993, December 1997.
39