GlobalPhone - Central Telefónica Manual de Utilização dos ...
VIDEOTELEFONIA E VIDEOCONFERÊNCIA NA RDISfp/cav/ano2006_2007/Slides/CAV_6_H320_2007_Web.pdf ·...
Transcript of VIDEOTELEFONIA E VIDEOCONFERÊNCIA NA RDISfp/cav/ano2006_2007/Slides/CAV_6_H320_2007_Web.pdf ·...
Comunicação de Áudio e Vídeo, Fernando Pereira
VIDEOTELEFONIA E VIDEOTELEFONIA E VIDEOCONFERÊNCIA NA VIDEOCONFERÊNCIA NA
RDISRDIS
Fernando Pereira
Instituto Superior Técnico
Comunicação de Áudio e Vídeo, Fernando Pereira
VídeoVídeo DigitalDigital
Comunicação de Áudio e Vídeo, Fernando Pereira
Vídeo versus ImagemVídeoVídeo versus versus ImagemImagem
�� ServiçosServiços de de ImagemImagem FixaFixa - não têm à partidarequisitos temporais rigorosos
�� ServiçosServiços de de VídeoVídeo ((imagemimagem emem movimentomovimento)) - existe a obrigaçãode respeitar limitações temporais rigorosas impostas pelanecessidade de garantir uma boa ‘ilusão de movimento’
A cada serviço de comunicação de imagem e vídeo pode associar-se um objectivo de qualidade que começa logo por determinar as
resoluções espacial e temporal a usar.
Comunicação de Áudio e Vídeo, Fernando Pereira
Porque se Codifica a Informação de Vídeo ?Porque se Codifica a Informação de Vídeo ?Porque se Codifica a Informação de Vídeo ?
Uma sequência de vídeo é criada e consumida como um conjunto de imagens ocorrendo no tempo a uma certa
frequência temporal (F), cada uma delas com M××××N amostras de luminância e crominância, com um certo
número de bits por amostra (L)
logo o número de bits
- e a banda e a memória - necessário para representar digitalmente uma sequência de vídeo é ENORME !!!
Comunicação de Áudio e Vídeo, Fernando Pereira
Videotelefonia: Apenas um ExemploVideotelefoniaVideotelefonia: : ApenasApenas um um ExemploExemplo
� Resolução: 10 imagem/s com 288××××360 amostras de luminância e 144 ×××× 188 amostras de cada crominância, a 8 bit/amostra
[(360 ×××× 288) + 2 ×××× (180 ×××× 144)] ×××× 8 ×××× 10 = 12.44 Mbit/s
� Débito razoável: e.g. 64 kbit/s para um canal RDIS
=> Factor de => Factor de compressãocompressão: 12.44 Mbit/s/64 kbit/s : 12.44 Mbit/s/64 kbit/s ≈≈≈≈≈≈≈≈ 194194
A A diferençadiferença entreentre codificarcodificar e e nãonão codificarcodificar podepode implicarimplicar a a existênciaexistência ouou nãonão de um de um serviço/indústriaserviço/indústria..
Comunicação de Áudio e Vídeo, Fernando Pereira
Vídeo Digital: o Porquê das DificuldadesVídeoVídeo Digital: o Digital: o PorquêPorquê das das DificuldadesDificuldades
Serviço Resoluçãoespacial –Lum. (Y)
Resoluçãoespacial –
Crom. (U,V)
Resoluçãotemporal
Factor deforma
Débitobinário(PCM)
TV alta
definição1152 × 1920 576 × 960 50 img/s 16/9 1.3 Gbit/s
TV (qualidade
difusão, DVD)576 × 720 576 × 360 25 img/s
entrelaçadas
4/3 166 Mbit/s
TV (gravaçãoCD)
288 × 360 144 × 180 25 img/sprogressivas
4/3 31 Mbit/s
Videotelefoniae Videoconfer.
288 × 360 144 × 180 10 img/sprogressivas
4/3 12.4 Mbit/s
Videotelefoniamóvel
144 × 180 72 × 90 5 img/sprogressivas
4/3 1.6 Mbit/s
Comunicação de Áudio e Vídeo, Fernando Pereira
Codificação de Vídeo: uma DefiniçãoCodificação de Vídeo: uma DefiniçãoCodificação de Vídeo: uma Definição
Representação o mais eficiente possível (menor número de bits), de uma sequência periódica de imagens
correlacionadas, satisfazendo o conjunto de requisitos relevantes, p.e. qualidade mínima e resiliência a erros.
E os requisitos variam segundo as aplicações e as respectivas funcionalidades ...
Comunicação de Áudio e Vídeo, Fernando Pereira
Serviço Resoluçãoespacial
Resoluçãotemporal
Débitobinário(PCM)
Débitobinário
codificado
Factor decompressão
TV alta
definição1152 × 1920
576 × 960
50 img/s 1.3 Gbit/s 34 Mbit/s 38.2
TV alta
definição1152 × 1920
576 × 960
50 img/s 1.3 Gbit/s 17 Mbit/s 76.5
TV (qualidade
difusão, DVD)576 × 720
576 × 360
25 img/s
entrelaçadas
166 Mbit/s 6 Mbit/s 27.5
TV (qualidade
difusão, DVD)576 × 720
576 × 360
25 img/s
entrelaçadas
166 Mbit/s 3 Mbit/s 55
TV (gravação
CD)288 × 360
144 × 180
25 img/s
progressivas
31 Mbit/s 1.15 Mbit/s 27
Videoconfer. 288 × 360
144 × 180
25 img/s
progressivas
31 Mbit/s 2 Mbit/s 15.5
Videoconfer. 288 × 360
144 × 180
10 img/s
progressivas
12.4 Mbit/s 384 kbit/s 32.3
Videotelefonia
fixa288 × 360
144 × 180
10 img/s
progressivas
12.4 Mbit/s 64 kbit/s 194
Videotelefonia
móvel (GSM)144 × 180
72 × 90
5 img/s
progressivas
1.6 Mbit/s 13 kbit/s 100
Comunicação de Áudio e Vídeo, Fernando Pereira
Codificando ...Codificando ...Codificando ...
O codificador (de fonte) representa as imagens
através de um conjunto de símbolos, e a seguir
bits, usando as ferramentas de
codificação disponíveis.
O codificador extrai o ‘sumo’ das imagens !
Comunicação de Áudio e Vídeo, Fernando Pereira
A Interoperabilidade como Requisito:Para que mais não seja menos ...A A InteroperabilidadeInteroperabilidade comocomo RequisitoRequisito::Para Para queque maismais nãonão sejaseja menosmenos ......
� A codificação é essencial para os serviços audiovisuais digitaisonde a interoperabilidade é um requisito básico.
� A interoperabilidade requere a especificação de normas de codificação audiovisual.
� Para permitir alguma evolução das normas e a saudávelcompetição entre empresas, as normas devem especificar o mínimo de elementos possível, tipicamente a sintaxe do fluxobinário e o descodificador (não o codificador !).
Comunicação de Áudio e Vídeo, Fernando Pereira
Normas de Codificação de VídeoNormasNormas de de CodificaçãoCodificação de de VídeoVídeo
�� ITUITU--T H.120T H.120 (1984) - Videoconferência (1.5 - 2 Mbit/s)
�� ITUITU--T H.261T H.261 (1988) - Serviços audiovisuais (videotelefonia e videoconferência) a p××××64kbit/s, p=1,…,30
�� ISO/IEC MPEGISO/IEC MPEG--11 (1990)- Vídeo em CD-ROM
�� ISO/IEC MPEGISO/IEC MPEG--22 ou ITU-T H.262 (1993)- TV digital
�� ITUITU--T H.263T H.263 (1996) - Vídeo na rede telefónica analógica e móvel
�� ISO/IEC MPEGISO/IEC MPEG--44 (1998) - Objectos audiovisuais
�� ISO/IEC MPEGISO/IEC MPEG--4 AVC4 AVC ou ITU-T H.264 (2003) – Mais eficiência
Comunicação de Áudio e Vídeo, Fernando Pereira
Normas: Fixar e … Inovar Normas: Fixar e … Inovar Normas: Fixar e … Inovar
Codificador
Descodificador
Normativo !Normativo !
Comunicação de Áudio e Vídeo, Fernando Pereira
Terminal e Terminal e ComunicaçãoComunicaçãode de VideotelefoniaVideotelefonia
ITUITU--T H.320T H.320
Comunicação de Áudio e Vídeo, Fernando Pereira
Videotelefonia e VideoconferênciaVideotelefoniaVideotelefonia e e VideoconferênciaVideoconferência
Comunicações pessoais (bidireccionais) em tempo real !
Comunicação de Áudio e Vídeo, Fernando Pereira
Rec. ITU-T H.320: MotivaçõesRec. ITURec. ITU--T H.320: MotivaçõesT H.320: Motivações
� O início dos trabalhos que deram origem às recomendaçõesH.320/H.261 remonta a 1984 quando se constata:
� O aumento significativo da procura de serviços de imagem, nomeadamente de videotelefonia e videoconferência, bem comoa disponibilidade de linhas digitais a 64, 384 e 1536/1920 kbit/s.
� A disponibilidade a curto prazo em muitos países de linhasRDIS e a necessidade de disponibilizar equipamento quepossibilitasse a comunicação de imagem neste contexto.
� A constatação de que a recomendação H.120 paravideoconferência, acabada de sair, estava já na alturaultrapassada devido aos rápidos desenvolvimentos na área dacodificação de vídeo.
Comunicação de Áudio e Vídeo, Fernando Pereira
RDIS: Motivação e ObjectivoRDIS: RDIS: MotivaçãoMotivação e e ObjectivoObjectivo
� Crescente uso da tecnologia digital na transmissão e comutação de vozdevido às suas variadas vantagens
� Procura crescente de serviços de transmissão de dados à medida que o custo dos computadores baixa
� Vantagens da integração de serviços numa única rede
� Necessidade de criar serviços que pudessem justificar a digitalização darede local com vista à RDIS de banda larga
Oferecer aos utentes a possibilidade de estabelecer ligações digitais através de um conjunto limitado de acessos suportando uma vasta gama de serviços
destinados a dados, voz, áudio e vídeo.
Tendo em conta a vastidão da estrutura de comunicações disponível, a evolução para a RDIS deverá ser gradual e baseada nos recursos
actualmente disponíveis.
Comunicação de Áudio e Vídeo, Fernando Pereira
RDIS: Características BásicasRDIS: RDIS: CaracterísticasCaracterísticas BásicasBásicas
� RDIS de Banda Estreita (Narrowband-ISDN) - deverá oferecer débitos binários atépoucos Mbit/s
- Baseia-se na rede telefónica actual de acessibilidade geral o que garante uma boa coberturageográgica
- Envolve o uso de centrais de comutação e transmissão digital para além de processamentodigital do sinal
- Usa um novo tipo de sinalização entre centrais públicas (ITU-T nº 7)
� RDIS de Banda Larga (Broadband-ISDN) - deverá oferecer débitos binários atévárias centenas de Mbit/s integrando todos os serviços quer no acesso quer naprópria rede
- Envolve um horizonte temporal mais largo e depende da disponibilidade em larga escala de meios de transmissão de banda larga, p.e. fibra óptica
- Baseia-se no modo de transferência assíncrono (ATM) e na transmissão de pacotes com dimensão fixa
- Oferece alocação dinâmica de recursos através de um contrato de tráfego
Comunicação de Áudio e Vídeo, Fernando Pereira
Canais Básicos RDISCanaisCanais BásicosBásicos RDISRDIS
�� Canal B Canal B -- 64 kbit/s64 kbit/s - as ligações num canal B podem ser feitascom comutação de circuito, de pacotes ou alugadas
�� Canal D Canal D -- 16 16 ouou 64 kbit/s64 kbit/s - têm como principal funçãotransportar a sinalização associada aos canais B; nos tempos mortos podem ser usados para transmitir dados dos utentes emmodo pacote
�� Canal H Canal H -- 384, 1536 384, 1536 ouou 1920 kbit/s1920 kbit/s - disponibilizam ligações de débito binário superior
Comunicação de Áudio e Vídeo, Fernando Pereira
O Acesso à RDISO O AcessoAcesso à RDISà RDIS
� Os canais RDIS são agrupados segundo 2 tipos de acesso, oferecidos ao utente:
�� AcessoAcesso BásicoBásico (2B+D)(2B+D) - Consiste em 2 canais B de 64 kbit/s (full-duplex) e um canal D de 16 kbit/s (full-duplex); estaconfiguração corresponde a um débito total de 192 kbit/s, incluindo a sincronização e o overhead de trama.
�� AcessoAcesso PrimárioPrimário - Oferece 2 configurações relacionadas com as hierarquias de transmissão digital:
- Europa usa 2048 kbit/s (30B+D)
- EUA/Canadá/Japão usam 1544 kbit/s (23B+D)
Comunicação de Áudio e Vídeo, Fernando Pereira
Videotelefonia e Videoconferência: Principais CaracterísticasVideotelefoniaVideotelefonia e e VideoconferênciaVideoconferência: : PrincipaisPrincipais CaracterísticasCaracterísticas
� Comunicações pessoais (ponto a ponto oumultiponto a multiponto limitado)
� Comunicações bidireccionais simétricas(todos os pontos envolvidos têmcaracterísticas semelhantes)
� Requisitos de atraso críticos
� Requisitos de qualidade baixos ouintermédios
� Impactos psicológicos e sociológicosfortes
Comunicação de Áudio e Vídeo, Fernando Pereira
Terminal H.320Terminal H.320Terminal H.320
Comunicação de Áudio e Vídeo, Fernando Pereira
Estabelecimento de uma Comunicação H.320
Estabelecimento Estabelecimento de uma de uma Comunicação Comunicação H.320H.320
A norma H.242 define o protocolo de comunicação entre terminais H.320 nas
fases iniciais de estabelecimento da ligação.
Comunicação de Áudio e Vídeo, Fernando Pereira
Norma H.221: Estrutura de TramaNorma H.221: Estrutura de TramaNorma H.221: Estrutura de Trama
� A norma H.221 define a estrutura
de trama para serviços
audiovisuais em canais de 64
kbit/s simples ou múltiplos.
EstruturaEstrutura de de tramatrama parapara um canal de 64 kbit/s um canal de 64 kbit/s -- Canal B Canal B emem RDISRDIS
Comunicação de Áudio e Vídeo, Fernando Pereira
CodificaçãoCodificação de de VídeoVídeo: : Norma ITUNorma ITU--T H.261T H.261
Comunicação de Áudio e Vídeo, Fernando Pereira
Norma H.261: ObjectivoNorma H.261: ObjectivoNorma H.261: Objectivo
É a primeira norma internacional para codificação de vídeo(com adopção significativa) introduzindo assim o conceito de
compatibilidade em codificação de vídeo digital.
Codificação eficiente de sequências
videotelefónicas ou de videoconferência com
qualidade mínimaaceitável usando débitosentre 40 kbit/s e 2 Mbit/s
e visando canaissíncronos (RDIS) a p××××64
kbit/s, com p=1,...,30.
Comunicação de Áudio e Vídeo, Fernando Pereira
Esquema Básico da Codificação H.261EsquemaEsquema BásicoBásico dada CodificaçãoCodificação H.261H.261
Comunicação de Áudio e Vídeo, Fernando Pereira
H.261: Sinais a CodificarH.261: Sinais a CodificarH.261: Sinais a Codificar
� Os sinais amostrados, para cada imagem, são a luminância (Y) e 2 sinais de crominância, designados por CB e CR ou U e V.
� As amostras são quantificadas segundo a recomendação ITU-R BT-601 (8 bit/amostra), sendo:
- Preto = 16; Branco = 235; Diferença de cor nula = 128
- Picos de diferença de cor (U,V) = 16 e 240
� O algoritmo opera sobre sequências não-entrelaçadas(progressivas) a 29.97 img/s. A frequência temporal pode ser diminuída aceitando-se 0, 1, 2 ou 3 imagens não transmitidasentre cada uma transmitida.
YUVYUV
Comunicação de Áudio e Vídeo, Fernando Pereira
H.261: Formato da ImagemH.261: Formato da ImagemH.261: Formato da Imagem
Duas resoluções espaciais são possíveis:
� CIF (Common Intermediate Format) - 288 ××××352 pels para a luminância (Y) e 144 ×××× 176 pels para cada uma das crominâncias (U,V) ou seja 4:2:0, posicionados em 'quincux’, progressivos, 30 tramas/s e com factor de forma 4/3
� QCIF (Quarter CIF) - semelhante ao CIF mascom metade da resolução espacial em cadadirecção ou seja 144 ×××× 176 pels para a luminância e 72 ×××× 88 pels para cada uma das crominâncias
Todos os codecs devem funcionar em QCIF e alguns podem também funcionar em CIF.
Comunicação de Áudio e Vídeo, Fernando Pereira
Formatos de Subamostragem para a CrominânciaFormatosFormatos de de SubamostragemSubamostragem parapara a a CrominânciaCrominância
FormatoCrominância
AmostrasLum/Linha
LinhasLum/Imagem
AmostrasCrom/Linha
LinhasCrom/Imagem
FactorSubamostr.Horizontal
FactorSubamostr.
Vertical
4:4:4 720 576 720 576 - -
4:2:2 720 576 360 576 2:1 -
4:2:0 720 576 360 288 2:1 2:1
4:1:1 720 576 180 576 4:1 -
4:1:0 720 576 180 144 4:1 4:1
Comunicação de Áudio e Vídeo, Fernando Pereira
Groups Of Blocks (GOBs), Macroblocos e BlocosGroups Of BlocksGroups Of Blocks (GOBs), (GOBs), MacroblocosMacroblocos e e BlocosBlocos
1 2
3 4
5 6
GOB 1 GOB 2
GOB 3 GOB 4
GOB 7
GOB 6
GOB 8
GOB 9
GOB 5
GOB 11
GOB 10
GOB 12
� Espacialmente a sequência de vídeo estáorganizada segundo umaestrutura hierárquicacom 4 níveis:
- Imagem
- Grupo de Blocos (GOB)
- Macrobloco (MB)
- Bloco
CIFCIF
QCIFQCIF
YYUU VV
4:2:04:2:0
Comunicação de Áudio e Vídeo, Fernando Pereira
Comunicação de Áudio e Vídeo, Fernando Pereira
Imagem é Codificada como um Sequeência de Macroblocos … GOB após GOB …ImagemImagem é é CodificadaCodificada comocomo um um SequeênciaSequeência de de MacroblocosMacroblocos … GOB … GOB apósapós GOB …GOB …
GOB 1 GOB 2
GOB 3 GOB 4
GOB 7
GOB 6
GOB 8
GOB 9
GOB 5
GOB 11
GOB 10
GOB 12
Comunicação de Áudio e Vídeo, Fernando Pereira
H.261: Técnicas de CodificaçãoH.261: Técnicas de CodificaçãoH.261: Técnicas de Codificação
� Redundância Temporal
� Codificação preditiva: transmissão das diferenças e compensação de movimento
� Redundância Espacial
� Codificação de transformada (DCT)
� Redundância Estatística
� Codificação entrópica de Huffman
� Irrelevância
� Quantificação dos coeficientes DCT
Comunicação de Áudio e Vídeo, Fernando Pereira
ExplorandoExplorando a a RedundânciaRedundância TemporalTemporal
Comunicação de Áudio e Vídeo, Fernando Pereira
Predição TemporalPredição TemporalPredição Temporal
A predição temporal baseia-se no princípio de que, localmente, cadaimagem pode ser representada a partir de uma parte da imagem
precedente.
� A qualidade da predição determina fortemente o desempenho do algoritmo de codificação já que define a energia do sinal diferença- o erro de predição.
� Quanto menor for o erro, menor a energia a transmitir e logo- Melhor qualidade pode ser conseguida para um dado débito binário
disponível
- Menor débito binário é necessário para alcançar uma dada qualidade
Comunicação de Áudio e Vídeo, Fernando Pereira
Quem Bem Prediz, Baixo Erro Cria …QuemQuem BemBem PredizPrediz, , BaixoBaixo ErroErro CriaCria ……
Imagem actual i
Imagempredição i
+
-+
Imagem com errode predição i
Imagemanterior i-1
Comunicação de Áudio e Vídeo, Fernando Pereira
Predição TemporalPredição TemporalPredição Temporal
A predição temporal no H.261 inclui 2 técnicas que têm como missãoeliminar a redundância temporal existente no sinal de vídeo
PCM:
TransmissãoTransmissão de de DiferençasDiferenças
CompensaçãoCompensação de de MovimentoMovimento
Comunicação de Áudio e Vídeo, Fernando Pereira
Redundância no Tempo: as Diferenças Redundância no Tempo: as Diferenças Redundância no Tempo: as Diferenças
Diferenças: só se transmite entre
imagens aquilo que muda, usando como predição a imagem
anterior ...
Não se perde nada !
......
Comunicação de Áudio e Vídeo, Fernando Pereira
Cálculo de Diferenças: ExemploCálculoCálculo de de DiferençasDiferenças: : ExemploExemplo
Imagem t Imagem t-1 Diferenças
Comunicação de Áudio e Vídeo, Fernando Pereira
Codificar e Descodificar ...Codificar e Descodificar ...Codificar e Descodificar ...
Comunicação de Áudio e Vídeo, Fernando Pereira
Eppur Si Muove …EppurEppur SiSi MuoveMuove ……
Comunicação de Áudio e Vídeo, Fernando Pereira
A Compensação de MovimentoA Compensação de MovimentoA Compensação de Movimento
� A compensação de movimento tenta melhorar a predição temporal de cada imagem/zona da imagem através da estimação/detecção e compensação de movimentos existentes na sequência de imagens.
� A estimação de movimento não é normativa mas o designado block
matching é, sem dúvida, a técnica mais usada.
� Na norma H.261, a estimação de movimento é feita ao nível do macrobloco e é opcional.
A estimação de movimento implica uma elevada carga computacional o que justifica o desenvolvimento de métodos de ‘procura’ rápida’ àcusta de baixas perdas em qualidade, e.g. procura em diamante ou
método dos 3 passos.
Comunicação de Áudio e Vídeo, Fernando Pereira
O Macrobloco 4:2:0 ...O Macrobloco 4:2:0 ...O Macrobloco 4:2:0 ...
Comunicação de Áudio e Vídeo, Fernando Pereira
Redundância no Tempo: a Estimação de MovimentoRedundância no Tempo: a Redundância no Tempo: a EstimaçãoEstimação de de MovimentoMovimento
tt
Comunicação de Áudio e Vídeo, Fernando Pereira
Procurar Onde ?ProcurarProcurar OndeOnde ??
Área de busca
Imagem a codificar
Imagem de referência
Comunicação de Áudio e Vídeo, Fernando Pereira
Vectores de Movimento a Diferentes ResoluçõesVectores de Movimento a Diferentes ResoluçõesVectores de Movimento a Diferentes Resoluções
Comunicação de Áudio e Vídeo, Fernando Pereira
Comunicação de Áudio e Vídeo, Fernando Pereira
MBs a Codificar e MBs de prediçãoMBsMBs a a CodificarCodificar e e MBsMBs de de prediçãopredição
ImagemImagem anterioranterior ImagemImagem actualactual
Comunicação de Áudio e Vídeo, Fernando Pereira
Compensação de Movimento: ExemploCompensaçãoCompensação de de MovimentoMovimento: : ExemploExemplo
Imagem t Imagem t-1 Diferenças SEM comp. mov.
DiferençasCOM comp.
mov.
Vectores mov.
Comunicação de Áudio e Vídeo, Fernando Pereira
O Algoritmo dos 3 PassosO Algoritmo dos 3 PassosO Algoritmo dos 3 Passos
Menos carga computacional à custa de soluções menos óptimas em termos de
erro de predição !
Comunicação de Áudio e Vídeo, Fernando Pereira
Estimação Rápida de MovimentoEstimaçãoEstimação RápidaRápida de de MovimentoMovimento
3 Passos Diamante
Comunicação de Áudio e Vídeo, Fernando Pereira
Uma Característica de Decisão para a Compensação de MovimentoUma Característica de Decisão para a Uma Característica de Decisão para a Compensação de MovimentoCompensação de Movimento
dbdb –– difference blockdifference block
dbddbd –– displaced block differencedisplaced block difference
XX
XX
Comunicação de Áudio e Vídeo, Fernando Pereira
Estimação de Movimento no H.261Estimação de Movimento no H.261Estimação de Movimento no H.261
� Um vector de movimento por macrobloco PODE PODE ser transmitido.
� A gama de valores possíveis para os vectores de movimento é de -15 a + 15, na vertical e na horizontal, apenas valores inteiros.
� Só vectores de movimento referenciando zonas existentes da imagemsão válidos.
� O vector de movimento transmitido para cada macrobloco é usadopara os 4 blocos de luminância. O vector de movimento para a crominância é obtido dividindo por 2 e truncando o vector de movimento para a luminância.
� Um valor positivo da componente horizontal ou vertical do vector de movimento significa que a predição deve ser feita usando os pixels naimagem precedente, localizados espacialmente à direita e abaixo dos pixels a ser preditos.
Comunicação de Áudio e Vídeo, Fernando Pereira
Codificação Diferencial do Movimento no H.261Codificação Diferencial do Movimento no Codificação Diferencial do Movimento no H.261H.261
� Para explorar a redundância entre vectores de movimento de MBsadjacentes, cada vector de movimento é codificadodiferencialmente como a diferença entre o vector de movimento do MB actual e a sua predição ou seja o vector de movimento do MB precedente.
� Esta predição vale zero quando:- o MB actual é o número 1, 12 ou 23
- o último MB transmitido não é contíguoao MB actual
- o MB precedente (e contíguo) não sofreucompensação de movimento
Comunicação de Áudio e Vídeo, Fernando Pereira
Codificação(entrópica) dos
Vectores(diferenciais) de
Movimento
CodificaçãoCodificação(entrópica) dos (entrópica) dos
VectoresVectores((diferenciaisdiferenciais) de ) de
MovimentoMovimento
Comunicação de Áudio e Vídeo, Fernando Pereira
ExplorandoExplorando a a RedundânciaRedundância EspacialEspacial
e a e a IrrelevânciaIrrelevância
Comunicação de Áudio e Vídeo, Fernando Pereira
Depois do Tempo, o EspaçoDepoisDepois do Tempo, o do Tempo, o EspaçoEspaço
Imagem actual
Imagem predição(Compensada em movimento)
+
-+
Imagem com erro de predição
TransformadaDCT
Comunicação de Áudio e Vídeo, Fernando Pereira
Codificação por TransformadaCodificação por TransformadaCodificação por Transformada
A codificação por transformada envolve a divisão da imagem em blocos de
N×N amostras aos quais é aplicada a transformada, produzindo blocos de
N×N coeficientes.
Uma transformada define-se formalmente pelas equações de transformação
directa e inversa:
F(u,v) = Σ Σ Σ Σi=0N-1 ΣΣΣΣ j=0
N-1 f(i,j) A(i,j,u,v)
f(i,j) = Σ Σ Σ Σu=0N-1 ΣΣΣΣ v=0
N-1 F(u,v) B(i,j,u,v)
� onde
� f(i,j) - sinal de entrada (no espaço)
� A (i,j,u,v) - núcleo da transformada directa
� F(u,v) - coeficientes da transformada
� B (i,j,u,v) - núcleo da transformada inversa
Comunicação de Áudio e Vídeo, Fernando Pereira
Transformada de Coseno Discreta (DCT)Transformada de Coseno Discreta (DCT)Transformada de Coseno Discreta (DCT)
A DCT é uma das várias transformadas sinusoidais existentes, sendo
os seus vectores de base constituídos por amostras de funções
(co)sinusoidais.
A DCT é, sem dúvida, a transformada mais usada em codificação de
imagem por o seu desempenho se aproximar do da KLT para sinais
com elevada correlação e por existirem algoritmos rápidos para a
sua implementação.
∑∑−
=
−
=
+
+=
1
0
1
0 2
12
2
122 N
j
N
k N
kv
N
jukjfvCuC
NvuF
)(cos
)(cos),()()(),( ππ
∑∑−
=
−
=
+
+=
1
0
1
0 2
12
2
122 N
u
N
v N
kv
N
juvuFvCuC
Nkjf ππ
)(cos
)(cos),()()(),(
Comunicação de Áudio e Vídeo, Fernando Pereira
Como Trabalha a DCT ?Como Trabalha a DCT ?Como Trabalha a DCT ?
X X X X X X X X
X X X X X X X X
X X X X X X X X
X X X X X X X X
X X X X X X X X
X X X X X X X X
X X X X X X X X
X X X X X X X X
X X X
X X X X X
X X
X X X
X X X
X X
X
DCTDCT
Domínio EspacialDomínio Espacial Domínio Domínio FrequencialFrequencial
Comunicação de Áudio e Vídeo, Fernando Pereira
A DCT no H.261A DCT no H.261A DCT no H.261
� Na norma H.261, a DCT é aplicada a blocos de 8×8 (N=8) amostras. Este valor resulta dum compromisso entre a exploração daredundância espacial e o esforço de cálculo que cresce com N.
� Os coeficientes a transmitir são seleccionados usando limiares não-normativos permitindo a introdução de critérios psico-visuais com vista a optimizar o impacto subjectivo final.
� Para explorar a irrelevância contida no sinal, os coeficientes DCT a transmitir para cada bloco são quantificados.
� Devido à compactação da energia no canto superior esquerdo e àvariação do sensibilidade do sistema visual humano, os coeficientesquantificados são varridos em zig-zag com vista a assegurar sempre a transmissão daqueles mais relevantes.
Comunicação de Áudio e Vídeo, Fernando Pereira
A QuantificaçãoA A QuantificaçãoQuantificação� A norma H.261 aceita como passo de
quantificação todos os valores pares entre 2 e 62 (31 valores de quantificação).
� Dentro de cada macrobloco, todos oscoeficientes DCT são quantificadoscom o mesmo passo, com excepção dos coeficientes DC Intra que são semprelinearmente quantificados com passo8, sem zona morta.
� A norma H.261 define os níveis de regeneração dos coeficientes mas nãoos limiares de decisão que podem ser escolhidos de forma a implementardiferentes tipos de característica de quantificação, uniformes ou não.Exemplo de característica
de quantificação
Comunicação de Áudio e Vídeo, Fernando Pereira
A Serialização dos Coeficientes DCTA A SerializaçãoSerialização dos Coeficientes DCTdos Coeficientes DCT
� A transmissão dos coeficientes DCT quantificados requere o envio aodescodificador de 2 tipos de informação: posição e amplitude.
� Para cada coeficiente a transmitir, a suaposição e amplitude é representadaatravés de um símbolo bidimensionaldesignado por
(DISTÂNCIA, NÍVEL) ou (run, level)
onde a distância conta o número de coeficientes nulos antes do coeficiente a codificar e o nível indica qual o valorquantificado do coeficiente.
Comunicação de Áudio e Vídeo, Fernando Pereira
Varrimento dos Coeficientes DCTVarrimentoVarrimento dos dos CoeficientesCoeficientes DCTDCT
ZigZig--ZagZag Cada bloco de coeficientes DCT é representado como uma sequência de pares (run, level), e.g. (0,124), (0, 25), (0,147), (0,
126), (3,13), (0, 147), (1,40) ...
Comunicação de Áudio e Vídeo, Fernando Pereira
Comunicação de Áudio e Vídeo, Fernando Pereira
ExplorandoExplorando a a RedundânciaRedundância
EstatísticaEstatística
Comunicação de Áudio e Vídeo, Fernando Pereira
Redundância Estatística: Codificação EntrópicaRedundância Estatística: Codificação Redundância Estatística: Codificação EntrópicaEntrópica
A Codificação Entrópica
CONVERTE OS SÍMBOLOS EM BITS !
Usa a estatística dos símbolos a transmitir para alcançar compressão adicional (sem perdas), atribuindo de forma adequada palavras de código a símbolos.
� A, B, C, D -> 00, 01, 10, 11
� A, B, C, D -> 0, 10, 110, 111
Comunicação de Áudio e Vídeo, Fernando Pereira
Codificação de HuffmanCodificaçãoCodificação de Huffmande Huffman
A codificação de Huffman é uma das técnicas de codificaçãoentrópica que permite explorar o facto dos símbolos produzidos
pelo codificador não aparecerem com igual probabilidade.
� A cada símbolo gerado é atribuída uma palavra de código cujocomprimento (em bits) é inversamente proporcional à suaprobabilidade de ocorrência.
� O uso de códigos de comprimento variável implica também a necessidade de utilizar uma memória de saída que ‘alise’ o fluxode dados codificados se o canal funciona de modo síncrono.
� O aumento da eficiência de codificação é conseguido à custa do aumento da sensibilidade a erros de transmissão.
Comunicação de Áudio e Vídeo, Fernando Pereira
Codificação(entrópica) dos
Vectores(diferenciais) de
Movimento
CodificaçãoCodificação(entrópica) dos (entrópica) dos
VectoresVectores((diferenciaisdiferenciais) de ) de
MovimentoMovimento
Comunicação de Áudio e Vídeo, Fernando Pereira
Codificação(entrópica) dos Pares (run, level) … mais prováveis…
CodificaçãoCodificação((entrópicaentrópica) ) dos Pares dos Pares (run, level) … (run, level) … maismais prováveisprováveis……
Comunicação de Áudio e Vídeo, Fernando Pereira
Codificaçãodos Pares (run, level) … menosprováveis …CodificaçãodosCodificaçãodos Pares (run, level) … Pares (run, level) … menosmenosprováveisprováveis ……
6 bits escape + 6 bits para run + 8 bits para level
Comunicação de Áudio e Vídeo, Fernando Pereira
CodificaçãoEntrópicada Posiçãodos MBs
(com bits)
CodificaçãoCodificaçãoEntrópicaEntrópicadada PosiçãoPosiçãodos dos MBsMBs
(com bits)(com bits)
Comunicação de Áudio e Vídeo, Fernando Pereira
CombinandoCombinando as as FerramentasFerramentas ......
Comunicação de Áudio e Vídeo, Fernando Pereira
O Modelo Simbólico H.261O O ModeloModelo SimbólicoSimbólico H.261H.261
Uma sequência de vídeo é representada como uma sucessão de imagens estruturadas em macroblocos, sendo cada um deles
representado usando vectores de movimento e/ou coeficientes DCT (intra ou inter).
Geradorde Símbolos
(Modelo)
CodificadorEntrópico
VídeoOriginal
Símbolos Bits
Comunicação de Áudio e Vídeo, Fernando Pereira
MB a MB … Escolhendo Bem … Sempre …MB a MB … MB a MB … EscolhendoEscolhendo BemBem … … SempreSempre ……
Comunicação de Áudio e Vídeo, Fernando Pereira
Codificador: O Cocktail Vencedor !Codificador: O Codificador: O CocktailCocktail Vencedor !Vencedor !
Originais DCT Quantific. Geraçãosímbolos
Codif. entrópica
Codif. entrópica
Quantific. inversa
DCT inversa
Memóriade saída
Movimentodet./comp.
+
+Trama
anterior
Comunicação de Áudio e Vídeo, Fernando Pereira
Descodificador: o Escravo !Descodificador: o Descodificador: o EscravoEscravo !!
MemóriaDescodif.Huffman
Comp. Mov.
Demux. IDCT +
Informação
Informação
Comunicação de Áudio e Vídeo, Fernando Pereira
A Memória de SaídaA A MemóriaMemória de de SaídaSaída
A produção de bits pelo codificador é altamente NÃO uniforme no tempo essencialmente devido:
� À variação da actividade espacial entre as várias zonas de umaimagem
� À variação da actividade temporal ao longo do tempo
� À codificação entrópica dos símbolos gerados
Para ‘compatibilizar’ o fluxo de ritmo variável produzido pelocodificador com o fluxo constante de escoamento disponibilizado
pelo canal usa-se uma memória de saída !
Comunicação de Áudio e Vídeo, Fernando Pereira
Controlo do DébitoControloControlo do do DébitoDébito
O codificador deve controlar muito eficazmente a evolução da suaprodução de bits de modo a que seja adequada ao canal síncrono
disponível e obtenha a melhor qualidade.
A norma H.261 não especifica como deve ser feito o controlo do débitoque pode ser feito através de:
� Variação da resolução temporal
� Variação da resolução espacial
� Classificação dos macroblocos
� Variação do passo de quantificação
O controlo do débito tem um impacto enorme na qualidade de vídeo que se alcança para um dado débito binário !
Comunicação de Áudio e Vídeo, Fernando Pereira
Passo de Quantificação versus Enchimentoda Memória de SaídaPassoPasso de de QuantificaçãoQuantificação versus versus EnchimentoEnchimentodada MemóriaMemória de de SaídaSaída
O método reconhecido comomais eficiente para o controlo
do débito binário(granularidade e frequência)
faz variar o passo de quantificação em função do enchimento da memória de
saída do codificador.
CodificadorMemória de
saída
Sequência de
imagens Fluxo binário
Controlo do passo de quantificação
Comunicação de Áudio e Vídeo, Fernando Pereira
A Importância de Escolher Bem !A A ImportânciaImportância de de EscolherEscolher BemBem !!
Para explorar bem a redundância e a irrelevância, o codificador paratem de escolher adequadamente
� Quais as ferramentas de codificação que devem ser usadas paracada MB, dependendo das suas características
� Qual o melhor conjunto de símbolos para representar cada MB, p.e. vectores de movimento e coeficientes DCT
Enquanto o codificador tem a missão de fazer escolhas importantes, o descodificador é ‘escravo’ limitando-se a seguir as ‘ordens’
enviadas pelo codificador (só fica ‘inteligente’ no cancelamento de erros).
Comunicação de Áudio e Vídeo, Fernando Pereira
Classificação dos MacroblocosClassificaçãoClassificação dos dos MacroblocosMacroblocos
� Os macroblocos são a unidade básica da codificação pois é ao níveldo macrobloco que se escolhem as ferramentas de codificação a usar.
� Cada técnica de codificação é mais ou menos adequada a um dado tipo de situação/imagem, sendo importante escolher em cadamomento as ferramentas mais adequadas.
� Uma vez que a norma H.261 possui várias ferramentas de codificação, cabe ao codificador escolher as melhores ferramentaspara cada macrobloco o que conduz à classificação dos macroblocos consoante as ferramentas de codificação usadas.
� Se apenas se explora a redundância espacial, faz-se codificaçãoINTRA; se se explora também redundância temporal, faz-se codificação INTER.
Comunicação de Áudio e Vídeo, Fernando Pereira
Tabela de Classificação dos MacroblocosTabelaTabela de de ClassificaçãoClassificação dos dos MacroblocosMacroblocos
Comunicação de Áudio e Vídeo, Fernando Pereira
Estrutura Hierárquica da InformaçãoCodificadaEstruturaEstrutura HierárquicaHierárquica dada InformaçãoInformaçãoCodificadaCodificada
� Imagem- Resincronismo (Picture header)
- Controlo da resolução temporal
- Controlo da resolução espacial
� Grupo de Blocos (GOB)- Resincronismo mais interno (GOB header)
- Controlo do passo de quantificação (obrigatório)
� Macrobloco- Unidade de detecção e compensação de movimento
- Controlo do passo de quantificação (opcional)
- Escolha das ferramentas de codificação (classificação dos MBs)
� Bloco- Aplicação da DCT
Comunicação de Áudio e Vídeo, Fernando Pereira
Sintaxe da Codificação: Níveis de Imagem e GOBSintaxeSintaxe dada CodificaçãoCodificação: : NíveisNíveis de de ImagemImagem e GOBe GOB
Comunicação de Áudio e Vídeo, Fernando Pereira
Sintaxe da Codificação: Níveis de MB e BlocoSintaxeSintaxe dada CodificaçãoCodificação: : NíveisNíveis de MB e de MB e BlocoBloco
Comunicação de Áudio e Vídeo, Fernando Pereira
Correcção de Erros no Fluxo de Vídeo H.261CorrecçãoCorrecção de de ErrosErros no no FluxoFluxo de de VídeoVídeo H.261H.261
� A correcção de erros no fluxo de vídeo H.261 é feita através de um código de blocos BCH (511,493) - Bose-Chaudhuri-Hocquenghem.
� O seu uso na descodificação é opcional.
� O polinómio gerador dos bits de paridade é
g (x) = (xg (x) = (x99+ x+ x44+ x) ( x+ x) ( x99+ x+ x66+ x+ x44+ x+ x33+ 1)+ 1)
Comunicação de Áudio e Vídeo, Fernando Pereira
Correcção de Erros no Fluxo de Vídeo H.261CorrecçãoCorrecção de de ErrosErros no no FluxoFluxo de de VídeoVídeo H.261H.261
A estrutura do sinal de vídeo apresenta o seguinte aspecto (multi-trama com 512××××8 = 4096 bits):
S1 S2 S7 S8
Transmissão
S1
Bits de código vídeo
Bits paridade
(1) (493) (18)
1
Bits de código
Bits de enchimento (1's)0
(1)
(1)
(492)
(492)
S1S2S3S4S5...S8 - Sequência de alinhamento
0001101100011011
Na descodificação, o realinhamento sóé reconhecido após a recepção de 3 sequências de alinhamento (S1S2
...S8) correctas.
Comunicação de Áudio e Vídeo, Fernando Pereira
Cancelamento de ErrosCancelamentoCancelamento de de ErrosErros
� Mesmo que se use codificação de canal, podem existir erros de transmissão residuais que têm consequências ao nível do descodificador de fonte.
� Os erros residuais podem ser detectados devido a incorrecçõessintácticas ou semânticas.
� Para vídeo digital, as técnicas mais básicas de cancelamento de erros são:
- Repetição da zona correspondente da imagem anterior
- Repetição de parte da imagem anterior após compensação de movimento
� O cancelamento de erros não detectados pode ser feito por pós-processamento da imagem descodificada.
Comunicação de Áudio e Vídeo, Fernando Pereira
Exemplos de Cancelamento de Erros e Pós-ProcessamentoExemplosExemplos de de CancelamentoCancelamento de de ErrosErros e e PósPós--ProcessamentoProcessamento
Comunicação de Áudio e Vídeo, Fernando Pereira
Comentários FinaisComentáriosComentários FinaisFinais
� A norma H.261 foi a primeira norma internacional de codificação de vídeo com um nível de eficiência relevante.
� Tendo sido a primeira norma importante de codificação digital de vídeo, estabeleceu requisitos de compatibilidade que tiveraminfluência na tecnologia escolhida para as normas seguintes.
� Inúmeros produtos e serviços existiram, e ainda existem, baseados na norma H.261.
� Contudo, esta norma já não representa hoje o estado da arte emtermos de codificação de vídeo (não esquecer que esta norma é do fim dos anos 80).
Comunicação de Áudio e Vídeo, Fernando Pereira
BibliografiaBibliografiaBibliografia
� Videoconferencing and Videotelephony, Richard Schaphorst,
Artech House, 1996
� Image and Video Compression Standards: Algorithms and Architectures, Vasudev Bhaskaran and Konstantinos
Konstantinides, Kluwer Academic Publishers, 1995
� Multimedia Communications, Fred Halsall, Addison-Wesley,
2001
� Multimedia Systems, Standards, and Networks, A. Puri & T.
Chen, Marcel Dekker, Inc., 2000