Slides teoriadainformacao

Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações

1/62

Teoria da Informação

Codificação de Fonte

Prof. Dr. Luciano Leonel [email protected]


2/62

Conteúdo e Referência

1. Revisão: Probabilidade e Variáveis Aleatórias

2. Fontes de informação – amostragem e quantização

3. Princípios da Teoria da Informação

4. Compactação de Fonte

5. Limitantes para Canais AWGN

Livro Texto: Haykin, Simon, “Sistemas de Comunicação”, 4° Edição, John Wilwy & Sons, 2001.


3/62

Revisão de Probabilidade

1. Noções Básicas de Probabilidade

• Diagrama de Venn: permite realizar uma representação gráfica dos conjuntos e/ou sua probabilidade de ocorrência.

A AB B

s


4/62


2. Os Axiomas da Probabilidade

• Para qualquer evento A, P[A]=0.• P[S]=1, onde S é o espaço amostral.• P[AUB]=P[A]+P[B]-P[AB].

Exemplo: Seja o espaço amostral S={0, 1, 2, 3}. Então:P[S]=P[0]+P[1]+P[2]+P[3]=1. Logo

1][][3

0== ∑ =i isPSP

“A probabilidade é sempre um número entre 0 e 1”


5/62

Seja um evento B={números pares}. Logo B = ? Qual é P[B]?P[B]=P[0]+P[2]

Seja um evento C={números menores que 2}. Logo C=? Qual é P[C]?P[C]=P[0]+P[1]

Seja D=BUC. Logo D=? Qual é P[D]?P[D]=P[BUC]=P[B]+P[C]-P[BC]=P[0]+P[2]+P[0]+P[1]-P[0]P[D]=P[0]+P[1]+P[2]


Continuando...


6/62


3. Eventos Mutualmente Exclusivos: são aqueles que nunca acontecem ao mesmo tempo.Exemplo: A={números pares} e B={números ímpares}.Se A e B são mutualmente exclusivos, então P[AB]=0.

4. Probabilidade de eventos conjuntos: considere o diagrama de Venn.

B1 B2 B3 B4

A

Qual é a P[A]?P[A]=P[AB1]+P[AB2]+P[AB3]+P[AB4]

∑=

⋅=4

1

][][i

iBAPAP

Note que Bi e Bj são mutualmente exclusivos!


7/62


5. Eventos Independentes: dois eventos são independentes somente se a probabilidade de ocorrência de um evento não alterar a probabilidade de ocorrência do outro evento.

P[AB]=P[A]xP[B] somente se A e B forem independentes.

6. Probabilidade Condicional: é a probabilidade de ocorrência de um evento, sabendo-se que outro evento já aconteceu.Exemplo: Qual é a probabilidade de um pneu novo estourar?

Qual é a probabilidade de um pneu novo estourar, dado que existem pregos na pista?

][][

]/[BP

BAPBAP

⋅=

Qual é P[A/B], quando A e B são independentes?


8/62


Exercício: considere um dado honesto e os seguintes eventos:Ei={número sorteado é i}Mj={número sorteado é maior do que j}P={número sorteado é par}

a) Qual é a probabilidade de ter-se sorteado um 3, dado que o número sorteado é maior do que 1, ou seja, P[E3/M1]=?b) Qual é a probabilidade condicional de se obter um 6 dado que o número sorteado é maior do que 3?c) P[M3/P]=?d) Dado que o número sorteado é maior do que 3, qual é a probabilidade dele ser par?e) P[E1E2], P[M6P], P[M3UP], P[M3P]


9/62


7. Variáveis aleatórias: são variáveis cujo valor em um dado instante de tempo não pode ser determinado. No entanto é possível determinar a probabilidade do valor desta variável estar dentro de uma faixa de valores. Parâmetros de uma V. A.a) Função densidade de probabilidade (f.d.p.) - fX(x): mostra como os valores que a variável pode assumir estão distribuídos.b) Função distribuição cumulativa (F.D.C.) - FX(x): mostra a probabilidade de uma variável assumir um valor maior do que x.

3 2.4 1.8 1.2 0.6 0 0.6 1.2 1.8 2.4 3

0.11

0.22

0.33

0.44

0.55

0.66

0.77

0.88

0.99

1.1

Função densidade de probabilidade

x

Função distribuição cumulativadyyfxXPxFx

XX ∫∞−

=≤= )(][)(


10/62


c) Média: é o valor médio da variável aleatória, também conhecido como valor esperado. Eqüivale ao nível DC, se a variável aleatória for um sinal elétrico.

d) Desvio padrão: é uma medida de quanto a variável aleatória pode se distanciar da média. Pode ser interpretado como sendo a tensão RMS, se a V.A for um sinal elétrico.

∑∞

−∞=

=⋅=i

ii xXPxXE ][][ dxxfxXE X∫+∞

∞−

⋅= )(][

Continuando...


11/62


e) Variância: é o quadrado do desvio padrão. Pode ser associado àpotência AC do sinal.

222 ][][ XEXE −=σ

∑∞

−∞=

=⋅=i

ii xXPxXE ][][ 22 ∫∞

∞−

⋅= dxxfxXE X )(][ 22

Continuando...


12/62


8. Alguns tipos de variáveis aleatórias.

a) Distribuição uniforme

{ }1210 ,...,,,1

)( −∈= NX xxxxXN

xf bXaab

xf X ≤≤−

=1

)(

f(x

)

1 2 3 4 5 660

0.05

0.1

0.15

0.20.2

X

X

0 1 2 3 4 5 6 70

0.02

0.04

0.06

0.08

0.1

0.12

0.14

0.16

0.18

0.2

f(x

)X

XCalcule a média e a variância das duas F.D.P’s.


13/62


b) Gaussiana ( )

−= 2

2

2 2exp

2

1)(

σµ

πσ

xxf X

222 ][

][

µσ

µ

−=

=

XE

XE

-3 -2 -1 0 1 2 30

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

f(x

)X

X

Continuando...


14/62

Fontes de Informação

• As fontes de informação em um sistema de comunicação digital são os dispositivos que geram os dados que devem ser transmitidos.

• Toda fonte de informação de um sistema de comunicação digital deve ter um número discreto de símbolos.

• Algumas fontes são discretas por natureza.

• Outras possuem um número infinito de símbolos. Essas fontes devem ser discretizadas.

• Tipos de fontes: binárias, m-árias e analógicas.


15/62


• Fontes binárias: são aquelas que somente geram dois tipos de símbolos. Exemplo: computador.

• Os dados emitidos por esta fonte não precisam sofrer maiores processamentos para serem transmitidos por um sistema de comunicação digital.

Fonte DigitalBinária

TransmissorDigital

Bitsmk Canal

Ruidoso

s(t) ReceptorDigital

r(t)Destino

mk^


16/62


• Fontes discretas ou fontes m-árias; são aquelas que podem emitir atéM símbolos diferentes. Exemplo: texto.

• Os símbolos emitidos por esta fonte devem ser codificados em bits.

• A quantidade de bits necessária para codificar uma fonte com Msímbolos é:

• Exemplo: qual é a quantidade de bits necessária para representar o nosso alfabeto?

m = dlog2(M)e


17/62


• O dispositivo responsável em atribuir os bits aos símbolos da fonte éconhecido como codificador.

• Exemplo: assuma que a fonte de informação seja um dado. Proponha uma tabela de codificação para que os símbolos gerados por esta fonte possam ser transmitidos por um sistema de comunicação digital.

Codificador TransmissorDigital

Bitsmk Canal

Ruidosos(t) Receptor

Digitalr(t) De-

codificador

mk^

FonteDiscreta Destino

SímbolosAk

Ak^


18/62


•.Fontes Analógicas: são aquelas que geram sinais com uma quantidade infinita de amplitudes. Exemplo: câmera de vídeo ou microfone.

• As fontes analógica devem ser digitalizadas para que os dados possam ser transmitidos em um sistema de comunicação digital.

• Esse procedimento consiste de dois passos:

a) Amostragem: consiste em discretizar o sinal no domínio do tempo. Esse processo não introduz distorções no sinal.

b) Quantização: consiste em limitar a amplitude das amostras em Mníveis possíveis. Esse processo introduz uma distorção denominada de ruído de quantização.


19/62


• Transmissão de um sinal analógico através de um sistema de comunicação digital.

Codificador TransmissorDigital

Bitsmk Canal

Ruidosos(t)

ReceptorDigital

r(t)

De-codificador

mk^

Quantizador

Filtro deRecuperação

SímbolosAk

DestinoAk^

AmostragemFonteAnalógica


20/62


• Amostragem: consiste em pegar o valor da amplitude do sinal a cada Ts segundos, que é chamado de período de amostragem.

• A freqüência de amostragem é fs=1/Ts.

Amostragem temporal

Tempo [s]0 .5 1 1.5 2 2.5 3 3.5 4

-1.0

-.5

0

.5

1.0

t=kTs


21/62


• Teorema da Amostragem ou Teorema de Nyquist:

\Um sinal limitado em freqÄuencia, cuja freqÄuencia m¶axima ¶e dada por fmax,pode ser perfeitamente representado por suas amostras, desde que estas sejamtomadas a uma taxa de amostragem maior ou igual a duas vezes fmax, ou seja,se

fs ¸ 2 ¢ fmax

ent~ao ¶e poss¶³vel recuperar o sinal original a partir das suas amostras, sem dis-tor»c~ao."


22/62


• Para recuperar o sinal original a partir das suas amostras, basta empregar um filtro passa-baixa.

t=kTs

Sinal Original e Sinal Recuperado

Tempo [s]0 .5 1 1.5 2 2.5 3 3.5 4

-2

-1

0

1

2


23/62


• Outro tipo de amostragem bastante utilizado é a amostragem com retenção, onde o valor da amostra é mantido até o próximo instante de amostragem.

• A recuperação da informação original é feita da mesma forma que na amostragem instantânea.

t=kTs

Retenção

Sinal Original e Sinal Amostrado com Retenção

Tempo [s]0 .5 1 1.5 2 2.5 3 3.5 4

-1.0

-.5

0

.5

1.0


24/62


• Quantização: é processo no qual o valor da amplitude das amostras édiscretizado.

• Um quantizador permite apenas NQ níveis de amplitude em sua saída.

• O número de bits necessários para representar cada uma das amostras é q = log2(NQ), ou seja, o número total de níveis possíveis com q bits éNQ = 2q.

Sinal Contínuo e Sinal Quantizado

Tempo [s]0 .5 1 1.5 2 2.5 3 3.5 4

-1.0

-.5

0

.5

1.0Quantizador


25/62


• A quantização insere uma distorção que não pode ser mais removida do sinal.

• Essa distorção pode ser modelada como um ruído de potência:

• A taxa de bits mínima para representar essa fonte analógica é limitada pelo Teorema de Nyquist e pelo número de amostras na saída do quantizador.

¾2Q =

¢2

12

Rb ¸ 2 log2(NQ) ¢ fmax


26/62


• Exemplo: qual é a menor taxa para representar um sinal telefônico que foi quantizado com 256 níveis?


27/62


• O que é Teoria da Informação?Teoria da Informação é o modelo matemático que permite tratar, de modo analítico, os diferentes modos de transmitir informação em um canal de comunicação.

• Questões tratadas na Teoria da Informação:

a) Qual é a menor quantidade de bits necessária para representar uma fonte discreta sem perda de informação?

b) Qual é a máxima taxa de transmissão para uma comunicação confiável em um canal ruidoso?

Para responder a essas questões, é necessário compreender o que éInformação, Entropia, Canal e Confiável!


28/62


• Informação: é a quantidade de surpresa que um evento causa ao ocorrer.Seja S ={s0, s1, s2 , s3 ,..., sK-1} uma fonte discreta com K elementos, onde pk é a probabilidade de ocorrência de sk.A quantidade de informação associada ao símbolo sk é dada por

( )

=

kk p

sI1

log2

• Conclusões importantes:- Se há certeza de ocorrência de um evento, não há ganho de informação quanto esse evento ocorre!- A ocorrência de um evento nunca causa perda de informação!- Quanto menor a probabilidade de ocorrência, maior é a informação ganha quando o evento acontece!


29/62


• Algumas propriedades da informação:

1) I(sk) = 0 quando p(sk) = 1

2) I(sk) > 0 para 0 < p(sk) < 1

3) I(sk) > I(si) para p(sk) < p(si)

4) I(sksi) = I(sk) I(si) se sk e si forem independentes.

Exemplo: calcule a informação associada a cada um dos símbolos

pertencentes S={a, b, c, d}, sendo que p(sk) = {0.5, 0.3, 0.15, 0.05}.


30/62


• Entropia: é a quantidade média de informação fornecida por uma fonte discreta.

( ) ( ) bitsp

psIpSHk

K

kkk

K

kk

== ∑∑

−

=

−

=

1log2

1

0

1

0

• Propriedades da Entropia:

1) 0 = H(S) = log2(K)

A entropia é nula quando a fonte possui um evento certo.

A entropia é máxima quando a fonte é equiprovável.

Exercício: calcule a entropia de uma fonte binária onde o símbolo “0”possui probabilidade p0 e o símbolo “1” possui probabilidade p1.


31/62


• Fonte discreta sem memória: é uma fonte que envia símbolos discretos a cada T segundos, onde a ocorrência de um símbolo específico não muda a probabilidade de ocorrência do próximo símbolo.


32/62


• Extensão de uma fonte discreta sem memória: consiste em criar uma nova fonte cujos elementos são combinações da fonte inicial.

• A probabilidade de cada novo elemento será o produto das probabilidades individuais dos elementos elementares.

Exemplo: Considere uma fonte que representa o resultado de uma jogada de um dado honesto.

S={1, 2, 3, 4, 5, 6} pk = [1/6, 1/6, 1/6, 1/6, 1/6, 1/6]

Quais serão os elementos da extensão de ordem 2 desta fonte, ou seja, de uma fonte que consiste em duas jogadas sucessivas de um dado?


33/62


• A entropia de uma fonte estendida de ordem n é n vezes maior do que a entropia da fonte original.

• Exemplo: Seja uma fonte S = {s0, s1, s2} com pk = {¼, ¼, ½}.

a) Qual é a entropia desta fonte?

b) Encontre a fonte estendida de ordem 2. Qual é a entropia desta fonte?


34/62


• Codificação de fonte: utilizar a estatística da fonte para minimizar o número de bits necessários para representar seus eventos. As palavras códigos devem ser inequívocas.

Exemplo: uma fonte emite os caracteres S={a,b,c,d}. Associe bits a cada evento dessa fonte de modo intuitivo.

Sabendo que P[a]=0.8, P[b]=0.1, P[c]=0.07 e P[d]=0.03, calcule a entropia da fonte e compare com o número médio de bits que você utilizou anteriormente. É possível fazer algo mais eficiente?

A resposta para esta questão é fornecida pelo 1° Teorema de Shannon!


35/62


• 1° Teorema de Shannon: Teorema de Codificação de Fonte.

“O número médio de bits necessários para representar uma fonte discreta é maior ou igual à Entropia desta fonte.”

)(SHL ≥∑

−

=

⋅=1

0

K

kkk lpL

LSH )(

=η

• É possível construir uma representação binária mais eficiente para uma fonte discreta utilizando palavras código de comprimento variável.Exemplo: código Morse.


36/62


• Compressão: retira a redundância da fonte, reduzindo a entropia de maneira controlada. Exemplos: JPEG, MPEG, Vocoders.

• Compactação: retira a redundância da fonte, sem alterar sua entropia. Exemplo: compactadores de arquivos.

Compactação Compressão

Entropia

Redundância

Entropia

Redundância

Entropia

Redundância


37/62


• Código do Prefixo: compactação de fonte onde a representação binária de um símbolo nunca é o prefixo da representação binária de outro símbolo. • O símbolo mais provável é sempre representado pela menor quantidade de bits.Quais destes códigos é um código do prefixo?

• Códigos do prefixo podem ser codificados ou decodificados utilizando uma árvore. 0

0

0

1

1

1

ξ

ξ

ξ

ξ

0

1

2

3

Estadoinicial


38/62


• Exemplo: encontre um código do prefixo para representar a seguinte fonte: S ={s0, s1, s2 , s3}, onde p0=0.7, p1=0.2, p2=0.15 e p3=0.05.

Codifique a seguinte seqüência de dados: s1 s0 s0 s0 s2 s0 s3.

Desenhe a árvore deste código. Calcule a eficiência da codificação.


39/62


• Limites para o comprimento médio do código do prefixo:H(sk) = L = H(sk)+1

• O limite inferior é obtido quando pk = 2-lk.• Quando o limite inferior é atingido, então o código está casado com a fonte.• Pode-se utilizar o conceito de fonte estendida para casar um código do prefixo com a fonte. Note o que ocorre com os limites do comprimento médio normalizado de uma fonte estendida:

H(Sn) · ¹Ln < H(Sn) + 1nH(S) · ¹Ln < nH(S) + 1

H(S) ·¹Ln

n< H(S) +

1n


40/62


• Código de Huffman: é a técnica de codificação empregada nos compactadores ZIP.

Procedimento para codificação empregando código Huffman:

a) Liste os símbolos em ordem decrescente de probabilidade. Atribua os bits “1” e “0” aos últimos dois símbolos da lista.

b) Os dois símbolos combinados formam um novo símbolo cuja probabilidade de ocorrência é a soma das probabilidades anteriores. O novo símbolo deve ser reposicionado na lista, que contém um símbolo a menos.

c) Repita o processo até que se tenha apenas dois símbolos. O código para cada símbolo é obtido pegando-se os “1” e “0” no sentido reverso que culminou nos últimos dois símbolos.


41/62


• Exemplo: Seja uma fonte S={ ?0, ?1, ?2, ?3, ?4}, onde p0=0.15, p1=0.2, p2=0.4, p3=0.15 e p4=0.1. Encontre o código de Huffman para esta fonte. Encontre a árvore de decodificação e calcule a eficiência do código.

ξ2

0,40

0,20

0,15

0,15

0,10

0

1

0,40

0,25

0,20

0,15

0

1

0,40

0,35

0,25

0

1

0,40

0,60 0

1ξ1

ξ0

ξ3

ξ4


42/62


• Continuando...

1

1

1

0

0

Estadoinicial

ξ0

ξ2

ξ1

ξ3

0

1 ξ4

0


43/62


• Código Lempel-Ziv: é um código de comprimento fixo que éadaptativo à fonte discreta.

• Este código utiliza a correlação entre os símbolos enviados pela fonte para aumentar a sua eficiência.

• Outra vantagem: não requer o conhecimento prévio das estatísticas da fonte para obter um alto desempenho.

• Para que este código atinja um desempenho adequado é necessário que uma longa seqüência de símbolos seja codificada.

• O Lempel-ziv utiliza um livro de palavras-código cujo tamanho édefinido pelo comprimento da palavra-código.


44/62


• Exemplo: veja página 32 da apostila.

• Exercício: utilize o código de Lempel-ziv com n=3 para codificar uma fonte discreta S={s0, s1, s2 s3} cujas estatísticas não são conhecidas. Recupere os símbolos a partir do resultado da codificação.

Seqüência de saída da fonte: s0 s1 s2 s0 s0 s0 s2 s2 s0 s1 s3


45/62


• Canais discretos sem memória: é um modelo estatístico do canal de comunicação com J entradas e K saídas.

• O sinal de entrada é modelado por uma variável aleatória:

X={x0 x1 x2 ... xj-1}

• O sinal de saída, que é uma versão ruidosa do sinal de entrada, émodelado por uma variável aleatória Y:

Y={y0 y1 y2 ... yk-1}

• Para caracterizar o canal é necessário conhecer as probabilidades de transição p(yk/xj) para todo k e todo j.


46/62


• Caracterização de um canal discreto sem memória através da matriz de transição:

=

−−−−

−

−

)/()/()/(

)/()/()/()/()/()/(

111110

111110

010100

jkjj

k

k

xypxypxyp

xypxypxypxypxypxyp

P

LMOMM

LL

• Dado que um símbolo foi inserido na entrada do canal, haverá um símbolo na saída com uma dada probabilidade. Logo:

1)/(1

0

=∑−

=

K

kjk xyp


47/62


• Utilizando a lei das probabilidades marginais pode-se obter a probabilidade de um dado símbolo Y aparecer na saída do canal.

)()/()(

),()(

1

0

1

0

j

J

jjkk

J

jkjk

xpxypyp

yxpyp

∑

∑−

=

−

=

=

=


48/62


• Modelo de canal binário discreto sem memória: é uma maneira simples e eficiente de modelar o comportamento de um canal de comunicação binário.

1-p

1-p

pp

x0 = 0

x1 = 1

y0 = 0

y1 = 1

• A matriz de transição deste canal é dada por:

−

−=

pppp

P1

1


49/62


• Exemplo: um canal binário discreto sem memória apresenta p=0.1.

• Assumindo que uma fonte com p0=0.4 e p1=0.6 seja empregada na entrada do canal, qual é a entropia do sinal na saída do canal?

• Qual é a probabilidade de erro de bit neste canal?

• Qual será a entropia na entrada e na saída deste canal se a fonte sempre emitir o símbolo “1”?


50/62


• Informação Mútua: determina a quantidade de informação obtida sobre uma ponta do canal, dado que foi observada a outra ponta do canal.

= ∑∑

−

=

−

= )/(1

log),()/( 2

1

0

1

0 kj

K

k

J

jkj yxp

yxpYXH

= ∑∑

−

=

−

= )/(1

log),()/( 2

1

0

1

0 jk

K

k

J

jkj xyp

yxpXYH

• Entropia condicional: determina a quantidade de incerteza remanescente sobre uma ponta do canal, dado que a outra ponta foi observada

)/()():()/()():(

XYHYHXYIYXHXHYXI

−=−=


51/62


• Propriedades da Informação Mútua:

a) Simetria: I(X:Y) = I(Y:X)

b) Polaridade: I(X:Y) = 0

c) Dependência conjunta: I(X:Y)=H(X)+H(Y)-H(X,Y)

= ∑∑

−

=

−

= ),(1

log),(),( 2

1

0

1

0 kj

K

k

J

jkj yxp

yxpYXH

)|( YXH );( YXI )|( XYH

)(XH )(YH

);( YXH


52/62


• Exemplo: Qual é a informação mútua do canal do exemplo anterior, para ambas distribuições de probabilidade da fonte de entrada?


53/62


• Capacidade do canal: é a máxima informação mútua que se pode obter de um canal de comunicação. • A informação mútua depende da distribuição da fonte de entrada e da probabilidade de transição do canal.• A capacidade do canal somente será atendida se a fonte de entrada apresentar a distribuição adequada.• Para um canal binário, a capacidade do canal é atingida apenas quando a fonte de entrada é equiprovável.

• Qual é a Capacidade do Canal quando:p = 0, p = 0.5 e p = 1?

C = 1 + (1 ¡ p) ¢ log2(1 ¡ p) + p ¢ log2(p)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Cap

acid

ade

do C

anal

Probabilidade de transição


54/62


• Qual é a variação da Informação Mútua de um canal binário sem memória em função da distribuição da fonte de entrada e da probabilidade de transição?


55/62


• Codificação de canal: tem como objetivo inserir bits de redundância de maneira controlada que permitem detectar e corrigir erros causados pelo canal.

Fonte discretasem memória

Codificadorde canal

Canal discretosem memória

Decodificadorde Canal Destino

Ruído


56/62


• Transmissão confiável: é aquela em que a probabilidade de erro de bit pode ser tão baixa quanto necessário.• O 2° Teorema de Shannon determina qual é a condição para que tenha uma transmissão confiável.

“Existe um esquema de codificação de canal que permite que a taxa de erro de bit seja tão baixa quanto desejada se a seguinte condição for satisfeita:

TcC

TsSH

≤)(

• Ts é o tempo de emissão dos símbolos pela fonte e TC é o tempo de bit após a codificação de canal.


57/62


• Aplicação do Teorema de Codificação de Canal:a) Taxa de codificação: é a razão entre o número de bits de informação pelo número total de bits inseridos pelo codificador de canal:

b) Se a vazão do sistema tiver que se manter constante, então o tempo de sinalização na saída do codificador terá que ser menor do que o tempo de sinalização na entrada.

c) Portanto a condição para que a probabilidade de erro possa ser tão baixa quanto necessária pode ser reescrita como

r =kn

=k

k + p

r =TcTs

r · C


58/62


• Exemplo: Código de Repetição – ver página 50 da apostila.


59/62


• Ruído AWGN (Additive White Gaussian Noise): é o ruído térmico presente em todos os modelos de canais de comunicação. Suas características são:

a) Média nula.

b) Potência: Pruído=s 2=B.N0, onde N0 é a densidade espectral de potência do ruído e B é a largura de faixa do sinal transmitido.

c) Distribuição Gaussiana e independente. SN(f)

f

N0/2


60/62


• Teorema da Capacidade do Canal: 3° Teorema de Shannon.

“Um canal de comunicação limitado em B Hertz de largura de faixa e contaminado por um ruído AWGN com densidade espectral de potência de N0/2 permite a comunicação confiável a uma taxa menor ou igual a

( )SNRBBN

PBC +=

+= 1log1log 2

02

P é a potência do sinal. SNR é a relação sinal-ruído.


61/62


• Limitante de Shannon

0 10 20 300.1

1

10

100

Eficiência de BW (Rb/B)

Eb/N0 em dB

Região para a qual Rb>C

Região para a qualRb<C

Fronteira ondeRb=C


62/62


• Exemplo 1: qual é a máxima taxa de dados para uma transmissão confiável em um canal telefônico com relação sinal ruído igual à 15dB?

• Exemplo 2: Qual é a menor largura de faixa possível para se obter uma taxa de transmissão de 15kb/s em um canal com SNR=10dB?

• Exemplo 3: Qual é a potência necessária para se conseguir 15kb/s em um canal com 5kHz de banda, sabendo-se que a potência do ruído éigual a 2mW?

Slides teoriadainformacao

Documents

Transcript of Slides teoriadainformacao