Concurso UFRGS - Prova didatica

Decomposicao em valores singulares

Leticia Tonetto

14 de novembro de 2015

Sumario

1 Decomposicao em valores singulares 21.1 Introducao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.2 Relacoes entre SVD e decomposicao em autovalores . . . . . . 131.3 Relacoes entre SVD e a estrutura da matriz . . . . . . . . . . 151.4 Aplicacoes da SVD . . . . . . . . . . . . . . . . . . . . . . . . 21

1.4.1 Compressao de imagens . . . . . . . . . . . . . . . . . 211.4.2 Resolucao de Problemas de Mınimos Quadrados Usando

a SVD . . . . . . . . . . . . . . . . . . . . . . . . . . . 211.4.3 Resolucao de Sistemas Lineares Usando a SVD . . . . 23

1.5 Interpretacao geometrica . . . . . . . . . . . . . . . . . . . . 241.6 Calculo da SVD - Algoritmos . . . . . . . . . . . . . . . . . . 24

1

Capıtulo 1

Decomposicao em valoressingulares

1.1 Introducao

A decomposicao de qualquer matriz A complexa ou real em A = UΣV ∗,com U e V unitarias e Σ matriz diagonal cujas entradas da diagonal saoos valores singulares da matriz A e denotada decomposicao em valoressingulares ou do ingles singular value decomposition, ou simplesmente SVDcomo costuma ser chamada. Se A e assumida real A = UΣV T , sendo U e Vmatrizes ortogonais.

Nomes de matematicos do seculo 19, tais como Beltrami, Jordan, Sylves-ter, Schmidt e Weyl sao associados ao desenvolvimento da teoria de SVD,que so foi realmente ter destaque no seculo 20 com a possibilidade da im-plementacao computacional de algoritmos, tornando-se computacionalmenteviavel para resolver uma variedade de problemas provenientes de uma varie-dade de aplicacoes, as quais necessitem por exemplo o conhecimento do postode uma matriz, aproximacoes de uma matriz usando matrizes de posto me-nor, bases ortonormais para os espacos coluna e linha de uma matriz, dentreoutras.

A SVD e bastante efetiva quando se tem a presenca de dados espurioschamados de ruıdos, que aparecem comumente em aplicacoes tais como tra-tamento de imagem, processamento de sinais e na teoria de sistemas emgeral.

Obviamente que o uso efetivo da SVD depende de como efetivamente a

2

decomposicao possa ser calculada. Foi mostrado como calcular a SVD deuma maneira eficiente e estavel pelos analistas numericos contemporraneosGene H. Golub, Wiliam Kahan e C. Reinsh.

No texto a seguir sao apresentados conceitos preliminares necessarios paraa decomposicao em valores singulares, demonstra-se o teorema que garantea existencia da SVD para qualquer A, relacoes entre a SVD e a decom-posicao em autovalores, relacoes entre a SVD e a estrutura de uma matriz,interpretacao geometrica, resolucao de problemas de mınimos quadrados uti-lizando SVD, aplicacao no tratamento de imagens, calculo da SVD.

Nem todas as matrizes sao diagonalizaveis, ou seja, se consegue a de-composicao A = PDP−1, com D diagonal, menos ainda, A = QDQT Qortogonal, com autovetores compondo as colunas da matriz Q e autovaloresna entradas da diagonal de D. A SVD e uma decomposicao proxima a de-composicao em autovalores e autovetores, pois resulta em uma decomposicaode fatores ortogonais e uma matriz diagonal. A vantagem e que nao se res-tringe a matrizes diagonalizaveis, podendo ser obtida para qualquer matriz.

Conceitos preliminares

Convencao

Embora a SVD possa seja aplicavel a ambas matrizes reais e complexas.Assume-se aqui, quando nao mencionado, que A seja real.

Definicao 1.1.1. Seja A ∈ Rm×n uma matriz. A imagem de A e definidapor

Im(A) = {y ∈ Rm : y = Ax para algum x ∈ Rn}

e o espaco nulo de A e definido por

null(A) = {x ∈ Rn : Ax = 0}.

Se A = [a1| · · · |an] e particionada por colunas, entao

Im(A) = span{a1, ..., an}.

O posto da matriz A e definido por

3

posto(A) = dim(Im(A)).

Se A ∈ Rm×n, entao

dim(null(A)) + posto(A) = n.

Dizemos que A tem posto deficiente se posto(A) ≤ min{m,n}. O postode uma matriz e o numero maximo de linhas (ou colunas) linearmente inde-pendentes.

Teorema 1.1.1. Seja A m× n entao

(i) As matrizes ATA e AAT sao simetricas.

(ii) Os autovalores de ATA e AAT sao reais e nao-negativos.

(iii) AAT e ATA tem mesmos autovalores.

Demonstracao. �

Ortogonalidade e normas

Definicao 1.1.2. Uma matriz Q ∈ Rm×m e ortogonal se QTQ = I. Se Q =[ q1| · · · |qm ] e ortogonal, entao as colunas {qi} formam uma base ortonormalpara Rm.

Teorema 1.1.2. Se V1 ∈ Rn×r tem colunas ortonormais, entao existe V2 ∈Rn×(n−r) tal que

V = [V1 | V2 ]

e ortogonal. Observe que Im(V1)⊥ = Im(V2).

Nota Esse teorema e utilizado na prova da existencia da decomposicao emvalores singulares.

Normas matriciais

Definicao 1.1.3. A funcao ‖ · ‖ : Rm×n → R e uma norma de matriz sesatisfaz as seguintes propriedades:

1. ‖A‖ ≥ 0, A ∈ Rm×n, ‖A‖ = 0⇐⇒ A = 0;

4

2. ‖A+B‖ ≤ ‖A‖+ ‖B‖, A,B ∈ Rm×n;

3. ‖αA‖ = |α|‖A‖, α ∈ R, A ∈ Rm×n.

Definicao 1.1.4. Duas normas bastante utilizadas em Algebra Linear numericasao a norma de Frobenius e a norma p, em particular com p = 2

||A||F =

√√√√ m∑i=1

n∑j=1

|aij|2 (1.1)

e a norma p

||A||p = supx6=0

||Ax||p||x||p

. (1.2)

Propriedades especiais das normasPara a norma 2 tem-se

Teorema 1.1.3. Se A ∈ Rm×n, entao existe um vetor unitario z ∈ Rn comnorma 2 tal que ATAz = µ2z onde µ = ||A||2.

Prova: Suponha que z ∈ Rn e um vetor unitario tal que ||Az||2 = ||A||2.Como z maximiza a funcao

g(x) =1

2

||Ax||22||x||22

=1

2

xTATAx

xTx

segue que ele satisfaz∇g(z) = 0 onde∇g e o gradiente de g. Por diferenciacaomostramos que para i = 1 : n

∂g(z)

∂zi=

[(zT z)

∑nj=1(ATA)ijzj − (zTATAz)zi

](zT z)2

.

Em notacao vetorial isto significa que ATAz = (zTATAz)z. O teorema seguetomando µ = ||A||2.

�

Proposicao 1.1.4. A ∈ Rm×n

• ||A||2 =√λmax(ATA).

5

• ||A||F = traco(ATA).

Definicao 1.1.5. Raio espectral ρ(A) = maxi |λi|

• Raio espectral, traco e posto sao invariantes por transformacoes semelhan-tes

1. ρ(A) = ρ(PAP−1).

2. traco(A) = traco(PAP−1)

3. posto(A) = posto(PAP−1), ou se A = PDP−1, posto(A) = posto(D).

Invariancia da norma para matrizes ortogonais

Teorema 1.1.5. Seja Q e Z matrizes ortogonais. Entao

(i) ||Q||2 = 1.

(ii) ||AQ||2 = ||A||2.

(iii) ||AQ||F = ||A||F .

(iv) ||QAZ||2 = ||A||2.

(v) ||QAZ||F = ||A||F .

Demonstracao. (i) ||Q||2 =√λmax(QTQ) =

√ρ(QTQ) =

√ρ(I) = 1.

(ii)||AQ||2 =√ρ(QTATAQ) =

√ρ(ATA) = ||A||2.

(iii) ||AQ||2F = tr(QTATAQ) = tr(ATA) = ||A||2F .

6

(iv)

(v)

�

Teorema 1.1.6. (Teorema da Decomposicao em Valores Singulares)Se A ∈ Rm×n, entao existem matrizes ortogonais

U =

| | |u1 u2 . . . um| | |

∈ Rm×m,

V =

| | |v1 v2 . . . vn| | |

∈ Rn×n,

(1.3)

tais que

UTAV = diag(σ1, . . . , σp) ∈ Rm×n, p = min(m,n), (1.4)

onde σ1 ≥ σ2 ≥ . . . ≥ σp ≥ 0.

Demonstracao. Sejam x ∈ Rn e y ∈ Rm vetores unitarios com norma 2que satisfazem Ax = σy com σ = ||A||2. Pelo Teorema 1.1.2 existem V2 ∈Rn×(n−1) e U2 ∈ Rm×(m−1), tais que

V = [ x | V2 ] ∈ Rn×n,U = [ y | U2 ] ∈ Rm×m,

(1.5)

sao ortogonais.Verifica-se que

UTAV =

[σ wT

0 B

]≡ A1 (1.6)

onde w ∈ Rn−1 e B ∈ R(m−1)×(n−1).

7

De fato,

UTAV =

[yT

UT2

]A [x V2]

=

yTAx yTAV2

UT2Ax UT

2AV2

,(1.7)

yTAx = yTσy = σyTy = σ,

UT2 Ax = UT

2 σy = σUT2 y = 0.

(1.8)

Falta mostrar que w = 0.Como∥∥∥∥A1

[σw

]∥∥∥∥2

2

=

∥∥∥∥[ σ wT

0 B

] [σw

]∥∥∥∥2

2

=

∥∥∥∥[ σ2 + wTwBw

]∥∥∥∥2

2

≥ (σ2 + ‖w‖22)2

(1.9)

Usando (1.9) e propriedades de normas tem-se

(σ2 +wTw)2 ≤∥∥∥∥A1

([σw

])∥∥∥∥2

2

≤(‖A1‖2 ·

∥∥∥∥[ σw

]∥∥∥∥2

)2

= ‖A1‖22 ·∥∥∥∥[ σ

w

]∥∥∥∥2

2

(1.10)entao

||A1||22 ≥ (σ2 + ‖w2‖2). (1.11)

Mas por hipotese σ = ‖A‖2, entao σ2 = ||A||22 = ||UA1VT ||22 = ||A1||22, e

assim concluı-se para que (1.11) seja verdadeiro que w = 0.Repetindo o processo para a matriz B, de modo que

B = UBΣBVTB ,

8

e entao

A = U

[σ 00 B

]V T

torna-se

A = U

[1 00 UB

]︸ ︷︷ ︸

U

[σ 00 ΣB

]︸ ︷︷ ︸

Σ

[1 00 VB

]TV T︸ ︷︷ ︸

V T

e assim sucessivamente, indutivamente a prova e completa.�

NotaA escolha Ax = σy, com x e y unitarios e justificada pelo fato que assim

(Ax)TAx = (Ax)Tσy,

xTATAx = (σy)Tσy = σ2, (y ortonormal)

ATAx = σ2x,

(1.12)

ou seja, λ = σ2 e autovalor de ATA e σ sera denotado valor singular de A.

Definicao 1.1.6. Denotam-se os autovalores de ATA por λ1 = σ21, λ2 =

σ22, . . . , λn = σ2

n. E σ1, σ2, . . . , σp sao chamados valores singulares de A.Sao ordenados de modo que σ1 ≥ σ2 . . . ≥ σr > 0 e σr+1 = σr+2 = . . . =σn = 0, e irao compor a diagonal da matriz Σ.

Definicao 1.1.7. As colunas de U sao chamadas de vetores singulares aesquerda e as colunas de V sao denotadas vetores singulares a direita.

Visualizacao da decomposicao

9

A visualizacao se distingue dependendo se a matriz tem mais linhas oucolunas. Se A ∈ Rm×n, se m > n

A

m×n

=

U

m×m

Σ

m×n

V T

n×n

,

(1.13)se m < n

A

=

U

Σ

V T

(1.14)

Por exemplo, se A e 3× 2 u11 u12 u13

u21 u22 u23

u31 u32 u33

T a11 a12

a21 a22

a31 a32

[ v11 v12

v21 v22

]=

σ1 00 σ2

0 0

,ou se A e 2× 3

[u11 u12

u21 u22

]T [a11 a12 a13

a21 a22 a23

] v11 v12 v13

v21 v22 v23

v31 v32 v33

=

[σ1 0 00 σ2 0

].

Proposicao 1.1.7. posto(A) = r. Ou seja, o posto de A e equivalente aonumero de valores singulares nao-nulos de A.

Demonstracao. rank(A) = r

10

De fato, o numero de entradas nao-nulas da diagonal de Σ equivale aorank(A), pois

rank(A) = rank(UTΣV ) = rank(Σ) = numero de linhas nao-nulas = r.

�

Convencao• Sem perda de generalidade podemos considerar m ≥ n, pois se m < nbasta considerar a SVD de AT , e se a SVD de AT e UΣV T , entao a SVD deA e V ΣTUT .

• Os valores singulares aparecem em ordem nao-crescente e denota-se σ1 =σmax o maior valor singular e σp = σmin o menor valor singular. Tambem,denota-se σ(A) o conjunto de todos os valores singulares de A.

Unicidade da SVDApenas tem-se a unicidade dos valores singulares, mas nao dos vetores

singulares.Tem-se k = min(m,n) valores singulares de A. Seja r o posto de A,

entao tem-se r valores singulares positivos, que sao as raızes quadradas dosautovalores nao-nulos de ATA ou AAT , os (k−r), se r < k, valores singularessao nulos. Entao os valores singulares sao unicos. Entretando os vetoressingulares nao sao unicos. Por exemplo, se A tem um autovalor singular σ >0, entao oas colunas correspondentes da matriz V podem ser escolhidas comoqualquer base ortonormal do espaco expandido pelos autovetores associadoscom o autovalor multiplo λ = σ2 de ATA.

Exemplo 1

Determinar os valores e vetores singulares de

A =

1 22 33 4

(1.15)

11

1. Calcular os valores singulares .Os autovalores da matriz ATA sao 42.8600 e 0.1400. Portanto, os valores

singulares sao

σ1 =√

42.8600 = 6.5468, σ2 =√

0.1400 = 0.3742.

2. Calcular V .A matriz V1 dos autovetores associados com os autovalores de ATA e

V1 =

(0.5696 −0.82190.8219 0.5696

)(1.16)

como r = 2 entao V = V1.2. Calcular U .

u1Av1 =1

σ1

Av1 =

0.33810.55060.7632

, u2 =1

σ2

Av2 =

0.84800.1735−0.5009

Escolher u3 tal que U = (u1, u2, u3) seja unitaria.

u3 =1

σ2

Av2 =

0.4082−0.81650.4082

(1.17)

4.As matrizes U , Σ e V que definem a SVD de A sao dadas por

U =

0.3381 0.8480 0.40820.5506 0.1735 −0.81650.7632 −0.5009 0.4082

3×3

V =

(0.5696 −0.82190.8219 0.5696

)2×2

Σ =

6.5468 00 0.37420 0

(1.18)

Exemplo 2

12

Determine os valores singulares da matriz 5× 3

A =

1 0 10 1 00 1 10 1 01 1 0

.Solucao: Temos que

AT =

1 0 0 0 10 1 1 1 11 0 1 0 0

.Logo,

ATA =

2 1 11 4 11 1 2

.O polinomio caracterıstico de ATA e

p(λ) = λ3 − 8λ2 + 17λ− 10 = (λ− 5)(λ− 2)(λ− 1).

Logo, os autovalores de ATA sao λ1 = σ21 = 5, λ2 = σ2

2 = 2 e λ3 = σ23 = 1.

Como consequencia, os valores singulares de A sao σ1 =√

5, σ2 =√

2 eσ3 = 1. Portanto,

Σ =

√

5 0 0

0√

2 00 0 10 0 00 0 0

.

1.2 Relacoes entre SVD e decomposicao em

autovalores

Convencao• Sem perda de generalidade podemos considerar m ≥ n, pois se m < nbasta considerar a SVD de AT , e se a SVD de AT e UΣV T , entao a SVD deA e V ΣTUT .

13

Teorema 1.2.1. Seja A = UΣV T , decomposicao singular de A ∈ Rm×n.Seja r o posto da matriz A. Entao

1. V T (ATA)V = diag(σ21, σ

22, . . . , σ

2r , 0, . . . , 0)n×n

2. UT (AAT )U = diag(σ21, σ

22, . . . , σ

2r , 0, . . . , 0)m×m

Demonstracao. (1)

ATA = (V ΣTUT )(UΣV T )= V ΣTUTUΣV T

= V ΣTΣV T

= V Σ′V T ,

onde Σ′ = ΣTΣ = Σ2 e uma matriz diagonal n×n com σ21, σ

22, · · · , σ2

r , 0, · · · , 0como entradas de sua diagonal. Assim,

V T (ATA)V = V T (V Σ′V T )V= V TV Σ′V TV= Σ′

= diag(σ21, σ

22, · · · , σ2

r , 0, · · · , 0)n×n.

De forma semelhante, vamos provar a afirmacao (2):

AAT = (UΣV T )(V ΣTUT )= V Σ′′V T ,

onde Σ′′ΣΣT = e uma matriz diagonal m × m com σ21, σ

22, · · · , σ2

r , 0, · · · , 0como entradas de sua diagonal. Logo,

UT (AAT )U = UT (UΣ′′UT )U= (UTU)Σ′′(UTU)= Σ′′

= diag(σ21, σ

22, · · · , σ2

r , 0, · · · , 0)m×m.

�

Notas

1. Os vetores singulares a direita v1, v2, . . . , vn sao os autovetores da matrizATA.

14

2. Os vetores singulares a esquerda u1, u2, . . . , um sao os autovetores damatriz AAT .

3. σ21, . . . , σ

2r sao os autovalores nao nulos de ATA e AAT .

Corolario 1. Seja A uma matriz simetrica com autovalores λ1, · · · , λn.Entao os valores singulares de A sao |λi|, i = 1, · · · , n.

Prova: Como A e simetrica, entao A = AT , o que implica em ATA = A2.Logo, pelo Teorema ??, vemos que os valores singulares de A sao as raızesquadradas nao negativas dos n autovalores de A2. Como os autovalores deA2 sao λ2

1, · · · , λ2n, entao σi =

√λ2i = |λi|, i = 1, · · · , n. �

Corolario 2. Se An×n e uma matriz inversıvel, entao

| det(A)| =n∏i=1

σi.

Demonstracao. Se A e inversıvel, entao posto(A) = n. Logo, A possui nvalores singulares. Sejam σ1, · · · , σn os valores singulares de A. Entao,

| det(A)| = | det(UΣV T )= | det(U)|| det(Σ)|| det(V T )|= | det(Σ)|=

n∏i=1

σi.

�

1.3 Relacoes entre SVD e a estrutura da ma-

triz

A SVD pode ser usada efetivamente para calcular certas propriedades im-portantes relativas a estrutura de uma matriz, tais como o posto, normaEuclidiana, numero de condicionamento, e bases ortonormais para o nucleoe imagem. Vamos discutir isso atraves do seguinte teorema:

Teorema 1.3.1. Sejam σ1 ≥ σ2 ≥ . . . ≥ σn os n valores singulares da matrizA m× n. Entao

15

1. ‖A‖2 = σ1 = σmax

2. ‖A‖2F = (σ2

1 + . . .+ σ2r)

1/2

3. ‖A−1‖2 = 1σn

= 1σmin

, quando A e n× n e nao-singular.

4. Quando A e n×n nao-singular, entao cond2(A) = ‖A‖2‖A−1‖2 =σ1

σn=σmaxσmin

.

Demonstracao. 1. ‖ A ‖2= σ1

De fato

‖ A ‖2=‖ UΣV T ‖2=‖ Σ ‖2= maxiσi = σ1.

2. ‖ A ‖2F= σ2

1 + ...+ σ2p, p = min{m,n}

De fato,

‖ A ‖F=‖ UΣV ‖F=‖ Σ ‖F= (

p∑i=1

σ2i )

1/2

Entao

‖ A ‖2F= σ2

1 + ...+ σ2p

.3. Tomando a SVD de A−1, temos do Teorema da Decomposicao em ValoresSingulares que o maior valor singular de A−1 e 1/σn(quando A e inversıvel,σn 6= 0). Entao, de (1) segue que ||A−1|| = 1

σmax= 1

σn;

4. Da definicao de Cond2(A) e utilizando 1. e 3. temos queCond2(A) = ||A||2||A−1||2 = σ1

1σn

= σmax

σmin.

�

Exemplo 1.3.1. Calcule ||A||2, ||A||F e Cond(A) da seguinte matriz, utili-zando o Teorema ??:

A =

1 2 33 4 56 7 7.999

.

16

Solucao: Os valores singulares de A sao: σ1 = 14.5570, σ2 = 1.0375 eσ3 = 0.0001. Logo, pelo Teorema ??, temos que:

1. ||A||2 = σ1 = 14, 5570;

2. ||A||F =√σ2

1 + σ22 + σ2

3 = 14, 5940;

3. Cond(A) = σ1/σ3 = 1, 0993× 105.

Propriedades

Os vetores singulares podem ser usados para construir bases ortonormaispara o espaco nulo e para o espaco imagem de uma matriz A. Seja A = UΣV T

a SV D de A ∈ Rm×n. σ1 ≥ σ2 ≥ . . . ≥ σr > 0 valores singulares de A. Entao

Avi = σiui, i = 1, . . . , rAvi = 0, i = r + 1, . . . , n

(1.19)

Similarmente, tomando a SVD de AT = V ΣTUT , temos

ATui = σivi, i = 1, . . . , rATui = 0, i = r + 1, . . . ,m

(1.20)

Portanto

Im(A) = span{u1, . . . , ur}

Nuc(A) = span{vr+1, ..., vn}

Im(AT ) = span{v1, . . . , vr}

Nuc(AT ) = span{ur+1, ..., um}

Demonstracao. 1.Temos a expansao SVD (caso m ≥ n)

17

A = UΣV T = [u1 u2 ... um]m×m

σ1

σ2

. . .

σn0

m×n

[v1 v2 ... vn]Tn×n

= [σ1u1 σ2u2 ... σnun]m×n

vT1vT2

...

vTn

n×n

(1.21)Entao A =

∑ni=1 σiuiviT

Analogamente se n < m

A = UΣV T = [u1 u2 ... um]m×m

σ1

σ2

. . . 0σm

m×n

[v1 v2 ... vn]Tn×n

= [σ1u1 σ2u2 ... σmum 0]m×n

vT1vT2

...

vTn

n×n

(1.22)Entao A =

∑mi=1 σiuiviT.

E de maneira geral, levando em consideracao apenas as contribuicoes nao-nulas de σ1, ..., σp, com p = minm,n, descritas em (??), teremos

A =∑r

i=1 σiuivTi .

Portanto, no caso de A ∈ Rm×n, com m ≥ n (o outro caso seria analogo),para todo x ∈ Rn temos

18

Ax = [n∑i=1

σiuivTi ]x =

n∑i=1

(σivTi x)ui,

usando que vTi x e escalar. Vemos que Ax e uma combinacao linear dosvetores singulares de esquerda {ui}. Nao temos comntribuicoes de uj nacombinacao linear, para os casos de σj = 0. Mas temos considerado quetodos os valores singulares sao nao-nulos de σ1 a σr, com r ≤ min{m,n} = n(na ausencia de valores singulares nulos terıamos r = n). Entao

Ax =r∑i=1

(σivTi x)ui

Ja que os autovetores u1, ..., ur sao ortogonais, por construcao eles saolinearmente independentes, e entao uma base para imagem de A, dada porIm(A), sera Im(A) = span{u1, ..., ur}

2. Ja vimos que ATA e uma matriz simetrica e que existe uma base orto-normal de autovetores associada a ela. Entao sejam λ1, ..., λn, e v1, ..., vn,autovalores e autovetores associados a ATA, ou seja,

ATAvi = σ2i vi, i = 1, ...n

Entao

vTi ATAvi = σ2

i 6= 0, i = 1, ...r

E

vTi ATAvj = 0, i = 1, ...r, i 6= j

Escrevemos

V1 = (v1, ..., vr)

V2 = (vr+1, ..., vn)

onde v1, ..., vr sao os autovetores associados a autovalores nao-nulos λ1, ..., λn,e vr+1, ..., vn sao os autovalores associados a autovalores nulos. Entao

V T2 A

TAV2 = V T2 A

TA(vr+1, vr+2, ..., vn) = V T2 (0, 0, ..., 0) = 0

19

Isso implica que AV2 = 0, ou

Avk = 0, k = r + 1, ..., n

Entao, por definicao, segue que

null(A) = span{vr+1, ..., vn}.�

Essas propriedades implicam que as colunas de U correspondentes aosvalores singulares nao nulos de A formam uma base ortonormal de Im(A);as colunas de U correspondentes aos valores singulares nulos de A formamuma base do N(AT ), e assim segue.

Uma vez obtidas as bases ortonormais para a Imagem Im(A) e parao Espaco Nulo N(A) de A, as projecoes ortogonais podem ser facilmentecalculadas. Assim, se particionarmos U e V como

U = (U1, U2), V = (V1, V2),

onde U1 e V1 consistem das primeiras r colunas de U e V , entao as seguintesprojecoes utilizando SVD podem ser calculadas:

1. Projecao em Im(A) = U1UT1 ;

2. Projecao em N(A) = V2VT

2 ;

3. Projecao em N(AT ) = U2UT2 ;

4. Projecao em Im(AT ) = V1VT

1 .

Decomposicao diadica

A =r∑i=1

uiσivTi (1.23)

A = u1σ1vT1 + u2σ2v

T2 + . . .+ upσpv

Tp (1.24)

Fornece uma descricao canonica de uma matriz como a soma de matrizes deposto 1.

20

1.4 Aplicacoes da SVD

Entre outras, cita-se

• Sensibilidade

• Mınimos quadrados

• Compressao de imagens

1.4.1 Compressao de imagens

Um dos propositos de transformar uma matriz A em sua SVD e aproximarA usando um menor numero de entradas do que a matriz original. Usando oposto da matriz removemos as informacoes reduntantes (entradas dependen-tes) quando r < m ou r < n

A = σ1u1vT1 + σ2u2v

T2 + . . .+ σrurv

Tr + 0ur+1v

Tr+1 + . . . (1.25)

Os valores singulares nulos nao afetam a imagem, podem ser desprezados

A = σ1u1vT1 + σ2u2v

T2 + . . .+ σrurv

Tr

SVD is used as a method for noise reduction.Let a matrix A represent the noisy signal: compute the SVD, and then

discard small singular values of A.It can be shown that the small singular values mainly represent the noise,

and thus the rank-k matrix Ak represents a filtered signal with less noise.

1.4.2 Resolucao de Problemas de Mınimos QuadradosUsando a SVD

A SVD e uma importante ferramenta para a resolucao de problemas demınimos quadrados, tanto para matrizes de posto completo quanto para ma-trizes de posto deficiente. Considere o problema de mınimos quadrados:Encontre x tal que ||r||2 = ||Ax− b||2 e mınimo.

21

Seja A = UΣV T a SVD de A. Entao, temos que

||r||2 = ||(UΣV T )x− b||2= ||U(ΣV Tx− UT b)||2= ||Σy − b′||2

onde V Tx = y e UT b = b′. Assim, o uso da SVD de A reduz o problema demınimos quadrados de matriz A completa para uma matriz diagonal Σ:Encontre y tal que

||Σy − b′||2

e mınimo.O problema reduzido e trivial para ser resolvido. Temos que

||Σy − b′||2 =k∑i=1

|σiyi − b′i|2 +m∑

i=k+1

|b′i|2

onde k e o numero de valores singulares nao nulos de A. Assim, o vetor

y =

y1

y2...yn

que minimiza ||Σy − b′||2 e dado por:

yi =

{b′iσi, se σi 6= 0

arbitrario, se σi = 0

Uma vez que y e calculado, a solucao pode ser recuperada de x = V y.Correspondendo a cada σi nulo, yi pode ser um conjunto arbitrario,

no caso de posto deficiente, teremos infinitas solucoes para o problema demınimos quadrados. Existem exemplos onde o posto deficiente e realmentedesejavel, pois ele fornece uma rica famılia de solucoes que podem ser usadaspara a otimizacao para algum outro aspecto do problema original. No casode posto completo, a solucao para o problema de mınimos quadrados e unica.

22

Algoritmo: Solucao do Problema de Mınimos Quadrados Usando a SVDEtapa 1: Encontre a SVD de A: A = UΣV T ;Etapa 2: Forme

y =

y1

y2...yn

,

escolhendo

yi =

{b′iσi, se σi 6= 0

arbitrario, se σi = 0

Etapa 4: Calcule a famılia de solucoes do problema de mınimos quadrados:x = V y.

Da Etapa 3 do algoritmo, vemos que no caso de posto deficiente, a solucaodo problema de mınimos quadrados de norma 2 mınima e a que e obtida pelaescolha de yi = 0 sempre que σi = 0. Assim, temos a seguinte expressao paraa solucao de norma 2 mınima usando SVD:

x =k∑i=1

uTi b

σivi, (1.26)

onde k e o posto(A) numerico e ui e vi sao respectivamente as i-esimas colunasde U e V .

1.4.3 Resolucao de Sistemas Lineares Usando a SVD

A ideia de usar SVD para a resolucao de problemas de mınimos quadradospode ser facilmente aplicada para determinar se um sistema linear Ax = btem uma solucao, se sim, como calcula-la. Assim, se

A = UΣV T ,entao

Ax = be equivalente a

Σy = b′,onde y = V T e b′ = UT b.

Entao, o sistema Ax = b e consistente se, e somente se, o sistema diagonalΣy = b′ e consistente, e a solucao de Ax = b pode ser calculada resolvendo

23

primeiro o sistema diagonal Σy = b′ e entao recuperando x de x = V y.Entretanto, esta abordagem sera muito mais cara computacionalmente quea Eliminacao Gaussiana e metodos de decomposicao QR. Este custo alto e omotivo pelo qual a SVD nao e, em geral, usada na pratica para a resolucaode sistemas lineares.

1.5 Interpretacao geometrica

1.6 Calculo da SVD - Algoritmos

GolubTrefethen

24