MQOMatricial -

7/24/2019 MQOMatricial -

1/28

O Modelo de Regresso Linear em Forma MatricialAula 24

Prof. Moiss A. Resende Filho

Introduo Econometria (ECO 132497)

13 de junho de 2014

Moiss Resende Filho (ECO/UnB) (Wooldridge, Ap. E; Dougherty, Cap. 15) 13/06/2014 1 / 28
http://find/


2/28

Introduo

Porque investir no Modelo de Regresso Linear Mltipla (RLM) emforma matricial?

1 Cursos de ps-graduao, normalmente, utilizam lgebra linear.

2 Generalizar os resultados essenciais para os modelos com vriasvariveis explicativas.

3 Possibilitar a condensao da notao.

Porque no utiliza lgebra linear desde o incio do curso de Introduo Econometria?

Um curso introdutrio de econometria deve incentivar odesenvolvimento dacompreenso intuitiva e slida do material, o

que mais fcil de atingir usando a lgebra do dia a dia (porexemplo, uso de somatrio). Em suma, deseja-se evitar o estudo daeconometria enquanto um exerccio prolongado de matemticaabstrata, o que seria de pouca utilidade os simples praticantes da

disciplina ou econometristas aplicados.Moiss Resende Filho (ECO/UnB) (Wooldridge, Ap. E; Dougherty, Cap. 15) 13/06/2014 2 / 28
http://find/


3/28

Introduo

Conveno: matrizes e vectores sero denotados por letras em negrito,as matrizes em letras maisculas, por exemplo, A, e os vetores, em letrasminsculas, por exemplo, b. A transposio de uma matriz ser denotado por um apstrofo, demaneira que a transposio de A A0. O inverso de uma matriz ser denotado por um sobrescrito 1. Porexemplo, o inverso da matriz A A1.

http://find/


4/28

O MRLM em forma matricial

Considere o modelo de regresso linear mltipla com kparmetros eobservaes indexadas por i:

yi =1xi1+2xi2+ . . .+kxik+ui, i=1,. . ., n (1)

As n equaes em (1) formam o sistema de equaes:

26664y1

y2...yn

37775= 266641x11+2x12+ . . .+kx1k

1x21+2x22+ . . .+kx2k...

1xn1+2xn2+ . . .+kxnk

37775 + 26664u1

u2...un

37775 (2)ou, equivalentemente266

64

y1y2...yn

37775

=

26664

x11 x12 x1kx21 x22 x2k

... ...

... ...

xn1 xn2 xnk

37775

26664

12

...k

37775

+

26664

u1u2...un

37775

(3)

http://find/


5/28


Se h umintercepto, ento xi1 =1, 8i, tal que para cada observaoi, o vetor xi de dimenso k 1

xi =

26664

x11xi2

...xik

37775

=

26664

1xi2

...xik

37775

, i=1, ..., n

O vetor de parmetros de dimenso k 1

=

2666412

..

.k

37775

Assim, as n equaes em (1) podem ser, compactamente, representadaspor

yi =x0

i+u

i, i=1, 2,. .. , n

http://find/


6/28


Alternativamente, para cada varivel j, dena o vetor xj (de dimenson 1) das n observaes de xj tal que:

xj=

26664

x1jx2j

...xnj

37775

,j=1, 2, ..., k

ou coluna j da matriz X, tal que

X=

264x11 x12 x1k

... ...

... ...

xn1 xn2 xnk

375=

x1(n1)

xk(n1)=

2

66664x01

(1k)...

x0n(1k)

3

77775 O sistema de equaes (3) pode, compactamente, ser representado por

y

(n1)

= X

(nk)

(k1)

+ u

(n1)Moiss Resende Filho (ECO/UnB) (Wooldridge, Ap. E; Dougherty, Cap. 15) 13/06/2014 6 / 28
http://find/


7/28

A matriz de varincia-covarincia dos erros

(nn)

=E((u E(ujX)) (u E(ujX))0 jX) =E(uu0jX), pois admite-se

que E(ujX) = 0(n1)

.

Ou seja, (nn)

=E[uu0jX] =E[

26664

u1u2...un

37775

u1 u2 un

jX], onde ui

o i-simo erro populacional do modelo de regresso mltipla.

http://find/


8/28

A matriz de varincia-covarincia dos erros

(nn)

= E[uu0jX] =E[

26664

u1u2...un

37775

u1 u2 un

jX]

= E(

26664

u21 u1u2 u1unu2u1 u

22 u2un

... ...

...unu1 unu2 u2n

37775jX)

=

26664

Var(u1jX) Cov(u1 , u2jX) Cov(u1 , un jX)Cov(u2 , u1jX) Var(u2jX) Cov(u2 , un jX)

... ...

...Cov(un, u1jX) Cov(un, u2jX) Var(un jX)

37775

http://find/


9/28

Estimao por Mnimos Quadrados Ordinrios

b= arg mine SQR(e)SQR(e)

eu0

eu, como

eui

yi x

0ie o i-simo resduo sobe

= (y Xe)0(y Xe)= y0y

(11)y0Xe

(11)

Xe0 y(11)

+Xe0 Xe(11)

= y0y2

y0X

(1k) e+

e

0

X0X

(kk) e, transposta de escalar (4)

As condies de primeira ordem

SQR(

e)

e= 0

(K1)

http://find/


10/28


Para um vetor y de dimenso n 1 e um vetor z de dimenso k 1,dene-se

y

z

(kn)

264

y1z1

y2z1

ynz1...

... . . .

...y1zk

y2zk

ynzk

375

Por exemplo, se y=a0z=a1z1+ +akzk, ento

y

z= 264

y1z1..

.y1zk375= 264

a1...ak375=a.

http://find/


11/28



y

z

(kn)

264 y1z1 y2z1 ynz1... ... . . . ...y1zk

y2zk

ynzk

375

Se y=Az=264a11 a1k... . . . ...ak1 akk

375264z1...zk

375= 264a11z1+ +a1kzk...ak1z1+ +akkzk

375,y

z

(kn) 264y1z1

ynz1...

. ..

...y1

zk ynzk

375= 2664(a11z1++a1kzk)

z1 (ak1z1 ++akkzk)z1

..

.

. ..

...(a11z1++a1kzk)

zk (ak1z1 ++akkzk)zk

3775=264a11 ak1

... . . .

...

a1k akk

375

=A0.

http://find/


12/28



y

z

(kn)

264 y1

z1y2z1

ynz1

... ...

. . . ...

y1zk

y2zk

ynzk

375

Considernado A=264a11 a1k... . . . ...ak1 akk

375= 264a01...

a0k

375 e a forma quadrticay=z0Az=

k

i=1 k

l=1ai,lzizl=

k

i=1ai,lz

2i +

k

i=1 k

l6=iai,lzizl

yz (kn)

266664

(k

i=1k

l=1a i,lzizl)

z1...

(k

i=1k

l=1a i,lzizl)

zk

377775

=

2642a01z...

2a0kz

375=2264a

01...

a0k

375 z=2Az.Moiss Resende Filho (ECO/UnB) (Wooldridge, Ap. E; Dougherty, Cap. 15) 13/06/2014 12 / 28
http://find/


13/28


Propriedades de diferenciao matricial: para um vetor 1 k deconstantes, a0 e uma matriz k kde constantes, A

a0z

z =

z0a

z =a

Az

z = A0

z0Az

z = (A + A0)z=2Az, se A=A0

Sejam a0 =(y0X), z=e e A=(X0X)=A0. Pelas propriedades dediferenciao matricialacima

(2(y0X)e)e =2X0y,

e0(X0X)ee =2X0Xe, 2

e0(X0X)eee =2X0X.

http://find/


14/28


AssimSQR(e)e =2X0Xe X0y= 0(K1) =>

X0Xb(K1)

= X0y(K1)

(Equaes Normais de MQO) (5)

DaX0 y Xb=X0bu=0, ondebuy Xb o vetor n 1 deresduos de MQO: X e os resduos de MQO so ortogonais. O estimador de MQO

b(k1)=X0X(kk)1

X0

y(k1)

Note que 2SQR(e)

e

e j

e=b =2 (X

0X)0 =2X0X que uma matriz k k

simtricae denida positiva, se X "full rank".

http://find/


15/28


Note que:

X0X(kk)

=

266664

x01(n1)

...x0

k(n1)

377775

x1(n1)

xk(n1)

=

2

64

n

i=1x2i1

n

i=1xi1xik

... ...

...

n

i=1xikxi1

n

i=1x2ik

3

75.

X0y=

264x01y...x0ky

375= 264ni=1yixi1...

n

i=1yixik

375 .

http://find/


16/28

A matriz de varincia-covarincia do Estimador MQO

1 Inexistncia de vis de MQO: como

b=(X0X)1 X0y=(X0X)1 X0 (X+ u)= +(X0X)1 X0u, entoE(bjX)=(X0X)1 X0E(ujX) =0, se E(ujX) = 0(n1)

.

2 A matriz de varincia-covarincia de

b

Var(bjX) = Eb E(bjX) b E(bjX)0= E

X0X

1X0u

X0X

1X0u

0jX

= EhX0X

1X0uu0X X0X

1jXi

=

X0X1

X0E(uu0jX)X

X0X1

= 2

X0X1

, se E(uu0jX) =2I (erros esfricos)

3 Estimandob2 =bu0bu/(n k), obtemosdVar(bjX)=b2 (X0X)1.Moiss Resende Filho (ECO/UnB) (Wooldridge, Ap. E; Dougherty, Cap. 15) 13/06/2014 16 / 28

E i M i Q d d O di i
http://find/


17/28


Para o modelo y

i =1+2xi2+

ui, note que, neste caso, k

=2.

X0X(kk)

="

n

i=1x2i1

n

i=1xi1xi2

n

i=1xi2xi1

n

i=1x2i2

#, mas como xi1 =1, 8i,

X0X

(kk)

= " n

n

i=1xi2

n

i=1xi2

n

i=1x

2

i2# (X0X)1 = 1

nni=1 (xi2x2 )

2

ni=1x

22i

ni=1x2i

ni=1x2i n

X0y

(k1)

= "

n

i=1yi

n

i=1yixi2# e

b(k1)

="b1b2

#=(X0X)1 X0y=

" yb2x2

ni(xi2x2 )yi

ni(xi2x2 )

2

#


E i M i Q d d O di i
http://find/


18/28


Para o modelo yi =1+2xi2+ui, note que, neste caso, k=2.

Var(

bjX)

(kk)

=

" Var(

b1jX) Cov(

b1 ,

b2jX)

Cov(

b2,b

1jX) Var(b2jX)

# Var(bjX) =2 (X0X)1 = 2

nni=1 (xi2x2 )

2 ni=1x22i ni=1x2ini=1x2i n

talque:

Var(

b1jX) =

2 ni=1x22i

nni=1 (xi2x2 )

2 , Var(

b2jX) =

2

ni=1 (xi2x2 )

2 e

Cov(b1 ,b2jX) =Cov(b2 ,b1jX) = 2 ni=1x2ini=1 (xi2x2 )2 .

http://find/


19/28

(Questo 14, Anpec 2011). Considere o modelo de regresso lineary=X+ u, em que y, X e u so vetores de dimenso n 1 e um

escalar. Adicionalmente, suponha que E(ujX) =0,

E(uu0jX) =

266664

1 0 0 0 00 3 0 0 00 0 4 0 00 0 0 6 0

0 0 0 0 8

377775

, X=

266664

1111

1

377775

e y=

266664

0750

0

377775

. Com base nisso

pede-se:

1 Calcule a estimativa MQO de ,

b= (X0X)1X0y.

2 Obtenha Var(u1jX),Var(u2jX),Var(u3jX),Var(u4jX),Var(u5jX) e

Cov(ui, ujjX), i6=j.3 Obtenha Var(b1jX) edVar(b1jX).


1 Si l li d ti d d MQO b (X0X)1 X0
http://find/


20/28

1 Simples aplicao do estimador de MQO:=(X0X) X0y: Pelas dimenses da matriz de dados X que 5 1, sabe-se que otamanho da amostra n=5 e que h uma nica varivel explicativa,tal que o modelo economtrico , necessariamente, yi =

1

+ui.

Como X0X=

1 1 1 1 1 266664

1111

1

377775

=n=5,

X0y=

1 1 1 1 1

266664

0750

0

377775

= n

i=1yi=12,

b= (X0X)1X0y=n1 ni=11 yi =51 12=2, 4 (a mdia de y). Var(

b1jX) =

2 (X0X)1 =2n1 e

dVar(

b1jX) =

b2 (X0X)1 =

ibu2i

n(nk)

= (02.4)2 +(72.4)2 +(52.4)2 +(02.4)2 +(02.4)2

5(51)

=2, 26.

http://find/


21/28

Como E(uu0jX) =

2

666641 0 0 0 00 3 0 0 00 0 4 0 0

0 0 0 6 00 0 0 0 8

3

77775=

2

6664Var(u1jX) Cov(u1 , u2jX) Cov(u1 , u5jX)

Cov(u1, u2jX) Var(u2jX) Cov(u2 , u5jX)...

... ...

Cov(u5, u1jX) Cov(u5 , u2jX) Var(u5jX)

3

7775, ento, sabemos

que: E(u21 jX) =Var(u1jX) =1, E(

22jX) =Var(u2jX) =3,

E(23jX) =Var(u3jX) =4, E(24jX) =Var(u4jX) =6,

E(

2

5jX) =Var

(u

5jX) =8, ou seja, o erro heterocedstico. E(ijjX) =Cov(ui, ujjX) zero para todo i,j=1, .., 5 e i6=j,portanto no h correlao entre os erros, o que garantido no caso deamostras (yi, x0i), i=1, ..., n aleatrias.


Questo 6 da lista 5: considere os seguintes modelos de regresso
http://find/


22/28

Questo 6 da lista 5: considere os seguintes modelos de regressoModelo 1: yi =1+ui, com i=1, .., n.Modelo 2: yi =1+2xi2+ui, com i=1, .., n.Modelo 3: yi =1xi1+2xi2+ui, com i=1, .., n.

Note que cada modelo acima um caso particular do Modelo Clssico deRegresso Linear:

y=X+ u

onde y n 1, X n K, K 1 e u n 1.

1 Para cada modelo, apresente as matrizes X, X0X e X0y em termos desoma dos quadrados e dos produtos cruzados das variveis dosmodelos. Por exemplo, para o modelo 1, X

(n1)= [1...1]0,tal que

X0X= ni=11=n e X0y=ni=1yi.

2 Usando os resultados do item (a), mostre que o estimador MQO de1 no modelo 1

b1 = n

1n

i=1

yi=y.

http://find/


23/28

Modelo 1: yi= 1+ui, i=1, .., n.

X(n1)

=

26664

11

...1

37775, X0X= 1 1 1

26664

11

...1

37775=n,

X0y= 1 1 126664y1y2...yn

37775=ni=1yi.

Como (X0X)1 =n1 e X0y=ni=1yi, ento

b1 = (X0X)1X0y

= ni=1yi

n= y

http://find/


24/28

Modelo 2: yi= 1+2xi2+i, i=1, .., n.

X=

26664

1 x121 x22...

...1 xn2

37775

, X0X=

1 1 1x12 x22 xn2

26664

1 x121 x22...

...1 xn2

37775

=

" n

n

i=1xi2

n

i=1xi2

n

i=1x2i2

#, X0y=

1 1 1x12 x22 xn2

26664y1y2...yn

37775=" ni=1yini=1xi2yi#.


A inversa de uma matriz quadrada A, A1 = 1jAj Adjunta de
http://find/


25/28

jAj

A= 1jAj

[1l+k jAjlk]0.

Assim, (X0X)1 = 1jX0Xj [1l+k [X0X]lk]

0 => (X0X)1 =

1nni=1 (xi2x2 )2 ix2i2 ixi2ixi2 n , pois

jX0Xj=nix2i2

ixi2

2=nni=1(xi2 x2)

2, uma vez que

ni=1(xi2 x2)

2 = ni=1x2i2 n

1 (ni=1xi2)2.

Deb= (X0X)1X0y temos que"b1b2

# =

1

nni=1(xi2 x2)

ix

2i2 ixi2

ixi2 n

iyiixi2yi

"b1b2# = 1nni=1(xi2 x2) ix2

i2 iyi

ixi2 i

xi2yi

nixi2yiixi2 iyi

b2 =

nixi2yiixi2 iyin

ni=1(xi2 x2)

=

n

i=1(xi2 x2)(yi y)

n

i=1(xi2 x2)2

http://find/


26/28

Exemplo com y=

266664

7065

9095

110

377775; X=

266664

1 801 100

1 1201 1401 160

377775.

X0X= 1 1 1 1 180 100 120 140 160 2666641 801 100

1 1201 1401 160

377775 = 5 600600 76000. (X0X)1 = 1jX0Xj [1

l+k [X0X]lk]0 =>

(X0X)1 = 1(576000600600) 76000 600600 5 = 195 3100 3100 14000 .

http://find/


27/28

X0y=

1 1 1 1 180 100 120 140 160

266664

70

659095

110

377775

=

43053800

.

b= "b1b2#= (X0X)1X0y= 19

5 3100

31001

4000

43053800

= 200.55

. Var(

bjX) =2 (X0X)1 =2

19

5 3100

31001

4000

; e quanto a 2?

http://find/


28/28

buy Xb=266664

706590

95110

377775

266664

1 801 1001 120

1 1401 160

377775

20

0.55=266664

610

4

22

377775.

bu0bu= 6 10 4 2 2266664

610

422

377775 =160.

dVar(

bjX) =

"dVar(

b1jX)

dCov(

b1 ,

b2jX)

dCov(b2 ,b1jX) dVar(b2jX)#

=

b2 (X0X)1 =

bu0bunk(X

0X)1 = 16052 19

5 3100

31001

4000

=

202.67 1.61.6 0.013

.

http://find/

MQOMatricial -

Documents

Transcript of MQOMatricial -