2 El modelo de regresion lineal simple estimacion y propiedades PDF

Preview

Summary

pdf del modelo lineal simple y estimaciones...

Description

2 El modelo de regresión simple: estimación y propiedades Ezequiel Uriel Universidad de Valencia 09-2013 2.1 Algunas definiciones en el modelo de regresión simple 2.1.1 El modelo de regresión poblacional y la función de regresión poblacional 2.1.2 La función de regresión muestral 2.2 Obtención de las estimaciones por Mínimos Cuadrados Ordinarios (MCO) 2.2.1 Diferentes criterios de estimación 2.2.2 Aplicación del criterio de mínimo cuadrados 2.3 Algunas características de los estimadores de MCO 2.3.1 Implicaciones algebraicas de la estimación 2.3.2 Descomposición de la varianza de y 2.3.3 Bondad del ajuste: Coeficiente de determinación (R2) 2.3.4 Regresión a través del origen 2.4 Las unidades de medida y la forma funcional 2.4.1 Unidades de medida 2.4.2 Forma funcional 2.5 Supuestos y propiedades estadísticas de los MCO 2.5.1 Supuestos estadísticos del MLC en regresión lineal simple 2.5.2 Propiedades deseables de los estimadores 2.5.3 Propiedades estadísticas de los estimadores MCO Ejercicios Anexo 2.1 Un caso de estudio: Curvas de Engel para la demanda de productos lácteos Apéndices Apéndice 2.1: Dos formas alternativas de expresar Apéndice 2.2. Demostración de que

2 xy

r R

ˆ2

2

1 1 3 4 4 6 8 8 9 10 12 13 13 14 19 20 22 23 27 34 40 40 41

Apéndice 2.3. Cambio proporcional versus cambio en logaritmos Apéndice 2.4. Demostración de que los estimadores MCO son lineales e insesgados

41 42

Apéndice 2.5. Cálculo de la varianza de : ˆ 2 43 Apéndice 2.6. Demostración del teorema de Gauss-Markov para la pendiente en la regresión simple 43 2 Apéndice 2.7. Demostración de que  es un estimador insesgado de la varianza de las perturbaciones 45 Apéndice 2.8. Consistencia de los estimadores de MCO 47 Apéndice 2.9 Estimación por máxima verosimilitud 48

2.1 Algunas definiciones en el modelo de regresión simple 2.1.1 El modelo de regresión poblacional y la función de regresión poblacional En el modelo de regresión simple, el modelo de regresión poblacional o, simplemente, el modelo poblacional es el siguiente:

y  1   2 x  u

(2-1)

Vamos a ver los diferentes elementos del modelo (2-1) y la terminología utilizada para designarlos. En primer lugar, en el modelo hay tres tipos de variables: y, x y u. En este modelo el único un factor explícito para explicar y es x. El resto de los factores que afectan a y están recogidos en u. Denominamos a y variable endógena (del griego: generada dentro) o variable dependiente. Se utilizan también otras denominaciones para designar a y: variable

1

explicada o regresando. En este modelo todas estas denominaciones son equivalentes, pero en otros modelos, como veremos más adelante, puede haber algunas diferencias. En la regresión lineal simple de y sobre x, a la variable x se le denomina variable exógena (del griego: generado fuera de) o variable independiente. Otras denominaciones utilizadas también para designar a x son: variable explicativa, regresor, covariable o variable de control. Todas estas denominaciones son equivalentes, pero en otros modelos, como veremos más adelante, puede haber algunas diferencias. La variable u recoge todos aquellos factores distintos de x que afectan a y. Es denominada error o perturbación aleatoria. El término de perturbación puede captar también el error de medición de la variable dependiente. La perturbación es una variable no observable. Los parámetros 1 y 2 son fijos y desconocidos. En el segundo miembro de (2-1) se pueden distinguir dos componentes: un componente sistemático 1  2 x y la perturbación aleatoria u. Llamando y al componente sistemático, podemos escribir:

 y  1   2 x

(2-2)

Esta ecuación es conocida como la función de regresión poblacional (FRP) o recta poblacional. Por lo tanto, como puede verse en la figura 2.1, y es una función lineal de x con término independiente igual a 1 y pendiente igual a 2 . La linealidad significa que un aumento de una unidad en x implica que el valor esperado de y - my  E ( y) - varíe en 1 unidades. Ahora, supongamos que disponemos de una muestra aleatoria de tamaño n {(yi, xi): i = 1, ...,n} extraída de la población estudiada. En el diagrama de dispersión de la figura 2.2, se muestran los hipotéticos valores de la muestra. y

y

x



2 

i

1 



  





   



 



x

x

FIGURA 2.2. Diagrama de dispersión.

FIGURA 2.1. La función de regresión poblacional. (FRP)

El modelo poblacional para cada observación de la muestra se puede expresar de la siguiente forma:

yi  1  2 xi  ui i  1, 2,, n

2

(2-3)

En la figura 2.3 se ha representado conjuntamente la función de regresión poblacional y el diagrama de dispersión, pero es importante no olvidar que 1 y 2 son fijos, pero desconocidos. De acuerdo con este modelo es posible, desde un punto de vista teórico, hacer la siguiente descomposición: y i   yi  u i i  1, 2,  , n

(2-4)

que ha sido representada en la figura 2.3 para la observación i-ésima. Sin embargo, desde un punto de vista empírico, no es posible hacerlo debido a que 1 y 2 son desconocidos y, consecuentemente, ui es no observable. 2.1.2 La función de regresión muestral El objetivo principal del modelo de regresión es la determinación o estimación de 1 y 2 a partir de una muestra dada. La función de regresión muestral (FRM) es la contrapartida de la función de regresión poblacional (FRP). Dado que la FRM se obtiene para una muestra dada, una nueva muestra generará otra estimación distinta. La FRM, que es una estimación de la FRP, viene dada por

yˆi  ˆ1  ˆ 2 xi

(2-5)

y permite calcular el valor ajustado ( ˆyi ) para y cuando x  xi . En la FRM ˆ1 y ˆ2 son los estimadores de los parámetros 1 y  2 . Para cada xi tenemos un valor observado ( yi ) y un valor ajustado ( yˆi ). A la diferencia entre y i e yˆi se le denomina residuo uˆi :

uˆi  yi  yˆi  yi  ˆ1  ˆ2 xi

(2-6)

En otras palabras, el residuo uˆi es la diferencia entre el valor muestral y i y el valor ajustado de yˆi , según puede verse en la figura 2.4. En este caso sí es posible calcular empíricamente la descomposición para una muestra dada:

yi  ˆyi  uˆi

3

y





i 

yi



ˆ 2x i ˆ 1    yˆ i









ui 





1

x 2







μyi

y yˆi



μy



yi



uˆi

yˆi





























xi

x

xi

FIGURA 2.3. La función de regresión poblacional y el diagrama de dispersión.

x

FIGURA 2.4. La función de regresión muestral y el diagrama de dispersión.

Resumiendo, ˆ1 , ˆ2 , yˆi y uˆi son la contrapartida muestral de 1 ,  2 , yi y ui respectivamente. Es posible calcular ˆ1 y ˆ2 , para una muestra dada, pero para cada muestra las estimaciones serán distintas. Por el contrario, 1 y 2 son fijos pero desconocidos.

2.2 Obtención de las estimaciones por Mínimos Cuadrados Ordinarios (MCO) 2.2.1 Diferentes criterios de estimación Antes de obtener las estimaciones por mínimos cuadrados, vamos a examinar tres métodos alternativos para ilustrar el problema que tenemos planteado. Estos tres métodos tienen en común que tratan de minimizar, de alguna forma, el valor de los residuos en su conjunto. Criterio 1 Un primer criterio consistiría en tomar como estimadores ˆ1 y ˆ2 a aquellos valores que hagan la suma de todos los residuos tan próxima a cero como sea posible. Con este criterio la expresión a minimizar sería la siguiente: n

Min  uˆi

(2-7)

i 1

El problema principal de este método de estimación radica en que los residuos de distinto signo pueden compensarse. Tal situación puede observarse gráficamente en la figura 2.5, en la que se representan tres observaciones alineadas, (xi,yi), ( x 2 , y 2 ) y ( x3 , y3 ). En este caso, ocurre lo siguiente: y2  y1 y3  y1  x 2  x1 x 3  x 1

4

y

x

x

x1

x2

x3

x

FIGURA 2.5. Los problemas del criterio 1.

Si una línea recta se ajusta de forma que pase a través de los tres puntos, cada uno de los residuos tomará el valor cero, de modo que 3

 uˆ

i

0

i 1

Este ajuste podría ser considerado óptimo. Pero también es posible obtener



3

uˆ  0 , mediante la rotación de la línea recta - desde el punto x2 , y2 - en cualquier

i 1 i

dirección, como muestra la figura 2.5, porque uˆ3  uˆ1 . En otras palabras, haciendo girar de esta manera la recta, se obtiene siempre el resultado de que



3 i 1

uˆ i  0 . Este

simple ejemplo muestra que este criterio no es adecuado para la estimación de los parámetros, ya que, para cualquier conjunto de observaciones, existe un número infinito de líneas rectas que satisfacen este criterio. Criterio 2 Con el fin de evitar la compensación de los residuos positivos con los negativos, de acuerdo con este criterio se toman los valores absolutos de los residuos. En este caso se minimizaría la siguiente expresión: n

Min  uˆ i

(2-8)

i 1

Desgraciadamente, aunque los estimadores así obtenidos tienen algunas propiedades interesantes, su cálculo es complicado, requiriendo la resolución de un problema de programación lineal o la aplicación de un procedimiento de cálculo iterativo. Criterio 3 Un tercer método consiste en minimizar la suma de los cuadrados de los residuos, es decir, n

Min S  Min  uˆi2

(2-9)

i 1

Los estimadores obtenidos se denominan estimadores de mínimos cuadrados (MC), y gozan de ciertas propiedades estadísticas deseables, que se estudiarán más

5

adelante. Por otra parte, frente al primero de los criterios examinados, al tomar los cuadrados de los residuos se evita que se compensen, mientras que, a diferencia del segundo de los criterios, los estimadores de mínimos cuadrados son sencillos de obtener. Es importante señalar que, desde el momento en que tomamos los cuadrados de los residuos, estamos penalizando más que proporcionalmente a los residuos grandes frente a los pequeños (si un residuo es el doble que otro, su cuadrado será cuatro veces mayor). Esto caracteriza la estimación de mínimos cuadrados con respecto a otros procedimientos posibles.

Por lo tanto T

n

Min S  Min  uˆ 2t  Min  ( yi  ˆ1  ˆ2 xi )2 ˆ1 , ˆ2

ˆ1 , ˆ2 t 1

(2-10)

ˆ1 , ˆ2 i 1

Para minimizar S, derivamos parcialmente con respecto a ˆ1 y ˆ2 : n S  2 ( yi  ˆ1  ˆ2 xi ) ˆ1 i 1 n S  2 ( yi  ˆ1  ˆ 2 xi ) xi ˆ2 i1

Los estimadores de MC se obtienen igualando las anteriores derivadas a cero: n

 ( y  ˆ  ˆ x )  0 1

i

(2-11)

2 i

i 1

n

 ( y  ˆ  ˆ x ) x  0 1

i

2 i

(2-12)

i

i 1

Las ecuaciones (2-11) se denominan ecuaciones normales o condiciones de primer orden de MC. n

En las operaciones con sumatorios se deben tener en cuenta las siguientes reglas: a  na i 1

n

ax i 1

n

i

 a x i i 1

n

n

n

 (x  y )   x   y i 1

i

i

i 1

i

i

i 1

Operando con las ecuaciones normales, se tiene que n

n

i 1

i 1

 yi  nˆ1  ˆ 2  xi n

n

n

(2-13)

 y x  ˆ  x  ˆ  x i i

i 1

1

2

i

i 1

2 i

i 1

Dividiendo ambos miembros de (2-13) por n, se tiene que 6

(2-14)

y  ˆ1  ˆ2x

(2-15)

ˆ1  y  ˆ 2 x

(2-16)

Por tanto,

Sustituyendo este valor de ˆ1 en la segunda ecuación normal (2-14), se obtiene que n

yx

i i

i 1

n

n

i 1

i 1

 ( y  ˆ2 x ) xi  ˆ2  xi2

n

n

n

n

i 1

i 1

i 1

i 1

 y ix i  y  x i  ˆ2 x  x i  ˆ2  x2i Resolviendo para ˆ2 se tiene que: n

ˆ2 

yx

i i

i 1 n

n

 y  xi i 1 n

 xi2  x  xi i 1

(2-17)

i 1

O, como se puede ver en el apéndice 2.1, n

ˆ 2 

( y

i

 y )( xi  x )

i 1

n

 (x  x ) i 1

(2-18) 2

i

Si dividimos numerador y denominador de (2-18) por n, se puede ver que ˆ2 es el cociente entre la covarianza de las dos variables y la varianza de x. Por lo tanto, el signo de ˆ2 es el mismo que el signo de la covarianza. Una vez calculado ˆ2 , se puede obtener ˆ1 utilizando la ecuación (2-16). Estos son los estimadores de MC. Dado que existen métodos más complejos, que también se denominan de MC, al método que acabamos de desarrollar le denominaremos método de mínimos cuadrados ordinarios (MCO), debido a su simplicidad. En los epígrafes precedentes, ˆ1 y ˆ2 se han utilizado para designar estimadores genéricos. A partir de ahora con esta notación sólo designaremos a los estimadores MCO. EJEMPLO 2.1 La estimación de la función de consumo Dada la función de consumo keynesiana, cons   1   2 renta  ui vamos a estimarla utilizando los datos de 6 hogares que aparecen en el cuadro 2.1.

7

CUADRO 2.1. Datos y cálculos para estimar la función de consumo. (cons i  cons ) 

2 Observ. consi renta i consi  rentai renta i consi  cons renta i  renta

(rentai  renta )2

(rentai  renta)

1 2 3 4 5 6 Suma

5 7 8 10 11 13 54

6 9 10 12 13 16 66

30 63 80 120 143 208 644

36 81 100 144 169 256 786

-4 -2 -1 1 2 4 0

-5 -2 -1 1 2 5 0

20 4 1 1 4 20 50

25 4 1 1 4 25 60

Calculando cons y renta , y aplicando la fórmula (2-17), o alternativamente (2-18), a los datos de la cuadro 2.1, obtenemos:   66 644  9  66 54 50 cons   9 ; renta   11 ;(2-17): ˆ2   0.83  0.83 ;(2-18): ˆ2  786  11 66 6 6 60   ˆ Aplicando después (2-16), obtenemos que 1  9 0.83 11  0.16

2.3 Algunas características de los estimadores de MCO 2.3.1 Implicaciones algebraicas de la estimación Las implicaciones algebraicas de la estimación son derivadas exclusivamente de la aplicación del procedimiento de MCO al modelo de regresión lineal simple: 1. La suma de los residuos de MCO es igual a 0: n

 uˆ

i

0

(2-19)

i 1

De la definición de los residuos:

uˆi  yi  yˆi  yi  ˆ1  ˆ 2 xi

i  1, 2, ,n

(2-20)

Si sumamos para las n observaciones, se obtiene: n

n

 uˆ   ( y i

i 1

i

 ˆ1  ˆ2 xi )  0

(2-21)

i 1

que es precisamente la primera ecuación (2-11) del sistema de ecuaciones normales. Obsérvese que, si (2-19) se cumple, esto implica que n

n

i 1

i 1

 yi   yˆi

(2-22)

y, dividiendo (2-19) y (2-22) por n, se obtiene uˆ  0

y  yˆ

(2-23) 2. La recta de regresión de MCO pasa necesariamente por el punto ( x , y ). Efectivamente, dividiendo la ecuación (2-13) por n, se obtiene:

y  ˆ1  ˆ2x

8

(2-24)

3. El producto cruzado muestral entre cada uno de los regresores y los residuos de MCO es cero. Es decir, n

 x uˆ

=0

i i

(2-25)

i 1

Puede verse que (2-25) es igual a la segunda ecuación normal: n

n

 x uˆ   x ( y i i

i

i1

i

 ˆ1  ˆ2 xi )  0

i1

dada en (2-12). 4. El producto cruzado muestral entre los valores ajustados ( ˆy ) y los residuos de MCO es igual a cero. Es decir, n

 yˆ uˆ

i ´i

0

(2-26)

i1

Demostración En efecto, teniendo en cuenta las implicaciones algebraicas 1 -(2-19)- y 3 (2-25)-, se obtiene que n

n

n

n

i 1

i 1

i 1

i1

 ˆy iuˆ´ i   ( ˆ1  ˆ2 x i )uˆ´ i  ˆ1  uˆ´ i  ˆ2  x iuˆ´ i  ˆ1  0  ˆ2  0  0 2.3.2 Descomposición de la varianza de y Por definición

yi  yˆi  uˆi

(2-27)

Restando y en ambos miembros de la expresión anterior (recordar que ˆy es igual a y ), se obtiene

y i  y  yˆi  yˆ  uˆi Elevando al cuadrado ambos miembros:

 y i  y

2

2

 ( ˆy i  ˆy)  uˆ i   ( ˆyi  ˆy)2  uˆ 2i  2 ˆui( ˆyi  ˆy)

Sumando para todo i:

 y

i

 y    ( yˆi  yˆ ) 2   uˆi2  2  uˆi ( yˆi  yˆ ) 2

Teniendo en cuenta las propiedades algebraicas 1 y 4, el tercer término del segundo miembro es igual a 0. Analíticamente,

 uˆ ( yˆ  yˆ )   uˆ yˆ  yˆ  uˆ  0 i

i

i

i

Por lo tanto, obtenemos

9

i

(2-28)

 y  y 

2

i

2 2   ( yˆi  yˆ )   uˆi

(2-29)

En palabras, Suma de cuadrados totales (SCT) = Suma de cuadrados explicados (SCE)+Suma de los cuadrados de los residuos (SCR) Debe recalcarse que se debe cumplir la relación (2-19) para asegurar que (2-28) es igual a 0. Hay que recordar que (2-19) está asociada a la primera ecuación normal, es decir, a la ecuación correspondiente al término independiente. Si en el modelo ajustado no hay término independiente, entonces, en general, no se cumplirá la descomposición obtenida en (2-29). Esta descomposición puede aplicarse a las varianzas, dividiendo ambos miembros de (2-29) por n:

 y

i

 y

2

n

( yˆ 

i

 yˆ ) 2

n

uˆ 

2 i

(2-30)

n

En palabras, Varianza total=varianza explicada+ varianza residual 2.3.3 Bondad del ajuste: Coeficiente de determinación (R2) A priori, se han obtenido unos estimadores que minimizan la suma de los cuadrados de los re...