Econometrics Bruce E. Hansen PDF

Preview

Summary

BOOK...

Description

ECONOMETRICS Bruce E. Hansen

 University of Wisconsin c 2000, 2010

1

www.ssc.wisc.edu/~bhansen This Revision: January 10, 2010 Comments Welcome

1

This manuscript may be printed and reproduced for individual or instructional use, but may not be

printed for commercial purposes.

Contents Preface

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1 Introduction

vi

1

1.1

What is Econometrics? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

1.2

The Probability Approach to Econometrics

1

1.3

Econometric Terms and Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2

1.4

Observational Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

1.5

Standard Data Structures

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

1.6

Sources for Economic Data

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

1.7

Econometric Software

1.8

Reading the Manuscript

. . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2 Regression and Projection

6 7

8

2.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.2

Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

2.3

Conditional Mean . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

2.4

Regression Error

2.5

Best Predictor

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

2.6

Conditional Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

2.7

Homoskedasticity and Heteroskedasticity . . . . . . . . . . . . . . . . . . . . . . . . .

14

2.8

Linear Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

2.9

Best Linear Predictor

16

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

11

2.10 Regression Coe¢cients . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

2.11 Best Linear Approximation

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

2.12 Normal Regression

2.13 Regression to the Mean 2.14 Reverse Regression

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

2.15 Limitations of the Best Linear Predictor . . . . . . . . . . . . . . . . . . . . . . . . .

23

2.16 Identi…cation of the Conditional Mean

. . . . . . . . . . . . . . . . . . . . . . . . . .

25

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26

Exercises

3 The Algebra of Least Squares

28

3.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

28

3.2

Least Squares Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

28

3.3

Solving for Least Squares

3.4

Least Squares Residuals

3.5

Model in Matrix Notation

3.6

Projection Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33

3.7

Residual Regression

35

3.8

Prediction Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

37

3.9

In‡uential Observations

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

39

3.10 Measures of Fit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

39

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

29

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

32

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

i

32

3.11 Normal Regression Model Exercises

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

41

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

43

4 Least Squares Regression

46

4.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

46

4.2

Sampling Distribution

47

4.3

Mean of Least-Squares Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

47

4.4

Variance of Least Squares Estimator

49

4.5

Gauss-Markov Theorem

4.6

Residuals

4.7

Estimation of Error Variance

4.8

Covariance Matrix Estimation Under Homoskedasticity

4.9

Covariance Matrix Estimation Under Heteroskedasticity . . . . . . . . . . . . . . . .

55

4.10 Standard Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

57

4.11 Multicollinearity

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

50

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

52

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

53 54

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

58

4.12 Omitted Variable Bias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

61

4.13 Normal Regression Model

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

61

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

64

Exercises

5 Asymptotic Theory

65

5.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

65

5.2

Weak Law of Large Numbers

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

65

5.3

Consistency of Least-Squares Estimation . . . . . . . . . . . . . . . . . . . . . . . . .

68

5.4

Asymptotic Normality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

70

5.5

Consistency of Sample Variance Estimators

5.6

Consistent Covariance Matrix Estimation

. . . . . . . . . . . . . . . . . . . . . . .

73

. . . . . . . . . . . . . . . . . . . . . . . .

74

5.7

Functions of Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

77

5.8

t statistic

79

5.9

Con…dence Intervals

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

80

5.10 Semiparametric E¢ciency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

81

5.11 Semiparametric E¢ciency in the Projection Model

. . . . . . . . . . . . . . . . . . .

5.12 Semiparametric E¢ciency in the Homoskedastic Regression Model Exercises

82

. . . . . . . . . .

85

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

87

6 Testing

89

6.1

t tests

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

89

6.2

t-ratios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

90

6.3

Wald Tests

91

6.4

F Tests

6.5

Normal Regression Model

6.6

Problems with Tests of NonLinear Hypotheses

6.7

Monte Carlo Simulation

6.8

Estimating a Wage Equation

Exercises

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

92 93

. . . . . . . . . . . . . . . . . . . . .

94

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

97

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

99

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102

7 Additional Regression Topics

104

7.1

Generalized Least Squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104

7.2

Testing for Heteroskedasticity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107

7.3

Forecast Intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107

7.4

NonLinear Least Squares

7.5

Least Absolute Deviations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110

7.6

Quantile Regression

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

ii

7.7

Testing for Omitted NonLinearity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114

7.8

Irrelevant Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

7.9

Model Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116

Exercises

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119

8 The Bootstrap

121

8.1

De…nition of the Bootstrap

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121

8.2

The Empirical Distribution Function . . . . . . . . . . . . . . . . . . . . . . . . . . . 121

8.3

Nonparametric Bootstrap

8.4

Bootstrap Estimation of Bias and Variance

8.5

Percentile Intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124

8.6

Percentile-t Equal-Tailed Interval . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

8.7

Symmetric Percentile-t Intervals

8.8

Asymptotic Expansions

8.9

One-Sided Tests

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 . . . . . . . . . . . . . . . . . . . . . . . 123

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129

8.10 Symmetric Two-Sided Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130 8.11 Percentile Con…dence Intervals

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131

8.12 Bootstrap Methods for Regression Models . . . . . . . . . . . . . . . . . . . . . . . . 132 Exercises

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133

9 Generalized Method of Moments

134

9.1

Overidenti…ed Linear Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134

9.2

GMM Estimator

9.3

Distribution of GMM Estimator

9.4

Estimation of the E¢cient Weight Matrix

9.5

GMM: The General Case

9.6

Over-Identi…cation Test

9.7

Hypothesis Testing: The Distance Statistic

9.8

Conditional Moment Restrictions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140

9.9

Bootstrap GMM Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141

Exercises

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136 . . . . . . . . . . . . . . . . . . . . . . . . 137

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138 . . . . . . . . . . . . . . . . . . . . . . . 139

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143

10 Empirical Likelihood

146

10.1 Non-Parametric Likelihood

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146

10.2 Asymptotic Distribution of EL Estimator

. . . . . . . . . . . . . . . . . . . . . . . . 148

10.3 Overidentifying Restrictions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 10.4 Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 10.5 Numerical Computation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151

11 Endogeneity

153

11.1 Instrumental Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 11.2 Reduced Form 11.3 Identi…cation 11.4 Estimation

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156

11.5 Special Cases: IV and 2SLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 11.6 Bekker Asymptotics

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158

11.7 Identi…cation Failure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 Exercises

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161

iii

12 Univariate Time Series

163

12.1 Stationarity and Ergodicity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 12.2 Autoregressions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 12.3 Stationarity of AR(1) Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166 12.4 Lag Operator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166 12.5 Stationarity of AR(k) 12.6 Estimation

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167

12.7 Asymptotic Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168 12.8 Bootstrap for Autoregressions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169 12.9 Trend Stationarity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169 12.10Testing for Omitted Serial Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . 170 12.11Model Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 12.12Autoregressive Unit Roots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171

13 Multivariate Time Series

173

13.1 Vector Autoregressions (VARs) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173 13.2 Estimation

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174

13.3 Restricted VARs

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174

13.4 Single Equation from a VAR

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174

13.5 Testing for Omitted Serial Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . 175 13.6 Selection of Lag Length in an VAR . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175 13.7 Granger Causality

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176

13.8 Cointegration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176 13.9 Cointegrated VARs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177

14 Limited Dependent Variables

179

14.1 Binary Choice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 14.2 Count Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180 14.3 Censored Data

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181

14.4 Sample Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182

15 Panel Data

184

15.1 Individual-E¤ects Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184 15.2 Fixed E¤ects

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184

15.3 Dynamic Panel Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186

16 Nonparametrics

187

16.1 Kernel Density Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . ....