证明 OLS 最小方差性

该性质是高斯-马尔可夫定理（Gauss-Markov Theorem）的核心内容，即“在满足经典线性回归模型假设的条件下，OLS 估计量是最优线性无偏估计（BLUE）”。

前提假设与模型设定

线性回归模型

设一元线性回归模型为：
$$
Y_i = \beta_0 + \beta_1 X_i + \mu_i \quad (i=1,2,\dots,n)
$$

其中：

• $Y_i$ 为因变量，$X_i$ 为自变量（非随机变量），
• $\beta_0$（截距项）和 $\beta_1$（斜率项）为待估参数，
• $\mu_i$ 为随机误差项，满足 高斯-马尔可夫假设

关键假设

• 假设 1（线性性）：$Y_i$ 是 $\beta_0, \beta_1$ 的线性函数。
• 假设 2（无偏性）：$E(\mu_i) = 0$，故 $E(Y_i) = \beta_0 + \beta_1 X_i$。
• 假设 3（同方差性）：$\text{Var}(\mu_i) = \sigma^2$（常数，与 $i$ 无关）。
• 假设 4（无自相关性）：$\text{Cov}(\mu_i, \mu_j) = 0$（$i \neq j$，误差项互不相关）。

OLS 估计量的表达式

OLS 估计量通过 最小化残差平方和 $\sum_{i=1}^n (Y_i - \hat{\beta}_0 - \hat{\beta}_1 X_i)^2$ 得到，其表达式为：

斜率估计量 $\hat{\beta}_1$

$$
\hat{\beta}1 = \frac{\sum{i = 1}^n (X_i - \bar{X})(Y_i - \bar{Y})}{\sum_{i = 1}^n (X_i - \bar{X})^2} = \sum_{i = 1}^n k_i Y_i
$$

其中：

• $\bar{X} = \frac{1}{n}\sum X_i$，$\bar{Y} = \frac{1}{n}\sum Y_i$（样本均值），

• 为便于后续推导，我们设定 $k_i = \dfrac{X_i - \bar{X}}{\sum_{j=1}^n (X_j - \bar{X})^2}$，它是 $X_i$ 的函数。

  可见，$\hat{\beta}_1$ 是 $Y_i$ 的 线性组合（线性估计量）。

截距估计量 $\hat{\beta}_0$

$$
\hat{\beta}_0 = \bar{Y} - \hat{\beta}1 \bar{X} = \sum{i=1}^n \left( \frac{1}{n} - \bar{X} k_i \right) Y_i
$$

也是 $Y_i$ 的线性组合（线性估计量）。

最小方差性的证明

需证明：在所有线性无偏估计量中，OLS 估计量 $\hat{\beta}_1$ 的方差最小。

步骤 1：定义任意线性无偏估计量

设 $\hat{\beta}_1^*$ 是 $\beta_1$ 的任意线性估计量，可表示为：

$$
\hat{\beta}1^* = \sum{i=1}^n (k_i + d_i) Y_i
$$
其中 $d_i$ 是任意常数（非随机，因 $k_i$ 非随机），故 $\hat{\beta}_1^*$ 可分解为：

$$
\hat{\beta}1^* = \sum{i=1}^n k_i Y_i + \sum_{i=1}^n d_i Y_i = \hat{\beta}1 + \sum{i=1}^n d_i Y_i
$$

步骤 2：利用无偏性约束推导 $d_i$ 的条件

估计量无偏性要求 $E(\hat{\beta}_1^*) = \beta_1$，代入 $Y_i = \beta_0 + \beta_1 X_i + \mu_i$：

$$
\begin{align*}
E(\hat{\beta}_1^) &= E\left [ \sum (k_i + d_i)(\beta_0 + \beta_1 X_i + \mu_i) \right] \
&= \beta_0 \sum (k_i + d_i) + \beta_1 \sum (k_i + d_i) X_i + \sum (k_i + d_i) E(\mu_i) \
&= \beta_0 \sum (k_i + d_i) + \beta_1 \sum (k_i + d_i) X_i \quad (\text{因 } E(\mu_i)= 0)
\end{align}
$$

由于 $\hat{\beta}_1$ 是无偏估计量，已知： $$\sum k_i = 0, \quad \sum k_i X_i = 1$$

因此，$\hat{\beta}_1^*$ 无偏性要求： $$\sum d_i = 0, \quad \sum d_i X_i = 0$$

步骤 3：计算 $\hat{\beta}_1^*$ 的方差

利用方差 $\text{Var}(a + bZ) = \text{Var}(bZ) = b^2 \text{Var}(Z)$ 的性质，且 $\mu_i$ 无自相关：

$$
\begin{align*}
\text{Var}(\hat{\beta}_1^) &= \text{Var}\left( \hat{\beta}_1 + \sum d_i Y_i \right) \
&= \text{Var}(\hat{\beta}_1) + \text{Var}\left( \sum d_i Y_i \right) + 2\text{Cov}\left( \hat{\beta}_1, \sum d_i Y_i \right)
\end{align}
$$

步骤 4：化简协方差项

利用协方差的双线性性质和 $\hat{\beta}_1 = \sum k_i Y_i$，结合无自相关、同方差假定，得：

$$
\begin{split}\text{Cov}\left( \hat{\beta}1, \sum d_i Y_i \right) &= \text{Cov}\left( \sum k_i Y_i, \sum d_j Y_j \right) \&= \sum{i = 1}^n \sum_{j = 1}^n k_i d_j \text{Cov}(Y_i, Y_j)
\\xlongequal[\text{when} \ i = j,\ \text{Cov}(Y_i, Y_i) = \text{Var}(Y_i) = \text{Var}(\mu_i) = \sigma^2]{\text{when} \ i \neq j,\ \text{Cov}(Y_i, Y_j) = \text{Cov}(\mu_i, \mu_j) = 0} & = \sigma^2 \cdot \sum_{i = 1}^n k_i d_i
\end{split}
$$

代入 $k_i = \dfrac{X_i - \bar{X}}{\sum (X_j - \bar{X})^2}$，并利用无偏性得到的 $\sum d_i = 0$ 且 $\sum d_i X_i = 0$，得：

$$
\sum k_i d_i = \frac{\sum (X_i - \bar{X}) d_i}{\sum (X_j - \bar{X})^2} =\frac{\sum d_i X_i- \bar{X}\sum d_i}{\sum (X_j - \bar{X})^2} = 0
$$

因此，协方差项为 $0$，简化得到：
$$
\text{Var}(\hat{\beta}_1^*) = \text{Var}(\hat{\beta}_1) + \text{Var}\left( \sum d_i Y_i \right)
$$

步骤 5：证明方差最小性

由于方差非负（$\text{Var}(\cdot) \geq 0$），故：
$$
\text{Var}(\hat{\beta}_1^*) = \text{Var}(\hat{\beta}_1) + \text{Var}\left( \sum d_i Y_i \right) \geq \text{Var}(\hat{\beta}_1)
$$

当且仅当 $d_i = 0$（对所有 $i$）时，等号成立，此时 $\hat{\beta}_1^* = \hat{\beta}_1$ 同理可证， $\hat{\beta}_0$ 也满足最小方差性。

结论

在满足高斯-马尔可夫假设的条件下，OLS 估计量 $\hat{\beta}_1$ 的方差小于任何其他线性无偏估计量的方差，即 OLS 估计量具有 最小方差性。