最小二乗法(6) 線形近似における係数の推定誤差

前:最小二乗法(5) 線形近似 - equal_l2’s blog
次:最小二乗法(7) 項の欠けた線形近似 - equal_l2’s blog

$\beta_0,\beta_1$ の推定誤差 $\sigma(\beta_0),\sigma(\beta_1)$ を求める。

「最小二乗法(2)」で示した通り、
$\displaystyle \sigma(\beta_j)=\sigma_y \sqrt{\sum_{i=1}^{n}\left\{ \left( \frac{\partial \beta_j}{\partial y_i} \right)^2\right\}}$
ただし、
$\sigma_y=\displaystyle \sqrt{\frac{\sum_{i=1}^{n}\bigl(y_i- f(x_i)\bigr)^2}{n-d-1}} = \sqrt{\frac{\sum_{i=1}^{n}\bigl(y_i- f(x_i)\bigr)^2}{n-2}}$

また、「最小二乗法(5)」で示した通り
$\begin{eqnarray} \beta_0 &=& \frac{X_2 Y_0 - X_1 Y_1}{X_0 X_2 - {X_1}^2} \\ \beta_1 &=& \frac{X_0 Y_1 - X_1 Y_0}{X_0 X_2 - {X_1}^2} \end{eqnarray}$

計算に入る前に、結論を言っておくと、
$\begin{eqnarray} \sigma(\beta_0) &=& \sigma_y \sqrt{\frac{X_2}{X_0 X_2 - {X_1}^2}} \\ \sigma(\beta_1) &=& \sigma_y \sqrt{\frac{X_0}{X_0 X_2 - {X_1}^2}} \end{eqnarray}$
である。

さて、計算に入ろう。
$Y_1,Y_2$ を $y_i$ で偏微分する。
$\displaystyle Y_0=\sum_{l=1}^{n} y_l \, ,Y_1=\sum_{l=1}^{n}x_l y_l$ であるから、
$\begin{eqnarray} \frac{\partial Y_0}{\partial y_i} &=& 1 \\ \\ \frac{\partial Y_1}{\partial y_i} &=& x_i \end{eqnarray}$
となる。

これより、
$\displaystyle \begin{eqnarray} \frac{\partial \beta_0}{\partial y_i} &=& \frac{\partial}{\partial y_i}\left(\frac{X_2 Y_0 - X_1 Y_1}{X_0 X_2 - {X_1}^2}\right) \\ &=& \frac{X_2 - x_i X_1}{X_0 X_2 - {X_1}^2}\\ \\ \frac{\partial \beta_1}{\partial y_i} &=& \frac{\partial}{\partial y_i}\left(\frac{X_0 Y_1 - X_1 Y_0}{X_0 X_2 - {X_1}^2}\right) \\ &=& \frac{X_0 x_i - X_1}{X_0 X_2 - {X_1}^2} \end{eqnarray}$

ゆえに、 $n=X_0$ であることを利用しながら計算すれば、
$\displaystyle \begin{eqnarray} \sigma(\beta_0) &=& \sigma_y \sqrt{\sum_{i=1}^{n}\left\{ \left( \frac{\partial \beta_0}{\partial y_i} \right)^2\right\}} \\ &=& \sigma_y \sqrt{\sum_{i=1}^{n}\left\{ \left( \frac{X_2 - x_i X_1}{X_0 X_2 - {X_1}^2} \right)^2\right\}} \\ &=& \frac{\sigma_y}{X_0 X_2 - {X_1}^2} \sqrt{\sum_{i=1}^{n}\left( X_2 - x_i X_1\right)^2} \\ &=& \frac{\sigma_y}{X_0 X_2 - {X_1}^2} \sqrt{\sum_{i=1}^{n}\left( {X_2}^2 - 2 x_i X_1 X_2 + {x_i}^2 {X_1}^2 \right)} \\ &=& \frac{\sigma_y}{X_0 X_2 - {X_1}^2} \sqrt{ n{X_2}^2 - 2 X_1 X_1 X_2 + X_2 {X_1}^2} \\ &=& \frac{\sigma_y}{X_0 X_2 - {X_1}^2} \sqrt{ X_0 {X_2}^2 - 2 {X_1}^2 X_2 + {X_1}^2 X_2} \\ &=& \frac{\sigma_y}{X_0 X_2 - {X_1}^2} \sqrt{ X_0 {X_2}^2 - {X_1}^2 X_2} \\ &=& \frac{\sigma_y}{X_0 X_2 - {X_1}^2} \sqrt{ X_2 \left(X_0 X_2 - {X_1}^2 \right)} \\ &=& \sigma_y \sqrt{ \frac{X_2}{X_0 X_2 - {X_1}^2}} \\ \end{eqnarray}$

$\displaystyle \begin{eqnarray} \sigma(\beta_1) &=& \sigma_y \sqrt{\sum_{i=1}^{n}\left\{ \left( \frac{\partial \beta_1}{\partial y_i} \right)^2\right\}} \\ &=& \sigma_y \sqrt{\sum_{i=1}^{n}\left\{ \left( \frac{X_0 x_i - X_1}{X_0 X_2 - {X_1}^2} \right)^2\right\}} \\ &=& \frac{\sigma_y}{X_0 X_2 - {X_1}^2} \sqrt{\sum_{i=1}^{n}\left( X_0 x_i - X_1 \right)^2} \\ &=& \frac{\sigma_y}{X_0 X_2 - {X_1}^2} \sqrt{\sum_{i=1}^{n}\left( {X_0}^2{x_i}^2 -2 x_i X_0 X_1 + {X_1}^2 \right)} \\ &=& \frac{\sigma_y}{X_0 X_2 - {X_1}^2} \sqrt{ {X_0}^2 X_2 -2 X_1 X_0 X_1 + n{X_1}^2 } \\ &=& \frac{\sigma_y}{X_0 X_2 - {X_1}^2} \sqrt{ {X_0}^2 X_2 -2 X_0 {X_1}^2 + X_0 {X_1}^2 } \\ &=& \frac{\sigma_y}{X_0 X_2 - {X_1}^2} \sqrt{ {X_0}^2 X_2 - X_0 {X_1}^2 } \\ &=& \frac{\sigma_y}{X_0 X_2 - {X_1}^2} \sqrt{ X_0 \left(X_0 X_2 - {X_1}^2 \right)} \\ &=& \sigma_y \sqrt{\frac{X_0}{X_0 X_2 - {X_1}^2}} \\ \end{eqnarray}$
となる。