最小二乗法(7) 項の欠けた線形近似

前:最小二乗法(6) 線形近似における係数の推定誤差 - equal_l2’s blog
次:最小二乗法(8) 重み付き多項式フィッティング - equal_l2’s blog

表題がどうも上手くつけられなかったので、シチュエーションを説明しよう。

今までやってきた $\ d\$ 次の多項式近似で使っていたモデル関数は、0次から $\ d\$ 次までの項が必ず1個づつあって、欠けることはなかった。

しかし、時には「0次の項はいらなくて、1次の項だけ欲しい」などというシチュエーションもあるかもしれない。
この場合、単に1次の多項式近似を行って0・1次の項を推定したうえで0次の項を無視する、ということはできない。0次の項なしには残差の二乗和を最小にはできないからだ。
(推定の仕方からして当然である)

こういう時はどうするかというと、偏微分で書いた正規方程式まで戻るしかない。

$\def\vb{\vec{\beta}}\def\fxb{f(x_i,\vb)} \displaystyle \sum_{i=1}^{n}\frac{\partial \fxb}{\partial \beta_j} y_i = \sum_{i=1}^{n}\frac{\partial \fxb}{\partial \beta_j} \fxb$
誤差なども、すべて一から計算し直しである。

モデル関数 $f(x)=\beta_1 x$ についての線形近似

結果を先に申しあげると、係数は
$\displaystyle \beta_1 = \frac{Y_1}{X_2}$
その誤差は、
$\displaystyle\begin{eqnarray} \sigma(\beta_1) &=& \sigma_y \sqrt{ \frac{1}{X_0 X_2} } \end{eqnarray}$
となる。
ただし、 $\sigma_y=\displaystyle{\sqrt{\frac{\sum_{i=1}^{n}\bigl(y_i- \beta_1 x_i\bigr)^2}{n-1}}}$

係数は $\beta_1$ のみなので、正規方程式は次の1つのみとなる。
$\def\fx{f(x_i)} \displaystyle \sum_{i=1}^{n}\frac{\partial \fx}{\partial \beta_1} y_i = \sum_{i=1}^{n}\frac{\partial \fx}{\partial \beta_1} \fx$
ここで、
$\displaystyle\frac{\partial \fx}{\partial \beta_1} = x_i$
であるから正規方程式は、
$\displaystyle \sum_{i=1}^{n} x_i y_i = \sum_{i=1}^{n} \beta_1 {x_i}^2$

$X_m = \sum_{i=1}^{n}{x_i}^m,Y_m=\sum_{i=1}^{n}{x_i}^m y_i$
を用いて書けば、
$\displaystyle Y_1 = \beta_1 X_2$
すなわち、
$\displaystyle \beta_1 = \frac{Y_1}{X_2}$

誤差を求める。
推定した係数の数が1つのみであるので、 $y_i$ の推定誤差は、
$\sigma_y=\displaystyle{\sqrt{\frac{\sum_{i=1}^{n}\bigl(y_i- \beta_1 x_i\bigr)^2}{n-1}}}$
となる。

また、
$\displaystyle\begin{eqnarray} \frac{\partial \beta_1}{\partial y_i} &=& \frac{\partial}{\partial y_i} \frac{Y_1}{X_2} \\ &=& \frac{1}{X_2} \frac{\partial}{\partial y_i} x_i y_i \\ &=& \frac{x_i}{X_2} \end{eqnarray}$

ゆえに、 $n=X_0$ を用いれば、
$\displaystyle\begin{eqnarray} \sigma(\beta_1) &=& \sigma_y \sqrt{\sum_{i=1}^{n}\left\{ \left( \frac{\partial \beta_1}{\partial y_i} \right)^2\right\}} \\ &=& \sigma_y \sqrt{\sum_{i=1}^{n}\frac{{x_i}^2}{{X_2}^2}} \\ &=& \sigma_y \sqrt{ \frac{X_2}{nX_2 X_2}} \\ &=& \sigma_y \sqrt{ \frac{1}{X_0 X_2} } \end{eqnarray}$

モデル関数についての線形近似

モデル関数 $f(x)=\beta_1 x$ についての線形近似