最小二乗法(1) 最小二乗法の理念

前:なし
次:最小二乗法(2) 一般的な正規方程式 - equal_l2’s blog

ずいぶん前に、最小二乗法を勉強してWordでまとめたのだが、数式が多いので重くなってしまう。
軽い状態で見られるようにこっちで書き直してみる。

最小二乗法とは

測定値の組 $\,(x_i,y_i)\,\,\,(i=1,\cdots,n)\,\,\,$ について、次の式を満たす $f(x_i)$ を推定する手法の一つ。
$y_i=f(x_i)+\epsilon_i$
ここで、 $\epsilon_i$ は、推定値と真の値との誤差。
ただし、 $x_i$ は正確(誤差を持たない量)で、 $y_i$ のみが測定誤差 $\sigma_i$ を持つものとする。

最小二乗法の目標

最小二乗法においては、次の式を満たす $f(x_i)$ を推定するのが目標である。
${\chi}^2 = \displaystyle \sum_{i=1}^{n} \frac{\bigl(y_i- f(x_i)\bigr)^2}{\sigma_i^2}=0$

ここで、 $\sigma_i$ が全ての $i$ について同じ値 $\sigma_y$ であるとすれば、
$\begin{eqnarray} {\chi}^2 &=& \sum_{i=1}^{n} \frac{\bigl(y_i- f(x_i)\bigr)^2}{{\sigma_y}^2} \\ &=& \frac{1}{{\sigma_y}^2} \sum_{i=1}^{n} \bigl(y_i- f(x_i)\bigr)^2 =0 \end{eqnarray}$