equal_l2’s blog

※記載されている内容の正確性は保証しませんが、間違いを指摘していただければ直します。

最小二乗法(5) 線形近似

前:最小二乗法(4) 多項式フィッティング - equal_l2’s blog
次:最小二乗法(6) 線形近似における係数の推定誤差 - equal_l2’s blog

\def \vb {\vec{\beta}} \def \fxb {f(x_i,\vb)}前回言った通り、d=1の場合について実際に解いてみる。

この場合のモデル関数は、あえて書くなら次のようになる。
 \fxb= \beta_0 + \beta_1 x_i
もちろん、
\vb=\left(\begin{array}{c}{\beta_0 \\ \beta_1}\end{array}\right)
である。

このとき、行列形式の正規方程式は、

   \begin{eqnarray}
    \left(\begin{array}{c}{Y_0 \\ Y_1}\end{array}\right) 

    &=&
    
    \left(
    \begin{array}{cc}
      X_0& X_1 \\
      X_1& X_2 \\
    \end{array}
    \right)

    \left(\begin{array}{c}{\beta_0 \\ \beta_1}\end{array}\right)

    &=&

    \left(
    \begin{array}{cc}
      X_0& X_1 \\
      X_1& X_2 \\
    \end{array}
    \right)

    \vb

   \end{eqnarray}
ただし、
{\displaystyle X_m = \sum_{i=1}^{n}{x_i}^m,Y_m=\sum_{i=1}^{n}{x_i}^m y_i}
であった。

実際の係数がほしいだけなら、これに数値を入れて計算すればいい。

今回は、係数の誤差の式を求めるのに、各係数がX_i,Y_iにどのような依存をしているかを知る必要があるので、X_i,Y_iを使う形のまま解く。

次のような拡大係数行列

    \left(
    \begin{array}{cc|c}
      X_0& X_1&  Y_0 \\
      X_1& X_2&  Y_1 \\
    \end{array}
    \right)
を行基本変形して\vbを求める。(掃き出し法)
(もちろん解さえ求まるなら方法は問わない。私は最初にやった時はクラメルの公式を使った)

結論を先に言えば、
\begin{eqnarray}
 \beta_0 &=& \frac{X_2 Y_0 - X_1 Y_1}{X_0 X_2 - {X_1}^2} \\
 \beta_1 &=& \frac{X_0 Y_1 - X_1 Y_0}{X_0 X_2 - {X_1}^2}
\end{eqnarray}
となる。

一応、以下に行基本変形の過程を逐一書いておく。わかる人には読むだけ時間の無駄だと思う。
まず1行目に\frac{1}{X_0}を掛ける。(\displaystyle X_0 = \sum_{i=1}^{n}(1) = nなので、X_0 \neq 0)

    \Rightarrow
    \left(
    \begin{array}{cc|c}
      1&       \frac{X_1}{X_0}&  \frac{Y_0}{X_0} \\
      X_1&     X_2&      Y_1 \\
    \end{array}
    \right)

次に、2行目に\frac{X_1}{X_0 X_2}を掛ける。(\displaystyle X_2 = \sum_{i=1}^{n}{x_i}^2なので、「すべての測定値が0」でない限りX_2 \neq 0)

    \Rightarrow
    \left(
    \begin{array}{cc|c}
      1&       \frac{X_1}{X_0}&  \frac{Y_0}{X_0} \\
      \frac{{X_1}^2}{X_0 X_2}&     \frac{X_1}{X_0}&      \frac{X_1 Y_1}{X_0 X_2} \\
    \end{array}
    \right)

1行目に、2行目の(-1)倍を加える。

    \Rightarrow
    \left(
    \begin{array}{cc|c}
      1-\frac{{X_1}^2}{X_0 X_2}&   0&  \frac{Y_0}{X_0}-\frac{X_1 Y_1}{X_0 X_2} \\
      \frac{{X_1}^2}{X_0 X_2}&     \frac{X_1}{X_0}&      \frac{X_1 Y_1}{X_0 X_2} \\
    \end{array}
    \right) 
    \\
    =
    \left(
    \begin{array}{cc|c}
      \frac{X_0 X_2 - {X_1}^2}{X_0 X_2}&   0&  \frac{X_2 Y_0 - X_1 Y_1}{X_0 X_2} \\
      \frac{{X_1}^2}{X_0 X_2}&     \frac{X_1}{X_0}&      \frac{X_1 Y_1}{X_0 X_2} \\
    \end{array}
    \right)

1行目に\frac{X_0 X_2}{X_0 X_2 - {X_1}^2}を掛ける。

    \Rightarrow
    \left(
    \begin{array}{cc|c}
      1&   0&  \frac{X_2 Y_0 - X_1 Y_1}{X_0 X_2 - {X_1}^2} \\
      \frac{{X_1}^2}{X_0 X_2}&     \frac{X_1}{X_0}&      \frac{X_1 Y_1}{X_0 X_2} \\
    \end{array}
    \right)

2行目に、1行目の(-\frac{{X_1}^2}{X_0 X_2})倍を加える。

    \Rightarrow
    \left(
    \begin{array}{cc|c}
      1&   0&  \frac{X_2 Y_0 - X_1 Y_1}{X_0 X_2 - {X_1}^2} \\
      0&   \frac{X_1}{X_0}&  \frac{X_1 Y_1}{X_0 X_2} - \frac{X_2 Y_0 - X_1 Y_1}{X_0 X_2 - {X_1}^2}\frac{{X_1}^2}{X_0 X_2} \\
    \end{array}
    \right)
    \\
    =
    \left(
    \begin{array}{cc|c}
      1&   0&  \frac{X_2 Y_0 - X_1 Y_1}{X_0 X_2 - {X_1}^2} \\
      0&   \frac{X_1}{X_0}&  \frac{X_1}{X_0 X_2}\left(Y_1 - X_1\frac{X_2 Y_0 - X_1 Y_1}{X_0 X_2 - {X_1}^2} \right) \\
    \end{array}
    \right)

2行目に\frac{X_0}{X_1}を掛けて、
(X_1 \neq 0とする。最初から計算し直せばわかるがX_1=0でも答えに影響はない)

    \Rightarrow
    \left(
    \begin{array}{cc|c}
      1&   0&  \frac{X_2 Y_0 - X_1 Y_1}{X_0 X_2 - {X_1}^2} \\
      0&   1&  \frac{1}{X_2}\left(Y_1 - X_1\frac{X_2 Y_0 - X_1 Y_1}{X_0 X_2 - {X_1}^2} \right) \\
    \end{array}
    \right)
    \\
    =
    \left(
    \begin{array}{cc|c}
      1&   0&  \frac{X_2 Y_0 - X_1 Y_1}{X_0 X_2 - {X_1}^2} \\
      0&   1&  \frac{X_0 Y_1 - X_1 Y_0}{X_0 X_2 - {X_1}^2} \\
    \end{array}
    \right)

よって、
\begin{eqnarray}
 \beta_0 &=& \frac{X_2 Y_0 - X_1 Y_1}{X_0 X_2 - {X_1}^2} \\
 \beta_1 &=& \frac{X_0 Y_1 - X_1 Y_0}{X_0 X_2 - {X_1}^2}
\end{eqnarray}