最小二乗法の原理

$N$ 組みのデータ $(x_i, y_i) [i=1,2,3,\cdots,N]$ が与えられたとする． このとき，各データの組みの直線(一次式)

$$y_i-ax_i-b ,\qquad(i=1,2,3,\cdots,N)$$ (2)

からのずれが最小となるように，係数$a, b$ を決定する．

各データについて，式(2)からのずれ(誤差)の2乗の和

$$E(a,b)=\sum_{i=1}^N (y_i-ax_i-b)^2$$ (3)

を自乗誤差と呼ぶ． 自乗誤差は負になることはないので($E\ge0$ )， これが最小になるように定数$a$ , $b$ を定める．

• 式(3)を最小にする$a$ についての条件を求める．

  式(3)は，次のように変形できる．

  $$E(a,b) = \sum_{i=1}^N\left\{x_ia-(y_i-b)\right\}^2$$

  $$= \sum_{i=1}^N\left\{x_i^2a^2-2(y_i-b)x_i a +(y_i-b)^2\right\}$$

  $$= \left(\sum_{i=1}^N x_i^2\right) a^2 -2\left\{\sum_{i=1}^N(y_i-b)x_i\right\} a +\left\{\sum_{i=1}^N(y_i-b)^2\right\}$$

  
  
  上式は，$a$ についての2次式であるから，$a$ について微分することで ¹， 自乗誤差$E(a,b)$ を最小にするための条件が求まる． 結果は次のようになる．
  $$E(a,b)$$の$a$ についての微分(導関数)$$= 0$$
  この条件式に，式(3)の$a$ についての偏微分を代入して，
  $$2\left(\sum_{i=1}^N x_i^2\right) a -2\left\{\sum_{i=1}^N(y_i-b)x_i\right\} = 0$$
  となる．さらに，式を整理すると次式が得られる．

  $$\left(\sum_{i=1}^N x_i^2\right) a +\left(\sum_{i=1}^Nx_i\right) b = \sum_{i=1}^Ny_ix_i$$ (4)

  
  

• 式(3)を最小にするための$b$ についての条件:

  式(3)は

  $$E(a,b)= \sum_{i=1}^N b^2 -2\left\{\sum_{i=1}^N(y_i-x_i a)\right\} b +\left\{\sum_{i=1}^N(y_i-x_i a)^2\right\}$$
  上式を$b$ について偏微分して0と置くと， 上の変形と同様にして，条件式が求まる．

  $$\left(\sum_{i=1}^N x_i\right) a +N b = \sum_{i=1}^Ny_i$$ (5)

  
  

式(4), (5)を$a$ , $b$ についての 連立1次方程式として解けば，1次式(1)の係数が定まる．