第4回 - 2変数の回帰分析のソースを表示

== 概要 ==
記述統計において、2変数間の相関がある時、<br>
一方の変数xから他方の変数yの関係式を求める方法である回帰分析を学習する。<br>
<br><br>

== 回帰分析とは ==
N個のデータの組x<sub>1</sub>、y<sub>1</sub>、...、x<sub>N</sub>、y<sub>N</sub>について、<br>
直線モデル(回帰直線) <math>y = ax + b</math>を当てはめて、データの分布を表す直線を計算することである。<br>
<br>
これは、直線の傾きaと切片bを変化させて決める。<br>
<br>
2変数間の相関係数r<sub>xy</sub>の絶対値が大きい場合に有効である。<br>
<br>
<math>
\begin{align}
a &= \frac{\mbox{x と y の 共 分 散 }}{\mbox{x の 母 分 散 }} \\
  &= \frac{\frac{1}{n} \sum_{i=1}^N (x_i - \bar{x})(y_i - \bar{y})}{\sigma_x^2}
\end{align}
</math><br>
<br>
<math>b = \bar{y} - a \bar{x}</math><br>
<br>
以上のことから、回帰直線は次式となる。<br>
<math>
\begin{align}
\hat{y} &= ax + b \\
        &= ax + \bar{y} - a \bar{x} \\
        &= a(x - \bar{x}) + \bar{y}
\end{align}
</math><br>
<br><br>

== 回帰分析の使い道 ==
* 回帰直線を使用して、yの推定に利用する。
*: <math>\hat{y} = ax + b = a(x - \bar{x}) + \bar{y}</math>
*: <br>
* 代入するxの値には注意が必要である。
** 内挿 (問題なし)
**: <math>\mbox{元 デ ー タ の 最 小  x} \leqq \mbox{代 入 す る  x} \leqq \mbox{元 デ ー タ の 最 大  x}</math>
** 外挿 (問題あり : 範囲外での推定精度は保証できないため)
**: <math>\mbox{代 入 す る  x} \leqq \mbox{元 デ ー タ の 最 小  x}</math>
**: または
**: <math>\mbox{元 デ ー タ の 最 大  x} \leqq \mbox{代 入 す る  x}</math>
**: <br>
**: ただし、外挿しても問題ない場合もあるため、推定結果が妥当かどうかを常に考えることが重要である。
<br><br>

== 回帰分析の推定精度 ==
回帰分析の推定精度を表すには、寄与率R<sup>2</sup>を用いる。<br>
<math>R^2 = 1 - \frac{S_e}{\sum_{i=1}^N {(y_i - \bar{y})^2}}</math><br>
<br>
* 寄与率R<sup>2</sup>は、0〜1の範囲にあり、回帰直線の精度が高いほど寄与率は1に近づく。
* 相関係数r<sub>xy</sub>の2乗が寄与率R<sup>2</sup>に等しい。<br><math>R^2 = (r_{xy})^{2} = \mbox{( 相 関 係 数  )}^{2}</math>
<br><br>

== 回帰分析の原理 ==
N個のデータの組(x<sub>1</sub>, y<sub>1</sub>)、...、(x<sub>N</sub>, y<sub>N</sub>)について、直線モデル(回帰直線)<math>\hat{y} = ax + b</math>を当てはめる時、<br>
実際には誤差があるため、元の値y<sub>i</sub>と回帰直線の式で推定した値 <math>\hat{y_i} = a x_i + b</math>の差が最小になるようにしなくてはならない。<br>
<br>
[[ファイル:Statistics 4 1.png|フレームなし|中央]]
<br>
真値との誤差の2乗 <math>\epsilon_{i}^{2} = (y_i - \hat{y_i})^{2}</math> の総和が最小になれば、直線モデル(回帰直線)が最良になる。<br>
<br>
元の値y<sub>i</sub>と回帰直線で推定した値 <math>\hat{y_i} = a x_i + b</math> の差(誤差 <math>\epsilon_{i}^{2} = (y_i - \hat{y_i})^2</math> )が最小になるようにするには、<br>
全データの誤差の2乗(誤差<math>\epsilon_{i}^{2} = (y_i - \hat{y_i})^{2}</math>)の和が最小になるように、直線の傾きaと切片bを決める。<br>
<br>
これを、<u>最小2乗法</u>と呼ぶ。<br>
<math>
\begin{align}
S_e &= \sum_{i=1}^N {\epsilon_{i}^{2}} \\
    &= \sum_{i=1}^N {(y_i - \hat{y_i})^{2}} \\
    &= \sum_{i=1}^N {\{y_i - (a x_i + b)\}}^{2}
\end{align}
</math><br>
<br>
全データ組の誤差の2乗和S<sub>e</sub>を最小にする回帰係数a、bを求める。<br>
<math>
\begin{align}
S_e &= \sum_{i=1}^N {(y_i - \hat{y_i})^{2}} \\
    &= \sum_{i=1}^N {\{y_i - (a x_i + b)\}^{2}}
\end{align}
</math><br>
<br>
上記の回帰係数を求めるには、S<sub>e</sub>の偏微分の結果が0となる鞍点を求める。<br>
<math>
\begin{align}
\frac{\partial S_e}{\partial a} &= 2 \cdot \sum_{i=1}^N \{y_i - (a x_i + b)\} \cdot (- x_i) \\
                                &= 0
\end{align}
</math><br>
<br>
<math>
\begin{align}
\frac{\partial S_e}{\partial b} &= 2 \cdot \sum_{i=1}^N \{y_i - (a x_i + b)\} \cdot (-1) \\
                                &= 0
\end{align}
</math><br>
<br>
上記の2式を整理して次式とする。<br>
これらを、<u>正規方程式</u>と呼ぶ。<br>
<math>\sum_{i=1}^N {y_i - a } \cdot \sum_{i=1}^N {x_i - b} \cdot N = 0</math> … (1)<br>
<math>\sum_{i=1}^N {x_i y_i} - a \sum_{i=1}^N {x_{i}^{2}} - b \sum_{i=1}^N {x_i} = 0</math> … (2)<br>
<br>
上式を全データ組Nで除算する。<br>
<math>
\begin{align}
b &= \frac{1}{N} \sum_{i=1}^N {y_i} - a \frac{1}{N} \sum_{i=1}^N {x_i} \\
  &= \bar{y} - a \bar{x}
\end{align}
</math><br>
<br>
したがって、回帰直線の切片bは、傾きa、xの平均、yの平均で求めることができる。<br>
<br>
<math>b = \bar{y} - a \bar{x}</math> を下式に代入する。<br>
<math>\sum_{i=1}^N {x_i y_i} - a \sum_{i=1}^N {x_{i}^{2}} - (\bar{y} - a \bar{x}) \sum_{i=1}^N {x_i} = 0</math><br>
<math>
\begin{align}
a \left ( \sum_{i=1}^N {x_{i}^{2}} - N \bar{x}^{2} \right ) &= \left ( \sum_{i=1}^N {x_i - y_i} - N \bar{x} \bar{y} \right ) \\
a \sum_{i=1}^N {(x_i - \bar{x})^{2}} &= \sum_{i=1}^N {(x_i - \bar{x})(y_i - \bar{y})} \\
a &= \frac{\sum_{i=1}^N {(x_i - \bar{x})(y_i - \bar{y})}}{\sum_{i=1}^N {(x_i - \bar{x})^{2}}} \\
  &= \frac{C_{xy}}{\sigma_{x}^{2}} \\
  &= \frac{\mbox{x と y の 共 分 散  }}{\mbox{x の 母 分 散  }}
\end{align}
</math><br>
<br>
全データ組の誤差の2乗和Seが最小になる回帰係数は、<br>
<math>a = \frac{\mbox{x と y の 共 分 散  }}{\mbox{x の 母 分 散  }}</math><br>
<math>b = \bar{y} - a \bar{x}</math><br>
<br>
したがって、回帰直線は全データ組の平均値xとyを通る。<br>
<math>
\begin{align}
\hat{y} &= ax + b \\
        &= ax + \bar{y} - a \bar{x} \\
        &= a(x - \bar{x}) + \bar{y}
\end{align}
</math><br>
<br>
最小となったSeの値は、次式となる。<br>
<math>
\begin{align}
S_e &= \sum_{i=1}^N {y_i - (a x_i + b)}^{2} \\
    &= \sum_{i=1}^N {(y_i - \bar{y})^{2}} - a \sum_{i=1}^N {(x_i - \bar{x})(y_i - \bar{y})}
\end{align}
</math><br>
<br><br>

__FORCETOC__
[[カテゴリ:統計学]]