第4回 - 2変数の回帰分析

概要

記述統計において、2変数間の相関がある時、
一方の変数xから他方の変数yの関係式を求める方法である回帰分析を学習する。

回帰分析とは

N個のデータの組x₁、y₁、...、x_N、y_Nについて、
直線モデル(回帰直線) $y=ax+b$を当てはめて、データの分布を表す直線を計算することである。

これは、直線の傾きaと切片bを変化させて決める。

2変数間の相関係数r_xyの絶対値が大きい場合に有効である。

$\begin{array}{rl}a& =\frac{\text{ x と y の 共 分 散 }}{\text{ x の 母 分 散 }}\\ & =\frac{\frac{1}{n}\sum _{i=1}^N(x_i-\overline{x})(y_i-\overline{y})}{{\sigma }_x^2}\end{array}$

$b=\overline{y}-a\overline{x}$

以上のことから、回帰直線は次式となる。
$\begin{array}{rl}\hat{y}& =ax+b\\ & =ax+\overline{y}-a\overline{x}\\ & =a(x-\overline{x})+\overline{y}\end{array}$

回帰分析の使い道

• 回帰直線を使用して、yの推定に利用する。

  $\hat{y}=ax+b=a(x-\overline{x})+\overline{y}$

  
  

• 代入するxの値には注意が必要である。
  • 内挿 (問題なし)

    $\text{ 元 デ ー タ の 最 小 x }\leqq \text{ 代 入 す る x }\leqq \text{ 元 デ ー タ の 最 大 x }$

  • 外挿 (問題あり : 範囲外での推定精度は保証できないため)

    $\text{ 代 入 す る x }\leqq \text{ 元 デ ー タ の 最 小 x }$

    または

    $\text{ 元 デ ー タ の 最 大 x }\leqq \text{ 代 入 す る x }$

    
    

    ただし、外挿しても問題ない場合もあるため、推定結果が妥当かどうかを常に考えることが重要である。

回帰分析の推定精度

回帰分析の推定精度を表すには、寄与率R²を用いる。
$R^2=1-\frac{S_e}{\sum _{i=1}^N(y_i-\overline{y}{)}^2}$

• 寄与率R²は、0〜1の範囲にあり、回帰直線の精度が高いほど寄与率は1に近づく。
• 相関係数r_xyの2乗が寄与率R²に等しい。
  $R^2=(r_{xy}{)}^2={\text{( 相 関 係 数 )}}^2$

回帰分析の原理

N個のデータの組(x₁, y₁)、...、(x_N, y_N)について、直線モデル(回帰直線)$\hat{y}=ax+b$を当てはめる時、
実際には誤差があるため、元の値y_iと回帰直線の式で推定した値 $\widehat{y_i}=a{x}_i+b$の差が最小になるようにしなくてはならない。

真値との誤差の2乗 ${ϵ}_i^2=(y_i-\widehat{y_i}{)}^2$ の総和が最小になれば、直線モデル(回帰直線)が最良になる。

元の値y_iと回帰直線で推定した値 $\widehat{y_i}=a{x}_i+b$ の差(誤差 ${ϵ}_i^2=(y_i-\widehat{y_i}{)}^2$ )が最小になるようにするには、
全データの誤差の2乗(誤差${ϵ}_i^2=(y_i-\widehat{y_i}{)}^2$)の和が最小になるように、直線の傾きaと切片bを決める。

これを、最小2乗法と呼ぶ。
$\begin{array}{rl}{S}_e& =\sum _{i=1}^N{ϵ}_i^2\\ & =\sum _{i=1}^N(y_i-\widehat{y_i}{)}^2\\ & =\sum _{i=1}^N{\{y_i-(a{x}_i+b)\}}^2\end{array}$

全データ組の誤差の2乗和S_eを最小にする回帰係数a、bを求める。
$\begin{array}{rl}{S}_e& =\sum _{i=1}^N(y_i-\widehat{y_i}{)}^2\\ & =\sum _{i=1}^N\{y_i-(a{x}_i+b){\}}^2\end{array}$

上記の回帰係数を求めるには、S_eの偏微分の結果が0となる鞍点を求める。
$\begin{array}{rl}\frac{\partial S_e}{\partial a}& =2\cdot \sum _{i=1}^N\{y_i-(a{x}_i+b)\}\cdot (-x_i)\\ & =0\end{array}$

$\begin{array}{rl}\frac{\partial S_e}{\partial b}& =2\cdot \sum _{i=1}^N\{y_i-(a{x}_i+b)\}\cdot (-1)\\ & =0\end{array}$

上記の2式を整理して次式とする。
これらを、正規方程式と呼ぶ。
$\sum _{i=1}^N{y}_i-a\cdot \sum _{i=1}^N{x}_i-b\cdot N=0$ … (1)
$\sum _{i=1}^N{x}_i{y}_i-a\sum _{i=1}^N{x}_i^2-b\sum _{i=1}^N{x}_i=0$ … (2)

上式を全データ組Nで除算する。
$\begin{array}{rl}b& =\frac{1}{N}\sum _{i=1}^N{y}_i-a\frac{1}{N}\sum _{i=1}^N{x}_i\\ & =\overline{y}-a\overline{x}\end{array}$

したがって、回帰直線の切片bは、傾きa、xの平均、yの平均で求めることができる。

$b=\overline{y}-a\overline{x}$ を下式に代入する。
$\sum _{i=1}^N{x}_i{y}_i-a\sum _{i=1}^N{x}_i^2-(\overline{y}-a\overline{x})\sum _{i=1}^N{x}_i=0$
$\begin{array}{rl}a(\sum _{i=1}^N{x}_i^2-N{\overline{x}}^2)& =(\sum _{i=1}^N{x}_i-y_i-N\overline{x}\overline{y})\\ a\sum _{i=1}^N(x_i-\overline{x}{)}^2& =\sum _{i=1}^N(x_i-\overline{x})(y_i-\overline{y})\\ a& =\frac{\sum _{i=1}^N(x_i-\overline{x})(y_i-\overline{y})}{\sum _{i=1}^N(x_i-\overline{x}{)}^2}\\ & =\frac{C_{xy}}{{\sigma }_x^2}\\ & =\frac{\text{ x と y の 共 分 散 }}{\text{ x の 母 分 散 }}\end{array}$

全データ組の誤差の2乗和Seが最小になる回帰係数は、
$a=\frac{\text{ x と y の 共 分 散 }}{\text{ x の 母 分 散 }}$
$b=\overline{y}-a\overline{x}$

したがって、回帰直線は全データ組の平均値xとyを通る。
$\begin{array}{rl}\hat{y}& =ax+b\\ & =ax+\overline{y}-a\overline{x}\\ & =a(x-\overline{x})+\overline{y}\end{array}$

最小となったSeの値は、次式となる。
$\begin{array}{rl}{S}_e& =\sum _{i=1}^N{y_i-(a{x}_i+b)}^2\\ & =\sum _{i=1}^N(y_i-\overline{y}{)}^2-a\sum _{i=1}^N(x_i-\overline{x})(y_i-\overline{y})\end{array}$