第4回 - 2変数の回帰分析

概要

記述統計において、2変数間に相関関係がある場合、一方の変数xから他方の変数yの関係式を求める方法として回帰分析がある。
回帰分析は、2変数のデータに対して直線モデルを当てはめ、データの分布を最もよく表す直線 (回帰直線) を計算する手法である。

回帰分析の核心は、観測されたデータ点と回帰直線との距離 (誤差) を最小化することにある。
この誤差の最小化を実現する手法が最小2乗法であり、回帰分析の理論的基盤を形成する。

回帰直線が求まれば、与えられたxの値に対してyの値を推定することが可能になる。
ただし、推定には内挿と外挿の区別があり、外挿の場合は推定精度が保証されないため注意が必要である。

推定精度を評価する指標として寄与率 $R^{2}$ がある。
寄与率は0〜1の範囲を取り、1に近いほど回帰直線の当てはまりが良いことを示す。

回帰分析は、身長と体重の関係、気温と売上の関係、広告費と売上の関係等、様々な分野で広く利用されている。
関数電卓やExcel等の表計算ソフト、PythonやR等のプログラミング言語でも簡単に実施できる。

本ページでは、回帰分析の基本原理である最小2乗法と正規方程式から始まり、回帰係数の導出過程、推定精度の評価方法を解説する。
続いて、具体的な数値例を用いて計算手順を示し、Excel、Python、Rを用いた実装方法も紹介する。

最後に、回帰分析を適用する際の注意点として外れ値の影響と残差分析について記載する。

回帰分析とは

N個のデータの組 $x_{1}, y_{1}, \dots, x_{N}, y_{N}$ について、直線モデル (回帰直線) $y = a x + b$ を当てはめて、データの分布を表す直線を計算することである。

これは、直線の傾きaと切片bを変化させて決める。

2変数間の相関係数r_xyの絶対値が大きい場合に有効である。

 $\begin{aligned} a & = \frac{x と y の共分散}{x の母分散} \\ = \frac{\frac{1}{n} \sum_{i = 1}^{N} (x_{i} - \bar{x}) (y_{i} - \bar{y})}{σ_{x}^{2}} \end{aligned}$ 

 $b = \bar{y} - a \bar{x}$

以上のことから、回帰直線は次式となる。

 $\begin{aligned} \hat{y} & = a x + b \\ = a x + \bar{y} - a \bar{x} \\ = a (x - \bar{x}) + \bar{y} \end{aligned}$

回帰直線は、全データ点の平均値 $(\bar{x}, \bar{y})$ を必ず通る。
この性質は、回帰係数bの導出過程から明らかである。

回帰分析の原理

N個のデータの組( $x_{1}, y_{1}, \dots x_{N}, y_{N}$ )について、直線モデル (回帰直線) $\hat{y} = a x + b$ を当てはめる時、
実際には誤差があるため、元の値 $y_{i}$ と回帰直線の式で推定した値 $\hat{y_{i}} = a x_{i} + b$ の差が最小になるようにしなくてはならない。

真値との誤差の2乗 $ϵ_{i}^{2} = (y_{i} - \hat{y_{i}})^{2}$ の総和が最小になれば、直線モデル (回帰直線) が最良になる。

元の値 $y_{i}$ と回帰直線で推定した値 $\hat{y_{i}} = a x_{i} + b$ の差 (誤差 $ϵ_{i}^{2} = (y_{i} - \hat{y_{i}})^{2}$ ) が最小になるようにするには、
全データの誤差の2乗 (誤差 $ϵ_{i}^{2} = (y_{i} - \hat{y_{i}})^{2}$ ) の和が最小になるように、直線の傾きaと切片bを決める。

これを、最小2乗法と呼ぶ。

 $\begin{aligned} S_{e} & = \sum_{i = 1}^{N} ϵ_{i}^{2} \\ = \sum_{i = 1}^{N} (y_{i} - \hat{y_{i}})^{2} \\ = \sum_{i = 1}^{N} {y_{i} - (a x_{i} + b)}^{2} \end{aligned}$

全データ組の誤差の2乗和 $S_{e}$ を最小にする回帰係数a、bを求める。

 $\begin{aligned} S_{e} & = \sum_{i = 1}^{N} (y_{i} - \hat{y_{i}})^{2} \\ = \sum_{i = 1}^{N} {y_{i} - (a x_{i} + b)}^{2} \end{aligned}$

上記の回帰係数を求めるには、S_eの偏微分の結果が0となる鞍点を求める。

 $\begin{aligned} \frac{\partial S_{e}}{\partial a} & = 2 \cdot \sum_{i = 1}^{N} {y_{i} - (a x_{i} + b)} \cdot (- x_{i}) \\ = 0 \end{aligned}$ 

 $\begin{aligned} \frac{\partial S_{e}}{\partial b} & = 2 \cdot \sum_{i = 1}^{N} {y_{i} - (a x_{i} + b)} \cdot (- 1) \\ = 0 \end{aligned}$

上記の2式を整理して次式とする。
これらを、正規方程式と呼ぶ。

 $\sum_{i = 1}^{N} y_{i} - a \cdot \sum_{i = 1}^{N} x_{i} - b \cdot N = 0 \dots (1)$ 
 $\sum_{i = 1}^{N} x_{i} y_{i} - a \sum_{i = 1}^{N} x_{i}^{2} - b \sum_{i = 1}^{N} x_{i} = 0 \dots (2)$

上式を全データ組Nで除算する。

 $\begin{aligned} b & = \frac{1}{N} \sum_{i = 1}^{N} y_{i} - a \frac{1}{N} \sum_{i = 1}^{N} x_{i} \\ = \bar{y} - a \bar{x} \end{aligned}$

したがって、回帰直線の切片bは、傾きa、xの平均、yの平均で求めることができる。

$b = \bar{y} - a \bar{x}$ を下式に代入する。

 $\sum_{i = 1}^{N} x_{i} y_{i} - a \sum_{i = 1}^{N} x_{i}^{2} - (\bar{y} - a \bar{x}) \sum_{i = 1}^{N} x_{i} = 0$ 

 $\begin{aligned} a (\sum_{i = 1}^{N} x_{i}^{2} - N {\bar{x}}^{2}) & = (\sum_{i = 1}^{N} x_{i} - y_{i} - N \bar{x} \bar{y}) \\ a \sum_{i = 1}^{N} (x_{i} - \bar{x})^{2} & = \sum_{i = 1}^{N} (x_{i} - \bar{x}) (y_{i} - \bar{y}) \\ a & = \frac{\sum_{i = 1}^{N} (x_{i} - \bar{x}) (y_{i} - \bar{y})}{\sum_{i = 1}^{N} (x_{i} - \bar{x})^{2}} \\ = \frac{C_{x y}}{σ_{x}^{2}} \\ = \frac{x と y の共分散}{x の母分散} \end{aligned}$

全データ組の誤差の2乗和Seが最小になる回帰係数は、

 $a = \frac{x と y の共分散}{x の母分散}$ 
 $b = \bar{y} - a \bar{x}$

したがって、回帰直線は全データ組の平均値xとyを通る。

 $\begin{aligned} \hat{y} & = a x + b \\ = a x + \bar{y} - a \bar{x} \\ = a (x - \bar{x}) + \bar{y} \end{aligned}$

最小となったSeの値は、次式となる。

 $\begin{aligned} S_{e} & = \sum_{i = 1}^{N} {y_{i} - (a x_{i} + b)}^{2} \\ = \sum_{i = 1}^{N} (y_{i} - \bar{y})^{2} - a \sum_{i = 1}^{N} (x_{i} - \bar{x}) (y_{i} - \bar{y}) \end{aligned}$

最小2乗法

最小2乗法は、観測値とモデルによる予測値との差 (残差) の2乗和を最小化することで、最適なパラメータを求める手法である。

回帰分析における最小2乗法の特徴は以下の通りである。

残差の2乗和を最小化する
正の残差と負の残差を区別せず、大きな誤差をより強く大きな影響を受ける。
解析的な解が存在する
偏微分を用いて正規方程式を導出でき、数値的な反復計算が不要である。
誤差が正規分布に従う場合、最尤推定と等価になる
統計的な性質が良好であり、推定値が不偏かつ一致する。
外れ値に弱い
誤差を2乗するため、外れ値の影響が大きくなる。

最小2乗法は、単回帰分析だけでなく、重回帰分析、多項式回帰、非線形回帰の基礎としても広く利用されている。

正規方程式

正規方程式は、最小2乗法において、残差の2乗和を最小化する条件から導かれる連立方程式である。

正規方程式の2式は以下の通りである。

 $\sum_{i = 1}^{N} y_{i} = a \sum_{i = 1}^{N} x_{i} + b N$ 
 $\sum_{i = 1}^{N} x_{i} y_{i} = a \sum_{i = 1}^{N} x_{i}^{2} + b \sum_{i = 1}^{N} x_{i}$

この連立方程式を行列形式で表すと、以下のようになる。

 $(\begin{matrix} \sum x_{i}^{2} & \sum x_{i} \\ \sum x_{i} & N \end{matrix}) (\begin{matrix} a \\ b \end{matrix}) = (\begin{matrix} \sum x_{i} y_{i} \\ \sum y_{i} \end{matrix})$

行列形式のメリットは、コンピュータによる数値計算に適している点にある。
特に変数が増える重回帰分析では、行列演算を用いることが標準的である。

回帰係数の導出

回帰係数aとbの導出過程を整理すると、以下の手順となる。

ステップ1: 各変数の平均を計算する
$\bar{x} = \frac{1}{N} \sum_{i = 1}^{N} x_{i}$

$\bar{y} = \frac{1}{N} \sum_{i = 1}^{N} y_{i}$
ステップ2: xの母分散を計算する
$σ_{x}^{2} = \frac{1}{N} \sum_{i = 1}^{N} (x_{i} - \bar{x})^{2}$
ステップ3: xとyの共分散を計算する
$C_{x y} = \frac{1}{N} \sum_{i = 1}^{N} (x_{i} - \bar{x}) (y_{i} - \bar{y})$
ステップ4: 傾きaを計算する
$a = \frac{C_{x y}}{σ_{x}^{2}}$
ステップ5: 切片bを計算する
$b = \bar{y} - a \bar{x}$

この手順に従えば、任意の2変数データに対して回帰直線を求めることができる。

回帰分析の推定精度

回帰分析の推定精度を表すには、寄与率 $R^{2}$ を用いる。

 $R^{2} = 1 - \frac{S_{e}}{\sum_{i = 1}^{N} (y_{i} - \bar{y})^{2}}$

寄与率 $R^{2}$ は、0〜1の範囲にあり、回帰直線の精度が高いほど寄与率は1に近づく。
相関係数 $r_{x y}$ の2乗が寄与率 $R^{2}$ に等しい。
$R^{2} = (r_{x y})^{2} = {(相関係数)}^{2}$

寄与率 $R^{2}$ は、回帰モデルがデータの変動をどれだけ説明できるかを示す指標である。
例えば $R^{2} = 0.8$ であれば、データの変動の80[%]が回帰モデルによって説明できることを意味する。

残差の2乗和 $S_{e}$ は、回帰モデルで説明できない変動の大きさを表す。
全変動 $\sum_{i = 1}^{N} (y_{i} - \bar{y})^{2}$ は、回帰モデルで説明できる変動と説明できない変動に分解できる。

 $\sum_{i = 1}^{N} (y_{i} - \bar{y})^{2} = \sum_{i = 1}^{N} (\hat{y_{i}} - \bar{y})^{2} + \sum_{i = 1}^{N} (y_{i} - \hat{y_{i}})^{2}$

左辺を全変動、第1項を回帰変動、第2項を残差変動と呼ぶ。

寄与率は、回帰変動が全変動に占める割合として定義される。

寄与率の解釈

寄与率の値に応じた解釈の目安は以下の通りである。

寄与率の解釈目安
寄与率 $R^{2}$	解釈
0.9以上	非常に高い説明力
0.7〜0.9	高い説明力
0.5〜0.7	中程度の説明力
0.3〜0.5	弱い説明力
0.3未満	説明力が低い

ただし、分野やデータの性質によって解釈は異なる。
社会科学では、 $R^{2} = 0.3$ 程度でも有用とされることがあるが、物理学等では0.95以上が求められる場合がある。

回帰分析の使い道

回帰直線を使用して、yの推定に利用する。
$\hat{y} = a x + b = a (x - \bar{x}) + \bar{y}$
代入するxの値には注意が必要である。

回帰分析の主な応用分野は以下の通りである。

予測・予報
過去のデータに基づいて将来の値を推定する。気象予報、株価予測、需要予測等
要因分析
ある変数に影響を与える要因の強さを定量化する。マーケティングでの効果測定等
トレンド分析
時系列データにおける長期的な傾向を把握する。売上推移、人口動態等
品質管理
製造プロセスにおける管理図の作成や不良率の予測

内挿と外挿

回帰直線を用いてyを推定する際、代入するxの値の範囲によって注意が必要である。

内挿 (問題なし)
$元データの最小 x ≦ 代入する x ≦ 元データの最大 x$

観測データの範囲内での推定は、回帰モデルの精度が保証される。
外挿 (問題あり)
$代入する x ≦ 元データの最小 x$

または

$元データの最大 x ≦ 代入する x$

観測データの範囲外での推定は、モデルの妥当性が保証されない。

回帰直線がデータの範囲外でも同じ傾向を保つ保証はない。

ただし、外挿しても問題ない場合もあるため、推定結果が妥当かどうかを常に考えることが重要である。

理論的に直線関係が保証される場合や、過去の経験から外挿が有効と判断できる場合がある。

回帰分析の手順

回帰分析を実施する場合の標準的な手順は、以下の通りである。

ステップ1: 散布図の作成
データの分布傾向を視覚的に確認する。

直線関係があるか、外れ値がないかを確認する。
ステップ2: 基本統計量の計算
xとyの平均、母分散、母標準偏差を計算する。
ステップ3: 共分散の計算
xとyの共分散 $C_{x y}$ を計算する。
ステップ4: 相関係数の計算
$r_{x y} = \frac{C_{x y}}{σ_{x} σ_{y}}$

相関の強さを確認する。
ステップ5: 回帰係数の計算
傾きaと切片bを計算する。

$a = \frac{C_{x y}}{σ_{x}^{2}}$

$b = \bar{y} - a \bar{x}$
ステップ6: 回帰直線の構築
$\hat{y} = a x + b$
ステップ7: 寄与率の計算
$R^{2} = r_{x y}^{2}$

モデルの当てはまりを評価する。
ステップ8: 残差分析
残差の分布を確認し、モデルの妥当性を検証する。

この手順を順番に実行することで、確実に回帰分析を完了できる。

具体例: 身長と体重の回帰分析

ある5人の身長と体重のデータについて、回帰分析を行なう。

身長と体重のデータ
身長(cm)	体重(kg)
150.2	56.4
155.0	52.9
163.5	72.2
172.1	68.1
178.6	79.7

計算手順

x: 身長、y: 体重として計算を進める。
身長の平均
$\bar{x} = \frac{150.2 + 155.0 + 163.5 + 172.1 + 178.6}{5} = 163.9 [c m]$
体重の平均
$\bar{y} = \frac{56.4 + 52.9 + 72.2 + 68.1 + 79.7}{5} = 65.9 [k g]$
身長の母分散
$σ_{x}^{2} = \frac{1}{5} \sum_{i = 1}^{5} (x_{i} - 163.9)^{2} = 110.1 [c m^{2}]$
体重の母分散
$σ_{y}^{2} = \frac{1}{5} \sum_{i = 1}^{5} (y_{i} - 65.9)^{2} = 99.3 [k g^{2}]$
身長と体重の共分散
$C_{x y} = \frac{1}{5} \sum_{i = 1}^{5} (x_{i} - 163.9) (y_{i} - 65.9) = 93.1 [c m * k g]$
傾きa
$a = \frac{C_{x y}}{σ_{x}^{2}} = \frac{93.1}{110.1} = 0.846$
切片b
$b = \bar{y} - a \bar{x} = 65.9 - 0.846 \times 163.9 = - 72.738$

結果の解釈

以上の計算結果から、回帰直線は以下のようになる。

$\hat{y} = 0.846 x - 72.738$

寄与率
$R^{2} = r_{x y}^{2} = 0.89 0^{2} = 0.793$

寄与率は0.793であり、身長による体重の変動の約79.3[%]を説明できることを示している。
回帰直線の解釈
傾きa = 0.846は、身長が1[cm]増加すると体重が平均して約0.85[kg]増加することを意味する。

切片b = -72.738は、身長が0[cm]の時の体重を表すが、実際的な意味は持たない。

この理由は、身長0[cm]は観測データの範囲外であり、外挿の一例である。

Excelによる回帰分析

Excelは、回帰分析を簡単に実行できる強力なツールである。
Microsoft 365 / Excel 2021では、以下に示す方法で回帰分析を実施できる。

散布図による方法

Excelの散布図に近似曲線を追加する方法は最も簡便である。

データをワークシートに入力する。
データ範囲を選択して、[挿入]タブから[散布図]を選択する。
作成されたグラフ上でデータ点を右クリックし、[近似曲線の追加]を選択する。
[書式設定]ウィンドウで[線形]を選択する。
[グラフに式を表示する]、[グラフにR-2乗値を表示する]にチェックを入力する。

この方法では、回帰式と寄与率がグラフ上に自動表示される。

視覚的に確認できるため、探索的な分析に適している。

分析ツールによる方法

より詳細な統計量が必要な場合は、[分析ツール]を使用する。

[データ]タブの[データ分析]を選択する。
表示されない場合は、アドインで[分析ツール]を有効にする必要がある。
[回帰分析]を選択して、[OK]ボタンを押下する。
入力Y範囲に目的変数のセル範囲を入力する。
入力X範囲に説明変数のセル範囲を入力する。
[ラベル]にチェックを入力する。(変数名を含む場合)
出力先を指定して、[OK]ボタンを押下する。

分析ツールの出力には、回帰統計 ( $R, R^{2}$ )、分散分析表、回帰係数の推定値、t値、P値等が含まれる。

統計的な検定を伴う本格的な分析に適している。

関数による方法

Excelのワークシート関数を用いて個別に計算することも可能である。

Excelの回帰分析関数
関数	用途	書式
SLOPE	回帰直線の傾き	`=SLOPE(既知のy, 既知のx)`
INTERCEPT	回帰直線の切片	`=INTERCEPT(既知のy, 既知のx)`
RSQ	寄与率( $R^{2}$ )	`=RSQ(既知のy, 既知のx)`
LINEST	回帰統計の配列	`=LINEST(既知のy, 既知のx)`
FORECAST	回帰直線による予測	`=FORECAST(x, 既知のy, 既知のx)`

関数を用いる利点は、データが更新された時に自動的に再計算される点にある。

定期的に更新されるデータの分析に適している。

ソルバーによる方法

Excelのソルバーを用いると、最小2乗法の原理を直接体験できる。

ワークシート上に回帰係数a、bのセルを準備する。
予測値を計算するセルを作成する。(=a* x + b)
残差の2乗 (=(観測値 - 予測値)^2) を計算するセルを作成する。
残差の2乗の和を計算するセルを作成する。(=SUM(残差の2乗の範囲))
[データ]タブの[ソルバー]を選択する。
目的セルに残差の2乗和のセルを指定する。
目標値を[最小値]に設定する。
変更するセルに回帰係数a、bのセルを指定する。
[解決]ボタンを押下する。

ソルバーは最適化手法を用いて残差の2乗和を最小化する。

最小2乗法の概念を直感的に理解するのに有用である。

Pythonによる回帰分析

Pythonは、統計分析や機械学習に広く利用されるプログラミング言語である。

NumPy、SciPy、Matplotlib等のライブラリを用いて回帰分析を記述することができる。

NumPyを用いた実装

NumPyのpolyfit関数を用いると、1行で回帰係数を求められる。

 import numpy as np
 
 # データの定義
 height = np.array([150.2, 155.0, 163.5, 172.1, 178.6])
 weight = np.array([56.4, 52.9, 72.2, 68.1, 79.7])
 
 # 回帰係数の計算 (1次: 直線)
 a, b = np.polyfit(height, weight, 1)
 
 # 寄与率の計算
 y_pred = a * height + b
 ss_res = np.sum((weight - y_pred) ** 2)
 ss_tot = np.sum((weight - np.mean(weight)) ** 2)
 r_squared = 1 - ss_res / ss_tot
 
 print(f"傾き a = {a:.3f}")
 print(f"切片 b = {b:.3f}")
 print(f"寄与率 R² = {r_squared:.3f}")

SciPyを用いた実装

SciPyのlinregress関数を用いると、回帰統計量も一括で取得できる。

 from scipy import stats
 
 # データの定義
 height = [150.2, 155.0, 163.5, 172.1, 178.6]
 weight = [56.4, 52.9, 72.2, 68.1, 79.7]
 
 # 線形回帰
 slope, intercept, r_value, p_value, std_err = stats.linregress(height, weight)
 
 print(f"傾き: {slope:.3f}")
 print(f"切片: {intercept:.3f}")
 print(f"相関係数: {r_value:.3f}")
 print(f"寄与率 R²: {r_value**2:.3f}")
 print(f"P値: {p_value:.6f}")
 print(f"標準誤差: {std_err:.3f}")

Matplotlibを用いたプロット

回帰直線を含む散布図を作成する例である。

 import numpy as np
 import matplotlib.pyplot as plt
 
 height = np.array([150.2, 155.0, 163.5, 172.1, 178.6])
 weight = np.array([56.4, 52.9, 72.2, 68.1, 79.7])
 
 a, b = np.polyfit(height, weight, 1)
 x_line = np.linspace(145, 185, 100)
 y_line = a * x_line + b
 
 plt.scatter(height, weight, label='観測値')
 plt.plot(x_line, y_line, 'r-', label=f'y = {a:.3f}x + {b:.3f}')
 plt.xlabel('身長 (cm)')
 plt.ylabel('体重 (kg)')
 plt.legend()
 plt.grid(True)
 plt.show()

Pythonを用いるメリットは、処理の自動化、大規模データの分析、複雑な統計モデルの構築が容易な点にある。

Rによる回帰分析

Rは統計計算とグラフィックに特化したプログラミング言語である。

回帰分析は、lm関数を用いて簡潔に記述することができる。

基本的な回帰分析

以下の例は、lm関数を用いて回帰モデルを構築する例である。

 # データの定義
 height <- c(150.2, 155.0, 163.5, 172.1, 178.6)
 weight <- c(56.4, 52.9, 72.2, 68.1, 79.7)
 
 # 線形回帰モデルの構築
 model <- lm(weight ~ height)
 
 # 結果の表示
 summary(model)

結果の解釈

summary関数の出力には以下の情報が含まれる。

Coefficients
Estimate: 回帰係数の推定値 (傾きと切片)

Std. Error: 標準誤差

t value: t統計量

Pr(>|t|): P値
Residual standard error
残差の標準誤差
Multiple R-squared
寄与率 (R²)
Adjusted R-squared
自由度調整済み寄与率
F-statistic
F検定統計量

プロット

以下の例は、回帰直線を含む散布図を作成する例である。

 # 散布図の作成
 plot(height, weight, pch=19, col="blue", xlab="身長 (cm)", ylab="体重 (kg)")
 
 # 回帰直線の追加
 abline(model, col="red", lwd=2)
 
 # 予測値の追加
 new_height <- data.frame(height = seq(145, 185, by=1))
 pred <- predict(model, newdata=new_height, interval="confidence")
 lines(new_height$height, pred[, "fit"], col="red", lwd=2)
 lines(new_height$height, pred[, "lwr"], col="red", lty=2)
 lines(new_height$height, pred[, "upr"], col="red", lty=2)

Rは統計学の教科書や論文の分析に最も近い記述ができ、統計的な解釈に優れている。

回帰分析の注意点

回帰分析を適用する際には、いくつかの注意点がある。

これらを無視すると誤った結論を導く可能性がある。

外れ値の影響

外れ値は回帰直線に大きな影響を与える。

外れ値の影響
最小2乗法は誤差の2乗和を最小化するため、外れ値の影響が強調される。

1つの外れ値で回帰直線の傾きが大きく変わることがある。
対処法
散布図を作成して外れ値を視覚的に確認する。

外れ値が測定誤差であれば削除または修正する。

外れ値が正当なデータであれば、ロバスト回帰等の手法を検討する。

外れ値を含む場合と除いた場合の両方で分析を行い、結果の頑健性を確認する。

残差分析

残差分析は、回帰モデルの妥当性を評価する重要な手段である。

残差の定義
$e_{i} = y_{i} - \hat{y_{i}}$

観測値と予測値の差である。
残差プロット
横軸に予測値またはx、縦軸に残差をプロットする。

理想的には、残差は0を中心にランダムに分布する。
確認すべきパターン
残差に系統的なパターンがある場合、直線モデルが不適切である可能性がある。

残差の分散がxの値によって変化する場合 (異方性) 、モデルの仮定が崩れている。

残差の分布が正規分布から大きくずれている場合、推定値の信頼性が低下する。
対処法
非線形関係が疑われる場合は、多項式回帰や対数変換を検討する。

異方性の場合は、重み付き最小2乗法を用いる。

その他の注意点

相関と因果
回帰分析で相関が見つかっても、必ずしも因果関係があるとは限らない。

交絡変数 (第3の変数) の影響を考慮する必要がある。
回帰モデルの仮定
誤差項は平均0、等分散、互いに独立であることが仮定されている。

これらの仮定が満たされない場合、推定値の性質が損なわれる。
外挿の危険性
観測範囲外での予測は、モデルの外挿になり信頼性が低下する。

特に生物学的・物理的な限界がある変数では注意が必要である。

第4回 - 2変数の回帰分析

目次

概要

回帰分析とは

回帰分析の原理

最小2乗法

正規方程式

回帰係数の導出

回帰分析の推定精度

寄与率の解釈

回帰分析の使い道

内挿と外挿

回帰分析の手順

具体例: 身長と体重の回帰分析

計算手順

結果の解釈

Excelによる回帰分析

散布図による方法

分析ツールによる方法

関数による方法

ソルバーによる方法

Pythonによる回帰分析

NumPyを用いた実装

SciPyを用いた実装

Matplotlibを用いたプロット

Rによる回帰分析

基本的な回帰分析

結果の解釈

プロット

回帰分析の注意点

外れ値の影響

残差分析

その他の注意点

関連情報