【統計学】回帰分析出力結果の見方

重回帰モデルの例

\( 消費支出 = \alpha_0 + \beta_1 × 定期収入 + \beta_2 × 賞与 + u \)

出力結果	Estimate	Std.Error	t value	Pr(>t)
Intercept	1.5	s1	t1	1.27e-08
income	2.0	s2	t2	0.06
bonus	2.5	s3	t3

• Multiple R – sqared:0.82
• Adjusted R – sqared: 0.81
• degrees of freedom of 44

各用語の意味

• Estimate: 係数の推定値
• Std.Error: 推定値の標準偏差／標準誤差
• t value: t値
• Pr(>|t|): P値
• Intercept: 切片
• Multiple R – sqared:Multiple : 決定係数\( R^2 \)
• Adjusted R – sqared: 0.81: 自由度調整済み決定係数\( \bar{R^2} \)
• degrees of freedom of 44:　自由度

Estimate | 推定値

\( \alpha_0=切片, \beta_0=income, \beta_1=bonus \)と推定値を意味する。

Std.Error | 標準誤差

推定値の標準偏差=標準誤差

t value | t値

イメージとしては、\( t = \frac{データ – 平均}{標準偏差} \)

各推定値に帰無仮説(推定値は0である)で検定を行っています。そう考えるとtは

\( t = \frac{1.5 – 0}{s1} \)

Pr(>|t|) | P値

帰無仮説で検定統計量がその値となる確率のこと。

今回は、各パラメータの推定値がどれだけ信憑性があるかという意味になります。
一般的にP値の棄却域は5%または1%以下の場合に帰無仮説を棄却し対立仮説を採択します。

interceptでは1.27e-08となっていますが、これはe-08=左に桁を8個ずらすという意味を表します。
1.27e-08は1.27から左に8個ずらすということです。

棄却域0.05で考えた場合にP値1.27e-08は小さいので信憑性が高いと考えられます。

決定係数 | \( R^2 \)

決定係数は0～1までの範囲で、モデルの適合度合いを示す値です。

最も適合性が高い場合には1となり、つまり１に近ければ近いほど良いスコアといえます。

自由度調整済み決定係数 | \( \bar{R^2} \)

決定係数は、説明変数を増やすほどスコアが増加する性質があります。

そのスコアを修正したものを「自由度調整済み決定係数」といいます。

自由度調整済決定係数の求め方は

• n: 標本サイズ=データ数
• k: 説明変数の数

\(\bar{R}^2 = 1 – \frac{n-1}{n-k-1}(1-R^2)\)

となります。

自由度 | degrees of freedom

自由度は、データ数からパラメータ数を引くことで求められます。

パラメータは切片や目的変数のことなので、今回の例でいうと

• intercept
• income
• bonus

の3種類になります。degrees of freedomeが自由度を表しているので

44(自由度) = 47(データ数) – 3(パラメーター数)ということになります。