Metric 予測 by Metric：単純線形回帰

本投稿は John Kruschke 著 Doing Bayesian Data Analysis の第 17 章 "Metric Predicted Variable with One Metric Predictor" をもとにした。

Doing Bayesian Data Analysis, Second Edition: A Tutorial with R, JAGS, and Stan

John Kruschke

Academic Press
Amazon.co.jpで詳細を見る

本章のタイトル通り、ここでの分析モデルは「predicted が metric で、predictor が 1 つの metric」。前章との違いは、predictor が「グループ or 数値」。例えば、身長から体重を予測、体重から血圧を予測、教育年数から収入を予測、など。

以下は、そんな "simple linear regression"（単純線形回帰）モデル（図 17.1）の例。

この図は、恣意的に発生した x から、μ = β₀ + β₁x（この例では μ=10 + 2x） と標準偏差 σ （この例では 2 ） をパラメータにした正規分布から y 値をシミュレーションしている。二つの図の分布の違いは x の分布の違い。左は一様分布、右 bimodally（二峰性）分布。

ここで重要なのは homogeneity of variance 、すでに「OLS回帰分析の前提：Homoscedasticity」で取り上げているので、ここでは以下の点だけを引用。

Homogeneity of variance is less easy to identify visually when the x values are not uniformly distributed.

そして、以下の認識は重要。

The simple linear model merely describes a tendency for y values to be linearly related to x values, hence "predictable" from the x values.

Nevertheless, the parameters in the descriptive model are meaningful because they describe tendencies in the data.

とはいえ、これらは単純線形回帰モデルだけじゃなく、データ分析モデル全般にいえることではないかと思う。

以下は図 17.2 の本モデルのダイヤグラム。

左は前回の「Metric 分析：2 グループ比較」のダイヤグラム（図 16.11）。違いは the central tendency の μ で、前回はグループ毎に μ₁, μ2 、今回は パラメータ β₀ , β₁  としている。


相関の回避方法

切片と傾きに「強い相関」があるため、「非効率なサンプリング」

直線回帰の場合、「正の傾きが急の場合、切片はより小さい」「正の傾きが急でない場合、切片はそれほど小さくない」のように、傾きと切片には「強い相関」がある。その場合

MCMC sampling from such a tightly correlated distribution can be difficult. Gibbs sampling gets stuck because it keeps "bumping into the walls" of the distribution.

つまり、Gibbs サンプリングは「非効率」になる

• サンプリングアルゴリズムを変更。例えば、Gibbs サンプリングではなく、Stan に実装されている HMC (Hamiltonian Monte Carlo) など
• 相関をなくすようにデータを変換

データ変換の必要のない Stan の実装例は本書に譲り割愛して、ここでは、後者のデータ変換を行う。

「相関する切片と傾き」に続く。