Metric 予測 by 複数 Metric：モデル確率

「多変量解析は簡単じゃない」からの続き。

以下は図18.10 で hierarchical diagram for multiple linear regression, with shrinkage prior across the slope coefficients 。

左の図18.4「複数 Predictors の実装例」との違いは、回帰式係数 β_j の推定方法のみ。

with shrinkage prior がポイント（参照：階層型モデル：Therapeutic Touch を検証）。


Model Prob：モデル確率

以下は式 18.6

μ_i = β₀ + Σ_j σ_j β_j x_i,j

σ_j は the inclusion indicator for the jth predictor、つまり j 番目の predictor を含めるか否かの indicator 。σ_j ∈ {0, 1} で 0 or 1 のいずれか。例えば <σ₁, σ₂, σ₃, σ₄> = <0,1,0,1>  は、4 つの predictors の内 2 つが含まれる。


predictors が 4 つの場合ユニークなモデルの数は 2⁴ = 16 。そして predictor の事前確率が 0.5 とすると、各モデルの事前確率は 0.5⁴ = 0.0625 。事前確率の単純な設定方法として an independent Bernoulli prior を用いる。ここで σ_j  ~ dbern(0.5) とは、「全 16 個のモデルが平等にあり得る」と仮定したもの。

SATスコアのデータを用いて、predictors は Spend と PrcntTake の 2 つで「Model Prob」を推定する。各モデルの事前確率は 0.5² = 0.25 。以下の図18.13 が推定結果。

ここにない他の 2 モデル（Spend だけ、Intercept だけ）の Model Prob は 0 。それは、上図の Model Prob の合計が 0.684 + 0.316 = 1.00 からも判断できる。

上段モデルの約 70% の Model Prob とは

the number of times that the MCMC chain had <σ₁, σ₂> = <1,1> divided by the total number of steps in the chain

よって、下段の約 30% の Model Prob のモデルより上段の方が「2 倍あり得るモデル」ということ。

注意すべきは

Notice that the parameter estimates are different for different models. For example, the estimate of the intercept is quite different for different included predictors.

つまり、「パラメーター推定ではない」こと。それは、上記二つのモデルで、Intercept の推定値が違いすぎることからも分かる。

参照："10.6 Extreme sensitivity to prior distribution"、「モデル比較：モデル比較の注意点」

「曖昧 Prior の影響」に続く。