モデル比較：一般式と Bayes Factor

本投稿は John Kruschke 著 Doing Bayesian Data Analysis の第 10 章 Model Comparison and Hierarchical Modeling をもとにした。

Doing Bayesian Data Analysis: A Tutorial with R, JAGS, and Stan

posted with amazlet at 18.04.24

Academic Press (2014-11-11)

Amazon.co.jpで詳細を見る

本章の理解には手こずった。普段は要約やポイントを記すのだが、今回は誤解を招きそうなので、多くを引用した。日本語訳も極力避けて、英語表記を残したのもそのため。

本章の目的は

二つのモデルのどちらが、あるデータを適切に表現しているかの判断

つまり「モデル比較」。

以下は、モデル比較におけるポイント。

A central technical point is that a "model" consists of both its likelihood function and prior distribution, and model comparison can be extremely sensitive to the choice of prior, even if the prior is vague, unlike continuous parameter estimation within models.

中心にある技術的ポイントは、モデルが尤度関数と事前確率分布から構成されること。そして、モデル比較は事前確率の選択に大いに影響されることがある。

以降の解説で、このポイントを確認する。


一般式と Bayes Factor

この題は本書の 10.1 General formula and the bayes factor から。ここでは一般的、抽象的な方法でモデル比較を考察する。

一つのモデルの場合、データが D , もしくは y で、モデルのパラメータが θ の場合

　尤度：p(y | θ) 、事前確率 p(θ)

モデル比較において、モデルを示すパラメータ（indexical parameter, model index）m を導入、モデル1 を m = 1, モデル2 を m = 2 のようにして

　尤度：p_m(y | θ_m, m)、事前確率 p_m(θ_m | m)

これは モデルの尤度、事前確率。先の「ポイント」の「モデルが尤度関数と事前確率分布から構成」のこと。

モデルには、事前確率 p(m) を与えることが出来る。与えなければ、二つのモデルの場合、50/50 で「どちらも一様な確率で起こる」となる。

θ₁ , θ₂ , ... , m のパラメータ全部の joint parameter space  は、次の式 10.1 と 10.2 。

10.1 から 10.2 への変換は「階層型モデル：A Single Coin From a Single Mint」を参照。

この変換で、「尤度×事前確率」（joint parameter space）から「パラメータ間の依存」（dependencies among parameters）に表現が変わっている。本書では以下のように記されている。

The factoring of the likelihood-times-prior into a chain of dependencies is the hallmark of a hierarchical model.

式 10.1 の「単なる」Bayes' rule が、式 10.2 では階層型モデルとの繋がりを表す。

以下は図 10.1 。

図の左は 式 10.1 (the general, joint parameter space across all the models)、中央は 式 10.2 (the factorization into model subspaces) を表す。

中央の二つ点線枠は、各枠独自のパラメータと分布を持つ「サブモデル」。このサブモデルは a higher-level indexical parameter の配下にある。model index の m の事前確率は p(m) で、図 10.1 の各最上段にある P_m が p(m) の分布を示す。


Bayes Factor

左は式 10.3 で、model index のみに Bayes' rule を適用したもの。p(m | D) は「データ D からそのモデルである確率」なので、p(m=1 | D) は「データ D でのモデル1の確率」という意味。

よって、モデル1, 2 の比較を次式 10.5 で表す。

これは 左辺が "posterior odds"（事後確率 odds）で

このように右辺は BF (Bayes Factor) × "prior odds" (事前確率 odds) で、Bayes Factor とは「データにより prior odds を変化させる程度」を意味する。解釈例として、BF が 3.0 以上の場合は m = 1 が有力で、1/3 以下の場合は m = 2 が有力とすることができる。


「Formal Analysis」に続く。

/**tex **/