階層型モデル：視覚化

「A Single Coin From a Single Mint」からの続き。

階層型モデルは次の式 9.6 で示される。

ここでは、この式を数学的にではなく、grid approximation「グリッド近似値」を用いてグラフ化することで、階層型モデルを視覚化する。

以下は、左は図 9.2（A_ω=2, B_ω=2, K=100）、右は図 9.3（A_ω=20, B_ω=20, K=6）で、同じ観測データ（表 9, 裏 3）。

左は図 9.2 の2行3列目を R で再現したもの。

par(mfrow=c(2,1))
curve(from=0,to=1,
dbeta(x,0.75*(100-2)+1,(1-0.75)*(100-2)+1),
xlab="θ",ylab="p(θ|ω=0.75)")
curve(from=0,to=1,
dbeta(x,0.25*(100-2)+1,(1-0.25)*(100-2)+1),
xlab="θ",ylab="p(θ|ω=0.25)")

ω = 0.75 と ω = 0.25 での θ  分布（ p(θ|ω) ）で、前回投稿の式 9.4 から、0.75 の β 関数は

　beta(θ | (0.75)(100-2)+1, (1-0.75)(100-2)+1)
　= beta(θ | 74.5, 25.5)

「K が大きければ θ は ω に近似」するので、左のように ω の値を中心に「狭い山」を形成している。

図 9.2 を詳細に見る。

K = 100 と大きいので ω と θ が近似する、よって 1, 2 行目の p(ω) と p(θ) は近似した分布を示す。

Likelihood 分布は ベルヌーイ分布で θ⁹ × (1-θ)³ 。注目すべきは3行2列目のグラフで、全ての線が ω（縦軸）に平行であること。これは、この尤度関数において、θ は ω に依存しないことを示す。

Posterior（事後確率）をみる。4行3列目の p(ω|D) の分布は、prior の p(ω) と大きく異なっている。これは、β 関数 p(ω) の引数が A_ω=2, B_ω=2 と「不確定」のため、データの影響を強く受けた結果。

方や5行3列目の二つの分布 p(θ|ω, D) は、prior から変化は見られない。これは K=100 による「ω への強い確信」のため。5行2列目の p(θ|D) の分布が p(ω|D) に近似していることも同様。

左図でも先の図 9.2 同様、図 9.3 の2行3列目を R で再現したもの。

curve(from=0,to=1
dbeta(x,0.75*(6-2)+1,(1-0.75)*(6-2)+1),
xlab="θ",ylab="p(θ|ω=0.75)")
curve(from=0,to=1,
dbeta(x,0.25*(6-2)+1,(1-0.25)*(6-2)+1),
xlab="θ",ylab="p(θ|ω=0.25)")

図 9.3 の1行3列目の p(ω) の「狭い山」（A_ω=20, B_ω=20 が原因）と比較して左図は「広い山」。これは、ω と θ の「不確定な近似（K=6 の結果）」を示す。

再度、二つの図の prior の定数値を示す

図 9.2：A_ω=2, B_ω=2, K=100
図 9.3：A_ω=20, B_ω=20, K=6

共に同じデータを使うため、posterior の違いの原因は、これらの定数値の違いとなる。

次の図 9.3 で、posterior に注目する。

4行3列目の p(ω|D) は prior からほとんど変化がない、つまりデータの影響は小さい。

方や5行3列目の p(θ|ω) では、ω=0.75, ω=0.25 で prior から大きく変化している。特に ω=0.25 の変化は顕著。これらはデータ（尤度関数 θ⁹ × (1-θ)³ ）の影響。


以上、図 9.2, 9.3 の特徴をまとめると

　図 9.2：ω への低い確信、ω と θ の高い近似
　図 9.3：ω への高い確信、ω と θ の低い近似


「Multiple Coins From A Single Mint」へ続く。

/**tex **/