離散型分布て素晴らしい（数学的制約からの開放）

Doing Bayesian Data Analysis の 第 6 章 Inferring a Binomial Proportion via Grid Approximation から。

本章を読むまでは、何となく連続型分布が離散型分布より優れていると思っていたが、そうでないことを理解した。「思い込み」ってダメっすね（笑）

左の Figure 6-1 の上段は連続型を離散型で近似している。つまり、連続型の曲線に沿って、長方形を当てがっている。

下段は上段の長方形の中心線だけを表示したもの。長方形の数が多いほど、元の連続型の曲線を反映していることが理解できる。

つまり離散型は、連続型を「approximation 概算」できることを示す。

この Figure 6.2 は、θ の数が左が 11 、右が 1001 の離散型でベイズ更新を行ったもの。HDI の区間の違いをのぞけば事後確率は同じ結果を示している。

左は Figure 5.2 で、同じ条件で今回は連続型の事前確率（ベータ分布）で行ったもの。離散型で 1001 個の θ の結果と同じ事後確率となっている。つまり、θ を小さく区切るほど離散型は連続型により近づくことが分かる。

連続型の場合、例えば ベータ分布 beta(θ;12,4) のように数学的に表現される。方や離散型の場合、単なる「確率の集まり」に過ぎない。よって p(θ) の呼び名は連続型と離散型では

連続型：probability density
離散型：probability mass

となる。

とはいえ「離散型が所詮、連続型の近似だから、離散型て不要じゃないの？」という意見があるかもしれない。

左の Figure 6.3 はそんな意見に反論する例。

こんな「クネクネ」した事前確率を少なくともベータ関数では表せないし、他の数学的な表現も難しいだろう（末尾の「数学的制約からの開放」参照）。

考えてみれば、世の中の出来事が、ベータ分布等の数学的曲線に「キッチリ従っている」と考える方が不自然。ということで、離散型のアプローチが俄然「自然」に思えてきた。

とはいえ、数学的曲線に近似できる場合はそうした方がシンプルに処理できることもある。この辺の使い分けは、今後整理していきたい。

左の Figure 6.4 では、95%HDI が分断した二つの領域になっているのが特徴。

最後に、Figure 6.2 の 96.6% 、Figure 6.3 の 95.1% の「95% ではない HDI」について。連続型では 95%HDI は 95% の確率の θ の範囲だが、離散型ではキッチリ 95% とはならないことがある。よって Figure 6.2 の 96.6% のように 95% 以上 の値となってしまう。ここでも θ の数が多いほど 95% に近づく。


数学的制約からの開放

本書からの次の引用は離散型の役割を示している。

The joy of grid approximation is freedom from the siren song of beta priors. Eloquent as they are, beta priors can only express a limited range of beliefs. No beta function approximates the prior used in Figure 6.3, for example. You might say that these are cases for which beta ain’t better. Even if you could find some complex mathematical function of θ that expressed the contours of your beliefs, such a function would probably be difficult to integrate in the denominator of Bayes’ rule, and so you still couldn’t determine an exact mathematical solution. Instead, you can express those beliefs approximately by specifying your degree of belief for each value of θ on a fine grid.

grid approximation が「数学的制約からの開放」という点が面白い。


「実習6.1-3 離散型での R 実装例」に続く。