Bayesianにおけるベルヌーイ分布

本投稿は「Doing Bayesian Data Analysis」の「5.1 The likelihood function: Bernoulli distribution 」を元にした。

専門分野の用語は、同じ意味を別の表記で表されることが往々にしてある。本書を読むのは二度目だが、当初読みながら戸惑った表記をここで再確認する。「ベイズの基礎」の投稿で元にしているテキストと表記は若干違うが、意味は同じ。

また、本書でも注釈があるが、この時点では「二項分布」は考えない前提で、ベルヌーイ分布をベイジアンで使う準備についても書いた。以前、二項分布については書いたが、ここでは「ベルヌーイ分布」に絞った。

メモ：二項分布で試行回数が 1 回のものが「ベルヌーイ分布」。


コインの裏表の結果を y として、y = 1 を表、y = 0 を裏 とする。「コインが立つ」ような y = 0.5 は想定しない、1 or 0 の離散型モデル（厳密には「categorical」）。

表が出る確率は　p(y = 1 | θ) = ∫ (θ) という関数で表すが、これを簡略して p(y = 1 | θ) = θ とする場合もある。そうなると裏が出る確率は自ずと p(y = 0 | θ) = 1 - θ と表記される。

裏か表かのような「排他的な 2 つの事象」の確率は、以下のように求められる

p(y | θ) = θ^y(1 - θ)^(1-y)  ... (5.1)

これは「the Bernoulli distribution ベルヌーイ分布」という離散確率分布。

y = { 1, 0 } なので、 y = 1（表）の時は p(y | θ) = θ で、y = 0（裏）の時は p(y | θ) = 1 - θ となる。

(5.1) 式は、データ y によって決定する。例えば θ = 0.4 の場合、表が出た場合（y = 1）は p(y = 1 | θ) = 0.4 、裏が出た場合（y = 0）は p(y = 0 | θ) = 0.6 となる。これは

そのモデルが正しい場合に観測データが出る確率

（「ベイズの基礎：課題 15-9 尤度 = 確率(モデルが真の時にデータ出現) 」参照）

よって、ベルヌーイ分布は「θ の尤度関数 the likelihood function of θ」となる。

In Bayesian inference, the function p(y | θ) is usually thought of with the data, y, known and fixed, and the parameter, θ, uncertain and variable. Therefore, p(y | θ) is usually called the likelihood function for θ, and Equation 5.1 is called the Bernoulli likelihood function. Don’t forget, however, that the very same function is also the probability of the datum, y. 

ベイジアン推定において、関数 p(y | θ) は通常「データ y は決まっていて、θ は未確定の変数」。よって p(y | θ) は通常「θ の尤度関数」と呼ばれ、(5.1) 式は ベルヌーイ尤度関数と呼ばれる。注意すべきは、この関数がデータ y の確率でもあるということ。

左を (5.2) 式とする。

N 回コインを投げて { y₁,.... y_N } のデータを得た。y_i は 0 か 1 の値。各試行は相互に独立であると仮定（つまり前の試行が後の試行結果に影響しない）。よって、{ y₁,.... y_N } の結果を得る確率は個々の確率の積で、(5.2) 式のようになる。

表が出る数が z として、(5.2) 式は

p(z,N | θ) = θ^z(1 - θ)^(N-z) ...(5.3)

本テキストでは (5.3) 式を、試行が 2 回以上の「the Bernoulli likelihood function ベルヌーイ尤度関数」とする。

しかし注意すべきは

but please remember that the Bernoulli distribution is really Equation 5.1 and refers to a single flip.

ベルヌーイ分布は本来 (5.1) 式で、1 回の試行のことを指す。

「Bayesianでベータ分布を使う訳」に続く。