日常のベイジアン推理

「Doing Bayesian Data Analysis」の「4.3.5 Bayesian reasoning in everyday life」から。

本書は「ベイズの基礎」の投稿で使っているテキスト「Workshop Statistics: Discovery with Data, A Bayesian Approach」の「中級編」という感じだろう。実際本書では、その「Workshop Statistics: ...」を本書の前に読むことを推奨している。

先日までは、内容的に本書はそのテキストと大きな差はなかったが、今日にきて徐々に違いが見えてきた。もちろん、ベイズのルールは一つなので本質的な違いではない。「表記方法の違い」という感じ。数学的には本書の方が厳密かもしれない。

その辺の違いや本書の詳しい内容は今後取り上げるが、ここではベイジアンが現実的にも自然な考えに沿っている例を挙げる。


ホームジアンの推論（Holmesian deduction）

「ホームジアン Homesian」は「ベイジアン Bayesian」にひっかけた造語で本著者が作ったものと思ったが、実在した！

Homesian (Holmes + -ian)
Of or pertaining to the fictional detective Sherlock Holmes or his investigations, methods, or sayings. 

以下はシャーロック・ホームズの本からの引用

How often have I said to you that when you have eliminated the impossible, whatever remains, however improbable, must be the truth? 

(Arthur Conan Doyle, The Sign of Four, 1890, Ch. 6)

これまで何度か君に言ったように、不可能なことを取り除いてしまったら、何が残ろうとも、どんなにあり得そうも無いことでも、それが真実だよ（、ワトソン君）。

シャーロック・ホームズは小学生以来読んでいないので、ホームズが話すニュアンスを知らないが、雰囲気で訳しました（「ワトソン君」は勝手に付加しちゃった）。

このホームズの言葉をベイジアンの表現に置き換えると

How often have I said to you that when p(D|θi) = 0 for all i ≠ 􏰗 j, then, no matter how small the prior p(θ_j) > 0 is, the posterior p(θ_j|D) must equal one.

これまで何度か君に言ったように、異なる i と j において θ_i で D の可能性が「0」なら、θ_j の確率がどんなに小さな事前確率であったとしても、θ_i で D の可能性は「1」なんだよ（、ワトソン君）。

ちょっと苦しいかな...（笑）


犯人は？（Judicial exoneration）

exoneration
the act of officially stating that somebody is not responsible for something that they have been blamed for

難しい単語だが、「無罪放免」という感じ。

ある骨董品が棚から床に落ちていた。当初の疑い（事前確率）は飼い猫の仕業であった。しかし、棚の下で遊ぶ幼児がいた事実から、飼い猫である疑いは低まった。

これをベイジアン的に表すと

When p(D|θ_j) is higher, then, even if p(D|θ_i) is unchanged for all i ≠􏰗 j, p(θ_i|D) is lower.

p(D|θ_j)  が高いくなると、異なる i とjにおいてp(D|θ_i) に変化がなかったとしても p(θ_i|D) はより低くなる。

今回は p(D|θ_j) をホームズの例のようには「言葉」にしなかった。j が幼児、i が猫です。


つまり

本節のまとめ部分を引用して意訳する。

Holmesian deduction and judicial exoneration are both expressions of the essence of Bayesian reasoning: We have a space of beliefs that are mutually exclusive and exhaust all possibilities. Therefore, if the data cause us to decrease belief in some possibilities, we must increase belief in other possibilities (as said Holmes), or, if the data cause us to increase belief in some possibilities, we must decrease belief in other possibilities (as in exoneration). What Bayes’ rule tells us is exactly how much to shift our beliefs across the available possibilities. 

ホームズと骨董品の例は、ベイジアン推理（Bayesian reasoning）の本質を表している。排他的で全ての可能性を占める確信という領域を我々は抱く。つまり、ある出来事によりある可能性が低まったら、他の可能性を高めなければならない（ホームズの例）。あるいは、ある出来事がある可能性を高めたら、他の可能性を低めなければならない（骨董品の例）。ベイズのルールは、どれほど確信を変更するかを正確に教えてくれる。

基本的な確率から、これは至極当たり前のこと。ただし、現時点はあまり突っ込んでいないが、ポイントは

a space of beliefs that are mutually exclusive and exhaust all possibilities

「beliefs that are mutually exclusive 確信が排他的」は、骨董品の例では「猫と幼児の共犯」ではなく、どちらかが犯人ということ。「beliefs that exhaust all possibilities 全ての可能性を占める確信」は、「猫と幼児の他に犯人がいない」こと。つまり、全部の「確信」の確率を足せば 1.0 ということ。

「現実はもっと複雑」という意見もありそうだ。そんな意見には

複雑なことは、解きほぐして解決していくものですよね？

と答えたい。

一見複雑な問題に直面したら「What's the problem? 問題は何だ？」を何度も繰り返すものです。そして、解ける問題から解くしかないのです。