前：ベイズと戦争
 |
The Theory That Would Not Die: How Bayes' Rule Cracked the Enigma Code, Hunted Down Russian Submarines, and Emerged Triumphant from Two Centuries of Controversy 著者：Sharon Bertsch McGrayne 発行：Paperback 2012年9月25日（Hardcover 2011年5月17日） |
ここでの日本語訳は私のもの（部分訳の場合あり）。日本語訳版は参考にしていない。
第16章 "Eureka!" まで読んだ、次はその冒頭：
As the computer revolution flooded the modern world with data, Bayes’ rule faced one of its biggest crises in 250 years. Was an eighteenth-century theory—discovered when statistical facts were scarce and computation was slow and laborious—doomed to oblivion? It had already survived five near-fatal blows: Bayes had shelved it; Price published it but was ignored; Laplace discovered his own version but later favored his frequency theory; frequentists virtually banned it; and the military kept it secret. P.213
データと共にコンピュータ革命が現代社会に殺到して、ベイズルールは250年で最大の危機に直面した。統計学的な事実は不足し、コンピュータ処理は遅くて面倒だった頃の18世紀に発見された原理は、忘れ去られてしまう運命だったのか？その原理は、壊滅的と言ってよい打撃を５度生き延びていた：Bayes（本人）は棚上げして、Price が公開したものの無視された、Laplace は自らの見解を発見したが後に頻度主義理論を支持、頻度主義者は事実上ベイズを禁止、そして軍部は秘密とした。
「ベイズは三度死ぬ」を投稿したが、その後「二度も危機に瀕した」ことになる。とはいえ以下に引用するように、医療、意思決定、原子力発電所の安全性、海底に沈んだ原子力潜水艦の探索などで、多方面にわたってベイズは使われた。
これほどまでの「偉業」がありながら、何故に21世紀に近くになって「認められた」かについては、末尾に記した。
第8章 Jerome Cornfield, Lung Cancer, and Heart Attacks
In 1951 Cornfield used Bayes’ rule to help answer the puzzle. As his prior hypothesis he used the incidence of lung cancer in the general population. Then he combined that with NIH’s latest information on the prevalence of smoking among patients with and without lung cancer. Bayes’ rule provided a firm theoretical link, a bridge, if you will, between the risk of disease in the population at large and the risk of disease in a subgroup, in this case smokers. Cornfield was using Bayes as a philosophy-free mathematical statement, as a step in calculations that would yield useful results. He had not yet embraced Bayes as an all-encompassing philosophy. P.111
つまり、Jerome Cornfield はベイズを使って肺癌と喫煙の関係を証明。
第11章 Business Decisions
Raiffa’s and Schlaifer’s classic book for advanced statisticians, Applied Statistical Decision Theory, was published in 1961. Its careful, detailed analytical methods set the direction of Bayesian statistics for the next two decades. Today it sits on almost every decision analyst’s bookshelf. P.150
Howard Raiffa と Peter Schlaifer の先進的な統計学者に向けた古典 "Applied Statistical Decision Theory" は1961年に出版された。その詳細な分析手法は、ベイズ統計学のその後の20年の方向性を決めた。
第14章 Three Mile Island
When Rasmussen was appointed to assess the safety of the nuclear power industry, there had never been a nuclear plant accident. Believing that any such accident would be catastrophic, engineers designed the plants conservatively, and the government regulated them tightly. P.179
Norman Carl Rasmussen が原子力発電産業の安全性を評価する役に任命されたとき、それまで発電所事故は一件もなかった。そのような事故は大惨事であることから、エンジニアは発電所を慎重に設計し、政府は厳しく規制した。
The committee’s final report, issued in 1974, was loaded with Bayesian uncertainties and probability distributions about equipment failure rates and human mistakes. Frequentists did not assign probability distributions to unknowns. P.180
1974年に出された委員会の最終報告書は、装置の故障率と人的ミスに関して、ベイズによる不確実と確率の分布で満たされていた。頻度主義者は不明なことに確率分布を適用しなかった。
Doomed, that is, until two months later when the core of the Three Mile Island-2 nuclear generating unit was damaged in a severe accident.（略）Although approximately 20% of U.S. electric power came from 104 nuclear power plants in 2003, at this writing no new facility has been ordered since 1978. P.180
二ヶ月後、スリーマイル島の原子力発電ユニットが深刻な事故に見舞われた。2003年、北米の約20%の電力は104基の原子力発電所で賄われている、本書執筆時点で、1978年から新規の発電所は建設されていない。
Wikipedia によれば「104基」は2013年まで継続：
By 1998 the number of working reactors declined to 104, where it remained as of 2013. The loss of electrical generation from the eight fewer reactors since 1991 has been offset by power uprates of generating capacity at existing reactors.
第15章 The Navy Searches
Scorpion「スコーピオン」とは、アメリカ海軍の原子力潜水艦。以下 Wikipedia より：
スコーピオンは、地中海でのNATO演習参加後、母港への帰投中の1968年5月21日夕方の定時連絡を最後に消息を絶った。（略）しかしながら、ベイズ推定を利用した捜索の結果、10月28日にアゾレス諸島南西沖、深度約4,000mの海底に圧壊した船体の一部が発見された。
つまり、海底沖に沈んだ原子力潜水艦の探索にベイズが用いられた。
Anxious to document the methods used in the search for Scorpion, the Office of Naval Research commissioned Stone to write Theory of Optimal Search. Published in 1975, it is an unabashedly Bayesian book incorporating applied mathematics, statistics, operations research, optimization theory, and computer programs. Cheaper and more powerful computers were transforming Bayesian searches from mathematical and analytical problems to algorithms for software programs. Stone’s book became a classic, important for the military, the Coast Guard, fishermen, police, oil explorers, and others. P.203
「スコーピオンの探索」で用いた手法の文書化を切望し、アメリカ海軍研究局は Lawrence D. Stone に "Theory of Optimal Search" の執筆を依頼。1975年出版された本はベイジアンで、応用数学、統計学、オペレーションリサーチ、最適化理論、コンピュータプログラムを含んでいる。安価で強力なコンピュータはベイズ探索を、数学的な分析問題から、ソフトウェアプログラムのアルゴリズムへの変貌させていた。軍隊、沿岸警備、漁師、警察、石油探索、その他にとって Stone の本は標準的で重要なものとなった。
Up to this point, postwar Bayes had searched only for stationary objects like bombs in a canal, or H-bombs and submarines on the ocean floor. Technically, these were simple problems. But shortly after the Suez Canal was cleared and Theory of Optimal Search was published, intensive efforts were made to adapt Bayesian methods to moving targets: civilian boats adrift in predictable currents and winds. P.204
この時点では、戦後のベイズによる探索は、静止した物体に限られていた、例えば運河に落ちた爆弾、海洋の底に沈んだ水素爆弾や潜水艦の探索。技術的にはこれらは単純な問題だった。しかし、スエズ運河の事故がクリアになり、Theory of Optimal Search が出版されるや、「動く標的」例えば、予測可能な海流と風で漂流中の一般市民のボートの探索に、ベイズの手法を適用する動きが強まった。
次の記事、1966 Palomares incedent 際、引き揚げられた「水素爆弾」の写真など興味深い。
"Monte Carlo" の用語に「前のめり」に反応してしまう私...：
Bayesian updating and, at Richardson’s insistence, Monte Carlo techniques were incorporated into the Coast Guard system in 1972, almost two decades before university theorists popularized the method or the term “filters.” The Monte Carlo methods estimated an enormous number of possible latitudes, longitudes, velocities, times, and weights for each lost ship to pinpoint 10,000 possible target locations. P.205
ベイズ更新、そして Henry R. Richardson が固執した Monte Carlo 技法は、1972年に沿岸警備システムに導入された。その技法は、約20年後に大学の理論家たちが普及させた。Monte Carlo 法によって、個々の難破船の緯度経度、速度、時間、重量のおびただしい可能性を見積り、地図上で 10,000 箇所の候補を特定した。
参照：Henry R. Richardson, Joseph H. Discenza
第16章 Eureka!
Raftery wound up publishing two papers in 1986 about modeling abrupt rate changes. His first, frequentist paper was long, dense, and virtually unread. His second, Bayesian paper was shorter, simpler, and had a much greater impact. Raftery’s third 1986 paper ran just 1- 1/4 pages and had an immediate effect on sociologists. P.217
Adrian E. Raftery は1986年に「突然の比率変化のモデル化」に関する論文を二編発表した。最初の頻度主義に関する論文は、長くて難解で、実質的には読まれなかった。第二の論文は、ベイジアンに関するもので、短くて単純で、非常に大きなインパクトを与えた。1986年に発表した第三の論文は、１ページと少しの分量で、社会科学者に即座に影響をもたらした。
Raftery’s third 1986 paper とは Choosing Models for Cross-Classifications と想定。
「裏舞台」のベイズ
なぜ「ベイズが表舞台にいなかったのか」について考察してみる。
Lindley had predicted that the twenty-first century would be a Bayesian era because the superior logic of Bayes’ rule would swamp frequency-based methods. David Blackwell at Berkeley disagreed, saying, “If the Bayesian approach does grow in the statistical world, it will not be because of the influence of other statisticians but because of the influence of actuaries, engineers, business people, and others who actually like the Bayesian approach and use it.” It appeared that Blackwell was right: pragmatism could drive a paradigm shift. Philosophies of science had not changed. The difference was that Bayes finally worked. P.232
Dennis V. Lindley は「21世紀はベイジアンの時代となるだろう、ベイズルールの優れたロジックは、頻度主義にもとづく手法を打ち負かすだろうから」と予測した。バークレー校の David Blackwell は意見が異なる、「もしベイジアンの手法が統計学界で進展するならば、それは統計学者の影響ではなく、保険数理士、エンジニア、実業者や経営者、その他ベイジアンの手法を好んで使う人たちの影響によるもの」。Blackwell が正しいように思える、実用主義こそがパダライムシフトを起こす。科学の原理はずっと変わっていない。違いは、ベイズがついに機能したこと。
上記の引用と、「表舞台」を統計学界（統計学者の集まり、学校で教えたり統計学本を書く人たち）とすると納得する。アカデミックな統計学界と、実務重視の世界の意見は、完全には一致しない。アカデミックには実務とは異なる役割があるし、それは必ずしも実務に直結しない。
他にベイズが一般的に使われなかった理由として、「計算が面倒くさい」のもあったはずだ。コンピュータやソフトウェアの発展とベイズは切り離せない。Alan Turing をはじめベイズを使った人たちで、その後のコンピュータの発展に寄与した人は多い。
以上がベイズが「表舞台」にいなかった主要因と考える（他にもあるだろうけど）。
最後に、私の「ベイズとの出会い」の記憶を辿る。
高校三年の頃『確率・統計』の「薄い教科書」にも「ベイズ」はなかった。「統計」というより「確率」の問題を多く解いた（正しくは「多くを解けなかった苦い記憶」）。大学の教材の「統計学」にも「ベイズ」は載っていなかったはず（正しくは「その単位を落とすほど勉強しなかった」）。2012年５月に取り組んだ『はじめての統計学』にも「ベイズ」の記述はない。
「ベイズとの出会い」ははっきりしないが、本書の翻訳「異端の統計学 ベイズ」を読んだのが2014年5月だが、ひと月前に C.4 Bayes' Rule の投稿をしてる（John Kruschke の Doing Bayesian Data Analysis）、これがもっとも古いベイズに関する投稿。
仕事でデータ分析や機械学習・AI をやってるが、ベイズを直接的には使ってこなかった。しかし、最近ようやく「実務的なベイズの活用」に取り組み出した。
0 件のコメント:
コメントを投稿