p 値の誤謬：p 値は単なる「驚き具合」

「Statistics Done Wrong by Alex Reinhart」からの続き。

Statistics Done Wrong: The Woefully Complete Guide

posted with amazlet at 18.03.28

No Starch Press (2015-03-01)

Amazon.co.jpで詳細を見る

ある風邪薬の効果を調べる実験で

"Even if my medication were completely ineffective, what are the chances my experiment would have produced the observed outcome?" 

この薬が全く効果がないと仮定して、その実験結果を得る確率は？

この確率を得る行為が「hypothesis test（仮説検定）」もしくは「significant test（有意差検定）」。そして、この確率が p value（p 値）。

通常の実験は「治療に効果があることを調べる」ので、この検定方法を奇妙に思うかもしれない。私は「仮説検定」について学んだ当初、「はぁ？」という風に全く理解できなかった。「帰無仮説は『無に帰す』という意味」という解説を読んでも、納得感は低かった。

面倒臭い検定方法だな...

が率直な感想。今でも若干そう思っている（笑）

より具体的に説明すると

If you test your medication on only one person, it’s not too surprising if her cold ends up being a little shorter than usual. Most colds aren’t perfectly average. But if you test the medication on 10 million patients, it’s pretty unlikely that all those patients will just happen to get shorter colds. More likely, your medication actually works. 

その薬を服用した患者の一人が、通常よりも早く回復しても驚くことではない。全ての風邪がすべて平均的なものではないから。しかし、1,000万人の患者全員が早く回復するのは「かなり有り得ない」こと。この場合、薬の効果があったとする方が「より有り得る」となる。

p 値の「誤用」の背景には、以下の認識が不足してることもあるだろう。

Remember, a p value is not a measure of how right you are or how important a difference is. Instead, think of it as a measure of surprise. If you assume your medication is ineffective and there is no reason other than luck for the two groups to differ, then the smaller the p value, the more surprising and lucky your results are—or your assumption is wrong, and the medication truly works.

重要なのは、p 値が「実験の主張が正しい」もしくは「ある違いの重要度」を測るものではない、ということ。そうではなくて、p 値は「驚き具合の指標」と考えるべき。ある治療の効果がなく、二つのグループに違いが出るのは「偶然の産物」と仮定する。そして、その仮定が誤りという結果は、 "the more surprising and lucky" であり、その治療は確かに効果があるとなる。

自然な翻訳を目指したが、一部は英語のままにした。理解を深めるために日本語訳をしているが、ちかごろ日本語訳が面倒臭くなってきた...（笑）

p 値が "a measure of surprise" という点は重要なので、以下の引用で繰り返し強調したい。

But p values have their limitations. Remember, p is a measure of surprise, with a smaller value suggesting that you should be more surprised. It’s not a measure of the size of the effect. 

p 値には限界がある。p 値は「驚き具合の指標」であり、より小さい p 値は「もっと驚くもの」と示唆している。しかし、調べる効果の大きさを測るものではない。

「p 値 0.001 を得た。このことは、0.05 よりも低い 0.01 の有意水準を満たしているので、効果はより期待できる」という使い方は誤りということ。こんな風に数値で出ると、そう解釈したくなるのも無理はない。つまり p 値が「分かりにくい」「誤解を与えやすい」のは否定できない。

You can get a tiny p value by measuring a huge effect—“This medicine makes people live four times longer”—or by measuring a tiny effect with great certainty. And because any medication or intervention usually has some real effect, you can always get a statistically significant result by collecting so much data that you detect extremely tiny but relatively unimportant differences. 

効果の大小を関わらず、その効果を測ることで、帰無仮説を否定する「小さな p 値」を得ることができる。どんな治療であれ何らかの効果があるもの。なので、「極めて小さいが、比較的重要でない差異」を検出する大量データを集めれば、統計学的に有意な結果は常に得ることができる。

「4 倍寿命を延ばす効果」と「偽薬より効果的」は、どちらも同様の小ささの p 値で測れてしまうのです。紛らわしいですよね？

In short, statistical significance does not mean your result has any practical significance. 

端的に言えば、「statistical significance（統計学的有意性）」な結論は、「実際的に意味があること」ではない。

「端的に言った」わりには、「え？」となりませんか？ これだけ長々と解説しておきながら

じゃ、仮説検定て何なんだよ？

と、堂々巡り的な混乱に陥りませんか？ 過去に、私は何度もそうなりました（泣笑）。

本章については、次回も取り上げるが、これ以上の p 値や帰無仮説については解説しない。このブログでも「Power of Love or Fear：愛か恐怖の動機付け」「NHST：隠れた意図に依存する仮説検定」などで何度も取り上げている。

それに、その手の解説は溢れかえっているので、ここでは「本書ならでは」のものを取り上げたい。

「No More p Values」に続く。


備忘録

本書は計算過程を意図的に示していない。以下は、本章の "Psychic Statistics" で、導き方は私によるもの。

問題：12 個の true-or-false の二択問題に、ある回答者は 9 問正解した。この回答者が無作為に回答（つまり、問題の内容とは無関係に、 50:50 の確率で true か false と回答）して、少なくとも 9 問正解する確率を求めよ。

回答：この確率は、二項分布で求める。

> sum(dbinom(9:12,12,0.5))
[1] 0.07299805

この確率が仮説検定での p 値で、9 回以上の正解の確率は約 7.3% 、よって p > 0.05 なので帰無仮説は棄却できない。