そのことは "statistically significant", 「統計学的に有意」
え、95%本当のことなの？
その解釈は、p 値が登場する場合は、概ね「間違い」。という風に、もう私は結論付けることにしました。どんな「お偉い」科学者が p 値を使ったとしても、「信用しない」ということ。
No Starch Press (2015-03-01)
ここまでの投稿で、散々 p 値の奇妙な点は書いた。ここでは、p 値にまつわる現状や将来への動きに関して本書から引用する。
In experimental psychology research journals, 97% of research papers involve significance testing, but only about 10% ever report confidence intervals—and most of those don’t use the intervals as supporting evidence for their conclusions, relying instead on significance tests.
実験心理学調査誌によると、97% の調査書に significance testing が含まれ、confidence intervals を含むのはわずか 10% 。しかも、その 10 %の多くが intervals を結果を根拠づける証拠として使っていない。その代わりに使っているのが significance tests 。
G. Cumming, F. Fidler, M. Leonard, P. Kalinowski, A. Christiansen, A. Kleinig, J. Lo, N. McMenamin, and S. Wilson. “Statistical Reform in Psychology: Is Anything Changing?” Psychological Science 18, no. 3 (2007): 230–232.
「みんなで渡れば...」的な状況。さて、日本の現状はどうなんだろう...。
Even the prestigious journal Nature falls short: 89% of its articles report p values without any confidence intervals or effect sizes, making their results impossible to interpret in context.
権威ある雑誌 Nature ですら、89 %の記事で p 値が使われている、confidence intervals や効果の規模を示すことなしに。結果、記事の結論を文脈からは解釈することを不可能にしている。
P.E. Tressoldi, D. Giofré, F. Sella, and G. Cumming. “High Impact = High Statistical Standards? Not Necessarily So.” PLOS ONE 8, no. 2 (2013): e56180.「記事の結論を文脈からは解釈することを不可能」にする、という点は極めて重要だ。つまり、他の科学者が同じ実験をして、同じ結果を得ることができない場合があることを意味する。もはや「科学」とは呼べない。
「STAP細胞論文騒ぎ」で日本でも広く知られたのは、「世界から容易に検証される」こと。誰もが再現できる統計手法を明示するのは、もはや常識なのだ。そうしない科学者、もしくは論文の主張は「疑義あり」なのだ。
そんな p 値で結論付けられた報告や研究が、心理学に限らず他の分野でも未だ存在することは、考えると怖い...。
One possible explanation is that confidence intervals go unreported because they are often embarrassingly wide. Another is that the peer pressure of peer-reviewed science is too strong—it’s best to do statistics the same way everyone else does, or else the reviewers might reject your paper. Or maybe the widespread confusion about p values obscures the benefits of confidence intervals. Or the overemphasis on hypothesis testing in statistics courses means most scientists don’t know how to calculate and use confidence intervals.
- confidence intervals が示されない理由として、その区間が「困るほどに広すぎる」からかもしれない。
- 別の理由は「同業者のプレッシャー」が強すぎること。誰もが同じ方法で統計処理をおこなえば言うことはない。レビューする人があなたの報告内容を否定するかもしれない。
- p 値についての広まった混乱は、confidence intervals の利点を隠蔽。
- 統計学の授業における「帰無仮説検定の過度な強調」が意味するのは、科学者のほとんどが confidence intervals の算出と使用方法を知らないということ。
奇妙なことに "do statistics the same way" ではないのだ。つまり、結論の検証方法が、単に p 値を示しただけでは「他者が突っ込みようがない」のだ。結果、「突っ込ませないようにするため」に p 値を使っている可能性も高い。というか、「p 値しか知らない科学者」というオチも有力かもしれない。
以前、記事か本で「研究室の教官の指導が p 値だった」というのを読んだことがある。そうやって、誤った手法が受け継がれている側面もあるだろう。
No More p Values!
以下は、American Journal of Public Health の Kenneth Rothman による「p 値禁止令」。
All references to statistical hypothesis testing and statistical significance should be removed from the paper. I ask that you delete p values as well as comments about statistical significance. If you do not agree with my standards (concerning the inappropriateness of significance tests), you should feel free to argue the point, or simply ignore what you may consider to be my misguided view, by publishing elsewhere.
F. Fidler, N. Thomason, G. Cumming, S. Finch, and J. Leeman. “Editors Can Lead Researchers to Confidence Intervals, but Can’t Make Them Think: Statistical Reform Lessons From Medicine.” Psychological Science 15, no. 2 (2004): 119–126.
この「禁止令」の成果は以下の通り。
Early on, authors familiar with significance testing preferred to report p values alongside confidence intervals, but after 10 years, attitudes had changed, and reporting only confidence intervals became common practice.
10 年後、事態は変わった。confidence intervals のみによる報告が一般的になった。
さて、これだけの事実があって、未だに p 値を使うおつもりですか？
No More p Values!
今のところ、こう叫ぶ必要がありそうだ。ただ、正しい方向への変化は確実に起こるもの。早期に過ちに気付くのも「科学」なのだ。
0 件のコメント:
コメントを投稿