Metric 予測 by 複数 Metric：多変量解析は簡単じゃない

「Predictor 追加の効果」からの続き。

先の投稿「掛算の効果（実装例）」の最後で「スッキリしない理由」を書いた。そして「スッキリさせる」べく本章を最後まで読んだが、それほど「スッキリ」していない。

The examples presented here are intended to reveal some of the foundational concepts and methods, not to serve as a comprehensive reference for the latest and greatest methods. After studying this section, please see the various cited references and other literature for more details.

ここでの例題は、基本となる concepts と methods を紹介するもの。最新の素晴らしい methods を包括するものではない。本節で学んだ後、より詳細には引用した参照先などをご覧いただきたい。

ベイジアンではない「頻度主義者の統計学」で、multivariate analysis（多変量解析）を何度か学んだ（「因子分析や主成分分析」など）。その内容をちゃんと納得したか心もとないが、大抵は何らかの方法論が整然と述べられていた。

「ベイジアンでは多変量解析は難しい」ということではない。

多変量解析そのものが難しいのだ。

変数（or predictors）が p 個で、ユニークなモデルの数は 2^p 、例えば 10 個の場合は 2¹⁰ = 1,024 , 20 個では 2²⁰ = 1,048,576 という具合。interaction を含めれば、モデル数はさらに膨大になる。「ガリガリ」と長時間コンピュータを動かせば一応の結果は出せるが、それが 本当に有効なモデルかどうか の検証は別問題なのだ。

左は図18.11 で posteriors without hierarchical shrinkage 。こんな風に、いくつもの回帰式の係数を推定することはできる。

問題は「どの変数を捨てるか」ということ。

余談：データマイニングは死語？ 

こんな風に、大量の変数から相関関係を探すのが（一昔前の）「データマイニング」、因果関係を考えるのは人間の仕事。とはいえ、囲碁プロ棋士がコンピュータに負けた事実は、「ディープラーニング」等の AI 技術への期待を高める。

今更ながら「頻度主義者の統計学」で学んだ「多変量解析」て何だったのか疑問だ。一応の分析方法を理解した当時でも、「さぁ、これで分析してみよう」という気にはならなかったのだ。本章を読み終えた今でも、「多変量解析」の手法の全てを理解できたと言わないが、少なくとも「ここで学んだ手法で分析してみたい」という気にはななった。

以下は、「本章の心得」というか「多変量解析の心得」という感じの引用。

We would like some protection against accidentally nonzero regression coefficients. Moreover, if we are interested in explaining variation in the predicted variable, we would like the description of the data to emphasize the predictors that are most clearly related to variable. In other words, we would like the description to de-emphasize weak or spurious predictors. 

偶然による「ゼロではない回帰係数」を防止したい。さらに、最も関係のある predictors を重要視するデータ記述（or 分析モデル）を目指す。つまり、「弱い」「偽りの」predictors を重要視しない記述を目指すということ。

「モデル確率」に続く。