GLMの基礎：AIC モデル選択

「逸脱度、残差逸脱度、逸脱残差」からの続き。

本書第4章「GLMのモデル選択」をもとにした。

本章では「良い統計モデルとはなんだろう？」という疑問、あるいは「良いモデルを選びだす方法」を検討します。P.68

以下のように「良いモデル」についての考察は、このブログでも何度も取り上げている。「データ分析」では極めて重要。

分析モデル評価：Overfitting & Generalization
モデル評価：evidence, Bayes' Factor
モデル比較：モデル比較の注意点

モデル評価に絶対的な方法はなく、ましてや「計数的な判断でモデルを評価」できない。要するに

「Overfitting（あてはまり過ぎ）」を無視して、「あてはまりの良さ」だけでモデルを評価できない

例えば、log λ = β₁+β₂x + ... + β₇x⁶ のように線形予測子を複雑にすれば、当てはまりは改善される。しかし、それが望ましい統計モデルとはならない。つまり、本書の例にもあるように、log λ = β₁ に無意味と分かっている説明変数 x を加えた log λ = β₁+β₂x の二つのモデルの最大対数尤度を比較すると、説明変数が多い後者の方が「あてはまりは改善」されてしまう。

この章では AIC というモデル選択基準について説明します。AIC は「良い予測をするモデルが良いモデルである」という考えにもとづいて設計された基準です。これは「あてはありの良さ重視」とは異なる考えかたです。P.68

AIC モデル選択とは「予測の悪さ」が小さいモデルを選ぶことです。P.86

以下 log λ = β₁+β₂x モデルの glm の結果から

Null Deviance:    89.51 
Residual Deviance: 84.99 AIC: 474.8

モデル選択基準（model selection criterion）のひとつ AIC（Akaike's information criterion）の定義は

　AIC = -2 { 最大対数尤度 - 最尤推定したパラメーター数 }
　　　= -2 (log L - k)
　　　= D + 2k

注意：D は deviance 「あてはまりの悪さ」で「逸脱度」。マイナス値の最大対数尤度が大きいほど「あてはまりが良い」ので、その値に -2 を掛けた値が「逸脱度」。本書では glm の結果の Null Deviance（Null 逸脱度）, Residual Deviance（残差逸脱度） 等の説明が非常に分かりやすいが、ここでは AIC に特化するため割愛。

定義に従い AIC を求めると

> -2*(as.numeric(logLik(fit))-2)
[1] 474.7725

AIC でモデル選択する理由、AIC = D + 2k の背景は、本書が非常に分かりやすい。R のスクリプトを書いて、同様の実証をすることも可能だったが、本書以上の説明は無理なので、AIC の詳細については以下のポイントだけを記す。

最大対数尤度とは、推定された統計モデルが真の統計モデルに似ているかどうかではなく、たまたま得られた観測データへのあてはまりの良さです。P.79

この「たまたま得られた観測データへのあてはまりの良さ」である「最大対数尤度」と AIC の主な関係は、次の二点

• 統計モデルの予測の良さは「平均対数尤度（mean log likelihood）」
• バイアス補正（bias correction）

バイアス補正とは AIC = D + 2k の + 2k のこと。

最後に、ありがちな AIC の誤解を引用する

• AIC は「あてはまりの良いモデル」を選ぶ基準ではない
• AIC によって「真のモデル」が選ばれるわけではない

「尤度比検定」に続く。