赤池情報量基準(AIC)を確率分布関数から最尤法を用いて計算する

Pocket

 多変量解析の際の変数選択の一つの指標として赤池情報量基準 (Akaike information criterion) があります.詳細は成書を参考にしていただきたいのですが,N を自由パラメータ数とすると下式で求まります.

\displaystyle AIC = -2(Maximum\ Log\ Likelihood)+2N

 モデルの自由パラメータ数とは,想定したモデルに含まれるパラメータの値が動く空間の次元のことです.AIC は想定したモデルを最尤法で推定した時の評価基準であり,対数尤度のバイアスが漸近的にモデルに含まれる自由パラメータ数となることを示しています.

 最大対数尤度はどう求めるのでしょうか.ここで下式のように対数尤度関数を定義します.f(x|θ) は確率分布関数であり,分布によって形が変化します.

\displaystyle l(\theta) = \sum_{\alpha=1}^{n}\log f(x_{\alpha}|\theta)

 この l(θ) を最大化する \hat\theta が最尤推定量であり,この方法を最尤法といいます.l(\hat\theta) = \Sigma_{\alpha=1}^{n}\log f(x_\alpha |\hat\theta) を最大対数尤度と呼びます.

 対数尤度関数 l(θ) が微分可能な場合,最尤推定量 \hat\theta は尤度方程式を微分した解が 0 となる θ を求めることで求まります.

\displaystyle \frac{\partial l(\theta)}{\partial \theta} = 0

参照:
確率分布ごとの確率密度関数および期待値と分散

Pocket

投稿者: admin

趣味:写真撮影とデータベース. カメラ:TOYO FIELD, Hasselblad 500C/M, Leica M6. SQL Server 2008 R2, MySQL, Microsoft Access.

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です