読者です 読者をやめる 読者になる 読者になる

Rを通じて統計学を学ぶ備忘録ブログ

SPSSからRに移行したい私のような人向けのR解説ブログ兼学習用備忘録。

第53回 フィッシャー情報量

その他(R関係)

第53回はFisher情報量について書いていきます。辞書で調べてみると、「確率変数Xが母数θに対して持っている『情報』の量を表す」と書かれています。うーん・・・・わかるようでわからない。情報を持っているからどうなの?という疑問が生まれました(個人的には初めて見たときから)。ほんで、いろいろ調べるてみると、「スコア関数」「クラメールラオの不等式」などと関係してるみたいで、さらに??だったので、数年間から逃げてきたのですが、最近勉強し直してみると理解できたので、このメモブログに書いていきます。

・スコア関数 Sc(θ)

パラメタを推定するときに最尤法を用いる場合、確率密度関数f(x|θ)ではなく、尤度関数L(θ|x)を考えます。感覚的には、得られたデータxにどのくらいθがのってくるか、というような考え方です。

f:id:teruaki-sugiura:20150905211804p:plain

最尤法では、この尤度関数(対数を取っている場合は対数尤度関数)をパラメタで微分して、0と置いて尤度方程式を解くことで、最大対数尤度を推定します。ここで、尤度関数をパラメタで微分したものが「スコア関数」です。

f:id:teruaki-sugiura:20150905211901p:plain

スコア関数の期待値は0となります。そして、スコアの分散=「フィッシャー情報量」です。まず、期待値=0を証明してみます。

f:id:teruaki-sugiura:20150905211947p:plain 

・フィッシャー情報量 I(θ)の概要

以下の図を参考にしながら、フィッシャー情報量を考えていきましょう。最大対数尤度(対数尤度)は山の天辺の位置で得られますが、これを得るためには尤度関数をパラメタで微分することになります。さらにもう一度、パラメタを微分してみるとどうなるでしょうか。つまりパラメタで2階微分したものは一体何を表すでしょうか。2階微分したものは「マイナス」符号がつきますが、この符号を逆転させることで、天辺まわりの「曲がり具合」を表すことができます。そして、天辺まわりの曲がり具合が大きいほど、尤度の低下具合が大きくなり、データにより最尤推定値が強く支持されていると考えることができます。以下の図では、緑の対数尤度関数の方がよりよい、推定値が得られると考えるわけです。

f:id:teruaki-sugiura:20150905212018p:plain

・フィッシャー情報量 I(θ)の導出

f:id:teruaki-sugiura:20150905212209p:plain

・クラメール・ラオの不等式 

パラメタを推定する場合、真のパラメタに近い方がいいですが…そうするためには、分散を小さくすればよい!そうすることで、真のパラメタまわりにばらつきやすくなると考えられますが、その分散の「下限」を決めるのが、クラメール・ラオの不等式です。Fisher情報量が大きい場合、真のパラメタまわりにばらつきやすくなると言えます。まとめると、対数尤度を二階微分して得られた最尤推定値の符号を反対にしたものが「フィッシャー情報量」で、それは大きい方がよくて、情報量が大きいと、パラメタのばらつきが小さくなる。しかし、ばらつきの範囲には限度あるけどね、ってことです。

f:id:teruaki-sugiura:20150905212257p:plain

右辺はフィッシャー情報量の逆数です。フィッシャー情報量が大きいと、分散を小さくできることを意味していますが、この不等式が述べていることは、ばらつきには限界がありますよ!ということです。つまり、ばらつきを限りなく小さくできるのであれば「期待値≒分散」でよき推定値が得られるはずなのですが、分散を小さくしようにも限界があるということです。 

 

以上で今回はおしまい。

 

 

広告を非表示にする