この情報量は、パラメータを持つ確率モデルがあったとき、与えられたデータ（情報）を用いて、どこまで真のパラメータを推定できるかを表現したものである。つまり、パラメータを正確に推定できるデータが、大きな情報量を持つと考える。
次のような統計モデルが与えられた時、 \[f_{X}(x,\theta)\]
\[{X}\]
フィッシャーの情報行列(the Fisher information matrix)は
\[I\]
スコア関数の分散(variance of the score function)として表せる。
\[ I=Var[U]\]
この時、もし、パラメータ(parameter)が一つしかないならば、この式はフィッシャー情報量と呼ばれる。
\[I=f_{X}(x,\theta)\]
もし、フィッシャー情報量が指数分布族(exponential family)であるならば、
\[f_{X}(x,\theta)\]
\[I=E[U^{T}U]\]
\[I=-E[\frac{\partial U}{\partial{\theta}}]\]
例えば、正規分布(the normal distribution)の場合は、
\[N(\mu,\sigma^2)\]
は指数分布族(exponential family)であり、その尤度関数(log-likelihood function)は
\[\ell(\theta,x)\] \[-\frac{1}{2}ln(2\pi\sigma^2)-\frac{(x-\mu)^2}{2\sigma^2}\]
\[\theta=(\mu,\sigma^2)\]
ここで、θに関して微分すると、
Site admin: anonymous
PukiWiki 1.4.7 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL.