３．ニューラルネットと情報幾何

参考文献[2]，pp1386

(４)期待値パラメタと最尤推定

期待値パラメタは最尤推定量の推定に有用です。

　期待値パラメタが最尤推定にどのよううに用いられるか説明します。
  • 指数型分布族 Ｓ={p(r;θ)} の変数rにおいて観測された値をとします。
  • 全てのrは観測可能であるとします。
  • を、尤度関数 log p(;θ) を最大にする最尤推定量とします。
上の条件から、最尤推定量は次の方程式を解くことによって求まります。

　（２４）
（２４）式から、期待値パラメタを観測値から直接求めることができます。
　（２５）
期待値パラメタから、次の変換によって最尤推定量を求めます。
　（２６）
最尤推定量は多様体Ｓ上の点であり、これは観測点とよばれます。

　観測されないデータを含む場合の最尤推定に関しては、次のＥＭアルゴリズムで紹介します。
Introductory Study of Information Geometry
[ まえ | 目次 | つぎ ]