適当な条件を満たす確率分布p(r)の多様体Ｓ={p(r)}を考えます。パラメトリックな指数型分布族M={p(r;θ)}は、Ｓの部分多様体となり、これをモデル多様体Mとよぶことにします。
Mはe-平坦な部分多様体となります。
観測されないデータが存在しない場合、観測データrが与えられると、それに対してS上の一点ηを対応させることができます(下図a)。しかし、この点は必ずしもモデル多様体に属しているわけではありません。そこで、Sの点ηに対応するM上の点θを求めることになります。これが最尤推定量θとなります。
EMアルゴリズムでは観測されないデータの存在を仮定するため、観測データからすぐにＳ上の一点は特定できず、候補となる点が集まった部分多様体が対応することになります(下図b)。この部分多様体をデータ多様体Dとよびます。データ多様体は、m-平坦な部分多様体となります。
ここで、次ページに示す手順を繰り返すことでM上の最尤推定量θを求めます。 |
