| EMアルゴリズムは統計学では古くから不完全データからの最尤推定アルゴリズムとして知られている手法です。
情報幾何の登場により、このアルゴリズムを情報幾何的な観点から捉え直そうという試みが行われました。ここでは、情報幾何の立場からこのアルゴリズムについて説明します。
ある確率変数Ｘがあって、その一部のみ観測できて残りは観測することができない状況を考えます。
観測できる確率変数をＹ，観測できない確率変数をＺとして、
Ｘ＝（Ｙ，Ｚ）
と書きます。
観測データ {y1,y2, ... ,yn} (y∈Ｙ)が得られたとき、確率モデル
p(x;θ)=p(y,z;θ)
のパラメタθを最尤推定で求めたいときにEMアルゴリズムが用いられます。
EMアルゴリズムはE-step(Expectation step)とM-step(Maximization
step)の二つの部分からなり、これらを交互に繰り返してパラメタを更新することによって，最尤推定量あるいは尤度関数の極大点を得ることができます。 |