RNNの基本的学習方法について

• RNNにおける学習
  誤差逆伝播（error Back Propagation,以下BP）法は、フィードフォワードの階層型NNにおける教師付き学習法の1つである。
  BP法は2乗誤差関数を評価関数とし、その最小化問題の最小点を結合荷重に対する評価関数の勾配を用いた最急降下法により求める方法であると考えられる。
  BP法の提唱者により、その一般化の1つとして、RNNに対しても、結合荷重を固定して、出力の伝播を時間方向に展開することで階層化すれば、BP法を素直に拡張した学習が可能であることが示唆された（Rumellhart,Hinton and Williams,1986）。
  このような考え方による学習法として、通時的逆伝播（back propagation　through time, 以下BPTT）法が提案された。
  また、誤差の逆伝播を行わず、実時間で結合荷重の更新を行うという、実時間リカレント学習（real time recurrent learning,以下RTRL）法も提案された（Williams and Zipser,1989;1995）。この方法は、2乗誤差関数を評価関数とし、その最小化問題の最小点を結合荷重に対する評価関数の勾配を用いた最急降下法で求めるという意味では同様の意義を持つものである。ただし、一般にはリヤプノフ関数ではない。
  BPTT法、RTRL法はともに離散時間のみでなく、連続時間に対しても用いることのできるものであるが、ここでは離散時間についてのものについてのみ述べることにする。
  さらにこのような学習則のほかに、変分法を用いた学習法（Sato,1990）も提案されている。

• BPTT法
• RTRL法
• 教師強制
• BPTT・RTRLの比較