採用する学習法

ここで用いられる学習則は、誤差関数の結合荷重に対する勾配を求め、誤差の減 少するほうに荷重を更新するというものである。実際には、オンライン学習規則 であるWilliams and Zipser(1989)によるRTRL法をsecond-orderの形式に拡張し たものをを用いる。この方法では、エラー項は時間に対して前向きに伝播し、各 時間ステップ t ごとに累積される。そして、学習はそれぞれの文字列が提示されたあとに行われる。
しかし、それぞれの の更新に は の項が必要となる。ここで、 ならば、 更新に必要なのは となり、first-orderのネットワークと同じになる。このことは、相互に結合しているようなRNNのサイズを厳しく制限すると思われる。