next up previous
Next: 結果 Up: second-orderのリカレントネットを用いたオートマトンの学習 及び抽出 Previous: RNNの用法

採用する学習法

ここで用いられる学習則は、誤差関数の結合荷重に対する勾配を求め、誤差の減 少するほうに荷重を更新するというものである。実際には、オンライン学習規則 であるWilliams and Zipser(1989)によるRTRL法をsecond-orderの形式に拡張し たものをを用いる。この方法では、エラー項は時間に対して前向きに伝播し、各 時間ステップ t ごとに累積される。そして、学習はそれぞれの文字列が提示されたあとに行われる。
しかし、それぞれの tex2html_wrap_inline737 の更新に は tex2html_wrap_inline739 の項が必要となる。ここで、 tex2html_wrap_inline741 ならば、 更新に必要なのは tex2html_wrap_inline743 となり、first-orderのネットワークと同じになる。このことは、相互に結合しているようなRNNのサイズを厳しく制限すると思われる。



Hitoshi Kobayashi
Wed Jul 26 04:25:55 JST 2000