next up previous
Next: その他の特殊な手法 Up: RNNによる大規模なFMM(finnite Memory Machine)の学習 Previous: RNNの用法

採用する学習法

ここではBPTT法と教師強制を併用して用いる。BPTT法については、ウェイトの更新はそれぞれの文字列が提示された最後に行われる。このとき得られる出力が目標値に充分近くない場合、それがフィードバックに用いられることによりネットワークの能力が低下する。それを防ぐため、学習においてはネットワークによる出力値ではなく、教師信号をフィードバックする。この教師強制の手法により、収束の速度を速め、またネットワークの収束の能力を高めることができる。また収束の条件は、すべてのトレーニングセットにおけるエラー値が0.2以内になることである。



Hitoshi Kobayashi
Wed Jul 26 04:25:55 JST 2000