next up previous
Next: 結論 Up: RNNによる大規模なFMM(finnite Memory Machine)の学習 Previous: その他の特殊な手法

結果

それぞれの、1500回の実験のうち、ネットワークが収束した割合は(512状態)99.4%,(256状態)95.5%であった。

最初に、512状態のFMMの学習においては、トレーニングに用いられるサンプル数 が増加するとともにエラーは減少し、ついには0となった。また、トレーニング セットの数が増加するとともに抽出されるオートマトンのサイズは理想的なサイ ズである512に近づき、ついには512となった。ここで、完全な汎化に必要となる サンプルの数は約250個であった。これは、d=9 の場合の文字列全体である2046個の約12(抽出されたFMMの能力については記載無し)

しかし256状態の場合、トレーニングに用いられるサンプル数が増加するとともにエラーは減少するが、0にはならなかった。また512状態のとき同様、トレーニングセットの数が増加するとともに抽出されたオートマトンのサイズは256に近づく。さらに、抽出されたFMMはテストセットの大多数を正しく判別することができなかった。



Hitoshi Kobayashi
Wed Jul 26 04:25:55 JST 2000