next up previous
Next: 結論 Up: second-orderのリカレントネットを用いたオートマトンの学習 及び抽出 Previous: 採用する学習法

結果

今回示された結果はTomitaの文法の4番についてのものである。
まず、ほとんどの試行において、ネットワークは収束に成功した。また2種類のテストにおいても高い汎化能力を示した。とりわけ、テストセットのうちの、文字列長が16〜99のものの中からランダムに選ばれた、850000個のものについての結果は、ネットワークが学習で用いられていない未知の、かつ文字列長の長いものに対しても判別ができることを示した。
さらに、収束したネットワークから抽出され、最小化されたFSAはすべて理想的なものであり、中には最小化の必要の無いものさえあった。加えて、これらの抽出されたFSAは未知の文字列の分類に関して、もとのネットワークより高い性能を発揮することもある。
ここで行われた実験におけるコントロールパラメータは隠れユニットの数のみで ある。また実験ごとのそれ以外の差異はランダムに選ばれたウェイト、隠れユニッ ト、トレーニングセットおよびテストデータである。このコントロールパラメー タによる結果の違いはほとんど見られなかった。違いがあるとすれば、若干隠れ ユニットの数が3個のものの汎化能力が高いこと、隠れユニットの数が4,5個 のものから抽出され、最小化されていないFSAのサイズが大きいことぐらいであ る。



Hitoshi Kobayashi
Wed Jul 26 04:25:55 JST 2000