Learning a class of large finite state machines with a recurrent neural network
Giles,C.L., Horne,B.G., Lin,T
.Neural Networks. 8(9),1995
概要：
RNNを用いた有限状態オートマトンの学習の問題は今まで多く研究されてきた。しかしこれらの結果は従来の文法推論アルゴリズムを用いた場合に比べて小さなサイズのものしか学習できないという欠点があった。
そのためここでは隠れ層にフィードバックを持たず、入力と出力の履歴を保持する遅延素子を持ったRNNを用いて、従来に比べてサイズの大きな、finite memory machine(FMM)と呼ばれる、特殊なタイプのFSM（finite state machine）の学習を行なった。
その結果、FSMのクラスを限定し、問題に適した構造を持ったNNを用いることでサイズの大きなFSMを学習することができることが示された。
また、学習を行ったRNNから抽出されたFSMが、学習に用いるサンプルの増加に伴って、理想的な状態数に達することがわかった。