RNNは経験的に様々な文法推論(Cleeremans et al. 1989;Mozer & Bachrach,1990;Pollack,1991;Giles et al.,1992)を、また制御のためのシステムの同定(Barto,1990)を行う能力があることを示してきた。
文法推論(Fu & Booth,1975)とは正誤のラベルづけをされた文字列からそれを生成するFSMを見つける問題である。この文法推論の問題はNP完全であることが知られている(Angluin,1978)。それでも、比較的規模の大きな問題を有効に扱うことができると思われる、いくつかのアプローチが提案されている(Lang,1992)。
しかしNNを用いた文法推論の研究については、従来の文法推論アルゴリズムを用いた場合に比べて小さな規模のものしか学習できないという欠点があった。
よってここでは(Narendra & Parthasarathy,1990)によって提案された、離散時間での、入力及び出力のフィードバックの両方に遅延素子を持つRNNを用いたある特定のクラスの時系列の学習に関するモデルを用いて、規模の大きなFSMを学習することが可能であることを示す。ここで学習する対象は、FSMの１種である、FMM (Finite Memory Machine)である。