second-orderのRNNは今回示したTomitaの文法の4番のような比較的単純な正規文法を、従来に比べてより良く学習し、また学習において提示されていない、長い文字列長のものをも判別する能力があることが示された。この学習結果は、ウェイトの初期値や、RTRL法を用いて漸次的に収束をさせることとはまったく独立している。
また、収束したネットワークからはヒューリスティックな方法を用いて、理想的なFSAを構成することができた。このことから、この際用いられた単純なクラスタリングの方法が有効であることが示された。
このFSAの構成に関する結果は、ユニット数や初期条件の異なるネットワークにおいても、学習を通じて等価なクラスのFSAが学習されたことを示している。従って逆に考えれば、この抽出されたFSAはネットワークがどれだけ文法を学習したかについてのある指標を与えることになる。加えて、この抽出されたFSAは未知の文法を得るための道具ともなりうる。
また、ここではRNNが従来に比べて長い文字列の判別を行うことができることが示された。よってこれからは、学習の対象となるFSAがより多くの状態を持つものに対しても研究がなされるべきであると思われる。