これまで、基本的なRNNの構成、および学習法について、またいくつかの研究について述べてきた。それによって、RNNが様々な時系列パターンを扱い得るということが示された。反面、RNNは対象とする問題のサイズや性質の若干の違いについても、異なる構成および学習方法をとらなければならないことがうかがえる。
実際に、ここで紹介した研究例はいずれもFSAの学習に関するものであるが、RNNの構成、および適用された学習法は大きく異なる。この２つの研究例におけるRNNにおける各学習法の選択の理由については、隠れユニットの数、および学習の対象となる文字列の長さの、メモリーおよび計算量に与える影響から納得のいくものである。しかし、RNNの構成や、その他に用いられた手法についてはなぜそれが採用されたのか、またそれ以外に最適な方法があるのかということはわからない。実際論文の中でもこのようなものは試行錯誤とこれまでの研究における経験から導かれたものであるという記述が見られる。
このうち学習法については、メモリー、計算量の観点から研究が進んでいる。また、誤差関数−ウェイト空間における学習曲面の形状に対する研究もなされている。
一方RNNの構成は学習法同様ネットワークの性質を大きく左右する。様々な課題において異なる構成のネットワークが用いられていることからもそれは明らかであろう。よって、あるクラスに属する問題に対して、どのような構成のRNNが対応するのかということを明らかにすることは極めて重要であると思われる。そのためには様々な研究におけるRNNの構成と問題の関係を調べ、それらに対する統一的な視点を探ることが肝要であると思われる。