RNNは、非対称なフィードバック結合を持つため、時系列パターンを陽にあつかうことが可能である。時系列パターンの認識には、入力層にディレイラインを用意し、時間パターンを空間パターンに変形して、フィードフォワードのネットワークを用いることも可能である。しかしこの方式には、入力パターンの時間的な伸縮に対して適応性が弱いという欠点がある。
これに対して、RNNをうまく用いれば、入力信号の順序だけが正しければその時間間隔にかかわらず一定の応答をするオートマトンや、ある許容範囲内の波形に対して共鳴するような力学形を構成することによって、よりフレキシブルな時系列の識別を行える可能性がある。
そのほかにもRNNは、生物のある種の運動パターンや、神経活動の振動パターンのモデル化等にも用いることができると考えられる。
以下では、実際に用いる基本的学習則、そして応用のうちの、時系列認識の課題の一つとして、RNNを文法推論の問題に用いた研究について紹介する。