ここでのRNNの構成は、基本的に入力層・隠れ層・出力層に分かれる。ここで、512状態のFMMの学習においては、隠れユニットの数は4個、256状態のFMMについては15個である。さらに各ユニットの出力関数は標準的なシグモイド関数である。そして、このRNNは隠れ層からのフィードバックを持たず、出力のみにフィードバックを持つ。また、入力・出力のフィードバックにそれぞれ5,4個の遅延素子を持っている。この入力・出力（フィードバック）の過去の値から、次のステップの出力が決定される。
このようなRNNは、Infinite Inpulse Filter(IIR)にちなんで、しばしばneural network IIR(NNIIR)とよばれる。今までこのネットワークの多くの変種が提案され、また幅広くシステムの同定と制御に用いられてきた(Narendra & Parthasarathy,1990)