構成

• リカレントニューラルネットワークとは？
  リカレントニューラルネットワーク（recurrent neural network, 以下RNN）は多数のニューロンからなる、フィードバック結合のある非層的なネットワークである。この構造は、フィードフォワードの階層型ネットワークの時空間への一般化と考えられ、時空間情報の取り扱いを可能にする。ここでRNNは相互結合型ネットワークともみなされる点ではホップフィールドモデルと同じであるが、相互の結合が対称であるホップフィールドモデルに対して、RNNにおけるユニット間の結合は、非対称に一般化されている。
  

• RNNの表現
  非対称なフィードバック結合のあるRNNにおいては階層型のもののように層の概 念は明確にはならない。そのため、ネットワークを構成するユニットは、 入力ユニット（input unit）出力ユニット（output unit）および隠れユ ニット（hidden unit）と呼ばれる3種類のユニットに分類される。ここ で入力ユニットはすべて出力・隠れユニットに結合され、出力ユニット と隠れユニットはお互いに結合されている。なお、しきい値の学習を行 うため、入力ユニットの中には常に1を出力する仮想的なユニットが含ま れているものとする。
  

  このようなRNNにおいて、いま時刻 t におけるユニット i の出力 を とする。ここで入力ユニットの出力を 、 隠れユニットと出力ユニットの出力を とすれば、 は
  
  のとき
  のとき
  
  となる。ここで、 I,H,O はそれぞれ入力ユニット、隠れユニット、出力ユニットの添字の集合である。 RNNは学習していない場合には、出力ユニットの出力が外部出力として使われること以外、隠れユニットと相違はないので、離散時刻における隠れユニットと出力ユニットの入出力関係はつぎのようになる。

  

  

  ここで、 はユニット j から i への結合荷重、 はユニット i の内部状態を表し、 は入出力関数である。 の具体的な関数形としては、ロジスティック関数などのシグモイド関数

  

  がしばしば用いられてきている。これは微分可能であるため、また、導関数を簡単に求めることができるためである。