RNNの構成

ここで用いられるのはsecond-orderのRNNと呼ばれるものである。そこで、first-order ・second-orderのRNNとはそれぞれどのようなものを指しているのかを説明する。

• first-order ・second-orderのRNNについて
  ここで、first-order ・second-orderと呼んでいるRNNは、それぞれの結合の違いによって区別される。（具体的には図１，２を参照）
  second-orderのRNNは、 であらわされる N 個の入力へのフィードバッ クを持った隠れユニットと、フィードバックを持たない であらわされ る L 個の入力ユニット、 であらわされる実数値の 個のウェイトを持っている。またウェイト は、次のステップの隠 れユニット に対して、隠れユニット と入力ユニット の積が与える影響を表す。それに対して、first-orderのＲＮＮのウェイトは隠 れユニット と入力ユニット のそれぞれの値に対して影響をあ たえる。従って、ウェイトの個数はこの場合 (N+L)N 個となる。first-order ・second-orderのRNNの構造的な違いは、ウェイトの数である。また、 second-orderのRNNの、入力ユニットの数が隠れユニットの数に比べて少ないう ちは、first-orderのネットワーク同様、ネットワークの複雑さは で増大するだけである。
  このsecond-orderの形式において、ネットワークの入出力を［０，１］とし、入力記号の数だけ入力ユニットを用意することで、隠れユニットと入力ユニットの積はAND演算に、重みづけ和はOR演算に相当することになる。従って、first-orderにおける図３のようなネットワークは、second-orderにおいては図２のように、より一般的に表すことができる。
  さらに、隠れユニットにあるオートマトンの状態を割り当てることで、その状態 遷移{input,state} {nextstate}をより明確にあらわすことができる（図４(a),(b)参照）。このようなオーダーの違いはネットワークの能力にも大きく影響する。
  

• 具体的構成
  ここで用いられたRNNの具体的構成について説明する。
  RNNを構成するユニットは、入力ユニット、および隠れユニットである。
  入力ユニットは、対象とする言語において用いられるアルファベットの数だけ用意する。ここでは入力アルファベットは{0,1}であるから、ここではそれに対応した２つの入力ユニットを用意する。また、隠れユニットはそれぞれ3,4,5個のものがある。これらはすべて次の時間ステップへとフィードバックされる。ここで用いられるのはsecond-order のRNNであるから、各フィードバックと入力の積が次の時間ステップの隠れ層に影響を与えることになる。（図２参照　これは隠れユニットが3個の場合のsecond-order のRNNを表す。）さらに学習のため、任意の隠れユニットを出力ユニットとして選び、その値と教師信号から誤差関数を定義する。これは学習に用いられる以外には、その他の隠れユニットとまったく同様のものである。
  また、このsecond-orderのRNNは、以下の式にしたがって更新される。
  

  

  ここで g はシグモイド型の出力関数である。各々の入力された文字は1文字づ つ離散時間ステップ t ごとに対応する入力ユニットにエンコードされる。ま た、上式にしたがって各隠れユニットの値 S は次の時間ステップ t+1 の値に更新される。

 

図 1 first-orderのRNNの構造

 

図 2 second-orderのRNNの構造
図中のmultは積を表す。 ウェイト は、入力 と隠れユニット の積が、次の 時間ステップ t の隠れユニット に与える影響を表す。

 

図 3 first-orderのRNNの一例

 

図 4 second-orderのRNNとオートマトンの状態遷移との対応
(a)は、オートマトンが状態 にあるとき、入力 により状態 に遷移することを表す。(b)はsecond-orderのRNNによる、(a)の表現で ある。ここで灰色のノードはその持つ値がある値以上であり、対応するノード が状態、または入力として選択されていることを表す。隠れユニット がそれぞれ(a)における状態 に、入力ユニット が入力 に対応する。