RNNの用法

• トレーニングセットおよびテストセット
  トレーニングセットは文字列および教師信号からなる。文字列は{0,1}*であり、教師信号は正しい例に対して"1"、誤った例に対して"0"である。これは学習の前に、ある文法によってあらかじめ作られる。
  そして、データからのよけいな偏り（長短であるとか、誤った例と正しい例であるとか）の影響を避けるため、Tomitaの、もとのセットのうち文字列長が15以下のもの（65535個、空文字列も含む）から、1024個の文字列が学習用にランダムに選びだされ、用いられた。
  テストセットは2種類ある。1種類は、トレーニングセット以外の、文字列長が15以下のものである。もう1種類は、文字列長が16〜99のものの中からランダムに選ばれた、850000個のものである。これはより長い文字列についても汎化能力があるかどうかをはかるためである。

• 学習
  始めに、ネットワークは学習データからランダムに30個ほどの小さな部分を選 ぶ。このデータはプレテスト学習データと呼ばれ、ネットワークはこれ をすべて正しく分類する、すなわちすべての文字列に対して誤差関数の 絶対値が誤差の許容範囲 より小さくなるか、規定のエポック（1エポック＝ネットワークがひとつの文字列を1度処理するのにかかる期間）に達するまで学習を続ける。エポックの上限は学習前に5000に定められており、これに達してもネットワークが収束しない場合は、ネットワークは学習に失敗したとみなされる。プレテストデータを正しく分類できれば、ネットワークは10個の正しく分類できないデータをプレテストデータに追加して再度学習を行う。これは、ネットワークがローカルミニマムにとらえられるのを避ける為である。もしネットワークがすべてのトレーニングセットを正しく分類できれば、このとき、ネットワークは収束したという。

• テスト
  学習を終えたネットワークは、2種類のテストセットを用いてその汎化能力をは かられる。1種類は文字列長が15以下のものであり、もう１種類は文字列 長が16〜99のものである。ここで２種類のテストセットを用いてテスト を行う際、エラーに対する許容値であるεはそれぞれ異なる値に設定さ れる。文字列長が15以下の場合に較べて文字列長が16〜99の場合 は は大きく設定される。

• FSMの抽出
  ネットワークが学習しているとき(または学習後)、何を学習しているか（またしたのか）を、FSAの形で抽出することができる。FSA抽出の過程は以下のステップの通りである。
  

  (1)　FSAの状態をクラスタリングする。
  (2)　アルファベットをつけた円で各々の状態をラベルづけする。
  (3)　遷移を矢印で書きこむ。
  (4)　(3)を最小化する。
  

  ここでは、学習の間ネットワークはそれ自身の状態空間をよりはっきりしたクラスターに分離しており、これらの状態はFSAに対応しているという仮説をもとに、クラスタリングを行う。（別のクラスタリング法はCleeremans et al.(1989)を参照）
  その方法であるが、まずそれぞれの隠れユニットの持つ値 [０，１]を等間隔に q 個に区切る。この q を分割パラメータという。すると、 N 個 の隠れユニットを持つものは 個の分割状態を持つことになる。入力された文字によってその状態がそのままであるか、遷移するかということから、遷移図をつくることによりFSAは構成される。もし、次の文字の入力の結果同じ分割状態であったら、ループが形成されたと推測する。そうでなければ、新しいFSAの状態が形成されたと考える。またFSAの開始状態は、各ユニットの初期値によって決まる。この結果構成されるFSAは最大で 個の状態を持つ。
  そして、この抽出されたFSAは標準的な最小化アルゴリズムで縮小することができる。この最小化の過程はFSAの能力を変化させることはない。最小化の過程はあくまでFSAの無駄な部分を省くものである。
  ここでは、分割パラメータの初期値は q=2 であり、抽出されたFSAが1024個のトレーニングセットの分類に失敗したときのみ1づつ増加する。このFSA抽出法はorderや隠れ層に関係なく他の離散時間でのRNNに用いることができる。ただし、多くのユニットを持つものにこの方法を用いることは難しい。