その他の特殊な手法

• 選択更新
  エラーの絶対値が0.2より大きいときにだけウェイトの更新をおこなうというもの。これによって、勾配計算による過度の修整を抑え、学習をすばやく行うことが可能となる。

• 辞書順学習
  ここでは、順次の学習の際には最も短い文字列から学習していくのが効率的であることが分かった。そのためトレーニングセットの順番は辞書順とし、エラーの絶対値が0.2より大きいものが30個以上であれば、そのエポックは打ち切ることとする。よって、ネットワークは長い文字列より先に、短い文字列を学習しなければならない。更に、ネットワークは最初に50個のサンプルにおいて学習し、それらのエラーの絶対値が0.2以内にならないと残りのサンプルを学習することはできない。最初の50個のサンプルにおける学習が終わると更に50個のサンプルが加えられ、前と同じ条件を満たせば更に50サンプルが付け加えられる。

• ウェイトディケイ
  詳細は書かれていないので推測であるが、各ステップごとにウェイトの値すべてがある割合ずつ減少するものではないかと思われる。