これは前のものとは異なり、誤差の逆伝播を行わず、１時刻前の勾配の情報を用いて実時間で学習を行う方法である。
具体的には、各ユニットの出力の微分的な依存関係を線形連立方程式の形で表現し、厳密な最急降下学習則を求めるというものである。
いま、時刻ｔにおける実際の出力と教師信号の2乗誤差関数 E(t) を
と定義する。
このような誤差関数 E(t) を結合荷重 
で偏微分すれば、
となる。
ここで 
に注目して
とおけば、
ここで 
は、
となるクロネッカーのデルタである。
したがって 、 
は1時刻前の 
から計算できることがわかる。
ここでネットワークの初期状態は結合荷重とは無関係であるため、 
のとき、
とすることができる。よってこの初期条件から順に計算を行うことができる。
ゆえに、学習率を 
とすれば、結合荷重の更新量 
は、
となる。
このようにRTRL法では を逐次計算することができ、BPTT法のように過去の
入出力や結合荷重を保存しておく必要はない。