系列モデルとLSTM

長短期記憶（LSTM）

長短期記憶（Long Short-Term Memory; LSTM）は、長期依存関係を扱いにくいリカレントニューラルネットワーク（Recurrent Neural Network; RNN）を改善するために提案されたアーキテクチャである。 現在広く使われる実装は、元のLSTMに忘却ゲートを加えた形であり、以下ではその標準的な記法で説明する。 前の隠れ状態 と入力 から、入力ゲート 、忘却ゲート 、候補セル状態 、出力ゲート を計算する。

なお、 はベクトルの連結を表す。正確には は

という線形変換の和であり、上式では別にバイアスを加えている。LSTMは記憶セル を保持しこれを更新する。入力ゲートは新しい情報をどれだけセル状態に加えるかを制御し、忘却ゲートは前のセル状態からどれだけ情報を残すかを制御し、出力ゲートはセル状態からどれだけ情報を出力するかを制御する。つまり、

と表される。そして、出力は

である。LSTMは、自然言語処理や音声認識などの系列データを扱うタスクで広く用いられてきた。