ITパスポート 試験情報＆徹底解説

ディープラーニングモデルのうち、前の時間軸の状態・情報を保持し利用することで、過去の情報をもとにした時系列データの解析性能を向上させた深層学習モデルのこと。

従来のニューラルネットワークは、入力層から中間層、出力層と到る流れの中で、前層から次層のユニット（ノード）へ情報を受け渡した後は前層の状態は保持されず、あとの時間軸がその状態を利用することが難しかった。そのため音楽における音の並びや時系列に並ぶ数値データなど、一つ一つの要素に順序関係がありその前後関係が大きく内容に影響を与える時系列データの解析に困難を生じていた。そこで再帰的ニューラルネットワークでは、時間tとt-1における中間層のユニット情報を演算式に導入することで過去の状態を保持し利用することを可能としている。

情報の流れとしては、時間t-1における入力データが入力層→中間層→出力層と受け渡されていく中で、時間t-1における中間層の状態を、時間tにおける入力層→中間層→出力層の流れの中間層に再帰的に組み込むことで過去の影響を次の工程に取り入れ処理を行う。この再帰的に組み込まれる中間層の状態についても重み付け処理がされているが、時系列に関する情報量が多いと再帰が繰り返されるうちに重み付けがうまく更新されないという状態が生じる。そして、処理中の情報と関連する情報の時間軸が大きく離れていくほど再帰が繰り返されることになり、情報間の関連をうまく読み取れないという問題（長期依存性問題）が発生する。これを解決するために提示されたモデルがLSTM（Long Short Term Memory）である。LSTMでは、過去の情報の中で不要なもの、新たに加えられた情報の中で重要なものなどを識別し、余分な情報を取り除くゲートと呼ばれる構造を取り入れ問題解決を図っている。