10年前の2015年5月、私たちは数百のレイヤーを持つ最初の非常に深い勾配ベースのフィードフォワードニューラルネットワーク(FNN)を発表しました(以前のFNNは最大数十のレイヤーでした)。勾配消失の問題を克服するために、当社のハイウェイネットワークは、1991年に@HochreiterSeppによって初めて導入された残留接続を使用して、非常に深いLSTM RNNの忘却ゲート(Gers et al., 1999)と同様の乗算ゲートを介してゲート化されたリカレントNN(RNN)の一定のエラーフローを達成しました。ハイウェイNNは、私の元博士課程の学生である@rupspaceとクラウス・グレフの研究によって可能になりました。Highway NN ゲートを 1.0 に設定すると、7 か月後に公開された ResNet が効果的に得られます。 ディープラーニングは、NNの深さがすべてです。LSTMは、再発性NNに本質的に無制限の深さをもたらしました。Highway NetsはそれをフィードフォワードNNに持ち込みました。