10 năm trước, vào tháng 5 năm 2015, chúng tôi đã công bố mạng nơ-ron hồi tiếp sâu rất sâu đầu tiên dựa trên gradient (FNNs) với hàng trăm lớp (các FNN trước đó chỉ có tối đa vài chục lớp). Để khắc phục vấn đề gradient biến mất, các Mạng Cao tốc của chúng tôi đã sử dụng các kết nối dư thừa được giới thiệu lần đầu tiên vào năm 1991 bởi @HochreiterSepp để đạt được dòng lỗi không đổi trong các mạng nơ-ron hồi tiếp (RNNs), được điều khiển qua các cổng nhân tương tự như các cổng quên (Gers et al., 1999) của RNN LSTM rất sâu của chúng tôi. Các Mạng Cao tốc đã trở nên khả thi nhờ vào công việc của các cựu sinh viên tiến sĩ của tôi @rupspace và Klaus Greff. Đặt các cổng Mạng Cao tốc ở mức 1.0 thực sự cho chúng tôi ResNet được công bố 7 tháng sau đó. Học sâu hoàn toàn phụ thuộc vào độ sâu của mạng nơ-ron. LSTM đã mang lại độ sâu gần như không giới hạn cho các mạng nơ-ron hồi tiếp; Mạng Cao tốc đã mang nó đến các mạng nơ-ron hồi tiếp.