1991: primeira destilação de redes neurais [1-3]. Eu chamei isso de "colapso", naquela época, não de "destilação". Referências [1] J. Schmidhuber (1991). Fragmentos de sequência neural. Relatório técnico FKI-148-91, Tech Univ. Secção 3.2.2. & Sec. 4 são sobre "colapsar" ou "destilar" ou "comprimir" o conhecimento de uma rede neural em outra rede neural. [2] JS (1992). Aprendizagem de sequências complexas e estendidas usando o princípio da compressão da história. Computação Neural, 4(2):234-242, 1992. Com base em [1]. [3] JS (AI Blog, 2021, atualizado em 2025). 1991: Primeira aprendizagem muito profunda com pré-formação não supervisionada. Primeira destilação de redes neurais.