1991: первая дистилляция нейронной сети [1-3]. Я тогда называл это "коллапсом", а не "дистилляцией". Ссылки [1] J. Schmidhuber (1991). Нейронные последовательные чанки. Технический отчет FKI-148-91, Технический университет Мюнхена. Разделы 3.2.2 и 4 посвящены "коллапсу" или "дистилляции" или "сжатию" знаний нейронной сети в другую нейронную сеть. [2] JS (1992). Обучение сложным, расширенным последовательностям с использованием принципа сжатия истории. Нейронные вычисления, 4(2):234-242, 1992. Основано на [1]. [3] JS (AI Blog, 2021, обновлено в 2025). 1991: Первое очень глубокое обучение с ненадзорной предварительной подготовкой. Первая дистилляция нейронной сети.