"Как ты можешь так безосновательно очернять людей?" "Дистилляция не считается кражей... дистилляция! ... Разве можно считать кражей то, что делается с большими моделями?" Затем последовали трудные для понимания слова, такие как "soft label", "temperature scaling", "dark knowledge" и тому подобное, что вызвало смех у всех присутствующих, и в лаборатории царила веселая атмосфера. Он сказал на стойке: "Дайте мне две A100 и предобученную teacher model." и выписал счет на девять монет — нет, на девять тысяч долларов за вычислительные мощности. Все спрашивали его: "Ты действительно научился Transformer?" Конг Ицзюй покраснел, на лбу у него выступили вены, и он начал спорить: "Knowledge Distillation предложил Хинтон... вы ничего не понимаете! Это перенос знаний, это сжатие, это... это стоять на плечах гигантов!" Продавец сказал: "Неужели твоя маленькая модель показала результаты, которые ты 'одолжил' у teacher?" Конг Ицзюй широко раскрыл глаза и сказал: "Я научился обобщающей способности! Информация о распределении в logits, передача темных знаний, разве это может понять кто-то, кто только смотрит на top-1 accuracy?" Он снова обратился к присутствующим, его тон стал более настойчивым: "Не верите? Смотрите, моя student model имеет только одну десятую параметров teacher, скорость вывода увеличилась в восемь раз, а эффективность упала всего на два пункта... всего на два пункта!"