"Neden bu kadar masumsun?" "Damıtma hırsızlık olarak kabul edilemez...... Damıtma! …… Büyük model olmak hırsızlık olarak kabul edilebilir mi? " Birer ardından, "soft label", "temperature scaling", "dark knowledge" gibi zor kelimeler odadaki herkesi güldürdü ve laboratuvar mutlu bir atmosferle doldu. Tezgaha dedi ki, "Bana iki A100 ve önceden eğitilmiş bir öğretmen modeli verin." "Sonra dokuz sent para çıkardı - hayır, dokuz bin dolarlık bir hesaplama gücü faturası çıkardı. Herkes ona, "Gerçekten Transformer'ı öğrendin mi?" diye sordu. Kong Yiji utandı, alnındaki yeşil damarlar açtı ve tartıştı, "Bilgi Damıtılması Hinton tarafından önerildi...... Ne biliyorsun! Bu, bilgi transferi, sıkıştırma ve ...... Devlerin omuzlarında duruyor! " Dükkan sahibi, "Küçük modelinizin tükendiği kıyas, öğretmenden 'ödünç alınmamış' değil mi?" dedi. " Kong Yiji gözlerini büyüdü ve "Genelleme yeteneğini öğrendim!" dedi. Logitlerdeki dağılım bilgisi ve karanlık bilginin iletimi, sadece en üst 1 doğruluğuna bakan sizin gibi insanlar tarafından nasıl anlaşılabilir? " Tekrar herkese döndü ve tutumu ciddileşti, "İnanmıyorsanız, öğrenci modelim öğretmenin parametrelerinin sadece onda biri, akıl yürütme hızı sekiz kat daha hızlı, etkisi ise sadece iki puan yanlış...... Sadece iki puan! "