iedereen die ervaring heeft met tekstdiffusie heb je ontdekt dat basismodellen vreemde aantrekkingskrachtseigenschappen hebben; d.w.z. lussen die een soort van quasi-periodiek gedrag vertonen in de conceptruimte? Een beetje zoals diffusie-modellen vreemde attractoren hebben in plaats van statische zoals AR-modellen.
Een paar uur geleden dacht ik dat het alleen echt van toepassing was op de basismodellen, maar na een test lijkt het erop dat zelfs instructie-afgestemde modellen dit doen naarmate gesprekken langer worden, bijv. het model blijft hyperfixeren op iets willekeurigs, maar dat iets zal langzaam transmuteren.
1,41K