у кого-нибудь есть опыт с диффузией текста вы заметили, что базовые модели имеют странные свойства аттракторов; т.е. петли, которые, похоже, имеют квази-периодическое поведение в пространстве концепций? что-то вроде того, как у моделей диффузии есть странные аттракторы вместо статических, как у AR моделей.

несколько часов назад я думал, что это действительно касается только базовых моделей, но после теста кажется, что даже модели с обучением на инструкциях делают это, когда разговоры становятся длиннее, например, модель продолжает гиперфокусироваться на какой-то случайной вещи, но эта вещь медленно трансмутируется.