有经验的人在文本扩散方面 你们发现基础模型有奇怪的吸引子特性吗?也就是说,在概念空间中存在倾向于具有准周期行为的循环?有点像扩散模型有奇怪的吸引子,而不是像自回归模型那样的静态吸引子。
几小时前,我认为这只适用于基础模型,但经过测试后似乎即使是经过指令调优的模型在对话变长时也会这样,例如,模型会继续过度关注某个随机事物,但那个事物会慢慢转变。
1.27K