Hat jemand Erfahrung mit Textdiffusion? Habt ihr festgestellt, dass Basismodelle seltsame Attraktor-Eigenschaften haben; d.h. Schleifen, die dazu neigen, eine Art quasi-periodisches Verhalten im Konzeptraum zu zeigen? So ähnlich wie Diffusionsmodelle seltsame Attraktoren anstelle von statischen wie AR-Modelle haben.

Vor ein paar Stunden dachte ich, dass es nur für die Basis-Modelle wirklich zutrifft, aber nach einem Test scheint es, dass sogar instruct-tuned Modelle dies tun, wenn die Gespräche länger werden, z.B. das Modell wird weiterhin auf etwas Zufälliges hyperfixiert, aber dieses Ding wird sich langsam verwandeln.