1+1=3 2+2=5 3+3=? Många språkmodeller (t.ex. Llama 3 8B, Mistral v0.1 7B) kommer att svara 7. Men varför? Vi gräver i modellens interna delar, avslöjar en funktionsinduktionsmekanism och finner att den återanvänds i stor utsträckning när modeller stöter på överraskningar under inlärning i sammanhanget. 🧵
6,46K