Те, кто интуитивно чувствует, что в LLM не хватает чего-то, испытывают трудности с определением этой пропасти, кроме неадекватных метафор, таких как "стохастический попугай" или "прославленный автозаполнение". То, что вы ищете, — это фрагментированное запутанное представление (FER). Это и есть конкретная суть ваших скользких интуиций. Именно поэтому эти модели могут продолжать улучшаться драматическими и действительно нетривиальными способами, но при этом все еще страдают от глубинной болезни. Здесь лежат настоящие возможности и надежда на революционный прогресс. Представление находится в сердце мысли, креативности и, действительно, самого интеллекта. Возможно "знать" непостижимо много и при этом представлять это плохо. И представление может быть лучше. И в конечном итоге это произойдет так или иначе.