Чи є міркування ланцюжка думок ЛМ міражем? ... Наші результати показують, що міркування CoT є крихким міражем, який зникає, коли його виштовхують за межі тренувального розподілу. Ця робота пропонує глибше розуміння того, чому і коли міркування CoT зазнають невдачі, наголошуючи на поточній проблемі досягнення справжнього та узагальнюваного міркування. ... Наші результати показують, що міркування CoT ефективно працюють у застосуванні до розподілу або поблизу Дані в розподілі, але стають крихкими і схильними до збоїв навіть при помірних зрушеннях розподілу. У деяких випадках LLM генерують плавні, але логічно непослідовні кроки міркування. Результати свідчать про те, що те, що здається структурованим міркуванням, може бути міражем, що виникає з запам'ятовуваних або інтерпольованих шаблонів у тренувальних даних, а не з логічного висновку. ... У сукупності ці результати свідчать про те, що LLM не є принциповими міркуваннями, а скоріше складними симуляторами тексту, схожого на міркування.

NYTimes: Columbia і Brown розкриють дані про допуски і гонки в угоді з Трампом Знадобилася екзистенційна загроза з боку Трампа, щоб змусити їх оприлюднити ці дані. Багато років тому факультетський комітет системи Каліфорнійського університету вивчив саме такі дані і підготував графіки нижче. Якщо ви подивитеся на дані, ви зрозумієте жахливу природу позитивних дій, які практикуються в США протягом ~50 років. NYT: ... Колумбія і Браун повинні будуть підтримувати «політику прийому, засновану на заслугах», згідно з їхніми угодами, які кодифікують більш широкі цілі адміністрації юридично зобов'язуючими формулюваннями. Університети «жодним чином не можуть незаконно надавати перевагу абітурієнтам на основі раси, кольору шкіри або національного походження під час вступу протягом усіх своїх програм», – йдеться в обох угодах ідентичною мовою. «Жодна довірена особа для расового допуску не буде терпіти». ... «Міністерство юстиції покладе край ганебній системі, в якій раса людини має більше значення, ніж її здібності», — заявив у березні Чад Мізель, виконуючий обов'язки помічника генерального прокурора. «Кожен коледж та університет повинні знати, що незаконна дискримінація при вступі буде розслідувана та ліквідована». Мова, використана в угодах з Columbia and Brown Hammers, заперечує твердження про допуск до Верховного суду, які адміністрація Трампа робить з лютого. Він наполягає на тому, що рішення виходить за рамки вступу і забороняє будь-яке врахування раси в університетському житті.

Підтримайте ATOM! Штучний інтелект з відкритим вихідним кодом – це добре! Нижче – ще один 💀 графік. Справи йдуть набагато гірше, ніж показує цей графік, до нашої ери, більшість завантажень китайських моделей, ймовірно, не відбуваються на HuggingFace. Враховуючи, що ~50% розробників ШІ в КНР і ~100% їхніх завантажень – це відкриті моделі, виготовлені китайськими лабораторіями (Llama не є конкурентоспроможною, якщо чесно), точка перетину вже відбулася на глобальному рівні.

Америці потрібно серйозніше ставитися до відкритих моделей. Цього літа раннє лідерство у впровадженні відкритих моделей у США через Llama витіснили китайські моделі. За допомогою проекту «Американські по-справжньому відкриті моделі» (ATOM) ми прагнемо заручитися підтримкою та висловити актуальність цього питання.