Хотів би, щоб це також сталося. Але на практиці я не знаю, як реалізувати щось подібне. Чи уряд ФРС просто субсидує витрати на те, щоб відкриті лабораторії купували це обладнання? Це буде постійна субсидія (зараз часто потрібне нове обладнання), і як вибрати, які лабораторії отримують субсидію? Математика серветок для 10K H200s, ймовірно, перевищує 300 мільйонів доларів, якщо ми використовуємо просте припущення ~30 тисяч доларів на H200. І це лише придбання апаратного забезпечення GPU. Вам потрібно десь запускати їх разом з операційними витратами для їх обслуговування. Якщо ви змусите нинішніх власників комп'ютерів виділити певну суму своїх запасів для цих лабораторій, їм також знадобиться певна форма субсидії. Більшість із цих компаній заявляють, що зараз вони також обмежені в поставках. У будь-якому випадку, схоже, що ми рухаємося до створення нової парадигми обчислень. Досі парадигма оберталася навколо масштабування спільно розташованих обчислень. Без сумніву, в США та інших країнах все ще будуть побудовані дата-центри розміром з Манхеттен. Але також будуть менші обчислювальні острови різного розміру, які з'єднані з волокном тощо. Коли це будуть нові/стандартні обмеження та фундаментальні обмеження, це підштовхне ширшу спільноту дослідників штучного інтелекту в нових, невивчених напрямках. Негативний вплив цього може означати велику і зростаючу розбіжність між дослідженнями, архітектурою моделей, економікою і т.д. між найбільшими, закритими лабораторіями штучного інтелекту (ті, що працюють з фактично масивними єдиними центрами обробки даних) і тими (ймовірно, науковцями та децентралізованими компаніями зі штучним інтелектом), які використовують більш розподілені обчислювальні кластери (тобто невеликі, але численні обчислювальні острови). Незрозуміло, як це обернеться для обох сторін (і, зрештою, для споживачів моделей, що випускаються кожною з них), але схоже, що все рухається в напрямку. Можна навіть заперечити, що ми вже бачили проблиски цього. Китайські лабораторії мають принципово інші обчислювальні обмеження, ніж, наприклад, у OpenAI. Через це цим китайським лабораторіям довелося впроваджувати інновації в методи навчання/виведення. Не ідеальна аналогія, але, можливо, вона може допомогти з'ясувати, як виглядають «маленькі кроки» до нової парадигми, і з часом ці маленькі кроки доповнюються і виробляють щось, що виглядає/функціонує зовсім інакше, ніж те, що продукує інший шлях.
Nathan Lambert
Nathan Lambert4 серп., 22:08
Щоб вирішити цю проблему, ключовим порогом ресурсів є наявність кількох відкритих лабораторій із 10000+ графічних процесорів у кожній. Численні лабораторії роблять так, що ми не зобов'язані милості великих технологічних компаній, які хочуть випускати моделі. Ці установи збільшують інновації + знижують ризики цієї важливої технології.
634