熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣,引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
我也很希望看到這件事發生。但在實踐中,我不確定如何實施這樣的事情。
聯邦政府是否只是補貼開放實驗室獲取這些硬體的成本?這將是一個持續的補貼(現在需要經常更換新硬體),那麼如何選擇哪些實驗室獲得補貼呢?如果我們簡單假設每台 H200 約 3 萬美元,10K H200 的計算可能超過 3 億美元。而這僅僅是 GPU 硬體的獲取。你還需要有地方來運行這些硬體,並且需要運營開支來維護它們。
如果你強迫現有的計算擁有者劃出一部分供應來提供給這些實驗室,他們也需要某種形式的補貼。這些公司中的大多數現在也表示他們的供應受到限制。
無論如何,似乎我們正朝著創造一種新的計算範式邁進。到目前為止,這種範式圍繞著擴大共置計算進行。毫無疑問,美國及其他地方仍會有像曼哈頓那樣的大型數據中心建設。但也會有更小的計算島嶼,規模各異,並通過光纖等連接起來。當這些成為新的/標準的限制和基本限制時,將推動更廣泛的 AI 研究社群朝著新的、未探索的方向發展。
這可能會導致大型封閉 AI 實驗室(那些實際上擁有大型單一數據中心的實驗室)與那些(可能是學術界和去中心化 AI 公司)使用更分散的計算集群(即小而多的計算島嶼)之間的研究、模型架構、經濟等方面出現大幅且不斷擴大的差異。對於這兩方的結果(以及最終消費每方所產生模型的消費者)尚不清楚,但似乎事情正朝著這個方向發展。
你甚至可以說我們已經看到了這一點的端倪。例如,中國的實驗室在計算限制上與 OpenAI 有根本性的不同。這些中國實驗室因為這一點不得不在訓練/推理技術上進行創新。這不是一個完美的類比,但也許它可以幫助闡明什麼是朝著新範式邁出的 "小步驟",隨著時間的推移,這些小步驟會累積並產生出與另一條路徑所產生的東西看起來/運作上截然不同的東西。

8月4日 22:08
為了解決這個問題,關鍵資源的門檻是擁有多個開放實驗室,每個實驗室擁有超過10000個GPU。
多個實驗室使我們不必依賴大型科技公司的好意來釋放模型。這些機構增加了創新並降低了這項關鍵技術的風險。
645
熱門
排行
收藏