今天是 Nous 的一個非常重大的成就,也可能是 AI 領域的一個巨大成就。 我們已經開始了基本上是密集 Deepseek 的去中心化預訓練運行 - 40B 參數,超過 20T 代幣,並使用 MLA 實現長時間上下文效率。 隨著訓練的進行,所有檢查點、未退火、退火、數據集,所有內容都將開源。 查看 Psyche 團隊領導的 @DillonRolnick、@theemozilla 和 Ari 在引用推文中撰寫的博客,以瞭解有關基礎設施的更多資訊。
Nous Research
Nous Research2025年5月15日
宣佈推出 Psyche Nous Research 正在使人工智慧的發展大眾化。今天,我們正在著手做出迄今為止最大的努力,以實現這一使命:The Psyche Network Psyche 是一個去中心化的訓練網路,可以將世界各地的計算整合在一起以訓練強大的 AI,使個人和小型社區能夠獲得創建新的、有趣的和獨特的大型模型所需的資源。 我們今天啟動了測試網,對 40B 參數 LLM 進行了預訓練,該模型足夠強大,可以作為未來開放科學發展的基礎。這次運行是迄今為止通過互聯網進行的最大規模的預訓練運行,超過了以前的反覆運算,這些反覆運算使用更少的數據令牌訓練較小的模型。
63.31K