热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币,引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
我也很希望看到这一点发生。但在实践中,我不确定如何实施这样的事情。
联邦政府是否只是补贴开放实验室获取这些硬件的成本?这将是一个持续的补贴(现在需要频繁的新硬件),那么如何选择哪些实验室获得补贴呢?如果我们简单假设每个H200大约$30K,那么10K个H200的粗略计算可能超过$3亿。这仅仅是GPU硬件的采购。你还需要地方来运行这些硬件,以及维护它们的运营费用。
如果你强迫现有的计算拥有者划出一部分供应给这些实验室,他们也需要某种形式的补贴。这些公司中的大多数现在也表示他们的供应受到限制。
无论如何,似乎我们正朝着创建一个新的计算范式迈进。到目前为止,这个范式围绕着扩展共置计算展开。毫无疑问,美国和其他地方仍会有像曼哈顿一样规模的数据中心建设。但也会有更小的计算岛屿,规模各异,通过光纤等连接。当这些成为新的/标准的约束和基本限制时,它将推动更广泛的AI研究社区朝着新的、未探索的方向发展。
这可能意味着在研究、模型架构、经济等方面,最大的封闭AI实验室(那些实际上在使用巨大的单一数据中心的实验室)与那些(可能是学术界和去中心化AI公司)使用更分布式计算集群(即小而众多的计算岛屿)之间存在着巨大的、不断扩大的差异。对于任何一方(最终,使用每一方所产生模型的消费者)来说,结果如何尚不清楚,但似乎事情正朝着这个方向发展。
你甚至可以说我们已经看到了这一点的端倪。例如,中国实验室的计算约束与OpenAI的根本不同。这些中国实验室不得不在训练/推理技术上进行创新。虽然这不是一个完美的类比,但也许它可以帮助阐明“朝着新范式迈出的小步伐”是什么样子,随着时间的推移,这些小步伐会积累并产生出与另一条路径产生的东西看起来/运作得截然不同的东西。

8月4日 22:08
为了解决这个问题,关键资源的门槛是拥有多个开放实验室,每个实验室有10000个以上的GPU。
多个实验室使我们不必依赖大型科技公司的好意来发布模型。这些机构增加了创新并降低了这一关键技术的风险。
608
热门
排行
收藏