これも実現したいと思っています。しかし実際には、このようなものをどのように実装すればよいかわかりません。 連邦政府は、オープンラボがこのハードウェアを購入するための費用を単に助成するだけなのでしょうか?これは継続的な補助金になります (現在は新しいハードウェアが頻繁に必要です)、どのラボが補助金を受け取るかを選択するにはどうすればよいですか?10K H200のナプキンの計算は、H200あたり~$30Kの単純な仮定を使用すると、おそらく$300Mを超えます。そして、これは単なるGPUハードウェアの取得です。これらを維持するには、運用コストとともにこれらを実行する場所が必要です。 既存のコンピューティング所有者に、これらのラボに提供するために供給量の一部を切り取るよう強制する場合、彼らも何らかの形の補助金が必要になります。これらの企業のほとんどは、現在も供給に制約があると述べています。 いずれにせよ、私たちは新しいコンピューティングパラダイムの創造に向かっているようです。これまでのパラダイムは、同じ場所に配置されたコンピューティングのスケールアップを中心に展開してきました。間違いなく、米国やその他の地域ではマンハッタン規模のデータセンターの建設が今後も続くでしょう。ただし、ファイバーなどで接続された、サイズが異なる小さなコンピューティングアイランドもあります。これらが新しい/標準的な制約と基本的な制限である場合、より広範な AI 研究コミュニティを新しい未踏の方向に押し上げるでしょう。 この下流の影響は、最大かつ閉鎖的なAIラボ(事実上大規模な単一データセンターで作業するラボ)と、より分散されたコンピューティングクラスター(つまり、小さいながらも多数のコンピューティングアイランド)を使用するラボ(おそらく学者や分散型AI企業)の間で生み出される研究、モデルアーキテクチャ、経済学などとの間で、大きく大きく大きな乖離を意味する可能性があります。どちらの側(そして最終的には、それぞれが製造したモデルの消費者)にとってどうなるかは不明ですが、物事は方向に向かっているようです。 私たちはすでにこれを垣間見ていると主張することもできます。たとえば、中国の研究所は、OpenAIとは根本的に異なるコンピューティング制約を持っています。このため、これらの中国の研究室はトレーニング/推論技術を革新する必要がありました。完璧な例えではありませんが、新しいパラダイムに向けた「小さなステップ」がどのようなものかを解明するのに役立つかもしれません。