🚨 速報:DeepSeekがTransformerアーキテクチャの根本的な改良を発表しました 著者リストに掲載されたCEO文峰梁 クジラが戻ってきた 🐋

論文「mHC: Manifold-Constrained Hyper-Connections」は、トランスフォーマーにおけるハイパー接続を強化するためのフレームワークを提案しています。 多様射影を用いて恒等写像を復元し、訓練の不安定性、スケーラビリティ制限、メモリオーバーヘッドに対応します。 主な利点としては、実験で示されたように、大規模モデルでの性能と効率の向上が含まれます。