中國AI領(lǐng)域再次迎來突破性進(jìn)展。DeepSeek團(tuán)隊近日在神經(jīng)網(wǎng)絡(luò)架構(gòu)領(lǐng)域取得重要創(chuàng)新，提出名為"流形約束超連接"（manifold-constrained HyperConnection，簡稱mHC）的新型架構(gòu)，為解決大規(guī)模模型訓(xùn)練中的穩(wěn)定性難題提供了全新方案。這項成果以通訊作者梁文鋒為代表的研究團(tuán)隊，通過數(shù)學(xué)約束與系統(tǒng)優(yōu)化的雙重創(chuàng)新，在硬件受限條件下實現(xiàn)了性能與效率的平衡。

殘差連接自2016年ResNet架構(gòu)提出以來，已成為深度學(xué)習(xí)模型的基石設(shè)計。其通過"捷徑連接"機(jī)制有效緩解梯度消失問題，支撐起現(xiàn)代深度學(xué)習(xí)模型的深度發(fā)展。然而隨著模型規(guī)模擴(kuò)大，傳統(tǒng)殘差連接在信號傳播穩(wěn)定性方面逐漸顯現(xiàn)局限。2024年字節(jié)跳動推出的超連接（HyperConnection）技術(shù)雖通過拓寬殘差流提升了模型表達(dá)能力，卻在規(guī)?；?xùn)練中暴露出信號發(fā)散的致命缺陷。

DeepSeek的研究直指這一核心矛盾。測試數(shù)據(jù)顯示，在270億參數(shù)模型訓(xùn)練中，傳統(tǒng)超連接架構(gòu)在12000步訓(xùn)練后出現(xiàn)梯度范數(shù)劇烈波動，第60層信號強(qiáng)度竟膨脹至輸入值的3000倍。研究團(tuán)隊發(fā)現(xiàn)，問題根源在于超連接架構(gòu)為追求表達(dá)能力，放棄了殘差連接原有的恒等映射約束，這種設(shè)計在小規(guī)模模型中可通過調(diào)參掩蓋，但在大規(guī)模訓(xùn)練中會導(dǎo)致災(zāi)難性后果。

mHC架構(gòu)的創(chuàng)新性在于引入雙重隨機(jī)矩陣的流形約束。這種數(shù)學(xué)工具要求變換矩陣每行每列元素之和均為1且非負(fù)，形成嚴(yán)格的"信號預(yù)算"機(jī)制。通過將輸出信號強(qiáng)度限制在輸入信號的最大最小值之間，從根本上杜絕了信號爆炸的可能性。更關(guān)鍵的是，雙重隨機(jī)矩陣的組合不變性確保多層疊加后仍保持穩(wěn)定，實驗顯示相同場景下信號放大峰值被控制在1.6倍以內(nèi)。

為控制計算開銷，研究團(tuán)隊采用Sinkhorn-Knopp迭代算法進(jìn)行矩陣投影，僅需20輪迭代即可收斂，將額外訓(xùn)練成本壓制在6.7%以內(nèi)。這種數(shù)學(xué)創(chuàng)新與工程實現(xiàn)的完美結(jié)合，使mHC架構(gòu)在保持理論優(yōu)勢的同時具備實際可行性。配合基于TileLang開發(fā)的混合精度內(nèi)核（以bfloat16為主，float32保障關(guān)鍵精度），實現(xiàn)了全參數(shù)規(guī)模下的穩(wěn)定性能提升。

硬件約束倒逼出的創(chuàng)新不止于算法層面。針對超連接架構(gòu)帶來的數(shù)據(jù)讀寫量倍增問題，DeepSeek實施了三項系統(tǒng)級優(yōu)化：通過算子融合減少數(shù)據(jù)搬運(yùn)，采用反向傳播重計算以計算換內(nèi)存，以及流水線并行優(yōu)化掩蓋通信延遲。這些措施將內(nèi)存開銷從隨層數(shù)線性增長轉(zhuǎn)化為可由模塊大小控制的有界開銷，使30億至270億參數(shù)模型均能穩(wěn)定運(yùn)行。

性能測試數(shù)據(jù)印證了創(chuàng)新價值。搭載mHC架構(gòu)的270億參數(shù)模型在BIG-Bench Hard復(fù)雜推理任務(wù)上提升2.1%，在DROP閱讀理解任務(wù)上提升2.3%。這種全參數(shù)規(guī)模的性能提升，打破了"規(guī)模越大性能越好"的簡單認(rèn)知，展示了架構(gòu)創(chuàng)新帶來的質(zhì)變效應(yīng)。

值得關(guān)注的是，DeepSeek選擇通過arXiv、Hugging Face等開放平臺發(fā)布成果，這種策略雖犧牲部分學(xué)術(shù)聲望，卻換來了技術(shù)傳播的速度與廣度。當(dāng)mHC的性能增益可量化、實現(xiàn)可復(fù)現(xiàn)時，全球AI實驗室不得不重新評估自身技術(shù)路徑——要么跟進(jìn)類似創(chuàng)新，要么證明現(xiàn)有方案的優(yōu)越性。這種開放競爭模式，正在重塑AI技術(shù)發(fā)展的生態(tài)格局。

此前R1模型的發(fā)布已引發(fā)推理模型研發(fā)熱潮，mHC架構(gòu)的推出很可能推動殘差流優(yōu)化進(jìn)入新階段。字節(jié)跳動與DeepSeek的接力創(chuàng)新形成有趣對照：前者率先探路卻受阻于規(guī)模化瓶頸，后者在硬件約束下通過數(shù)學(xué)與系統(tǒng)的雙重創(chuàng)新架起技術(shù)橋梁。這種發(fā)展軌跡清晰證明，硬件限制非但不是創(chuàng)新障礙，反而能催生更具本質(zhì)性的突破。

隨著2026年春節(jié)臨近，業(yè)界普遍預(yù)期DeepSeek即將發(fā)布搭載mHC架構(gòu)的下一代旗艦?zāi)Ｐ蚏2。無論基準(zhǔn)測試結(jié)果如何，這條"在約束中創(chuàng)新"的路徑已具有里程碑意義——它向全球展示，AI競賽不只有"燒錢堆算力"的單選項，數(shù)學(xué)創(chuàng)新與系統(tǒng)優(yōu)化同樣能開辟通向巔峰的道路。