大型語言模型在深度擴展過程中面臨的信息衰減問題，一直是制約其性能提升的關鍵瓶頸。華中科技大學電子信息與通信學院與字節(jié)跳動Seed團隊聯(lián)合攻關，提出深度混合注意力機制（MoDA），通過創(chuàng)新的信息傳遞方式顯著提升了模型處理復雜任務的能力。該研究成果已發(fā)表于arXiv平臺，論文編號為arXiv:2603.15619v1。

傳統(tǒng)模型在增加網(wǎng)絡層數(shù)時，早期輸入的關鍵信息會因反復壓縮而逐漸丟失，就像傳話游戲中原始信息在多次傳遞后失真?，F(xiàn)有解決方案存在明顯局限：殘差連接雖能緩解梯度消失問題，但會將歷史信息壓縮為單一線索，導致重要特征被稀釋；密集連接雖能完整保留歷史信息，卻因計算復雜度隨層數(shù)平方增長而難以應用于大型模型。

研究團隊提出的MoDA機制突破了傳統(tǒng)框架，通過將序列注意力與深度注意力融合到統(tǒng)一計算空間，使每個注意力頭既能處理當前層信息，又能自適應檢索歷史層的關鍵特征。這種設計相當于為模型配備智能記憶系統(tǒng)，在保持計算效率的同時實現(xiàn)跨層信息的高效利用。實驗數(shù)據(jù)顯示，在1.5B參數(shù)規(guī)模的模型中，MoDA使下游任務平均性能提升2.11%，而計算開銷僅增加3.7%。

技術實現(xiàn)層面，MoDA構建了擴展的鍵值序列結構，將當前層信息與歷史深度信息聯(lián)合處理。通過掩碼機制確保因果性約束，使每個查詢只能訪問對應的歷史深度信息。在寫入階段，模型采用輕量級鍵值投影技術，將前饋網(wǎng)絡層的信息也納入深度流，形成包含多類型信息的完整記憶庫。這種設計既保證了信息完整性，又將參數(shù)復雜度控制在線性增長范圍。

針對硬件部署挑戰(zhàn)，研究團隊開發(fā)了系列優(yōu)化算法。通過Flash兼容的深度鍵值布局，將內存訪問模式優(yōu)化為連續(xù)塊操作，使64K序列長度下的處理效率達到FlashAttention-2的97.3%。進一步提出的塊感知布局和組感知計算策略，通過局部深度鍵值訪問和共享基時間索引技術，將有效深度利用率提升至理論極限的80%以上。這些創(chuàng)新使MoDA在保持理論優(yōu)勢的同時，具備了實際工程應用的可能性。

實驗驗證表明，MoDA在不同規(guī)模模型中均表現(xiàn)出穩(wěn)定性能提升。在700M參數(shù)模型上，訓練困惑度降低0.41，下游任務性能提升1.17%；1.5B參數(shù)模型在10個基準測試中平均困惑度下降0.2。注意力可視化分析顯示，模型確實在跨層深度信息上分配了顯著注意力權重，特別是中間層和后期層表現(xiàn)出持續(xù)的歷史信息檢索行為。這種機制使模型能夠同時處理局部序列依賴和全局深度關系，形成更復雜的信息處理模式。

研究團隊還探索了深度鍵值狀態(tài)的有界緩存技術，通過固定大小的深度鍵值槽緩沖區(qū)，動態(tài)管理歷史信息存儲。這種設計將內存開銷從深度依賴轉為槽位依賴，為超大規(guī)模模型訓練提供了可行方案。初步實驗顯示，在48層模型中，后歸一化配置從深度鍵值中獲得的收益比預歸一化配置大10倍，表明該技術特別適用于深層網(wǎng)絡優(yōu)化。

目前，研究團隊已開源完整實現(xiàn)代碼，包括樸素實現(xiàn)版本和經(jīng)過多重優(yōu)化的高效版本。這些代碼為開發(fā)者提供了從基礎驗證到工業(yè)部署的完整工具鏈，特別是硬件感知優(yōu)化策略，可直接應用于現(xiàn)有AI基礎設施的升級改造。隨著CUDA工程優(yōu)化的持續(xù)推進，MoDA有望成為下一代大型語言模型的核心組件之一。