人工智能領(lǐng)域再迎突破性進(jìn)展，DeepSeek研究團(tuán)隊聯(lián)合北京大學(xué)在GitHub平臺發(fā)布了代號為“Engram”的最新研究成果，同步公開的學(xué)術(shù)論文《基于可擴(kuò)展查找的條件記憶：大語言模型稀疏性的新維度》引發(fā)學(xué)界與產(chǎn)業(yè)界的廣泛關(guān)注。這項研究在傳統(tǒng)混合專家模型（MoE）之外開辟了新的技術(shù)路徑，通過構(gòu)建顯式知識檢索機(jī)制，為提升大語言模型效率提供了全新范式。

當(dāng)前主流大模型普遍采用MoE架構(gòu)，其通過條件計算機(jī)制在推理階段僅激活部分參數(shù)，有效降低了計算成本。但研究團(tuán)隊指出，現(xiàn)有架構(gòu)存在根本性缺陷：模型記憶知識的方式仍依賴隱式存儲，回答"法國首都"這類簡單問題時，需通過多層注意力機(jī)制進(jìn)行復(fù)雜矩陣運(yùn)算，如同用超級計算機(jī)計算加減法。這種設(shè)計導(dǎo)致模型被迫用大量算力"死記硬背"固定事實，既浪費(fèi)資源又限制了復(fù)雜邏輯處理能力。

針對這一痛點(diǎn)，Engram架構(gòu)創(chuàng)新性地將自然語言處理中的N-gram模型與深度學(xué)習(xí)結(jié)合，構(gòu)建了基于哈希映射的可學(xué)習(xí)向量檢索系統(tǒng)。該模塊嵌入Transformer主干網(wǎng)絡(luò)后，形成"檢索-融合"雙階段工作流：首先通過多頭哈希將局部上下文壓縮為檢索鍵，實現(xiàn)近似O(1)時間復(fù)雜度的查表操作；隨后利用上下文感知門控機(jī)制，將檢索到的靜態(tài)記憶向量與動態(tài)隱藏狀態(tài)進(jìn)行加權(quán)融合。這種設(shè)計使模型在處理已知知識時直接調(diào)用記憶庫，將算力集中于未知問題的邏輯推演。

實驗數(shù)據(jù)顯示，在總參數(shù)量和計算量恒定的條件下，當(dāng)20%-25%的稀疏參數(shù)分配給Engram模塊時，模型性能呈現(xiàn)最優(yōu)"U型曲線"?；诖税l(fā)現(xiàn)的Engram-27B模型，在知識密集型任務(wù)中表現(xiàn)尤為突出：MMLU基準(zhǔn)測試得分提升3.4分，中文CMMLU基準(zhǔn)提升4.0分。更令人意外的是，該模型在復(fù)雜推理任務(wù)中也取得顯著進(jìn)步，BBH基準(zhǔn)提升5.0分，代碼生成任務(wù)Humaneval提升3.0分，展現(xiàn)出記憶模塊對邏輯能力的正向促進(jìn)作用。

進(jìn)一步的可解釋性分析揭示，Engram通過承擔(dān)基礎(chǔ)語言模式記憶任務(wù)，有效增加了模型的"有效深度"。傳統(tǒng)模型底層網(wǎng)絡(luò)忙于構(gòu)建詞法組合等淺層特征，而引入Engram后，這些固定模式通過查表直接獲取，使主干網(wǎng)絡(luò)得以將更多資源投入高層語義理解。這種計算與記憶的解耦，使模型在不增加層數(shù)的情況下，實現(xiàn)了推理能力的質(zhì)的飛躍。

在工程實現(xiàn)層面，Engram架構(gòu)展現(xiàn)出突破性的基礎(chǔ)設(shè)施適配能力。其確定性哈希檢索機(jī)制支持預(yù)取策略，使系統(tǒng)能在正式計算前確定所需記憶向量。實驗證明，1000億參數(shù)的記憶表可完全存儲于CPU內(nèi)存，通過PCIe通道異步傳輸至GPU，僅增加不到3%的推理延遲。這種存儲-計算解耦方案，為構(gòu)建TB級超大規(guī)模記憶庫提供了可行路徑，有望顯著降低算力集群建設(shè)成本。

隨著Engram與年初發(fā)布的流形約束超連接（mHC）技術(shù)相繼問世，DeepSeek-V4的架構(gòu)輪廓逐漸清晰。新架構(gòu)將融合mHC優(yōu)化專家間通信效率，同時引入Engram作為獨(dú)立記憶模塊，形成"動態(tài)計算+靜態(tài)檢索"的協(xié)同工作模式。這種仿生設(shè)計借鑒了人類大腦"海馬體負(fù)責(zé)記憶、新皮層負(fù)責(zé)計算"的分工原理，為構(gòu)建更高效、更博學(xué)的人工智能系統(tǒng)指明了方向。