近日，人工智能領(lǐng)域迎來(lái)一項(xiàng)重要突破——DeepSeek團(tuán)隊(duì)提出了一種名為Engram的新型“條件記憶”機(jī)制，為混合專家模型（MoE）的發(fā)展開(kāi)辟了新路徑。該機(jī)制旨在讓MoE模型在保持海量參數(shù)的同時(shí)，更高效地處理語(yǔ)言信息，實(shí)現(xiàn)性能與成本的雙重優(yōu)化。

傳統(tǒng)MoE模型通過(guò)稀疏激活機(jī)制擴(kuò)展模型容量，但存在路由成本高、訓(xùn)練不穩(wěn)定等問(wèn)題。DeepSeek團(tuán)隊(duì)觀察到，現(xiàn)有Transformer架構(gòu)缺乏真正的知識(shí)檢索機(jī)制，導(dǎo)致模型不得不重復(fù)計(jì)算常見(jiàn)的事實(shí)性內(nèi)容，如固定表達(dá)、歷史名詞等，造成計(jì)算資源的浪費(fèi)。為此，他們提出將靜態(tài)知識(shí)存儲(chǔ)與動(dòng)態(tài)計(jì)算解耦，通過(guò)外接記憶庫(kù)提升模型效率。

Engram架構(gòu)的核心創(chuàng)新在于引入條件記憶模塊，該模塊通過(guò)分詞器壓縮、多頭哈希、上下文感知門控等技術(shù)，構(gòu)建了可擴(kuò)展的靜態(tài)知識(shí)庫(kù)。實(shí)驗(yàn)表明，在相同算力條件下，Engram-27B模型在32768個(gè)token的長(zhǎng)上下文任務(wù)中，RULER基準(zhǔn)測(cè)試性能超越同參數(shù)量MoE模型，且訓(xùn)練計(jì)算量減少18%。更引人注目的是，其1000億參數(shù)記憶表卸載后，H800硬件推理吞吐量降幅不足3%，展現(xiàn)了極高的系統(tǒng)效率。

研究團(tuán)隊(duì)通過(guò)大量實(shí)驗(yàn)驗(yàn)證了Engram與MoE的互補(bǔ)性。當(dāng)資源分配比例為75%-80%給MoE、20%-25%給Engram時(shí)，模型性能達(dá)到最優(yōu)。進(jìn)一步擴(kuò)展記憶容量發(fā)現(xiàn)，驗(yàn)證損失持續(xù)穩(wěn)定下降，且性能提升嚴(yán)格遵循冪律分布，這為模型的可預(yù)測(cè)擴(kuò)展提供了新思路。相比傳統(tǒng)記憶方法，Engram在知識(shí)密集型任務(wù)和通用推理任務(wù)中均表現(xiàn)出更顯著的優(yōu)勢(shì)。

機(jī)制分析顯示，Engram模塊在模型淺層效果最佳，能夠盡早卸載局部模式重建任務(wù)，使深層網(wǎng)絡(luò)專注于復(fù)雜推理。功能敏感性測(cè)試表明，關(guān)閉Engram會(huì)導(dǎo)致事實(shí)性知識(shí)任務(wù)性能災(zāi)難性下降，而閱讀理解任務(wù)幾乎不受影響，這驗(yàn)證了其作為知識(shí)存儲(chǔ)主要倉(cāng)庫(kù)的角色。門控機(jī)制激活分析進(jìn)一步揭示，Engram在處理多詞實(shí)體、固定短語(yǔ)等靜態(tài)模式時(shí)自動(dòng)啟用，與注意力機(jī)制形成有機(jī)互補(bǔ)。

與外部記憶檢索增強(qiáng)（RAG）相比，Engram將知識(shí)內(nèi)化于參數(shù)化記憶表中，實(shí)現(xiàn)了更低的延遲和更強(qiáng)的知識(shí)一致性。該架構(gòu)還支持高效的硬件優(yōu)化，通過(guò)預(yù)取和層次化存儲(chǔ)策略，能夠擴(kuò)展至超大規(guī)模記憶而保持系統(tǒng)穩(wěn)定性。研究團(tuán)隊(duì)認(rèn)為，這種解耦設(shè)計(jì)為知識(shí)蒸餾提供了新范式，未來(lái)可通過(guò)單獨(dú)更新記憶表來(lái)修正模型知識(shí)，無(wú)需昂貴的微調(diào)過(guò)程。