在大模型技術(shù)飛速發(fā)展的當下，混合專家模型（MoE）已成為眾多頂尖模型的核心架構(gòu)。從GPT-5到DeepSeek-V3，這些性能卓越的模型背后，都離不開MoE架構(gòu)的支撐。然而，MoE模型在實際應(yīng)用中卻面臨著一個棘手的問題——專家同質(zhì)化現(xiàn)象。在預(yù)訓(xùn)練過程中，本應(yīng)各展所長的多個專家模塊，卻常常出現(xiàn)功能趨同的情況，導(dǎo)致大量參數(shù)無法有效發(fā)揮作用，模型的擴展能力也因此受到限制。

針對這一難題，一支來自阿里巴巴的研究團隊提出了創(chuàng)新性的解決方案——專家分化學(xué)習(xí)策略。該團隊深入研究發(fā)現(xiàn)，MoE預(yù)訓(xùn)練過程中信息缺失是導(dǎo)致專家同質(zhì)化的根本原因?；诖耍麄兦擅罾妙A(yù)訓(xùn)練數(shù)據(jù)中天然存在的領(lǐng)域標簽，設(shè)計了一種全新的輔助損失函數(shù)。這一函數(shù)通過鼓勵不同領(lǐng)域的數(shù)據(jù)在路由統(tǒng)計信息上呈現(xiàn)差異，促使各個專家模塊發(fā)展出獨特的專業(yè)能力，從而有效解決了專家同質(zhì)化問題。

傳統(tǒng)MoE訓(xùn)練中使用的負載均衡損失函數(shù)，雖然能夠提高整體路由多樣性，但卻存在明顯缺陷。它只關(guān)注專家是否被充分利用，而忽視了不同領(lǐng)域數(shù)據(jù)對專家的差異化需求。這就如同企業(yè)管理中，只追求員工忙碌程度，而不考慮工作內(nèi)容的合理性，最終導(dǎo)致資源浪費和效率低下。阿里巴巴團隊提出的專家分化學(xué)習(xí)策略，則從根本上改變了這一局面。

該策略的核心在于專家分化損失函數(shù)（LED）的設(shè)計。研究團隊通過數(shù)學(xué)推導(dǎo)發(fā)現(xiàn)，總路由多樣性可以分解為域間多樣性和域內(nèi)多樣性兩部分。傳統(tǒng)方法盲目提升總多樣性，導(dǎo)致模型傾向于通過增加域內(nèi)多樣性來應(yīng)付訓(xùn)練，而新提出的LED函數(shù)則精準鎖定域間多樣性，通過最大化不同領(lǐng)域之間的"排斥力"，迫使專家模塊實現(xiàn)功能分化。這一創(chuàng)新設(shè)計，為MoE模型訓(xùn)練提供了全新的思路。

LED函數(shù)的實現(xiàn)過程包含三個關(guān)鍵步驟：首先，在訓(xùn)練過程中識別不同領(lǐng)域的數(shù)據(jù)特征；其次，使用JS散度這一數(shù)學(xué)工具計算不同領(lǐng)域間的分布差異；最后，通過優(yōu)化算法最大化這些差異。這個過程可以形象地理解為：將不同領(lǐng)域的專家"推"向模型空間的邊緣位置，使它們各自專注于特定領(lǐng)域，形成專業(yè)化的分工體系。這種明確的監(jiān)督信號，使得模型能夠?qū)W習(xí)到與語義高度契合的路由策略。

研究團隊通過實驗驗證了不同粒度領(lǐng)域標簽對模型性能的影響。他們構(gòu)建了粗粒度（3類）和細粒度（49類）兩種標簽體系進行對比訓(xùn)練。實驗結(jié)果顯示，使用49類細粒度標簽訓(xùn)練的模型在各項指標上均顯著優(yōu)于3類標簽?zāi)Ｐ?。這一發(fā)現(xiàn)表明，專家分工越細致，模型展現(xiàn)出的專業(yè)能力就越強。這為MoE模型的優(yōu)化提供了重要參考。

在性能驗證方面，研究團隊在30億、80億和150億參數(shù)規(guī)模的模型上進行了大規(guī)模預(yù)訓(xùn)練。實驗結(jié)果表明，采用專家分化學(xué)習(xí)策略的模型在語言建模損失上持續(xù)優(yōu)于傳統(tǒng)MoE模型。在MMLU、C-eval等7個主流基準測試中，新模型全面超越基線，特別是在150億參數(shù)規(guī)模下，平均得分提升超過1個百分點。這一成績在預(yù)訓(xùn)練領(lǐng)域具有重要意義，通常意味著需要數(shù)百億 tokens的額外訓(xùn)練才能達到同等效果。

可視化分析進一步證實了專家分化學(xué)習(xí)的有效性。通過三角單純形圖展示，傳統(tǒng)MoE模型的專家激活點集中在圖形中央，表明不同領(lǐng)域數(shù)據(jù)激活的專家高度相似；而采用新策略的模型，專家激活點明顯向三個頂點發(fā)散，證明不同領(lǐng)域的數(shù)據(jù)已經(jīng)能夠激活完全不同的專家模塊，實現(xiàn)了真正的專業(yè)化分工。這種直觀的對比，充分展現(xiàn)了新方法在解決專家同質(zhì)化問題上的顯著效果。

值得一提的是，專家分化學(xué)習(xí)策略在計算效率方面也表現(xiàn)出色。LED函數(shù)的計算僅涉及路由器輸出的低維向量運算，對訓(xùn)練吞吐量幾乎沒有影響。實驗數(shù)據(jù)顯示，新方法的訓(xùn)練速度與傳統(tǒng)MoE模型保持一致，且不需要額外的推理成本。這一特性使得該策略在實際應(yīng)用中具有很高的可行性，為大規(guī)模模型訓(xùn)練提供了高效的解決方案。