OpenAI近日開源了一款名為Circuit-Sparsity的新型人工智能模型，其參數(shù)量僅0.4B，其中99.9%的權(quán)重被設(shè)定為零，僅保留0.1%的關(guān)鍵權(quán)重。這一創(chuàng)新旨在解決大語言模型（LLM）長期存在的“黑箱”問題，即模型決策過程難以解釋、內(nèi)部邏輯不透明等挑戰(zhàn)。

在人工智能快速發(fā)展的背景下，大語言模型雖展現(xiàn)出強(qiáng)大的能力，但其內(nèi)部運(yùn)作機(jī)制始終難以捉摸。例如，在醫(yī)療、金融等高風(fēng)險領(lǐng)域，模型決策的不可解釋性成為其廣泛應(yīng)用的主要障礙。OpenAI的研究團(tuán)隊(duì)通過訓(xùn)練一種權(quán)重稀疏的Transformer模型，強(qiáng)制模型僅使用極少數(shù)關(guān)鍵連接，從而構(gòu)建出內(nèi)部邏輯清晰、可讀的“電路”結(jié)構(gòu)。

研究團(tuán)隊(duì)發(fā)現(xiàn)，在傳統(tǒng)密集模型中，單個神經(jīng)元往往需要同時處理多個概念，導(dǎo)致特征糾纏和決策混亂。而稀疏模型通過限制神經(jīng)元之間的連接數(shù)量，使每個神經(jīng)元僅負(fù)責(zé)特定任務(wù)。例如，在處理字符串閉合任務(wù)時，模型僅用12個節(jié)點(diǎn)就構(gòu)建了一個清晰的電路，能夠準(zhǔn)確檢測單引號或雙引號是否閉合。部分神經(jīng)元被觀察到專門負(fù)責(zé)檢測單引號，另一些則像“計數(shù)器”一樣追蹤列表的嵌套深度。

實(shí)驗(yàn)結(jié)果顯示，稀疏模型的電路規(guī)模比密集模型縮小了16倍，這意味著解讀模型思維的難度大幅降低。研究團(tuán)隊(duì)通過“均值消融”實(shí)驗(yàn)驗(yàn)證了這些電路的真實(shí)性：移除電路中的關(guān)鍵節(jié)點(diǎn)會導(dǎo)致模型性能崩潰，而移除非電路節(jié)點(diǎn)則幾乎無影響。這一發(fā)現(xiàn)表明，稀疏模型中的電路確實(shí)是模型執(zhí)行任務(wù)的“核心路徑”。

盡管稀疏模型在可解釋性方面表現(xiàn)突出，但其計算效率仍存在瓶頸。由于稀疏矩陣運(yùn)算無法借助硬件加速，其運(yùn)算速度較密集模型慢100至1000倍。這一限制使得該技術(shù)目前難以直接應(yīng)用于千億參數(shù)級別的大規(guī)模模型。為解決這一問題，研究團(tuán)隊(duì)提出了“橋梁網(wǎng)絡(luò)”方案：通過在稀疏模型與密集模型之間插入編碼器-解碼器對，實(shí)現(xiàn)對密集模型的可解釋性行為編輯。例如，研究人員可以在稀疏模型上修改某個特征，然后通過橋梁將其映射回密集模型，從而間接影響密集模型的決策過程。

研究團(tuán)隊(duì)在技術(shù)論文中指出，稀疏模型的性能與稀疏度之間存在權(quán)衡關(guān)系：在模型規(guī)模固定的前提下，提高稀疏度會略微降低模型性能，但能顯著增強(qiáng)其可解釋性。這一發(fā)現(xiàn)為未來設(shè)計更透明、更可控的人工智能系統(tǒng)提供了重要參考。

目前，OpenAI已將Circuit-Sparsity模型開源，并提供了詳細(xì)的訓(xùn)練方法和實(shí)驗(yàn)數(shù)據(jù)。研究團(tuán)隊(duì)表示，下一步計劃將相關(guān)技術(shù)擴(kuò)展至更大規(guī)模的模型，同時探索從現(xiàn)有密集模型中提取稀疏電路的方法，以降低訓(xùn)練成本。團(tuán)隊(duì)還在研發(fā)更高效的可解釋性模型訓(xùn)練技術(shù)，旨在推動相關(guān)技術(shù)在實(shí)際生產(chǎn)環(huán)境中的應(yīng)用。