近日，深圳河套學(xué)院AI訓(xùn)練平臺(tái)項(xiàng)目團(tuán)隊(duì)聯(lián)合哈爾濱工業(yè)大學(xué)（深圳）、深圳市大數(shù)據(jù)研究院及華為相關(guān)團(tuán)隊(duì)，在國(guó)產(chǎn)AI芯片領(lǐng)域取得重大突破。依托昇騰910C國(guó)產(chǎn)AI算力集群，該團(tuán)隊(duì)成功完成1.6萬(wàn)億參數(shù)大模型DeepSeek-V4-Pro的全參數(shù)后訓(xùn)練，標(biāo)志著中國(guó)在高端AI算力應(yīng)用領(lǐng)域邁出關(guān)鍵一步。

全參數(shù)后訓(xùn)練是AI大模型開(kāi)發(fā)的核心環(huán)節(jié)，要求在訓(xùn)練過(guò)程中同步更新全部參數(shù)。對(duì)于DeepSeek-V4-Pro而言，這意味著需同時(shí)調(diào)整1.6萬(wàn)億個(gè)參數(shù)，其計(jì)算復(fù)雜度遠(yuǎn)超常規(guī)訓(xùn)練。項(xiàng)目團(tuán)隊(duì)采用混合專家（MoE）架構(gòu)，該架構(gòu)雖能提升模型效率，但訓(xùn)練時(shí)需確保所有"專家"模塊同步學(xué)習(xí)，數(shù)據(jù)交換量是普通模型的數(shù)十倍，對(duì)算力集群的通信能力提出極高要求。

此次突破得益于三大工程技術(shù)創(chuàng)新：一是分布式顯存管理方案，通過(guò)精密算法將模型拆解為數(shù)萬(wàn)個(gè)小模塊，精準(zhǔn)分配至每張計(jì)算卡；二是動(dòng)態(tài)負(fù)載均衡技術(shù)，針對(duì)MoE架構(gòu)特性優(yōu)化任務(wù)調(diào)度，使算力利用率提升至30%以上；三是全鏈路容錯(cuò)系統(tǒng)，通過(guò)1500余步連續(xù)訓(xùn)練無(wú)中斷的實(shí)踐，驗(yàn)證了國(guó)產(chǎn)集群的穩(wěn)定性。官方數(shù)據(jù)顯示，關(guān)鍵訓(xùn)練算子效率較此前提升14%，達(dá)到國(guó)際先進(jìn)水平。

海外科技媒體對(duì)此高度關(guān)注，《南華早報(bào)》評(píng)論稱，在美國(guó)持續(xù)加碼半導(dǎo)體出口管制的背景下，中國(guó)團(tuán)隊(duì)通過(guò)系統(tǒng)級(jí)創(chuàng)新突破算力瓶頸，展現(xiàn)出自主可控技術(shù)路徑的可行性。深圳發(fā)布官方通報(bào)強(qiáng)調(diào)，此次實(shí)踐為全球第三方機(jī)構(gòu)在國(guó)產(chǎn)平臺(tái)上開(kāi)展超大規(guī)模模型訓(xùn)練積累了寶貴經(jīng)驗(yàn)，證明國(guó)產(chǎn)AI芯片已具備支撐世界級(jí)模型開(kāi)發(fā)的能力。

值得關(guān)注的是，該項(xiàng)目將技術(shù)攻關(guān)與人才培養(yǎng)深度融合。深圳河套學(xué)院構(gòu)建了"青年教師-博士生-工程團(tuán)隊(duì)"三級(jí)培養(yǎng)體系，42名參與學(xué)生從環(huán)境搭建到全流程訓(xùn)練均深度參與，形成了完整的實(shí)戰(zhàn)人才梯隊(duì)。業(yè)內(nèi)專家指出，高端算力平臺(tái)的建設(shè)不僅解決了"卡脖子"問(wèn)題，更為中國(guó)AI產(chǎn)業(yè)培育了具備系統(tǒng)級(jí)優(yōu)化能力的核心人才。

據(jù)項(xiàng)目組透露，后續(xù)將圍繞長(zhǎng)文本處理、AI智能體等方向持續(xù)優(yōu)化算力集群性能，并探索國(guó)產(chǎn)芯片在多模態(tài)大模型中的應(yīng)用潛力。此次突破已引發(fā)產(chǎn)業(yè)界廣泛關(guān)注，多家科研機(jī)構(gòu)表示將啟動(dòng)基于國(guó)產(chǎn)算力的模型訓(xùn)練計(jì)劃，推動(dòng)形成自主技術(shù)生態(tài)。