近日，中國(guó)人工智能公司月之暗面（Moonshot AI）的一項(xiàng)技術(shù)突破引發(fā)廣泛關(guān)注。這項(xiàng)成果不僅因其創(chuàng)新性受到業(yè)內(nèi)認(rèn)可，更因一位特殊作者的身份引發(fā)公眾熱議——年僅17歲的高中生陳廣宇以共同第一作者身份出現(xiàn)在論文作者名單中，與資深研究者并列貢獻(xiàn)。

該成果聚焦大模型底層架構(gòu)創(chuàng)新，提出"注意力殘差"（Attention Residuals）技術(shù)方案。傳統(tǒng)模型普遍采用"殘差連接"機(jī)制，即每層計(jì)算后直接疊加前序信息，但這種模式在深層網(wǎng)絡(luò)中易導(dǎo)致關(guān)鍵信息被稀釋。研究團(tuán)隊(duì)通過(guò)引入動(dòng)態(tài)選擇機(jī)制，使模型能夠自主篩選重要信息，在保持計(jì)算效率的同時(shí)提升信息傳遞質(zhì)量。實(shí)驗(yàn)數(shù)據(jù)顯示，采用該技術(shù)的Kimi Linear 48B模型在保持性能的前提下，訓(xùn)練計(jì)算量減少約20%，推理延遲增加不足2%。

論文特別標(biāo)注前三位作者Guangyu Chen（陳廣宇）、Yu Zhang、Jianlin Su為"同等貢獻(xiàn)"。其中張宇是Kimi模型架構(gòu)的核心研發(fā)人員，蘇劍林則是大模型領(lǐng)域知名學(xué)者，其提出的旋轉(zhuǎn)位置編碼（RoPE）已被多家主流模型采用。這種資深研究者與青年學(xué)者并重的合作模式，凸顯了技術(shù)突破背后的集體智慧。

這位來(lái)自深圳的少年研究者展現(xiàn)出超乎年齡的成熟。在接受采訪時(shí)，他反復(fù)強(qiáng)調(diào)團(tuán)隊(duì)貢獻(xiàn)的重要性："這項(xiàng)工作涉及模型擴(kuò)展、基礎(chǔ)設(shè)施等多個(gè)領(lǐng)域，每個(gè)環(huán)節(jié)都不可或缺。"據(jù)其個(gè)人網(wǎng)站顯示，陳廣宇近一年來(lái)通過(guò)研讀經(jīng)典論文、參與開(kāi)源項(xiàng)目積累基礎(chǔ)知識(shí)，后因技術(shù)反思文章獲得硅谷AI公司實(shí)習(xí)機(jī)會(huì)，去年11月加入Kimi團(tuán)隊(duì)開(kāi)展研究。

行業(yè)專家指出，該研究為大模型發(fā)展提供了新思路。當(dāng)前主流技術(shù)路線多依賴參數(shù)規(guī)模擴(kuò)張，而"注意力殘差"方案證明通過(guò)優(yōu)化底層架構(gòu)同樣能實(shí)現(xiàn)性能提升。這種技術(shù)路徑的轉(zhuǎn)變，可能引導(dǎo)未來(lái)研究重新關(guān)注網(wǎng)絡(luò)深度優(yōu)化等基礎(chǔ)問(wèn)題。

面對(duì)外界關(guān)注，陳廣宇始終保持謙遜態(tài)度。他在社交平臺(tái)分享研究經(jīng)歷時(shí)特別提到："不要將成就歸功于個(gè)人，這背后是整個(gè)團(tuán)隊(duì)的努力。"這種超越年齡的認(rèn)知，讓這位少年研究者展現(xiàn)出獨(dú)特的科研氣質(zhì)。