蘋果研究團(tuán)隊(duì)近日在學(xué)術(shù)領(lǐng)域公布了一項(xiàng)重要成果——專為移動(dòng)設(shè)備設(shè)計(jì)的多模態(tài)大語言模型Ferret-UI Lite正式亮相。這款僅含30億參數(shù)的輕量級(jí)模型，在性能測試中展現(xiàn)出驚人實(shí)力，甚至超越了參數(shù)量達(dá)其24倍的大型服務(wù)器端模型，為移動(dòng)端AI應(yīng)用開辟了全新路徑。

傳統(tǒng)通用大模型在處理移動(dòng)端UI界面時(shí)，常因屏幕尺寸限制難以精準(zhǔn)識(shí)別微小圖標(biāo)與文本。針對(duì)這一痛點(diǎn)，研究團(tuán)隊(duì)創(chuàng)新性地引入"推理時(shí)裁剪"技術(shù)：模型首先對(duì)屏幕內(nèi)容進(jìn)行整體分析，隨后智能定位關(guān)鍵區(qū)域并放大處理，如同人類調(diào)整焦距觀察細(xì)節(jié)。這種策略使模型無需處理完整圖像數(shù)據(jù)，即可高效捕捉界面核心元素，顯著提升識(shí)別準(zhǔn)確率。

在數(shù)據(jù)訓(xùn)練環(huán)節(jié)，研究團(tuán)隊(duì)構(gòu)建了獨(dú)特的合成數(shù)據(jù)生成系統(tǒng)。該系統(tǒng)通過模擬真實(shí)操作環(huán)境，設(shè)置"任務(wù)生成-規(guī)劃執(zhí)行-錯(cuò)誤修正"的閉環(huán)流程，讓AI在虛擬場景中反復(fù)試錯(cuò)。這種訓(xùn)練方式不僅生成了海量多樣化樣本，更使模型具備應(yīng)對(duì)突發(fā)狀況的能力，例如處理無響應(yīng)點(diǎn)擊或彈窗干擾等現(xiàn)實(shí)問題。實(shí)驗(yàn)表明，通過這種方式訓(xùn)練的模型，其魯棒性明顯優(yōu)于依賴人工標(biāo)注數(shù)據(jù)的傳統(tǒng)方法。

性能測試顯示，該模型在執(zhí)行單步基礎(chǔ)操作時(shí)表現(xiàn)卓越，例如快速定位應(yīng)用入口或識(shí)別按鈕功能。但在處理需要多步驟協(xié)同的復(fù)雜任務(wù)時(shí)，如自動(dòng)完成表單填寫或跨應(yīng)用數(shù)據(jù)遷移，仍存在優(yōu)化空間。研究團(tuán)隊(duì)透露，后續(xù)將通過改進(jìn)任務(wù)分解算法和強(qiáng)化長序列記憶能力來提升復(fù)雜任務(wù)處理水平。

這款模型最突出的優(yōu)勢(shì)在于完全本地化運(yùn)行能力。用戶設(shè)備無需上傳屏幕截圖至云端服務(wù)器，即可實(shí)現(xiàn)應(yīng)用自動(dòng)操作功能。這種設(shè)計(jì)不僅大幅降低響應(yīng)延遲，更從技術(shù)架構(gòu)層面杜絕了數(shù)據(jù)泄露風(fēng)險(xiǎn)，為金融、醫(yī)療等對(duì)隱私要求極高的領(lǐng)域提供了可行解決方案。目前研究團(tuán)隊(duì)已開放部分技術(shù)細(xì)節(jié)，供開發(fā)者探索更多移動(dòng)端AI應(yīng)用場景。