在人工智能助手的發(fā)展歷程中，從Siri的語音喚醒到如今大模型的復(fù)雜交互，技術(shù)的進(jìn)步不斷刷新著人們對智能助手的期待。如今，用戶不再滿足于“一問一答”的簡單對話模式，而是希望AI助手能夠像真人一樣，實(shí)現(xiàn)流暢、主動的交流，具備邊聽、邊看、邊思考、邊回答的能力。然而，當(dāng)前大多數(shù)AI助手仍停留在被動響應(yīng)階段，難以主動感知環(huán)境變化并及時介入，這與人們心目中的理想狀態(tài)仍有較大差距。

要實(shí)現(xiàn)更接近人類的交互體驗(yàn)，AI助手需具備持續(xù)感知環(huán)境的能力。然而，持續(xù)處理音視頻流對算力要求極高，云端部署雖能提供充足算力，但會引入延遲問題，并可能帶來隱私泄露風(fēng)險(xiǎn)。在此背景下，端側(cè)AI成為一條理想的解決方案。本地運(yùn)算不僅能保障響應(yīng)速度，還能從根本上規(guī)避數(shù)據(jù)外泄風(fēng)險(xiǎn)，在機(jī)器人、自動駕駛等需要實(shí)時決策的場景中尤為重要。不過，如何在算力有限的端側(cè)設(shè)備上實(shí)現(xiàn)高性能智能，仍是行業(yè)面臨的共同挑戰(zhàn)。

面壁智能作為該領(lǐng)域的探索者之一，專注于提升智能密度，即用更小的參數(shù)實(shí)現(xiàn)更強(qiáng)的性能。其MiniCPM系列模型以“以小博大”著稱，全平臺下載量已突破1800萬。早在2024年，該系列模型便成功將GPT-4o、GPT-4V級別的核心能力部署到手機(jī)、汽車等端側(cè)設(shè)備上。近日，面壁智能發(fā)布的MiniCPM-o 4.5，進(jìn)一步推動了端側(cè)全模態(tài)交互技術(shù)的發(fā)展。

MiniCPM-o 4.5是面壁智能在端側(cè)交互方向上的重要升級。該模型首創(chuàng)原生全雙工技術(shù)，采用端到端的全模態(tài)架構(gòu)，結(jié)合全雙工多模態(tài)實(shí)時流機(jī)制、主動交互機(jī)制和可配置語音建模設(shè)計(jì)，使參數(shù)規(guī)模僅為9B的模型在交互體驗(yàn)上實(shí)現(xiàn)大幅提升。所謂“全雙工”，即模型可同時看、聽和說，對話無需輪流進(jìn)行；而“全模態(tài)”則指模型能同時處理視頻、音頻、文本等多種信息輸入，并以文本和語音形式輸出回應(yīng)。這種設(shè)計(jì)使MiniCPM-o 4.5能在“說話”的同時繼續(xù)觀察和傾聽環(huán)境變化，并根據(jù)新信息實(shí)時調(diào)整回應(yīng)策略，更接近人類的真實(shí)對話模式。

傳統(tǒng)多模態(tài)大模型通常只能處理離線靜態(tài)數(shù)據(jù)，且在全模態(tài)方面往往只能處理文本加單一模態(tài)（如視覺或語音）。更關(guān)鍵的是，當(dāng)模型開始生成回復(fù)時，必須先完成整個回應(yīng)過程，才能重新接收外部信息，類似于“對講機(jī)”式的對話。這種設(shè)計(jì)在實(shí)際使用中會造成諸多不便，例如當(dāng)畫面內(nèi)容突然變化時，模型無法感知，只能基于舊信息繼續(xù)描述，甚至可能“胡說八道”。而在智能駕駛場景中，若AI正在播報(bào)導(dǎo)航信息，卻無法同時感知路況變化，可能錯過重要的安全提醒時機(jī)。

MiniCPM-o 4.5通過全雙工技術(shù)架構(gòu)解決了這一問題。該模型將并行處理的視頻流和音頻流切成極小的切片，采用脈沖式信息處理方式，使多模態(tài)信息能實(shí)時交替輸入語言模型主干，實(shí)現(xiàn)毫秒級時間線上同步所有輸入和輸出流。這種設(shè)計(jì)使模型更像是一種伴隨態(tài)AI，而非簡單的聊天機(jī)器人。伴隨態(tài)的優(yōu)勢在于，即使不持續(xù)提問，模型也能提供持續(xù)反饋，并根據(jù)環(huán)境變化調(diào)整行為，實(shí)現(xiàn)即時自由的對話。例如，用戶只需一句指令，模型便能對白板畫畫進(jìn)行實(shí)時描述；在車機(jī)場景中，模型可根據(jù)用戶需求即時反饋和提醒，幫助司機(jī)減少左顧右盼的精力，更專注地開車。

市面上雖已有一些模型具備實(shí)時對話或可打斷的能力，但大多依賴VAD（語音活動檢測）等外部工具實(shí)現(xiàn)。VAD的作用是檢測環(huán)境中是否有人在說話，一旦檢測到語音信號，系統(tǒng)便強(qiáng)行中斷模型輸出，重新開始“聽→處理→說”的流程。然而，VAD只能檢測聲音，無法理解聲音的內(nèi)容和意圖，可能導(dǎo)致誤判或響應(yīng)滯后。例如，旁邊有人咳嗽或電視傳來人聲，系統(tǒng)可能誤判為用戶在說話，導(dǎo)致AI莫名其妙地停下來；而用戶僅“嗯”一聲表示在聽，系統(tǒng)也可能將其當(dāng)作打斷信號。VAD的判斷存在滯后，需等待一段時間確認(rèn)沒有后續(xù)語音后，才會判定說話結(jié)束，導(dǎo)致系統(tǒng)響應(yīng)慢半拍，用戶體驗(yàn)不流暢。

與之不同，MiniCPM-o 4.5的感知和判斷能力是模型內(nèi)生的。在持續(xù)接收視覺和聽覺信息的同時，模型會同步進(jìn)行語義理解，并高頻判斷“用戶是否正在說話”“自己是否需要說話”，從而根據(jù)環(huán)境變化實(shí)時反應(yīng)，以最合適的時機(jī)和內(nèi)容回復(fù)，避免信息感知與傳遞的延遲。這一特性可進(jìn)一步應(yīng)用于具身智能領(lǐng)域，為機(jī)器人提供持續(xù)感知的大腦底座。例如，未來機(jī)器人可能對微波爐“?！钡穆曇?、敲門聲、水龍頭漏水等事件具備持續(xù)感知力，并在更多場景中提供及時響應(yīng)與主動服務(wù)。

除對話響應(yīng)能力大幅提升外，MiniCPM-o 4.5在基礎(chǔ)能力方面也延續(xù)了前代產(chǎn)品的優(yōu)勢，在流式全模態(tài)能力、視覺能力和語音能力方面保持同尺寸領(lǐng)先水平。語音交互是本次升級的重點(diǎn)之一。通過深度挖掘海量互聯(lián)網(wǎng)對話數(shù)據(jù)、專業(yè)級語音錄制資源，以及優(yōu)化端到端模型結(jié)構(gòu)，MiniCPM-o 4.5在音色自然度、語調(diào)豐富性、語音穩(wěn)定性等方面顯著提升，有效解決了長語音合成中常見的錯字率高、效果不穩(wěn)定等問題。即使生成大于1分鐘的長語音，該模型仍能保持較好的穩(wěn)定性、一致性與流暢感。它還支持推理階段的聲音克隆，僅需系統(tǒng)提示詞和幾秒鐘的語音樣本，即可模擬特定人物的語音風(fēng)格與表達(dá)習(xí)慣。

為推動端側(cè)智能的落地應(yīng)用，面壁智能還透露了將在年中發(fā)布的基于NVIDIA Jetson系列模組的“松果派”（Pinea Pi）開發(fā)板套件。該開發(fā)板定位為Agent原生的端側(cè)多模態(tài)開發(fā)板，旨在讓開發(fā)者以簡單方式快速開發(fā)端側(cè)智能硬件，將設(shè)備定義權(quán)交到用戶和開發(fā)者手中。目前，開發(fā)者完成AI智能硬件開發(fā)需面對復(fù)雜技術(shù)棧，開發(fā)門檻較高，而市面上的開發(fā)板大多為裸板，外設(shè)需自行購買、適配驅(qū)動、手動搭建多模態(tài)Pipeline。松果派則提供“開箱即用”的完整解決方案，預(yù)裝完整的多模態(tài)AI開發(fā)環(huán)境，包含攝像頭、麥克風(fēng)等必要外設(shè)，以及優(yōu)化后的驅(qū)動程序和中間件，降低開發(fā)難度。

從商業(yè)模式角度看，松果派采用類似早期香橙派、樹莓派的策略，通過標(biāo)準(zhǔn)化、開放的硬件形態(tài)教育市場，吸引開發(fā)者加入生態(tài)。除硬件外，面壁智能還將配套推出高效推理框架和演示系統(tǒng)，未來兩者均將開源，為開發(fā)者提供完整的開發(fā)工具鏈。

面壁智能的選擇源于對技術(shù)發(fā)展趨勢的判斷。在創(chuàng)始人劉知遠(yuǎn)看來，端側(cè)AI并非短期押注某個產(chǎn)品形態(tài)，而是信息革命向智能革命演進(jìn)過程中必然出現(xiàn)的一層結(jié)構(gòu)。他提出“未來計(jì)算三分天下”的觀點(diǎn)：超算用于科研探索，云計(jì)算支撐通用服務(wù)，而端側(cè)計(jì)算將成為體量最大、最貼近人類日常的智能形態(tài)。屆時，“超智-云智-端智”可能呈現(xiàn)金字塔式分布結(jié)構(gòu)，端側(cè)的核心價(jià)值不是算力，而是貼近現(xiàn)實(shí)。盡管單個端側(cè)設(shè)備的智能不一定最強(qiáng)，但從體量分配來看，端側(cè)智能承載的是整個人類社會的日常運(yùn)轉(zhuǎn)，其規(guī)模必將超過超智和云智。

回顧大模型的發(fā)展歷程，2022年底ChatGPT的發(fā)布引發(fā)行業(yè)爆發(fā)期，隨后領(lǐng)域內(nèi)開始爭相復(fù)現(xiàn)大模型能力，堆參數(shù)、租算力成為主流方向。然而，面壁智能從一開始便將重心放在端側(cè)AI上，這是一條明顯的“非共識”路徑。在劉知遠(yuǎn)看來，非共識的創(chuàng)新性正是中國創(chuàng)業(yè)公司稀缺之處。他認(rèn)為，有人做了A，不是再復(fù)制做A+，而是應(yīng)與之協(xié)同構(gòu)建共生共榮的生態(tài)。無論從投資還是產(chǎn)業(yè)發(fā)展角度，繼續(xù)在同一條路徑上扎堆、跟風(fēng)并非明智之舉，而應(yīng)多開拓和創(chuàng)新。

產(chǎn)學(xué)研協(xié)同是推動技術(shù)落地的關(guān)鍵。姚遠(yuǎn)指出，學(xué)術(shù)界強(qiáng)調(diào)從最前沿探索遙遠(yuǎn)的可能性，而產(chǎn)業(yè)化必須抗住海量數(shù)據(jù)的檢驗(yàn)。因此，如何找到學(xué)術(shù)界前沿方向與工程可落地的交集，極其考驗(yàn)工程直覺。面壁智能從模型迭代中積累了關(guān)鍵技術(shù)技巧與優(yōu)化策略，并將其持續(xù)集成到最新代碼庫中。例如，MiniCPM-o 4.5版本已全面兼容之前所有版本的技術(shù)，說明它們具備高度的可疊加性。

劉知遠(yuǎn)認(rèn)為，若將AGI看成一張拼圖，最關(guān)鍵的一塊未必是高等數(shù)學(xué)或?qū)I(yè)能力，而是具備很強(qiáng)的人類智商水平。因此，全模態(tài)的全雙工是可能很慢但值得努力的方向，也是通往未來AGI的關(guān)鍵拼圖之一。他指出，AI的使命是替代人類完成大量機(jī)械、重復(fù)的腦力勞動，讓人類花更多精力做頂層規(guī)劃、創(chuàng)新和思考更有意思的事情。過去100多年，人類整體的科學(xué)與創(chuàng)新其實(shí)在減速，未來唯有依靠AI，讓我們重新執(zhí)掌全人類的知識，進(jìn)而實(shí)現(xiàn)對世界的全面認(rèn)知。