在人工智能技術(shù)發(fā)展的進(jìn)程中，云端大模型算力不斷攀升，而邊緣AI正逐漸成為行業(yè)矚目的焦點(diǎn)。邊緣AI憑借其實(shí)時響應(yīng)、安全隱私保護(hù)以及成本等方面的顯著優(yōu)勢，被視為AI技術(shù)的未來發(fā)展方向。然而，當(dāng)前多數(shù)端側(cè)AI仍對云端存在依賴，在復(fù)雜場景下出現(xiàn)響應(yīng)延遲、高算力需求受供電和體積限制等問題，特別是在海量物聯(lián)網(wǎng)場景中，這些痛點(diǎn)極大地阻礙了邊緣AI的規(guī)?；l(fā)展。

近日，在芯片設(shè)計(jì)服務(wù)及IP領(lǐng)域深耕多年的芯原與谷歌攜手，共同推出了面向端側(cè)大語言模型應(yīng)用的Coral NPU IP。這一成果為邊緣AI的發(fā)展帶來了新的契機(jī)。該設(shè)計(jì)專為始終在線、超低能耗的邊緣AI應(yīng)用打造，尤其適用于可穿戴設(shè)備。通過此次合作，谷歌的開源研究成果實(shí)現(xiàn)了從算法到芯片驗(yàn)證的商業(yè)化閉環(huán)，有力推動了端側(cè)AI應(yīng)用的快速落地，有望讓更多便攜設(shè)備實(shí)現(xiàn)智能化升級。

對于芯片設(shè)計(jì)商來說，為低功耗邊緣設(shè)備賦予AI能力，通常有兩種方式：一是借助CPU，二是使用專用加速器。CPU雖然靈活且軟件適配性高，但缺乏針對AI負(fù)載的專用架構(gòu)，難以同時兼顧性能與能效；專用加速器ML效率高，卻存在靈活性不足、編程困難的問題。而且，二者軟件生態(tài)高度碎片化，開發(fā)者不得不使用專有編譯器，增加了學(xué)習(xí)成本。

目前，傳統(tǒng)芯片設(shè)計(jì)多采用CPU + AI加速器的組合架構(gòu)，但這種架構(gòu)在處理實(shí)時在線持續(xù)性AI任務(wù)時效率低下，難以滿足超低能耗和成本敏感的邊緣AI場景需求。Coral NPU則為行業(yè)提供了全新思路，其秉持“AI為先”的設(shè)計(jì)理念，從底層架構(gòu)到開發(fā)環(huán)境都進(jìn)行了創(chuàng)新。它基于開放的RISC - V指令集架構(gòu)，將負(fù)責(zé)運(yùn)行ML運(yùn)算的“矩陣執(zhí)行單元”置于架構(gòu)核心位置，同時配備輕量級RISC - V RV32IM前端作為簡單控制核心，以及遵循RVV 1.0標(biāo)準(zhǔn)的向量執(zhí)行單元提供額外計(jì)算能力。三種運(yùn)算在同一ISA內(nèi)緊密耦合，使整個架構(gòu)底層實(shí)現(xiàn)了面向AI負(fù)載的優(yōu)化。

這種架構(gòu)設(shè)計(jì)帶來了顯著優(yōu)勢，實(shí)現(xiàn)了功耗與性能的高效平衡。其性能可達(dá)每秒執(zhí)行約5120億次操作（512GOPS），而功耗卻控制在毫瓦級別。這對于需要7×24小時運(yùn)行AI功能且電池容量有限的小型AI設(shè)備來說，無疑是一次重大突破。Coral NPU支持主流機(jī)器學(xué)習(xí)框架，如JAX、PyTorch和TensorFlow Lite（TFLite），并采用基于開放標(biāo)準(zhǔn)的工具，如來自低級虛擬機(jī)（LLVM）項(xiàng)目的多級中間表示（MLIR）作為編譯器基礎(chǔ)設(shè)施，大幅簡化了AI開發(fā)從云到端的流程。

Coral NPU在RISC - V基礎(chǔ)上擴(kuò)展了AI能力，既能進(jìn)行傳統(tǒng)CPU計(jì)算，又能實(shí)現(xiàn)AI矩陣計(jì)算，避免了傳統(tǒng)獨(dú)立CPU/NPU設(shè)計(jì)帶來的系統(tǒng)復(fù)雜性、成本及數(shù)據(jù)遷移問題，解決了邊緣AI設(shè)備生態(tài)碎片化的難題，同時提升了機(jī)器學(xué)習(xí)性能，降低了芯片廠商的研發(fā)設(shè)計(jì)門檻。

Coral NPU專為超輕量、超低能耗、始終在線的邊緣AI打造，特別適合可穿戴設(shè)備等對設(shè)計(jì)輕巧、美觀有要求，且需要持續(xù)續(xù)航提供全天候AI體驗(yàn)的產(chǎn)品。今年以來，在海內(nèi)外龍頭企業(yè)的推動下，智能眼鏡在消費(fèi)電子市場嶄露頭角，但普遍存在依賴云端AI能力、交互延遲和價格高昂等問題。行業(yè)認(rèn)為，智能眼鏡進(jìn)一步發(fā)展取決于重量30克以內(nèi)、續(xù)航8小時以上以及價格2000元以下這三個關(guān)鍵指標(biāo)。Coral NPU IP的推出，憑借其面向AI優(yōu)化的架構(gòu)以及在推動邊緣設(shè)備小型化、低功耗和降低成本方面的優(yōu)勢，有望助力智能眼鏡提升體驗(yàn)并實(shí)現(xiàn)規(guī)?；涞亍?/p>

例如，針對特定使用場景，通過對AI功能進(jìn)行裁剪，在端側(cè)運(yùn)行經(jīng)過訓(xùn)練的高效輕量級模型，可顯著提升AI能力和智能化水平，加速產(chǎn)品技術(shù)創(chuàng)新，增強(qiáng)相關(guān)產(chǎn)品的差異化競爭力。今年8月，谷歌推出了史上最小Gemma 3開源輕量級模型，僅有2.7億個參數(shù)。在其演示中，用Gemma 3驅(qū)動的睡前故事生成器網(wǎng)頁應(yīng)用，只需勾選幾個選項(xiàng)就能生成精彩故事。一些玩具廠商已開始在產(chǎn)品中部署輕量級模型，實(shí)現(xiàn)智能化升級，為兒童教育陪伴和成人情緒價值提供支持，這將對玩具和陪伴類產(chǎn)品及市場產(chǎn)生顛覆性影響。芯原內(nèi)部也正在面向AI玩具、眼鏡等海量應(yīng)用市場微調(diào)小模型，并與相關(guān)領(lǐng)先機(jī)構(gòu)合作，以便在推出定制化芯片平臺時，更好地平衡算力部署的性能、功耗和成本。

若將Coral NPU和Gemma 3應(yīng)用于智能眼鏡，結(jié)合特定數(shù)據(jù)集進(jìn)行針對性訓(xùn)練，并針對垂直場景進(jìn)一步細(xì)分，使其具備端側(cè)實(shí)時翻譯、拍照、音頻處理等功能，就能覆蓋大多數(shù)使用場景。這不僅有助于芯片和終端廠商把握市場機(jī)遇，推出差異化產(chǎn)品搶占市場，還能加速智能眼鏡等邊緣AI設(shè)備的創(chuàng)新和規(guī)模落地，讓端側(cè)AI的智能和服務(wù)更快惠及用戶。

芯原和谷歌在技術(shù)與生態(tài)打造方面的合作已有十余年歷史。此次合作源于谷歌2023年發(fā)起的“Open Se Cura”開源研究計(jì)劃。該計(jì)劃是谷歌研究團(tuán)隊(duì)聯(lián)合多個合作伙伴開發(fā)的開源框架，基于RISC - V架構(gòu)，包含開源設(shè)計(jì)工具和IP庫，旨在加速開發(fā)適用于小型設(shè)備的低功耗AI系統(tǒng)。Coral NPU IP的推出，基于雙方在該項(xiàng)目上的經(jīng)驗(yàn)，標(biāo)志著谷歌開源技術(shù)與芯原在芯片設(shè)計(jì)和產(chǎn)業(yè)化支持上的深度攜手。

目前，Coral NPU IP已在谷歌開發(fā)者網(wǎng)站開源，面向全球開發(fā)者開放。芯原將提供商業(yè)化的企業(yè)級IP版本，并結(jié)合自身豐富的IP儲備以及芯片設(shè)計(jì)與驗(yàn)證能力，為客戶面向可穿戴、智能家居等領(lǐng)域的芯片提供一站式定制等服務(wù)。在NPU IP領(lǐng)域，芯原積累深厚，其神經(jīng)網(wǎng)絡(luò)處理器（NPU）IP已被91家客戶用于140余款人工智能芯片中，集成了芯原NPU IP的AI類芯片全球出貨近2億顆。今年上半年，芯原超低能耗NPU已可為移動端大語言模型推理提供超40 TOPS算力，并在知名企業(yè)的手機(jī)和平板電腦中量產(chǎn)出貨。最新一代NPU架構(gòu)針對Transformer類模型進(jìn)行了優(yōu)化，既能高效運(yùn)行Qwen、LLAMA類大語言模型，也能支撐Stable Diffusion、MiniCPM等AIGC和多模態(tài)模型。芯原NPU還與自有的眾多處理器IP深度集成，形成包括AI - ISP、AI - Display、AI - VPU、AI - GPU、AI - DSP在內(nèi)的眾多AI加速子系統(tǒng)解決方案。此次Coral NPU IP的推出，將成為芯原NPU IP產(chǎn)品矩陣以及端側(cè)AI芯片設(shè)計(jì)平臺的重要組成部分，可為客戶定制更多超低功耗場景的端側(cè)AI芯片設(shè)計(jì)方案，加速推動大語言模型在邊緣端的部署。