前沿實驗室 Mind Lab 近期在人工智能領域掀起了一股新的研究熱潮，其密集發布的一系列關于 LoRA（低秩適應）與 PEFT（高效微調）的研究成果，為大型模型的“持續學習”開辟了新的路徑。在 Mind Lab 的構想中，PEFT 不再僅僅是對大型模型全參數后訓練的一種經濟替代方案，而是成為推動“基礎模型”向“可持續學習智能體”轉變的核心架構。

Mind Lab 構建了一個完整的技術體系，包括記憶架構（δ-mem）、底層基礎設施（MinT）、擴展定律（Scaling of PEFT）以及生成式用戶界面應用（Macaron-A2UI），旨在通過少數幾個強大的萬億參數基礎模型，支撐起數以百萬計的、具備獨立記憶和技能的可持續學習智能體。其中，δ-mem 作為一種創新的平行混合線性注意力架構，針對 LoRA 的特性進行了優化，使智能體能夠擁有可更新的持續記憶。

傳統 Transformer 的 KV cache 僅記錄當前上下文的中間狀態，無法隨著交互持續學習。而 δ-mem 通過增量規則（delta-rule learning）持續更新一個固定大小的矩陣，使模型在記憶基準測試中獲得了顯著的性能提升。即使在沒有顯式歷史上下文的情況下，δ-mem 也能恢復出大量相關信息，展現了其強大的記憶能力。

為了支撐模型在真實場景中的持續學習，Mind Lab 還推出了專為 LoRA 訓練和在線服務打造的托管基礎設施系統 MinT。MinT 將基礎模型長期保留在訓練和推理服務中，通過導出小型的 LoRA Adapter 而不是完整模型，實現了快速上線和回滾。這一設計不僅大幅縮短了交接時間，還降低了存儲和計算成本，為管理海量 LoRA 模型提供了可能。

Mind Lab 還發布了關于 LoRA 的研究論文《On the Scaling of PEFT》，提出了三大基于 LoRA 的擴展軸：Scale up、Scale down 和 Scale out。在 Scale up 方面，Mind Lab 修正了現有路由重放機制在前沿 MoE 模型上的失效問題，消除了訓練和推理的差異；在 Scale down 方面，通過原生于 RL 的初始化方法 OLoRA-tail，將 LoRA 的 rank 壓到了極致，同時保持了性能的穩定；在 Scale out 方面，MinT 讓上百個 LoRA adapter 同時在線，實現了模型數量的可控擴展。

基于這些研究成果，Mind Lab 試驗性地發布了基于 MinT 訓練的模型 Macaron-A2UI。該模型不僅能夠輸出文本，還能在實時交互中生成結構化的可執行動作，如多選框、滑塊等，極大地提升了用戶交互的便捷性和效率。在 A2UI-Bench 基準測試中，Macaron-A2UI 取得了優異的成績，證明了其強大的 UI 生成能力。