近日，科技界迎來了一項令人矚目的創新成果——微軟研究團隊推出的開源大型語言模型BitNet b1.58 2B4T。這款模型以獨特的低精度架構原生訓練而成，擁有20億參數，卻在計算資源需求上實現了大幅縮減。
據技術報告顯示，BitNet b1.58 2B4T的性能直逼同規模的全精度模型。其非嵌入內存占用僅為0.4GB，這一數據遠低于競品Gemma-3 1B的1.4GB和MiniCPM 2B的4.8GB，展現了其卓越的內存效率。
BitNet的高效秘訣在于其創新的架構。該模型摒棄了傳統的16位數值，采用定制的BitLinear層，將權重限制為-1、0、+1三種狀態，形成了三值系統。這種設計使得每權重僅需約1.58位信息存儲，從而實現了高效的存儲和計算。
BitNet在層間激活值上也進行了優化，采用了8位整數量化，形成了W1.58A8的配置。同時，微軟還對Transformer架構進行了調整，引入了平方ReLU激活函數、標準旋轉位置嵌入（RoPE）以及subln歸一化等技術，確保了低位訓練的穩定性。這種原生1位訓練的方式避免了傳統后訓練量化（PTQ）可能帶來的性能損失。
BitNet b1.58 2B4T的開發歷經了三個階段。首先，基于4萬億token的網絡數據、代碼和合成數學數據集進行了預訓練。隨后，通過公開及合成指令數據集進行了監督微調（SFT），如WizardLM Evol-Instruct等。最后，采用直接偏好優化（DPO）方法，利用UltraFeedback等數據集提升了模型的對話能力和安全性。
微軟的測試結果顯示，BitNet在GSM8K（數學）、PIQA（物理常識）等基準測試中表現優異，整體性能與主流1B-2B參數的全精度模型相當。同時，在能耗和CPU解碼延遲上也占據了顯著優勢，每token能耗僅為0.028焦耳，CPU解碼延遲為29毫秒。
然而，值得注意的是，BitNet的高效性需要依賴微軟提供的專用C++框架bitnet.cpp來實現。如果使用標準工具如Hugging Face transformers庫，則無法充分展現其速度和能耗優勢。
微軟還透露了未來的計劃，包括優化GPU和NPU支持，延長上下文窗口至4096 token，并探索更大規模的模型、多語言功能以及硬件協同設計。目前，BitNet b1.58 2B4T已經以MIT許可證在Hugging Face上發布，供社區進行測試和應用。
