英偉達近日正式推出NVIDIA Nemotron 3系列開放模型，涵蓋Nano、Super和Ultra三種規(guī)模，旨在支持大規(guī)模多智能體系統(tǒng)的開發(fā)與部署，實現高效的長上下文推理能力。這一系列模型通過引入創(chuàng)新架構和訓練方法，為AI智能體應用提供了更強大的技術支撐。

Nemotron 3 Nano作為該系列的小型模型，擁有300億參數，每次運行最多激活30億參數，特別適合針對性強、計算成本效益高的任務。該模型在軟件調試、內容摘要、AI助手工作流及信息檢索等場景中表現出色。相比之下，Super模型擁有約1000億參數，每個token最多激活100億參數，適用于需要多智能體協(xié)作的低延遲復雜任務。而Ultra模型則擁有約5000億參數，每個token最多激活500億參數，能夠處理深度研究和策略規(guī)劃等復雜AI工作流。

在技術架構方面，Nemotron 3系列引入了混合Mamba-Transformer MoE架構，結合跨交互式環(huán)境的強化學習，原生支持100萬個token的上下文窗口。這種設計使得模型在多智能體應用中能夠實現高吞吐量和長時域推理。具體而言，Mamba層擅長高效序列建模，Transformer層則通過精細的注意力機制補充邏輯關系，而MoE路由在不增加計算成本的情況下顯著提升了有效參數數量。

為了提升模型的實際應用能力，英偉達采用多環(huán)境強化學習訓練方法，通過開源庫NeMo Gym在多種環(huán)境中對模型進行后訓練。這種方法能夠生成在多步驟工作流程中表現可靠的模型，減少推理漂移，并處理智能體管道中的結構化操作。Nemotron 3的百萬級上下文容量使其在處理長時間多步驟任務時能夠更精準地關聯(lián)信息，支持對大型代碼庫、長文檔和擴展對話的持續(xù)推理。

在訓練效率方面，Nemotron 3 Super和Ultra模型采用了基于NVIDIA Blackwell架構的超高效4位NVFP4訓練格式。這種格式顯著降低了顯存需求，加速了訓練進程，同時提高了模型質量。英偉達還設計了更新的NVFP4算法，確保在25萬億token的預訓練數據集上實現準確穩(wěn)定的訓練。這一創(chuàng)新使得更大規(guī)模的模型能夠在現有基礎設施上進行訓練，而不會因更高精度格式犧牲準確性。

為了支持開發(fā)者構建高性能AI智能體，英偉達還發(fā)布了面向專業(yè)開發(fā)者的訓練數據集與前沿強化學習庫集合。這些資源包括3萬億token規(guī)模的預訓練、后訓練及強化學習數據集，以及用于評估模型安全性和性能的NeMo evaluator。開發(fā)者可以利用這些工具和數據集訓練、增強和評估自己的Nemotron模型，從而加速開發(fā)進程。

Nemotron 3 Nano已上線Hugging Face平臺，并通過多個推理服務商提供支持。其Hugging Face地址為huggingface.co/nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-FP8，體驗地址為build.nvidia.com/nvidia/nemotron-3-nano-30b-a3b。Super和Ultra模型預計將于2026年上半年推出，這兩款更高性能的模型將成為開源社區(qū)關注的重點產品。

英偉達的這一系列舉措不僅為開發(fā)者提供了強大的技術工具，還通過開源開放的方式降低了開發(fā)門檻。通過公開訓練數據、強化學習環(huán)境和訓練代碼，英偉達希望更多開發(fā)者能夠利用優(yōu)質數據構建更好的模型，從而推動AI技術的進步和應用。這一戰(zhàn)略不僅有助于英偉達在AI領域保持領先地位，也為整個行業(yè)的發(fā)展注入了新的活力。