Tools

工具速评:Nemotron 3 Ultra——NVIDIA 用 LatentMoE 押注「又快又开」的编程模型

5 min read ·

💡 一句话总结:Nemotron 3 Ultra 不是来比绝对智商的。它用 LatentMoE、Hybrid Mamba-Transformer、内建多 token 预测和 NVFP4,把「又大又快又便宜的编程模型」做成了美国开源权重的新标杆——智能领先美国同类,但仍落后中国开源前沿,主战场是性价比。

一、NVIDIA 正式下场做模型

6 月 1 日,Jensen Huang 的 Computex keynote 上,NVIDIA 发布了 Nemotron 3 Ultra:550B 总参数、55B 激活,是 Nemotron 3 系列迄今最大的一款。

这件事本身就值得注意——一家以卖 GPU 为本的公司,正越来越认真地做模型。Nemotron 3 Super 已经证明 NVIDIA 能做出有竞争力的开源模型,Ultra 则是把这条线推到了旗舰规模。问题是:在开源模型已经卷成红海的当下,它凭什么?

答案不在「智商」,而在「速度和性价比」。

二、定位:美国开源最强,但不是全球最强

先把位置摆正。在 Artificial Analysis 的智能指数上:

模型智能指数(约)阵营
Nemotron 3 Ultra 550B48美国开源
Gemma 4 31B39美国开源
Nemotron 3 Super36美国开源
gpt-oss-120b33美国开源
中国开源前沿(Kimi/GLM/Qwen 等)更高中国开源

结论很清楚:Nemotron 3 Ultra 把「美国开源权重最强」这个位置坐稳了,大幅领先 Gemma 4、自家 Super 和 gpt-oss——但放到全球开源前沿,中国主导的那一档(Kimi、GLM、Qwen、DeepSeek 等)整体仍在更高的位置。

所以 NVIDIA 没在比绝对智商。它打的是另一张牌:在「够用的智能」之上,把速度和成本做到极致。

三、三个架构亮点

Nemotron 3 Ultra 的「快」不是堆出来的,是设计出来的。三个关键选择:

1. LatentMoE:在压缩空间里路由专家。 普通 MoE 用完整隐藏维度做专家路由和计算,开销大。LatentMoE 先把每个 token 投影到一个更小的潜在维度,在这个压缩空间里完成路由与专家计算,再投影回来。路由和计算都在低维进行,显著降低了 MoE 部分的算力与访存开销——这是它能在 550B 体量下保持高吞吐的核心。

2. Hybrid Mamba-Transformer 骨干。 多数层用 Mamba 处理长序列、保证序列效率,少数层保留 Transformer 以维持表达力。长上下文代码场景下,这种混合骨干比纯 Transformer 更省、更快。

3. 内建多 token 预测(MTP)+ NVFP4。 模型一次前向能预测多个未来 token,天然支持投机解码,长序列生成提速明显;训练用 NVFP4(4-bit 浮点,E2M1 元素 + 16 元素微块 + E4M3 缩放,配随机 Hadamard 变换和随机舍入),把算力成本进一步压低。

这三者叠加,指向同一个目标:低延迟、高吞吐、低成本的代码生成。

四、性价比:编程任务便宜约三成

把架构红利落到账单上,Nemotron 3 Ultra 的卖点就清楚了:在编程类任务上,它的单位成本比同级中国开源模型低约三成,而性能相近。

对一个要大量、频繁跑代码 agent 的团队,这笔账很实在。代码 agent 的特点是高频调用、长序列生成、对延迟敏感——正好全部踩在 Nemotron 3 Ultra 的优化点上。当智能差距不大时,每个任务便宜 30%、生成更快,比多几分跑分更能决定选型。

这也是为什么外界把它总结成「为快速、开放的编程模型立了个标杆」——它不试图在所有维度赢,而是在「编程性价比」这个具体战场上做到最优。

五、一个必须实测的坑:冗长

夸完要泼盆冷水。Nemotron 3 系列以「高速」著称,但也有个被评测者反复点名的毛病:输出极度冗长。Nemotron 3 Super 在第三方评测里曾被指出,跑完同一套评测生成的 token 量远超同类平均——高速归高速,话太多。

Ultra 与 Super 同源,这个特性很可能被继承。对使用者的含义是:便宜的单价,可能被冗长的输出量抵消。 单价低 30%,但如果它生成的 token 比对手多 50%,实际账单未必便宜。

所以选型时别只看每百万 token 的标价,一定要在你的真实任务上实测「完成一个任务的总 token 消耗」,按「每任务成本」而非「每 token 成本」来比。这是这款模型最容易翻车的地方。

六、谁该用,谁该绕

七、小结

Nemotron 3 Ultra 是一款定位极其清醒的模型:它不假装要赢下绝对智能,而是用 LatentMoE、Hybrid Mamba-Transformer、内建 MTP 和 NVFP4,把「又快又便宜的编程模型」做成了美国开源权重的新标杆。它的价值在性价比,它的风险在冗长。如果你的活儿是海量跑代码,它值得进候选名单——但请用「每任务成本」而不是「每 token 单价」来做最终决定。

Frequently asked questions

Nemotron 3 Ultra 是目前最强的开源模型吗?
不是,它是「美国开源权重阵营里最强」,但放到全球开源前沿仍落后。在 Artificial Analysis 智能指数上,Nemotron 3 Ultra 拿到 48 分,明显高于其他美国开源模型——Gemma 4 31B 约 39、Nemotron 3 Super 约 36、gpt-oss-120b 约 33。但中国主导的开源前沿(Kimi、GLM、Qwen、DeepSeek 等)整体仍在更高的位置。所以准确的说法是:它把「美国开源最强」这个位置坐稳了,而不是登顶全球开源。NVIDIA 也没在比绝对智商,它打的是速度和性价比。
LatentMoE 和普通的 MoE 有什么区别?
普通 MoE 里,每个 token 用完整的隐藏维度去做专家路由和计算,开销随维度和专家数上升。LatentMoE 的做法是先把输入 token 投影到一个更小的「潜在维度」,在这个压缩空间里完成专家路由与计算,再投影回来。好处是路由和专家计算都在更低维度上进行,显著降低了 MoE 部分的计算与访存开销,从而在同等激活参数下跑得更快。这是 Nemotron 3 Ultra 能在 550B 体量下保持高吞吐的关键架构选择之一,也是它「又大又快」的来源。
为什么说它是「为编程优化」的模型?
几个设计叠加指向同一目标——低延迟、高吞吐、低成本的代码生成。Hybrid Mamba-Transformer 骨干让多数层用 Mamba 处理长序列、少数层用 Transformer 保住表达力,长上下文代码场景更高效;内建的多 token 预测(一次前向预测多个未来 token)天然支持投机解码,长序列生成提速明显;NVFP4 低精度训练进一步压低算力成本。综合下来,在编程类任务上它的单位成本比同级中国开源模型低约三成,性能相近。对要大量、频繁跑代码 agent 的团队,这种「性价比」比多几分智商更实在。
NVFP4 是什么,对使用者有影响吗?
NVFP4 是 NVIDIA 推的 4-bit 浮点格式,采用 E2M1 元素格式、16 元素为一个微块、用 E4M3 做微块缩放,并配合随机 Hadamard 变换和随机舍入等技巧来稳住低精度训练的数值。对终端使用者来说,你不需要手动处理这些——它主要影响的是训练和推理的成本效率:更低的精度意味着更省显存和算力,是这款模型能做到「快且便宜」的底层支撑之一。当然,要拿到 NVFP4 的全部收益,硬件和推理栈需要原生支持这个格式,NVIDIA 自家的栈适配最好。
我该选 Nemotron 3 Ultra 还是中国开源前沿模型?
看你优先什么。如果要绝对智能上限、或做复杂推理密集任务,中国开源前沿(Kimi、GLM、Qwen 等)整体智能更高,值得优先。如果你的场景是大规模、高频的代码生成 agent,追求低延迟、高吞吐和单位成本,且偏好美国来源/NVIDIA 栈适配,Nemotron 3 Ultra 的性价比很有竞争力。此外要留意 Nemotron 3 系列以「高速但输出冗长」著称——Super 曾被评测者指出生成量远超同类,Ultra 同源需在你的任务上实测 token 消耗,否则便宜的单价可能被冗长抵消。
// next.txt ›

Some outbound links in this post are affiliate links — see disclosure.