新一代开放模型瞄准持续运行AI智能体

英伟达对外推出Nemotron3.5SuperVL，这是一款面向长时间运行、多步骤任务AI智能体的开放多模态模型。

模型采用混合专家MoE架构，总参数量1200亿，激活参数120亿。按照英伟达给出的测试数据，在单张GPU上运行智能体相关任务时，该模型最高吞吐量能够达到同级别其他开放模型的5倍。

这款模型把推理、指令跟随、工具调用能力整合在一起，同时具备文本、图像、文档与视频理解能力，能够覆盖多种企业场景。开发者可以借助英伟达NeMo工具链，导入自身业务数据、自定义工具、业务规则与工作流完成后训练，按需调整模型表现。

多家企业落地测试，业务指标实现明显优化

英伟达同步披露多家企业的定制落地案例，直观展现模型在真实业务中的提升效果。

AI数据服务商ScaleAI为影视企业SkydanceCorporation搭建供应商信用处理智能体，项目落地后，相关推理成本预计下降40倍，延迟减少5倍。金融运营平台Ramp用模型把收据图片转化为包含商户名称、交易日期、支付信息的结构化JSON，预计吞吐量最高提升50%，延迟降低10倍。AI21联合AI安全企业Alice完成模型定制，用于威胁情报收集和漏洞分析，任务准确率提升40%。

多维度基准评测成绩出炉

在各类公开基准测试中，Nemotron3.5SuperVL取得不错的测试结果。

CharXiv图表推理测试得分80.8%，对比Nemotron3NanoOmni的63%有明显提升，接入Python代码解释器之后，得分进一步上涨至84%。HermesBench与LangChain行为测试分别拿到63.44%和87.05%，优于Nemotron3Ultra的56.33%与84.3%。在OCRBenchv2榜单上，它也属于综合实力靠前的开放模型。

多项技术降低推理成本，优化分布式部署

为压缩推理开销，Nemotron3.5SuperVL集成投机解码、混合精度、上下文复用等优化手段。

自研LiLiCorr投机解码技术部署在DGXSpark硬件上，token生成速度最高提升至未启用该技术时的2.3倍。模型原生支持NVFP4量化，在Blackwell架构硬件上采用4bit权重搭配4bit激活；非Blackwell平台使用相同模型检查点时，采用4bit权重搭配16bit激活。

英伟达还提供分布式推理优化方案。测试配置为16张NVIDIAB200GPU，单用户每秒生成50个token，借助NVIDIADynamo，搭配缓存感知路由、会话亲和性、KV缓存卸载技术，系统最多可承载8倍用户规模，首token延迟下降85%，该结论限定在本次测试对应的部署条件内。

开放完整模型资产，训练数据规模公开

本次发布同步开放基础模型、后训练模型、NVFP4量化权重，配套训练配方、数据集以及强化学习环境。

模型预训练和持续预训练阶段累计消耗约26万亿token，后训练阶段使用约380万个样本，并且在数十种场景完成强化学习。公开数据集覆盖智能体工具调用、金融推理、指令遵循、长上下文、公平性与视觉语言理解等方向。

边缘端Bolt系列模型同步发布

除SuperVL之外，本次更新还包含两款Nemotron3.5Bolt边缘模型，面向本地运行场景。

Nemotron3.5Bolt74B-A9B24GB，MoE架构总参数740亿，激活参数90亿，依靠原生2bit量化将模型体积压缩至24GB，适配本地智能体任务，支持llama.cpp、vLLM、Ollama、Unsloth和LMStudio等主流推理框架。另一款Nemotron3.5BoltE4B4GB，定位本地语音助手、交互角色与嵌入式界面，预计在10月23日上线。

Nemotron3.5SuperVL和Bolt74B-A9B24GB现已开放获取，开发者可通过HuggingFace、OpenRouter、ModelScope等平台获取资源。SuperVL支持部署在DGXSpark、DGXStation、RTX系列设备、数据中心或者云端环境。BoltE4B4GB将按照计划在10月23日正式推出。

（素材来自：英伟达 智算芯能前沿网综合）

本文由智算芯能前沿网编辑整理，转载请注明出处。