蚂蚁百灵对外宣布开源Ling-3.1-flash大模型。这款模型总参数量约560B，每处理一个Token仅激活约25B参数，最高支持1M上下文窗口，适合企业知识问答、长文档阅读这类需要一次性载入大量文本资料的业务场景。

第三方评测平台ArtificialAnalysis给出的测试结果显示，Ling-3.1-flash智能指数达到41，文本输出速度约210Token每秒。在大模型兼顾长文本理解和生成速度的赛道，这套模型为私有化部署团队提供了新的选择。

量化压缩技术，大幅降低本地部署硬件门槛

大模型私有化落地的一大阻碍，就是权重文件体积大、需要多张高端GPU才能正常运行。开发团队针对模型结构做了分层量化处理，模型内routedexperts部分采用MXFP4量化，dense层则保留block-FP8精度。

经过量化处理之后，模型权重占用空间从原本约534GB缩减至292GB。在HopperGPU的对应测试环境中，部署运行所需的GPU卡数从8卡下降到4卡。

团队同时提示，实际运行时需要的硬件资源不是固定数值，会受到上下文长度、并发请求数量和服务配置方案影响，企业规划资源时需要结合自身业务测算。

长文本推理与工具调用能力升级，适配业务系统对接

针对企业经常遇到的长资料读取需求，Ling-3.1-flash配套开发长上下文并行推理方案，也就是PCP与DCP技术，用来处理超长输入文本。工具调用模块也做了优化，增强JSONSchema的兼容能力，开发人员可以更方便地把模型接入现有的业务接口，搭建智能体工作流。

企业办公助手、知识库检索场景，普遍存在输入文档很长，但用户希望快速拿到回复的需求。研发团队依靠算子融合与DSpark投机解码两项技术，削减推理阶段的计算开销。

在一组模拟生产环境的测试中，输入文本平均长度约25.47KToken，输出内容约224Token，缓存命中率76%。使用8卡HopperGPU进行测试，平均首Token生成耗时604毫秒，相邻输出Token之间平均间隔3.28毫秒。该组数据可以作为长资料交互场景的性能参考。

高并发场景实测，为企业做容量规划提供参考指标

持续稳定对外提供AI服务的系统，企业需要根据固定GPU预算评估单台实例能够承载多少用户请求。团队搭建4卡HopperGPU环境开展吞吐压力测试，测试样本平均输入8.5KToken，输出800Token。

在这套测试条件下，模型吞吐能力达到约1.36QPS，同时满足预设性能约束：首Token时间P50小于3秒，相邻输出Token间隔P90小于70毫秒。

这类实测数据可以帮助企业IT团队评估服务承载上限，提前规划GPU资源，避免业务高峰期出现响应延迟。

模型定位面向私有化知识场景，平衡性能与硬件成本

从整体设计思路来看，Ling-3.1-flash瞄准企业私有知识库、办公智能体这类场景。这类业务往往需要读取大量内部文档，同时对响应速度、部署成本都有硬性要求。

MoE架构的设计思路，让模型拥有庞大总参数规模的同时，每次推理只激活一小部分参数，以此控制计算量。叠加量化压缩、并行推理、投机解码等一系列优化手段，把原本需要多卡集群才能跑起来的模型，降低硬件准入门槛，让拥有服务器级GPU资源的团队可以自主完成部署。

开源权重的发布，也让开发者可以基于完整模型，在自有基础设施上搭建独立的AI应用，不用依赖外部云端API，更好适配内部数据管控要求。

（素材来自：蚂蚁百灵  智算芯能前沿网综合）

本文由智算芯能前沿网编辑整理，转载请注明出处。