10月12日至15日,OCP全球峰会在圣何塞举行。SK海力士在会后披露了展台上的一组技术方案,核心不是某款可以立即采购的芯片,而是一个系统层面的判断:AI服务器的瓶颈正在从计算能力向内存容量、带宽和数据搬运成本转移。
展出的三套方案——CMM-DDR5、MARS和CMM-Ax——分别对应内存池化、机架级内存解耦和近存计算三条路径。
第二代CMM-DDR5:256GB容量与80GB/s带宽
CMM-DDR5是三者中最接近产品形态的一项。第二代模块容量为256GB,基于CXL 3.2标准,带宽达到80GB/s,是前代的两倍以上,能效改善约30%。
它的用法不是给单台服务器增加内存条,而是把多台服务器可访问的容量集中成一个池,按负载动态切分。
SK海力士与Naver Cloud在这一架构上做了两个概念验证:一个是面向智能体AI的KV缓存共享,另一个是全模态服务中的嵌入共享。
KV缓存在多轮对话中会随轮数和任务数迅速膨胀,放入共享池意味着多台服务器可以复用同一份中间计算结果,而不必各自在本地保留副本。
MARS:把内存从CPU/GPU的绑定中解耦出来
MARS(Memory Centric AI Rack System)的野心更大。它不满足于池化内存模块,而是把整条机架的内存资源从计算节点的物理绑定中解耦,建立一个可以在CPU和GPU之间动态分配、零拷贝共享的专用内存池。
SK海力士在峰会上与AMD、Marvell等伙伴联合演示了这一架构。在多轮智能体AI推理中,MARS将持续增长的KV缓存存放在共享内存系统中,避免GPU内存和存储资源被耗尽,公司报告的首token生成时间(TTFT)提升为3至5倍。这一指标的改善直接指向推理服务的响应速度,而不是训练吞吐。
CMM-Ax与HBF:减少搬运,以及把容量再拉高一层
CMM-Ax走的是另一条路线:把一部分计算功能放进内存内部,让数据在被搬运之前就在原地完成处理。它与MARS的池化路径并不互斥,但两者争夺的是同一个预算——机架内的带宽和功耗。
展台上同时出现的还有HBF(高带宽闪存),这是一种在HBM和SSD之间的存储层级,SK海力士给出的容量扩展倍数为14倍。HBF的定位不是替代HBM,而是在推理场景中承接那些对带宽敏感、但对延迟容忍度高于HBM的容量型负载。
厂商数据与部署之间的距离
需要明确的是,上述性能数字均来自SK海力士自身的演示环境。OCP峰会确认了活动本身的存在,韩联社等独立媒体也确认了CMM-DDR5、MARS和CMM-Ax是此次展示的三项核心技术,但这些方案没有附带独立复现的基准测试、产品定价或全面上市的时间表。
CXL池化和近存计算能否在真实部署中兑现收益,取决于工作负载的访问模式、池化后的延迟抖动是否落在推理服务的可接受范围内,以及软件栈对共享内存的调度支持是否成熟。
XCENA的MX1控制器在SK海力士展台上演示了基于CXL的KV缓存共享和内存内向量检索,双方正在真实AI推理环境中做验证,但同样没有公开延迟和吞吐的量化结果。
(素材来自:SK海力士 智算芯能前沿网综合)
本文由智算芯能前沿网编辑整理,转载请注明出处。
