SK海力士( 000660KS ) 在高带宽内存（HBM）之外再推新技术，于2026年OCP全球高峰会发表MARS内存加速架构与高带宽闪存（HBF）。

MARS在多轮AI推理测试中，首次回应速度较重新计算方案提升3至5倍；HBF则以约HBM一半的带宽，提供约14倍容量，预计2028年初推出样品。

两项技术分别从资源共享与容量扩充切入，瞄准AI训练与推理的内存瓶颈。在辉达等AI芯片厂商对HBM需求强劲、供应持续吃紧之际，SK海力士希望通过不同架构，改善数据中心的内存利用效率与配置弹性。

内存不够用 为何得多买GPU？

SK海力士资深副总裁Hoshik Kim指出，现有以处理器为中心的分布式运算集群，存在资源失衡与扩充缺乏弹性两大问题。

一方面，某台服务器即使有闲置内存，也难以方便地分享给其他节点；另一方面，业者若想增加内存容量，往往必须购买整台新服务器，无法单独依照需求扩充。

这种运算与内存资源紧密绑定的模式，容易迫使营运商配置超出实际运算需求的GPU，不仅推高总持有成本（TCO），也使部分资源无法充分利用。随着AI推理服务扩大，如何让既有内存更有效率地支持不同工作负载，成为数据中心需要处理的问题。

MARS打造共享内存池 首次回应加快

MARS全名为Memory-Centric AI Rack-Scale System，内核概念是将内存与传统CPU、GPU服务器解耦，创建专用的大规模共享内存池，让资源配置不再局限於单一服务器。

这项架构进一步把内存托盘层级的资源池扩展至整个机架，使运算与内存能以共享基础设施的方式协同运作。衡量资源效率的范围，也从单台服务器还有多少可用内存，转向整个资源池能否有效分配容量。

Kim以多轮AI代理推理服务为例说明，随着对话持续进行，KV缓存会快速膨胀。MARS可将这些缓存放在共享内存系统中，避免持续占用GPU端的内存与保存资源。

根据TrendForce现场报导，Kim引用测试数据指出，相较于重新计算方案，MARS可使首次Token回应时间（TTFT）所反映的回应速度提升3至5倍，尾端延迟也明显改善。

这项数据针对的是多轮推理场景的首次回应表现。TTFT攸关用户送出请求后，需要等多久才开始收到回应；尾端延迟则涉及回应较慢的请求，其改善有助于提升大量请求同时进入时的服务稳定性。

对AI推理服务商而言，MARS的效益除了缩短等待时间，也在于提高内存利用率，减少为了扩充内存而额外配置GPU的需求。

HBF容量达14倍 补足HBM容量限制

另一项技术HBF，则从内存容量着手。Kim表示，HBF的带宽约为HBM的一半，容量却可达HBM的14倍，目标是把高带宽保存能力延伸至机架规模的容量配置。

HBF的取舍相当明确，即以较低带宽换取更大的容量空间，让系统能创建更具弹性的保存层级。对需要承载大量模型参数与上下文的大型模型推理而言，容量不足同样可能限制系统性能，HBF因此提供了另一种配置选择。

不过，容量优势并不代表HBF可以全面取代HBM。由于带宽约为HBM的一半，HBF更适合在分层保存架构中扮演容量补充的角色，协助缓解大型模型部署时的容量压力。

2028年初提供样品 规范持续推进

依照SK海力士公布的技术时程，公司已于今年7月发布OCP HBF规范0.7版，预计明年初推出1.0版，HBF Cube样品则规划于2028年初提供。

这代表HBF仍须经过规范完善与样品开发等阶段。2028年初的目标是提供样品，尚不能直接视为大规模商业化部署的时间点。

从两项技术的定位来看，MARS着重于系统架构，通过共享内存池改善资源配置；HBF则着重于保存层级，以更大容量补充HBM。

两者都指向同一个问题：AI基础设施的性能与成本，除了取决于GPU，也受到内存容量、带宽及利用效率影响。

在HBM供应压力持续之际，SK海力士此次发布MARS与HBF，也向云端业者及AI基础设施营运商揭示了HBM之外的技术布局。

随着HBF规范与样品开发推进，新型内存架构将成为内存产业竞争的另一个焦点。