新闻正文
当AI服务器竞赛从GPU算力一路延伸到内存容量、带宽与功耗,内存正成为数据中心扩张的下一道瓶颈。美光科技(Micron Technology)今日(16日)宣布,已在多个服务器平台展示全球首款512GB DDR5 RDIMM,最高传输速率达9,200 MT/s;若搭载于具备24个内存插槽的双路服务器,单机DDR5内存容量最高可达12TB。AMD与Intel正展开平台验证,美光预计2027年下半年配合客户需求量产。
随着大型语言模型(LLM)、代理型AI、即时推论及高内核数CPU工作负载快速普及,服务器面临的问题已不只是算力不足。当模型与数据集规模持续扩大,若主内存容量或带宽跟不上,系统就必须频繁将数据移往速度较慢的保存层,增加数据搬移时间、能源消耗及基础架构成本。
美光此次把单条DDR5 RDIMM容量提高至512GB,目的就是让更大的模型与数据集直接常驻主内存,缩短数据与运算引擎之间的距离,并降低对SSD等保存层的依赖。
TSV垂直堆栈 既有服务器尺寸塞进12TB内存
美光指出,512GB DDR5 RDIMM的高密度,来自其垂直互连封装技术。通过直通硅晶穿孔(Through-Silicon Via,TSV)垂直堆栈DRAM晶粒,可在单一DRAM封装内提高容量,同时维持数据中心所需的传输性能。
在不改变既有服务器规格尺寸的情况下,配置24个内存插槽的双路服务器,若全数搭载512GB RDIMM,整机内存容量最高可达12TB,可望支持更大规模的AI模型、内存内数据库及高密度虚拟化环境。
美光资深副总裁暨云端内存事业部总经理Raj Narasimhan表示,512GB RDIMM可实现数TB容量等级的服务器,让更庞大的数据集维持在运算引擎附近,支持更大规模的AI与数据库工作负载、更高的虚拟化密度及更佳的功耗效率,而且不必扩大既有服务器尺寸。
相同512GB容量 功耗较四条128GB模块降低逾60%
高密度内存带来的效益不只容量提升。美光表示,相较以四条128GB RDIMM组成相同的512GB容量,单条512GB RDIMM的运作功耗可降低超过60%。
这项比较并非代表整台服务器功耗降低60%,而是指相同内存容量下的模块运作功耗差异。对大规模数据中心而言,减少内存模块数量,可望进一步降低服务器散热与用电负担,并在有限的机柜空间内提高内存配置密度。
在性能方面,美光公布,在以Spark支持矢量机(SVM)为基础、受内存性能限制的数据分析工作负载中,512GB RDIMM相较256GB DDR5组态,性能最高可达1.4倍。
美光也将RocksDB、Redis等内存密集型数据库及缓存平台列为主要应用场景。通过提高单机内存容量,可让更多数据留在主内存内,改善吞吐量、增加并行处理能力,并支持更大规模的数据集。
AMD、Intel展开验证 瞄准次世代服务器平台
为加快导入服务器市场,美光目前正与AMD及Intel合作,针对次世代服务器平台进行512GB DDR5 RDIMM验证,以确认兼容性及后续部署条件。
AMD运算与企业AI平台解决方案工程企业副总裁Amit Goel表示,AI与数据密集型工作负载正在重塑基础架构需求,AMD与美光通过运算及内存技术合作,希望为规模与复杂度持续提高的工作负载,创建更均衡的基础架构。
Intel数据中心事业群平台与系统工程总经理Karin Eibschitz Segal则指出,AI及其他数据密集型工作负载的成长,让内存容量与带宽对整体系统性能的重要性持续提高。Intel正与美光合作验证512GB DDR5 RDIMM,为未来服务器平台导入做准备。
企业客户也开始关注超高容量内存的应用。JPMorganChase基础架构平台首席信息官Darrin Alves表示,随着数据中心工作负载成长,企业更重视如何在运算、内存与效率之间取得平衡;更高容量的内存技术,有助支持大型内存内工作负载、提高资源使用率,并增加运算环境的扩充弹性。
美光预计于2027年下半年,配合客户需求量产512GB DDR5 RDIMM。不过,公司此次尚未公布送样时程、首批采用客户及实际产量规模,后续仍须观察AMD、Intel平台验证进度,以及云端服务商、AI数据中心与大型企业导入超高容量内存的速度。