新闻笔记 · IDAEO AI News

突破AI内存墙!美光全球首款512GB DDR5服务器模块亮相,单机容量上看12TB、2027年下半年量产
#内存技术

突破AI内存墙!美光全球首款512GB DDR5服务器模块亮相,单机容量上看12TB、2027年下半年量产

发布者:

TL;DR · 这代表什么

单条512GB内存可让AI模型直接常驻主内存,减少数据搬移

相关实体 株式会社蜂盛贵

新闻正文

当AI服务器竞赛从GPU算力一路延伸到内存容量、带宽与功耗,内存正成为数据中心扩张的下一道瓶颈。美光科技(Micron Technology)今日(16日)宣布,已在多个服务器平台展示全球首款512GB DDR5 RDIMM,最高传输速率达9,200 MT/s;若搭载于具备24个内存插槽的双路服务器,单机DDR5内存容量最高可达12TB。AMD与Intel正展开平台验证,美光预计2027年下半年配合客户需求量产。

随着大型语言模型(LLM)、代理型AI、即时推论及高内核数CPU工作负载快速普及,服务器面临的问题已不只是算力不足。当模型与数据集规模持续扩大,若主内存容量或带宽跟不上,系统就必须频繁将数据移往速度较慢的保存层,增加数据搬移时间、能源消耗及基础架构成本。

美光此次把单条DDR5 RDIMM容量提高至512GB,目的就是让更大的模型与数据集直接常驻主内存,缩短数据与运算引擎之间的距离,并降低对SSD等保存层的依赖。

TSV垂直堆栈 既有服务器尺寸塞进12TB内存

美光指出,512GB DDR5 RDIMM的高密度,来自其垂直互连封装技术。通过直通硅晶穿孔(Through-Silicon Via,TSV)垂直堆栈DRAM晶粒,可在单一DRAM封装内提高容量,同时维持数据中心所需的传输性能。

在不改变既有服务器规格尺寸的情况下,配置24个内存插槽的双路服务器,若全数搭载512GB RDIMM,整机内存容量最高可达12TB,可望支持更大规模的AI模型、内存内数据库及高密度虚拟化环境。

美光资深副总裁暨云端内存事业部总经理Raj Narasimhan表示,512GB RDIMM可实现数TB容量等级的服务器,让更庞大的数据集维持在运算引擎附近,支持更大规模的AI与数据库工作负载、更高的虚拟化密度及更佳的功耗效率,而且不必扩大既有服务器尺寸。

相同512GB容量 功耗较四条128GB模块降低逾60%

高密度内存带来的效益不只容量提升。美光表示,相较以四条128GB RDIMM组成相同的512GB容量,单条512GB RDIMM的运作功耗可降低超过60%。

这项比较并非代表整台服务器功耗降低60%,而是指相同内存容量下的模块运作功耗差异。对大规模数据中心而言,减少内存模块数量,可望进一步降低服务器散热与用电负担,并在有限的机柜空间内提高内存配置密度。

在性能方面,美光公布,在以Spark支持矢量机(SVM)为基础、受内存性能限制的数据分析工作负载中,512GB RDIMM相较256GB DDR5组态,性能最高可达1.4倍。

美光也将RocksDB、Redis等内存密集型数据库及缓存平台列为主要应用场景。通过提高单机内存容量,可让更多数据留在主内存内,改善吞吐量、增加并行处理能力,并支持更大规模的数据集。

AMD、Intel展开验证 瞄准次世代服务器平台

为加快导入服务器市场,美光目前正与AMD及Intel合作,针对次世代服务器平台进行512GB DDR5 RDIMM验证,以确认兼容性及后续部署条件。

AMD运算与企业AI平台解决方案工程企业副总裁Amit Goel表示,AI与数据密集型工作负载正在重塑基础架构需求,AMD与美光通过运算及内存技术合作,希望为规模与复杂度持续提高的工作负载,创建更均衡的基础架构。

Intel数据中心事业群平台与系统工程总经理Karin Eibschitz Segal则指出,AI及其他数据密集型工作负载的成长,让内存容量与带宽对整体系统性能的重要性持续提高。Intel正与美光合作验证512GB DDR5 RDIMM,为未来服务器平台导入做准备。

企业客户也开始关注超高容量内存的应用。JPMorganChase基础架构平台首席信息官Darrin Alves表示,随着数据中心工作负载成长,企业更重视如何在运算、内存与效率之间取得平衡;更高容量的内存技术,有助支持大型内存内工作负载、提高资源使用率,并增加运算环境的扩充弹性。

美光预计于2027年下半年,配合客户需求量产512GB DDR5 RDIMM。不过,公司此次尚未公布送样时程、首批采用客户及实际产量规模,后续仍须观察AMD、Intel平台验证进度,以及云端服务商、AI数据中心与大型企业导入超高容量内存的速度。

常见问题(FAQ)

512GB DDR5 RDIMM的最高傳輸速度為何?

最高傳輸速率達9,200 MT/s,支援高頻寬AI工作負載。

此記憶體可在現有伺服器使用嗎?

尺寸相同,但正於AMD與Intel次世代平台驗證中,預計2027年量產。

功耗可降低多少?

相同512GB容量下,相比四條128GB模組,功耗降低逾60%。

主要應用場景為何?

大型語言模型、記憶體內資料庫(RocksDB、Redis)及高密度虛擬化環境。

何時開始量產?

美光預計2027年下半年量產,目前正進行平台驗證。

今日小测

美光512GB DDR5 RDIMM预计何时量产?