作为生成式AI、图形显示和元宇宙基础设施领域的「狠角色」，全球AI芯片霸主NVIDIA接下来会放出哪些重磅「核弹」，已经预定了科技圈的焦点。 在电脑图形年会SIGGRAPH上，NVIDIA创始人兼CEO黄仁勋一如既往穿着经典的皮衣登场，并一连亮出多款硬件。 在黄仁勋眼中，生成式AI是AI的「iPhone时刻」。 他表示，人类的自然语言将成为新的程序语言，我们已经使计算机科学民主化，现在每个人都可以成为程序员。 在随后大约1小时20分钟的演讲中，黄仁勋宣布全球首发HBM3e内存——推出下一代GH200 Grace Hopper超级芯片。 黄仁勋将它称作「加速计算和生成式 AI 时代的处理器」。 全球第一款HBM3e GPU终于来了！黄仁勋宣布推出针对加速计算和生成式AI的新一代NVIDIA GH200 Grace Hopper超级芯片。 GH200由72核Grace CPU和4PFLOPS Hopper GPU组成，在全球最快内存HBM3e的助攻下，内存容量高达141GB，提供每秒5TB的带宽。 其每个GPU的容量达到NVIDIA H100 GPU的1.7倍，带宽达到H100的1.55倍。 该超级芯片可以用于任何大型语言模型，降低推理成本。 与当前一代产品相比，新的双GH200系统共有144个Grace CPU核心、8PFLOPS计算性能的GPU、282GBHBM3e内存，内存容量达3.5倍，带宽达3倍。 如果将连接到CPU的LPDDR内存包括在内，那么总共内建了1.2TB超闪存。 GH200将在新的服务器设计中提供，黄仁勋还放出了一段动画影像，展示组装面向生成式AI时代的Grace Hopper AI超级计算机的完整过程。 首先是一块Grace Hopper，用高速互连的CPU-GPU Link将CPU和GPU「黏」在一起，通讯速率比PCIe Gen5快7倍。 一个Grace Hopper机架装上NVIDIA BlueField-3和ConnectX-7网络卡、8通道4.6TB高速内存，用NVLink Switch实现GPU之间的高速通讯，再加上NVLink Cable Cartridge，组成了NVIDA DGX GH200建构块。 NVIDA DGX GH200由16个Grace Hopper机架，通过NVLink Switch系统连成丛集，能让256块GPU组成的系统像一块巨型GPU一样工作。 由256块GH200组成的NVIDIA DGX GH200 SuperPod，拥有高达1EFLOPS的算力和144TB高速内存。 NVIDIA Quantum-2 InfiniBand Switch可用高速、低延时的网络连接多个DGX SuperPod，进而搭建出面向生成式AI时代的Grace Hopper AI超级计算机。 这带来的主要优势是，实现同等算力的情况下，用更少卡、省更多电、花更少钱。 黄仁勋抛出一个问题：花1亿美元能买什么？ 过去，1亿美元能买8800张x86 CPU组成的数据中心，功耗是5MW。 如今，1亿美元能买2500张GH200组成的Iso-Budget数据中心，功耗是3MW，AI推理性能达到上述CPU系统的12倍，能效达20倍。 如果达到跟x86 CPU数据中心相同的AI推理性能，Iso-Troughput数据中心只需用到210块GH200，功耗是0.26MW，成本只有CPU数据中心的1/12，仅800万美元。 「买得越多，省得越多。」 黄仁勋再度用这句讲过很多遍的「导购金句」总结。 为方便GH200应用，GH200与今年早些时候在COMPUTEX上推出的NVIDIA MGX服务器规范完全兼容。 因此系统制造商可以快速且经济高效地将GH200新增到其服务器版本中。 新GH200预计将于明年第二季度投产。