NVIDIA在SC24大会宣布NVIDIA H100的强化版本NVIDIA H200 Tensor Core GPU，核心架构仍基于Hopper，主要在于提升显存的频宽与容量，采用具备4.8TB/s带宽、141GB的HBM3e内存，借此提升整体算力; NVIDIA H200设计与NVIDIA H100具兼容性，系统业者可沿用NVIDIA H100系统设计置换NVIDIA H200。 服务器制造商与云端服务业者预计于2024年第二季推出NVIDIA H200的系统与服务。 NVIDIA H200是首款配置HBM3e的GPU，HBM3e为NVIDIA H200带来高达141GB的内存容量，与4.8TB/s的内存带宽，相较NVIDIA H100容量几乎翻倍、带宽提升达2.4倍，对于生成式AI、大型语言模型还有HPU都有显著的帮助；在实质上的表现，于GPT-3 175B的推论效能提升1.6倍，Llama2 70B推论提升1.9倍，HPC模拟则可提升2倍效能；NVIDIA也将持续透过软件更新持续提升效能。 ▲搭载8路H200的系统具备1.1TB的内存与 32petaflops的FP8效能，有助于执行生成式AI与HPC负载 NVIDIA H200将提供具4路与8路配置的NVIDIA HFX H200服务器主板，具有与JGX100系统的兼容性，并亦可搭配同样具备HBM3e的NVIDIA GH200 Grace Hopper SuperChip使用。 基于8路HGX 200的系统可提供超过32 petaflops的FP8深度学习运算效能与高达1.1TB的HBM3e内存，有助于执行生成式AI与高效能运算，当搭配GH200时，则可做为大规模HPC与AI应用的整合模块。 全球生态系合作伙伴服务器制造商，包括永擎电子、华硕、戴尔科技集团、Eviden、技嘉科技、慧与科技、鸿佰科技、联想、云达科技、美超微、纬创资通和纬颖科技，都可以使用基于H200的直接替换方式来更新其基于H100 的系统。 除了CoreWeave、Lambda和 Vultr之外，从明年开始，亚马逊网络服务、Google Cloud、Microsoft Azure和Oracle Cloud Infrastructure也将成为第一批部署基于 H200 执行个体的云服务供应商。