最強AI晶片英偉達H200深夜發佈，Llama2-70B推理提速90%，2024年二季度發貨

編輯：蛋醬、陳萍

晶片巨頭英偉達，又打出一張王牌。

英偉達在 2023 年全球超算大會（SC2023）上發佈了目前世界上最強的 AI 晶片 H200。

這款新的 GPU 基於 H100 進行了升級，記憶體頻寬提高了 1.4 倍，記憶體容量提高了 1.8 倍，提高了處理生成式 AI 任務的能力。該公司高效能運算和超大規模資料中心業務副總裁 Ian Buck 表示：「英偉達在硬體和軟體上的創新正在締造新型 AI 超算。」

英偉達在官方部落格中表示：NVIDIA H200 Tensor Core GPU 具有改變遊戲規則的性能和記憶體功能，可增強生成式 AI 和高效能運算 (HPC) 工作負載。作為首款採用 HBM3e 的 GPU，H200 藉助更大更快的記憶體可加速生成式 AI 和大型語言模型 (LLM) 的運行，同時推進 HPC 工作負載的科學計算。

1f944e9ffc1e370a1933e0c401e2bd4d6f2adfd2

除此以外，Buck 還展示了一個伺服器平臺，該平臺通過 NVIDIA NVLink 互連連接四個 NVIDIA GH200 Grace Hopper 超級晶片。四核配置在單個計算節點中配備了多達 288 個 Arm Neoverse 核心和 16 petaflops 的 AI 性能，以及高達 2.3 TB 的高速記憶體。

大模型推理加速 1.9 倍

NVIDIA H200 基於 NVIDIA Hopper 架構，與 H100 相互兼容，這意味著已經使用先前模型進行訓練的人工智慧公司將無需更改其伺服器系統或軟體即可使用新版本。

H200 是首款以 4.8 TB/s 速度提供 141 GB HBM3e 記憶體的 GPU，這幾乎是 NVIDIA H100 Tensor Core GPU 容量的兩倍。H200 還配備了高達 141GB 超大視訊記憶體，與 H100 的 80GB 相比，容量幾乎翻倍，並且頻寬還增加了 2.4 倍。

6c84e109b96ece283c3419d399b3778285f29424

H200 更大更快的記憶體可加速生成式 AI 和 LLM 的運行，同時以更高的能源效率和更低的成本推進 HPC 工作負載的科學計算。

例如，在處理 Llama2 等 LLM 時，H200 的推理速度比 H100 GPU 提高了近 2 倍。

2f38c789fdbce7db78c0c19783c2eb04394b772f

運行 GPT-3 等模型時，NVIDIA H200 Tensor Core GPU 的推理性能提高了 18 倍。不僅如此，在其他生成式 AI 基準測試中，還能在 Llama2-13B 上每秒可處理 12000 個 tokens。

8df2e513b8c58595e7b1f951835ef82e6dabfc1b

記憶體頻寬對於 HPC 應用程序至關重要，因為它可以實現更快的資料傳輸，減少複雜的處理步驟。對於那些記憶體密集型 HPC 應用如模擬仿真、人工智慧研究等，H200 更高的記憶體頻寬可確保高效地訪問和運算元據，與 CPU 相比，給出結果的時間最多可加快 110 倍。

8e8f4963c5b9cada0e6a12656f8be264c4908cd0

隨著 H200 的推出，能源效率和 TCO 達到了新的水平。

下圖為 H200 一些參數介紹：

英偉達表示，從明年開始，亞馬遜網路服務、Google雲、微軟 Azure 和甲骨文雲基礎設施將成為首批部署基於 H200 實例的雲服務提供商。

官網資訊顯示，H200 將於 2024 年第二季度開始向全球系統製造商和雲服務提供商供貨。但對於 H200 的價格，英偉達還沒有透露具體數字。CNBC 報道稱，上一代 H100 的售價估計為每臺 2.5 萬美元至 4 美元，需要數千臺才能以最高水平運行。

關於 H200 是否會像 H100 一樣供應緊張，英偉達對此並沒有給出答案。

在給 The Verge 的郵件中，英偉達發言人 Kristin Uchiyama 表示 H200 的亮相不會影響 H100 的生產：「你會看到我們全年的總體供應量有所增加，並且我們將繼續長期購買供應。」

最新一期超算 Top500 出爐

8 成新上榜系統使用英偉達 H100

與此同時，SC23 大會還發布了最新一期超算 TOP500 榜單。Frontier 系統仍保持榜首位置，並且仍然是榜單上唯一的百億億次計算機，但前十名的格局已經被五個新的或升級後的系統改變。

528db30203dcf6f517459da1713cf4e4860a7119

榜單地址：https://www.top500.org/lists/top500/2023/11/

在新一期榜單中，使用英偉達技術的超算系統數量達到了有史以來的最高水平 379 臺，其中包括 49 臺新上榜超算中的 38 臺。這一數字在今年 5 月份是 372 臺。

英偉達為這些系統提供了超過 2.5 exaflops 的高效能運算性能，高於 5 月份的 1.6 exaflops。其中，在前 10 名中，英偉達就貢獻了近 1 exaflops 的高效能運算性能和 72 exaflops 的 AI 性能。

比如，微軟 Azure 的 Eagle 系統在 NDv5 實例中使用了 H100 GPU，以 561 petaflops 的成績位列第 3，在新上榜的超級計算機中遙遙領先，巴塞羅那的 Mare Nostrum5 排名第 8，英偉達 Eos（最近在 MLPerf 基準測試中創造了新的 AI 訓練記錄）排名第 9。