新科技速遞| AWS 與 NVIDIA 策略合作 全新超級電腦

NVIDIA和AWS在 Project Ceiba上合作，設計全球最快 GPU驅動AI 超級電腦以及最新的 DGX Cloud 超級電腦，供 NVIDIA 的AI 研發與自訂模型開發服務

**[新科技速遞]**

全球雲服務在打一場沒煙硝的戰爭，不過大家只一家軍火商，就是輝達（NVIDIA）。AWS在今年re:Invent 大會重頭戲是生成式AI，推出大量服務，站台也是輝達的創辦人黃仁勳。

Microsoft押注130億美元的OpenAI而一騎絕塵，雲服務Azure的OpenAI Services和Copilot成為王牌，據說OpenAI大模型再有突破，導致董事會分裂辭退Sam Altman。

生成式AI將改變一切，全球最大雲服務AWS不敢輕敵，re:Invent 大會上，行政總裁 Adam Selipsky在主題演說中，公佈多項生成式 AI合作。

實際上，Selipsky指生成式 AI可分三個層面，底層用於訓練大型語言模型的硬件，包括GPU和專用於人工智能晶片的Instance，亦包括SAGEMAKER工具，中間層提供對基礎模型的連接方式，構建和擴展生成式 AI 應用程式的工具。頂層是構建大模型應用，毋須任何專業知識，就可建立生成式 AI應用。

**中美差距漸行漸遠**

生成式 AI最重要是算力，大模型訓練和推論都消耗大量算力，輝達GPU壟斷了大模型9成算力市場。H100 是目前訓練大模型主流GPU，取價三萬美元，比上一代A100快30倍，遭限制輸華，據報華為昇騰910B 只能與A100看齊，可見中國AI算力差距嚴重。

AWS 推出首款結合 NVIDIA研發的Grace Hopper Superchip 超級晶片與 AWS UltraCluster 擴充技術的 AI 超級電腦，Grace Hopper Superchip結合了NVIDIA自家的 ARM處理器和H200系列GPU，有條件成為下一代超級電腦的主流架構。此外，DGX Cloud率先配備GH200 NVL32, 並將在首次 AWS 上提供此AI訓練即服務。

黃仁勳在re:Invent大會上介紹了在AWS的合作，包括在雲端釋放的算力，可訓練多達一兆參數的大模型。

AWS是首家在雲服務推出輝達GPU加速運算的instance，對GPU技術掌握先 ，雙方合作長達 13 年。GPU 執行平行運算，以浮點運算執行大型矩陣和向量運算，GPU用途涵蓋了繪圖、遊戲、高效能運算、機器學習，真正令GPU應用爆發是深度學習，因為矩陣和向量運算，繼而催生了生成式 AI的大潮。

**雲端超級電腦**

今年，AWS是首家推出配備H100的P5 instances雲服務，利用第三代AMD的EPYC處理器，P5算力極為驚人，配合AWS網絡技術和Nitro虛擬化與安全晶片，達 3,200 Gbps低延遲網絡流量， EC2 UltraCluster支援達20,000片 H100 GPU，算力達 20 exaFLOPS。

輝達與 AWS再深度合作，特點是利用輝達新一代 GPU、CPU 與 AI 軟件多節點技術，也就 是整個軟硬件堆疊都是輝達，配合AWS 的 Nitro平台及安全虛擬平台、Elastic Fabric Adapter（EFA）互連介面、以及 UltraCluster 擴充服務，變成雲端超級電腦。部分企業或初創或會自行訓練大模型，Grace Hopper Superchip與 AWS UltraCluster 擴充的 AI 超級電腦，首先肯定是供大模型訓練。

AWS有不少AI獨角獸，變成AWS服務銷售， 包括由前OpenAI員工所創立的Anthropic，訓練出Claude的2.1 版本大模型。Selipsky說，全球有一千家估值超過十億美元的獨角獸，其中八成都利用AWS，包括了Ultima Genomics將基因排序的成本降六成，都是利用了AWS的AI算力。

**瀏覽器連接出租算力**

Grace Hopper架構是輝達自行開發，支援NVLINK，採用ARM架構CPU的架構；功耗比x86架構更低，支援輝達多節點 NVLink 技術設計，可建立晶片至晶片直接互連，每秒連接速度高達 1 TERABYTE， GPU 可存取CPU所有記憶體，CPU亦可訪問GPU 所有記憶體，充份利用兩者算力，減少怠轉的時間。

輝達與 AWS 將在 AWS 推出首個採用 GH200 NVL32 的 DGX Cloud 推出「訓練即服務」（AI-training-as-a-service）方案，輝達稱 DGX Cloud為AI工廠，屬於超級計算集群，搭配輝達AI 軟件，標榜透過瀏覽器，就可向用戶出租AI 算力。運行單一instance的情況下，DGX Cloud可訓練出超過 1 兆參數的大型語言模型。GH200 NVL32 是以機櫃形式，運用NVLink 與 NVSwitch 技術連結起 32 枚 Grace Hopper 超級晶片GH200，可擴充至配備上千顆 GH200 超級晶片的規模。

**雲上建最快AI 電腦**

訓練大語言模型需求日高，傳統超級電腦設計，並不針對AI訓練，加入AI的超級電腦應運而生，輝達在超級電腦榜單上地位日隆。

輝達與 AWS 正合力推動 Project Ceiba，聯手設計全球最快的GPU驅動的 AI 超級電腦。Project Ceiba超級電腦配備 GH200 NVL32機櫃 與 EFA 互連技術，支援16,384片GH200 超級晶片，具備65 exaflops 速度的 AI 運算能力，相等於65部超級電腦，由 AWS 代管供輝達研發團隊服務，可望成為全球最快 GPU驅動的AI 超級電腦。

值得一提是輝達較早前公佈，德國EuroHPC建立JUPITER系統會採用 Grace Hopper 超級晶片GH200，AI 運算能力達90 exaflops，英特爾宣佈為美國能源部開發訓練1 兆參數大型語言模型的Aurora超級電腦。全球超級電腦愈來愈多採用輝達的H200，加上H200配備了美光專門供LLM訓練的記憶體HBM3e，英特爾在超級電腦的市場正受嚴重挑戰。

上月公佈的超級電腦Top500榜單之中，379部利用輝達GPU，49部剛入榜超級電腦之中，38部採用輝達，即使不是利用GH200，現時超級電腦亦會將原本H100升級至 H200。隨著軟件架構升級，輝達的GH200 NVL32稱霸高性能運算市場，似乎指日可待。

NVIDIA和AWS在 Project Ceiba上合作，設計全球最快 GPU驅動AI 超級電腦以及最新的 DGX Cloud 超級電腦，供 NVIDIA 的AI 研發與自訂模型開發服務，配備 NVIDIA GH200、H200、L40S、以及 L4 GPU 等核心的全新Amazon EC2 instances，將大幅提升生成式 AI、高效能運算、設計、以及模擬的工作負載效能。

**生成式AI應用**

黃仁勳稱DGX Cloud是 AI工廠，一點也不為過，因為 AWS 上運行的 NVIDIA 軟件，包括 NeMo LLM 框架、NeMo Retriever、以及 BioNeMo，可加速發展自訂模型、語意檢索、新藥研發等應用的生成式 AI。

AWS 推出三款 Amazon EC2 instances：P5e instance配置H200，針對生成式 AI 及 HPC 運算；以及配置多用途的L4  與L40S 的 G6 與 G6e instance，針對 AI 微調、推論、繪圖、以及影片剪輯。G6e instances特別適合開發 3D 、數碼孿生、以及使用 NVIDIA Omniverse 應用，連結與構建各種生成式 AI 的 3D 應用。

AWS 行政總裁 Adam Selipsky 表示：「 AWS 運用 NVIDIA 技術推動創新，結合新一代 NVIDIA Grace Hopper 超級晶片與 AWS 的 EFA 、EC2 UltraClusters 超大規模叢集、以及 Nitro 虛擬化和保安功能。」

AWS 上運行的 NVIDIA 軟件亦幫助 母公司Amazon 創新服務營運；Amazon運用NeMo 框架訓練新一代Amazon 自家制Titan 大模型，Amazon Robotics 運用 Omniverse Isaac 構建數碼孿生，虛擬環境規劃Amazon無人倉，再遷移至真實場境。

不過AWS也推出新一代自研AI晶片，包括 Graviton4 和 Trainium2，針對機器學習（ML）和生成式 AI訓練，有更高性價比和能源效益，不少提供機器學習和訓練初創，透過專用AI晶片降低成本，實行大小通吃。