英偉達深夜再放炸彈，發布超級芯片GH200反擊AMD
英偉達深夜再放炸彈，發布超級芯片GH200反擊AMD洛杉磯當地時間8月8日，在計算機圖形學頂會SIGGRAPH 2023現場，英偉達再度釋放深夜“炸彈”，大模型專用芯片迎來升級版本。
洛杉磯當地時間8月8日，在計算機圖形學頂會SIGGRAPH 2023現場，英偉達再度釋放深夜“炸彈”，大模型專用芯片迎來升級版本。英偉達在會上發布了新一代GH200 Grace Hopper平臺，該平臺專為處理大語言模型、推薦系統、矢量數據庫等全球最復雜的生成式 AI 工作負載而構建。GH200 Grace Hopper平臺依托于搭載全球首款搭載HBM3e處理器的新型Grace Hopper超級芯片——GH200。HBM3e 內存比當前 HBM3 快 50%，可提供總計 10TB/s 的帶寬。這使得新平臺能夠運行比上一版本大 3.5 倍的模型，同時憑借快 3 倍的內存帶寬提升性能。據介紹，該平臺采用雙配置，提供的內存容量和帶寬比當前產品分別增加了 3.5 倍和 3 倍，包括一個擁有 144 個 Arm Neoverse 內核、8 petaflops 的 AI 性能和 282GB 最新 HBM3e 內存技術的單個服務器。英偉達創始人兼首席執行官黃仁勛表示：“為了滿足對生成式 AI 不斷激增的需求，數據中心需要能夠滿足特定需求的加速計算平臺。全新GH200 Grace Hopper 超級芯片平臺以出色的內存技術和帶寬，提高了吞吐量，在不影響性能的情況下可連接多 GPU 以整合性能，并且具有可以輕松部署到整個數據中心的服務器設計。”據英偉達公布信息，新平臺可以通過 NVIDIA NVLink 與其他超級芯片連接，使它們能夠協同工作，從而部署當下大型生成式 AI 模型。這種高速、一致性技術使 GPU 可以完全訪問 CPU 內存，在雙配置中可提供總計 1.2TB 的快速內存。
值得注意的是，新平臺采用的新款超級芯片GH200與此前發布的H100相比，二者使用同樣的GPU，但GH200將同時配備高達141G的內存和72核ARM中央處理器，每秒5TB帶寬，內存增加了1.7倍，帶寬增加了1.5倍。英偉達稱，GH200已于 5 月全面投產，基于GH200 Grace Hopper平臺的新系統將于2024年第二季度交付。新平臺和芯片的加持，也讓大模型訓練的成本得到有效降低。黃仁勛表示，一臺服務器可以同時裝載兩個GH200超級芯片，大型語言模型的推理成本將會大幅降低。據介紹，投資800萬美元Grace Hopper，就相當于8800個價值1億美元的x86 GPU，意味著成本降低12倍，能耗降低20倍。為降低了啟動企業 AI 項目的復雜性，英偉達當日還發布了英偉達AI Workbench。其能夠為開發者提供一個統一、易用的工作空間，使他們有能力在個人電腦或工作站上快速創建、測試和微調生成式 AI 模型，然后將這些模型擴展到幾乎所有數據中心、公有云或DGX Cloud。
AI Workbench通過一個在本地系統上運行的簡化界面訪問，開發者可以使用自定義數據對來自 Hugging Face、GitHub 和 NVIDIA NGC 等流行資源庫的模型進行定制。然后，這些模型可以多個平臺之間輕松共享。英偉達企業計算副總裁 Manuvir Das 表示：“全球各地的企業都在競相尋找合適的基礎設施并構建生成式 AI 模型和應用。NVIDIA AI Workbench 為跨組織團隊創建基于 AI 的應用提供了一條簡化的途徑，而這些應用正日益成為現代商業的關鍵。”此外，英偉達與 Hugging Face 宣布建立合作伙伴關系，為數百萬開發者提供生成式 AI 超級計算服務，幫助他們構建大語言模型（LLM）和其他高級 AI 應用。此次合作將使開發者能夠使用 Hugging Face 平臺內的 NVIDIA DGX Cloud AI 超級計算為高級 AI 模型進行訓練及調優，借助為智能聊天機器人、搜索、摘要等特定行業應用的業務數據定制的大語言模型（LLM），推動生成式 AI 在各個行業中的應用。黃仁勛表示：“Hugging Face 與 英偉達正在將全球最大的 AI 社區與英偉達在全球領先云環境中的AI計算平臺相連接。通過雙方的合作，Hugging Face 社區用戶只需要點擊一下鼠標，就可以使用 NVIDIA AI 計算。”作為合作的一部分，Hugging Face 將提供一項名為“訓練集群即服務”的新服務，用以簡化企業創建新的自定義生成式 AI 模型的過程。該服務由 NVIDIA DGX Cloud 提供支持，將在未來幾個月內推出。為可擴展的開放式3D世界生態系統通用場景描述提供加速，英偉達在會上還發布了3款適用于臺式工作站的GPU：RTX 5000、RTX 4500和RTX 4000。這些工作站級別的 GPU 采用第三代RT Core，其吞吐量高達上一代的2倍。這使得用戶能夠實時處理更大且保真度更高的圖像。英偉達針對企業客戶，還為去年發布的RTX 6000推出了最新的一站式解決方案RTX工作站。新的RTX工作站由英偉達和BOXX、戴爾科技、惠普和聯想合作推出，支持最多4張RTX 6000 GPU，可以在15小時內完成8.6億token的GPT3-40B的微調。
在價格方面，RTX 5000 售價 4000 美元；RTX 4500 售價 2250 美元；RTX 4000 售價 1250 美元。目前，RTX 5000 已經在 Leadtek、PNY 和 Ryoyo Electro 等合作伙伴處上市銷售，而其他兩款 GPU 以及搭載最多四塊 RTX 6000 GPU 的 NVIDIA RTX 工作站系統將在今年秋季推出。英偉達此次深夜放大招，也被視為對競爭對手AMD的反擊，此前英偉達曾預告將發布與AMD的大模型專用芯片Insight MI300X CPU + GPU競爭的產品。黃仁勛在演講中稱，“生成式 AI 時代和 AI 的 iPhone 時刻已經到來”。對于英偉達來說，此次發布的GH200芯片及相應平臺，以及AI Workbench、工作站用GPU等，都將成為AIGC時代英偉達商業拓展之路前進的一步。