數位關鍵字148.傳輸與網路成AI運算關鍵!AMD、Intel靠開放標準追得上NVIDIA?

數位時代 Business Next

2024-08-1700:28:45

Available Platforms

NVIDIA業績、市值與股價都再創新高,它在高效能運算與AI市場的領先,讓公有雲服務商、晶片商都開始努力追趕,甚至為此各自推出軟硬體生態系。本集由數位時代創新長黃亮崢James,邀約邀約友訊科技D-Link董事高宏傑Brian,來討論 NVLINK 、NVSWITCH與InfiniBand等一系列匯流排、網通技術、傳輸標準投入,並探討不同廠商間所推標準與開放生態系的競爭態勢。

NVLINK 是 NVIDIA 開發的高速匯流排技術,已存在十多年,但隨著 AI 興起而變得更加重要。相較於傳統的 PCI-E 匯流排,NVLINK 能提供高達 900GB/s 的資料交換速度,遠超 PCI-E 5.0 的 64GB/s。除了高頻寬,NVLINK 還具有低延遲的特性,不需透過 CPU 指揮即可運作,大大提升了多 GPU 系統的效能。

NVSWITCH 則是為了解決 GPU 連接數量限制而開發的技術。類似網路交換機,NVSWITCH 可連接更多 GPU,甚至可跨越多個伺服器,實現高達 32,000 顆 GPU 同時運作的 AI 工廠。另外還有 NVLINK C2C 技術,用於將不同晶片封裝成一顆,如 GH200 就封裝了 GRACE CPU、H100 GPU 和記憶體。

傳輸速度對AI運算至關重要。以自動駕駛為例,需要處理海量的即時數據,包括攝影機和雷達產生的大量資訊。這些數據需要以自動化的工作流快速處理、標註和訓練,這就需要高速的數據傳輸環境。另一個例子是 OpenAI 的 GPT-3 模型,擁有數百億參數,每次運算需要處理大量數據,對記憶體交換量要求極高。

雖 NVIDIA 在 AI 市場佔有率高達九成,但仍面臨競爭。Intel 主導的 CXL (Compute Express Link) 基於 PCI-E 技術,具有良好的兼容性,但速度較慢。AMD 主導的 UALINK 則是最新的挑戰者,擁有眾多知名廠商支持,如 Intel、Google、Facebook、Cisco 等,致力於優化現有乙太網路以實現多 GPU 協同工作。

此外,基於現有乙太網路(ETHERNET)優化的 ULTRA ETHERNET 聯盟則針對 NVIDIA 的另一項技術 INFINIBAND。INFINIBAND 在高速計算領域彌補了乙太網路的不足,而 ULTRA ETHERNET 旨在通過修改乙太網路協議來爭奪這一市場。

NVIDIA 在 AI 市場處於主導地位,但其他廠商正積極結盟和並建立開放標準。這場競爭可能會重現 iPhone 與 Android 之戰,但最終勝出者仍未可知。要挑戰 NVIDIA 的優勢,單一技術或領域很難成功,必須整合出一個開放的生態系才有機會。

Comments