人工智能和物聯網
突襲Nvidia！ 英特爾推出AI晶片Gaudi 3宣稱“部分性能優於H200”
英特爾Intel Vision 2024大會於4月8日-9日在美國亞利桑那州鳳凰城登場，會中宣布推出Gaudi 3 AI加速器，由台積電5nm製程代工，挑戰Nvidia在AI領域高市佔率，企業生成式 AI帶來新選擇。
英特爾的Gaudi 3與Nvidia的H100相比，支援AI模型執行推理快了50%，訓練大模型則比H100快了40%。 英特爾更指出，Gaudi 3的表現將與Nvidia的H200比肩，在某些領域的表現甚至會優於H200。
再者，英特爾Gaudi 3在Llama上做測試，可有效地訓練或部署AI大模型，包括文生圖的Stable Diffusion和語音辨識的Whisper等。
英特爾Gaudi 3加速器將於2024年第二季，提供OEM通用基板和開放加速器模型（Open accelerator module, OAM），2024第三季全面上市，包括戴爾科技、慧與科技（HPE）、聯想和美 超微等，都將採用Gaudi 3。
Gaudi 3加速器的主要特點：
AI專用運算引擎：Intel Gaudi 3加速器專為生成式AI運算打造。 每台加速器都有專屬的異質運算引擎，由64個AI自訂和可編程TPC和8個MME組成。 每個Intel Gaudi 3 MME皆能執行64,000個平行運算，運算效率極高，擅於處理複雜的矩陣運算，這也是深度學習演算法的基礎運算。 此獨特的設計大幅提昇平行AI運算的速度和效率，並支援多種資料類型，包括FP8和BF16。
提升內存容量，滿足LLM容量需求：Intel Gaudi 3搭載128 GB的HBMe2內存容量、3.7 TB的內存帶寬和96 MB的on-board靜態隨機存取內存（SRAM），能夠在更少 在的Intel Gaudi 3上，提供處理大型生成式AI資料集所需的足夠內存，且特別適用於大型語言和多模態模型。
為企業提供生成式AI高效系統擴充：每個Intel Gaudi 3加速器皆整合24個200 GB的以太網端口，提供靈活的開放標準網絡，實現高效擴充，以支援大型運算集，並克服 專有網路架構的供應商限制。 Intel Gaudi 3加速器實現單一節點到上千節點的高效擴充，以滿足生成式AI模型的廣泛要求。
開放產業軟件提升開發人員生產力：Intel Gaudi軟件整合PyTorch框架，並提供基於Hugging Face社群的優化模型，是目前生成式AI開發人員最常用的AI框架，讓生成式AI開發人員能夠在高度 在抽象層上進行操作，提升易用性和生產力，並可輕鬆地將模型轉移到不同硬件類型上。
Gaudi 3 PCIe：Gaudi 3高速PCIe附加卡是全新產品，外型規格專為實現高效率並降低功耗設計，適用於微調、推理和檢索增強生成（RAG）等工作，配備功率600瓦的標準 （Full-height ）封裝，128GB的記憶體容量，且帶寬達到每秒3.7TB。
英特爾的Gaudi 3與Nvidia的H100相比，支援AI模型執行推理快了50%，訓練大模型則比H100快了40%。 英特爾更指出，Gaudi 3的表現將與Nvidia的H200比肩，在某些領域的表現甚至會優於H200。
再者，英特爾Gaudi 3在Llama上做測試，可有效地訓練或部署AI大模型，包括文生圖的Stable Diffusion和語音辨識的Whisper等。
英特爾Gaudi 3加速器將於2024年第二季，提供OEM通用基板和開放加速器模型（Open accelerator module, OAM），2024第三季全面上市，包括戴爾科技、慧與科技（HPE）、聯想和美 超微等，都將採用Gaudi 3。
Gaudi 3加速器的主要特點：
AI專用運算引擎：Intel Gaudi 3加速器專為生成式AI運算打造。 每台加速器都有專屬的異質運算引擎，由64個AI自訂和可編程TPC和8個MME組成。 每個Intel Gaudi 3 MME皆能執行64,000個平行運算，運算效率極高，擅於處理複雜的矩陣運算，這也是深度學習演算法的基礎運算。 此獨特的設計大幅提昇平行AI運算的速度和效率，並支援多種資料類型，包括FP8和BF16。
提升內存容量，滿足LLM容量需求：Intel Gaudi 3搭載128 GB的HBMe2內存容量、3.7 TB的內存帶寬和96 MB的on-board靜態隨機存取內存（SRAM），能夠在更少 在的Intel Gaudi 3上，提供處理大型生成式AI資料集所需的足夠內存，且特別適用於大型語言和多模態模型。
為企業提供生成式AI高效系統擴充：每個Intel Gaudi 3加速器皆整合24個200 GB的以太網端口，提供靈活的開放標準網絡，實現高效擴充，以支援大型運算集，並克服 專有網路架構的供應商限制。 Intel Gaudi 3加速器實現單一節點到上千節點的高效擴充，以滿足生成式AI模型的廣泛要求。
開放產業軟件提升開發人員生產力：Intel Gaudi軟件整合PyTorch框架，並提供基於Hugging Face社群的優化模型，是目前生成式AI開發人員最常用的AI框架，讓生成式AI開發人員能夠在高度 在抽象層上進行操作，提升易用性和生產力，並可輕鬆地將模型轉移到不同硬件類型上。
Gaudi 3 PCIe：Gaudi 3高速PCIe附加卡是全新產品，外型規格專為實現高效率並降低功耗設計，適用於微調、推理和檢索增強生成（RAG）等工作，配備功率600瓦的標準 （Full-height ）封裝，128GB的記憶體容量，且帶寬達到每秒3.7TB。
