TAG :生成式AI

連于慧
過去曾是張忠謀口中的兩隻「700磅大猩猩」的英特爾與三星，前者在COMPUTEX期間CEO積極巡攤位與下游OEM廠搏感情; 另一家三星則是SEMICON Taiwan期間，與台積電高層坐在台上華山論劍談AI，兩家公司高層中間還特別隔著一個Google代表，微妙的距離看上去是「友達以上，合作未滿」！
 



在「AI晶片世紀對談」中，作為論壇主持人的日月光執行長吳田玉話鋒犀利指出：你們看這AI商機多大、多美好，迫使我們得跟韓國的朋友（指同在台上的三星）來討論AI這個議題。話一說完還不忘問台積電共同營運長米玉傑「我這樣說有太超過嗎？」


他也不斷拋出同一個議題讓大家思考：今日我們對AI的投資如此巨大，包括三星、SK海力士、台積電在硬體製造上高度資本密集的投入，還有先進封裝、設備材料行業極力往前衝，但最大的受益者卻是美國，且前方回收之日十分漫長。
 



三星記憶體業務副總李禎培Jung-bae Lee認為，現在只是投資播種期而已，呼籲要有耐心。
 



確實，在AI時代已經明顯落後的三星，不但需要展現耐心極力追趕，更對勁敵台積電努力拋出橄欖枝。其實，就算三星想選擇「躺平」...大客戶Nvidia也絕對不會允許！
 



只是，進入HBM4技術世代後，三星面臨的壓力會比以往更巨大，因為要面臨記憶體和邏輯兩大勁敵SK海力士和台積電的攜手合作。




 



從HBM4技術開始，記憶體與邏輯之間的邊界開始被打破，台積電更是直接嶄露跨足記憶體的雄心，與SK海力士宣布合作共同開發HBM4記憶體，將於2026年正式量產。
 



在HBM領域已經落後的三星，眼看SK海力士和台積電合作，心中著急自是不言而喻，在SEMICON TAIWAN 2024中，三星表示，HBM4合作將不限於自家晶圓代工廠，對台積電揮手的意圖十分明顯。
 



翻開台積電的歷史，身為半導體常勝軍的張忠謀，DRAM一直是他的魔咒。台積電在1994年主導成立世界先進做DRAM，卻在2000年之後宣布退出，從此專注在邏輯製程領域，不碰記憶體。
 



沒想到在20年後，AI這股颶風讓台積電順理成章打開記憶體大門，更與一向是對立面的韓國，並肩作戰成為技術盟友！
 



為什麼HBM會需要台積電邏輯製程技術的幫助？ 
 



HBM的架構是將DRAM晶片堆疊在Base Die（基礎裸晶）之上，再用矽穿孔TSV技術結合，之前HBM的Base Die是用DRAM製程做，但從HBM4開始，考慮到需要更強大的運算功能和傳輸速度加快，HBM的Base Die需要改成用由先進邏輯製程生產。而SK海力士沒有邏輯先進製程，因此需要與台積電合作，預計雙方合作的HBM4產品會用到台積電的5奈米製程。
 



李禎培在「AI晶片世紀對談」論壇中也指出，為了打破限制，HBM必須加入邏輯處理的技術，提供客製化HBM，現在三星HBM4的Base Die已經交給晶圓代工廠。
 



他更強調，HBM4技術世代後，記憶體業者、晶圓代工廠、客戶三方之間的合作越將更為緊密，而三星本身有記憶體、晶圓代工等業務，可滿足客戶一條龍式生產服務。再者，三星記憶體已準備好Base Die的IP解決方案，可以提供給客戶自行設計，保持代工服務彈性，因此未來合作並不限於三星自己的晶圓代工廠。
 



SK海力士社長金柱善（Justin Kim）也出席了大師論壇，表示2024年以來已經來台灣十次了！ 至於為何而來，台下聽眾皆是會心一笑。
 



SK海力士與三星一同出席SEMICON TAIWAN 2024舉辦的大師論壇，是這兩家韓系記憶體廠首次在台灣同台競技，目的都是拉攏台灣的半導體產業供應鏈。
 



這要感謝AI時代，把台灣產業鏈的重要性提升到另一個高度與層次，讓台灣成功掌握PC、智慧型手機時代後，又站在AI時代的浪潮頂峰！
 



金柱善表示，台灣和南韓之間要密切合作，能彰顯高度價值，不僅是對眼前業務有利，也是為了因應解決前方挑戰而共同努力。
 



他也表示，SK海力士在HBM領域享有最高的全球市占率，HBM3E是市面上最具主導地位的產品，預計9月就會推出12層堆疊的HBM3E產品，應用在AI伺服器上。同時，SK海力士的HBM4也在研發中，將配合客戶量產時程，在結合自己HBM技術和台積電的先進製程代工，將會誕生無與倫比的產品。

英特爾Intel Vision 2024大會於4月8日-9日在美國亞利桑那州鳳凰城登場，會中宣布推出Gaudi 3 AI加速器，由台積電5nm製程代工，挑戰Nvidia在AI領域高市佔率，企業生成式 AI帶來新選擇。
 



英特爾的Gaudi 3與Nvidia的H100相比，支援AI模型執行推理快了50%，訓練大模型則比H100快了40%。 英特爾更指出，Gaudi 3的表現將與Nvidia的H200比肩，在某些領域的表現甚至會優於H200。
 



再者，英特爾Gaudi 3在Llama上做測試，可有效地訓練或部署AI大模型，包括文生圖的Stable Diffusion和語音辨識的Whisper等。
 



英特爾Gaudi 3加速器將於2024年第二季，提供OEM通用基板和開放加速器模型（Open accelerator module, OAM），2024第三季全面上市，包括戴爾科技、慧與科技（HPE）、聯想和美 超微等，都將採用Gaudi 3。


 



Gaudi 3加速器的主要特點：
 




AI專用運算引擎：Intel Gaudi 3加速器專為生成式AI運算打造。 每台加速器都有專屬的異質運算引擎，由64個AI自訂和可編程TPC和8個MME組成。 每個Intel Gaudi 3 MME皆能執行64,000個平行運算，運算效率極高，擅於處理複雜的矩陣運算，這也是深度學習演算法的基礎運算。 此獨特的設計大幅提昇平行AI運算的速度和效率，並支援多種資料類型，包括FP8和BF16。

 


提升內存容量，滿足LLM容量需求：Intel Gaudi 3搭載128 GB的HBMe2內存容量、3.7 TB的內存帶寬和96 MB的on-board靜態隨機存取內存（SRAM），能夠在更少 在的Intel Gaudi 3上，提供處理大型生成式AI資料集所需的足夠內存，且特別適用於大型語言和多模態模型。

 


為企業提供生成式AI高效系統擴充：每個Intel Gaudi 3加速器皆整合24個200 GB的以太網端口，提供靈活的開放標準網絡，實現高效擴充，以支援大型運算集，並克服 專有網路架構的供應商限制。 Intel Gaudi 3加速器實現單一節點到上千節點的高效擴充，以滿足生成式AI模型的廣泛要求。

 


開放產業軟件提升開發人員生產力：Intel Gaudi軟件整合PyTorch框架，並提供基於Hugging Face社群的優化模型，是目前生成式AI開發人員最常用的AI框架，讓生成式AI開發人員能夠在高度 在抽象層上進行操作，提升易用性和生產力，並可輕鬆地將模型轉移到不同硬件類型上。

 


Gaudi 3 PCIe：Gaudi 3高速PCIe附加卡是全新產品，外型規格專為實現高效率並降低功耗設計，適用於微調、推理和檢索增強生成（RAG）等工作，配備功率600瓦的標準 （Full-height ）封裝，128GB的記憶體容量，且帶寬達到每秒3.7TB。

2023-11-02



生成式AI掀起科技時代大浪潮，在浪潮的起點，GPU與軟體業者是時代弄潮兒。 但很快地，人們對ChatGPT的熱情消退，雲端服務商承擔的龐大成本壓力浮現，各界開始冷靜思考，生成式AI要能廣泛落地，只能集中在雲端運作嗎？ 難道這AI商機創造的大把銀子，都讓英偉達一人賺走不成！



當然不是如此。 近日，AI大模型的發展朝端側的方向是呼之欲出，隨著連接設備和資料流量的爆增，不可能什麼資料都傳送到雲端，這會讓資料中心成本不堪負荷。 日前就有研究機構預估，光是維持ChatGPT運作就使得OpenAI每天要燒掉70萬美元，如果沒有後續資金進來，不排除OpenAI會在2024年底前面臨破產危機！
 

由此可知，未來生成式AI要能更廣泛落地與普及，凡事「上雲」絕對不是最好的解決之道。
 

雲端AI的商機正在往邊緣和側端傳遞，混合AI才是真正未來。 高通在幾個月前就已經傳道過此觀念，在夏威夷舉行的Snapdragon Summit 2023上，更進一步揭示了生成式AI未來朝邊緣端發展的道路上，高通下了哪些功夫。 各界更發現，藉由重新定義AI裝置，高通搶下新一輪生成式AI的話語權。
 

2023驍龍峰會Snapdragon Summit無疑是高通這十年來最重要的一場發表會。 在此之前，高通一直「驍龍」困於智慧型手機高庫存中，這次要藉力AI破局而出。
 

在高峰會上，高通帶來了幾個重要產品：手機市場的三代驍龍8行動平台、PC市場的驍龍X Elite平台、第一代高通S7和S7 Pro音響平台，更因為生成式AI的魔力加持 ，新品展現了強大的競爭力。





有別於過去的峰會都由手機處理器擔任主角，這次峰會最大亮點，是高通揭露了進軍PC領域的旺盛企圖心。
 

這次針對PC重新定位的驍龍X Elite平台，加上導入4nm製程自研的Oryon CPU，在效能、功耗上都表現都勝過競賽。 尤其高通點名與蘋果Arm架構CPU、英特爾i9 CPU較勁，以及GPU與超微的Ryzen 9比較，直面競爭彰顯自信。
 

日前傳言英偉達也計劃推出Arm架構PC CPU，AMD也有意從x86轉往Arm架構，顯示眾處理器巨頭都在嘗試跳脫舒適圈，擴大自己的戰場。



高通要成為端側生成式AI的領導者，不能只是靠一顆晶片獨立打仗，生態系講求的是團體作戰。 建立生態係是一項巨大且艱難的任務，高通做到了，成功集結ODM廠商、獨立BIOS供應商IBV、獨立硬體供應商IHV、獨立軟體供應商ISV，以及更大雲端平台等，打造屬於自己的 AI生態系。
 

在AI PC筆電廠商中，第一批持者有聯想、三星、宏碁、華碩、戴爾、惠普、榮耀等，2024年可以看到這些品牌推出X Elite PC。 另外，在雲端平台巨頭上，更有微軟、Google、Meta現身加持。



在此要特別談談高通如何拿下生成式AI領域的話語權。
 

AI始於雲端，但手機是世界和雲端連接最頻繁的終端，在終端和雲端中間的這一部分稱為「混合AI」。
 

在4G時代，當4G將寬頻連接到行動終端機時，就可以擁有一個手掌大小的電腦，之後更有智慧型手機象徵個人行動運算終端設備的誕生。 未來5G和個人行動運算的發展，AI也會經歷同樣的歷程。
 

回想早在2018年，高通就開始談5G進入行動市場，2019年5G進入商用終端，為什麼高通提早開始大談5G和AI？ 當時很多人不懂，為什麼高通要把5G跟AI擺在一起看？
 

試著想想，有運算能力與技術的發展、有成熟的AI模型、有現成的雲端和終端，這些條件與優勢組合起來，會形成什麼樣貌嗎？ 這是高通一直在做的一件事：重新定義行動終端設備。
 

一直以來我們習慣的終端運行，是以應用程式為中心。 例如高通有一個計算平台，在上面運行作業系統，然後是作業系統裡的應用程序，人在觸控介面上點擊觸摸使用應用程序，在不同應用程式間轉換。 同時，資料從一個應用傳輸至另一個應用。
 

但AI進入終端後，一切已經發生變化，可稱為「AI轉型」。 AI在終端上無所不在，無時無刻都在運行，圍繞著使用者作出預測，因此AI要了解你的行為，讓終端、作業系統都變得智能，改變使用者和終端互動的方式，這不僅 限於智慧型手機，在PC端、汽車，很多不同的終端上都能實現。
 

這個轉型也讓AI引擎在終端機上運行與雲端交互，這一切都是靠5G和AI連結在一起。



在AI領域，有別於英偉達的優勢在雲端運算能力，高通正在透過具備優勢的通訊連接與算力能力，圍繞著驍龍平台展開工作，這其中包括Oryon CPU、Adreno GPU，以及NPU神經網路處理器 Hexagon，從邊緣側端進攻，迎接這波AI時代的大潮流。
 

其中，NPU不僅能實現支援生成式AI的手機，也能讓PC支援生成式AI。 Stable Diffusion模型過去可以在智慧型手機上運行擁有10億參數的Stable Diffusion模型，從給出文字生成一張圖片要15秒，在搭載下一代驍龍旗艦平台的終端上，其運行速度已經快到0.6 秒。
 

此外，還有Meta的Llama 2模型、Android基礎模型，以及許多來自中國合作夥伴的模型，都將搭載到商用終端上，帶來全新的體驗。
 

這次的驍龍峰會上，高通也宣布三代驍龍8，是高通首款以生成式AI為核心的行動平台能，首發裝置是小米14，峰會上更由小米總裁盧偉冰親自站台。 三代驍龍8是採用台積電4nm製程，採1＋3＋2＋2 全新四叢集8核心架構，並攜手Meta整合其Llama 2的大型自然語言模型，能在終端對應超過100億組參數，平均每秒可執行15組代碼 指令。
 

生成式AI爆發性成長以來，AI戰局丕變，有兩個變化非常值得觀察。 一個是生成式AI商機初期是英偉達在雲端稱霸，但隨著模型參數的急劇增加，要處理和傳輸大量的數據因此對GPU需求巨大，使得側端有追上的機會。 高通從邊緣端使力，利用其邊緣端側的優勢，以及連結與運算能力，要反攻AI市場。
 

英偉達與高通，一個從雲端出發，另一個從邊緣端施力，在AI世界互相碰撞。
 

另一個變化是，PC與手機市場的競爭態勢進入到另一階段，高通這次的驍龍X Elite平台宣示進軍PC領域的企圖心，也傳出英偉達可能與聯發科一同攻克Arm架構CPU市場。 這對於疲弱已經的PC和手機市場，無疑是再好不過的消息。 有競爭才有創新，市場才有活水，AI PC時代到臨，消費者有很棒的換機動能了。
 

在生成式AI爆發初期，看似是英偉達一個人的武林，現在高通在PC和手機雙戰線啟動，從邊緣端出發。 高通更是集結上下游、軟硬體合作夥伴，形成自己的AI生態系供應鏈，在複雜的AI時代，技術領先只是基本功，團體戰術打群架才是致勝關鍵。

相關新聞：

台積電：除了AI，沒一個能打的！！

台積電揭示2nm以下最新A16製程，結合超級電軌與奈米片電晶體架構

ASML首季財報靠中國獨撐，淨系統收入貢獻高達49%