有些人可能還記得下載一部電影需要等待一個多小時的日子。如今，最新的晶片可以在一秒鐘內透過網路發送160多部全高畫質電影。
人工智慧晶片行業對高帶寬內存（或稱 HBM）有了新的認識，而HBM正是這種快如閃電的數據傳輸背後的技術。HBM在2013年首次推出時，分析師曾一度認爲它不可能具有商業可行性。
但美國晶片設計公司輝達(Nvidia)和AMD正在爲這項先進技術注入新的活力，這項技術如今已成爲所有人工智慧晶片的關鍵組成部分。對於人工智慧晶片製造商來說，最緊迫的問題是，隨著企業急於擴建數據中心和開發大型語言模型等人工智慧系統，對更高處理能力和帶寬需求的需求不斷成長。
與此同時，大量數據的生成式人工智慧應用正在推動傳統存儲晶片所能提供的效能極限。更快的數據處理速度和傳輸速率需要更多的晶片，佔用更多的物理空間和消耗更多的電力。
迄今爲止，傳統的安裝方式是將晶片並排放置在一個平面上，然後透過佈線和保險絲連接起來。晶片越多，通訊速度越慢，耗電量越大。
HBM顛覆了幾十年來的晶片行業慣例，將多層晶片堆疊在一起，並使用尖端組件，包括比一張紙還薄的微型電路板，以更緊密地將晶片封裝在一起，形成三維形狀。
這一改進對人工智慧晶片製造商來說至關重要，因爲晶片之間的距離更近，能耗更低——HBM比傳統結構能耗低約四分之三。研究還表明，HBM還提供了高達5倍的帶寬，佔用的空間更少——不到目前產品的一半。
雖然這項技術很先進，但並不新鮮。AMD和南韓晶片製造商SK海力士(SK Hynix) 15年前就開始研究HBM，當時高效能晶片主要用於遊戲領域。
當時的批評人士對業績提升是否值得付出額外成本持懷疑態度。與傳統晶片相比，HBM使用了更多的組件，其中許多組件複雜且難以製造。到2015年，也就是推出兩年後，分析師預計HBM將被降級爲一個小衆市場。對於大衆市場來說，成本似乎太高了。
它們在今天仍然很貴，至少比標準內存晶片貴五倍。現在的不同之處在於，嵌入HBM的人工智慧晶片也賣得很貴。與10年前的遊戲玩家相比，科技巨擘現在在先進晶片上的預算要大得多。
目前，只有SK海力士一家企業能夠批次生產最新人工智慧晶片中使用的第三代HBM產品。諮詢公司TrendForce的數據顯示，SK海力士佔有全球市場50%的份額，其餘市場由兩家競爭對手佔據。三星和美光生產老一代HBM，並將在未來幾個月發佈最新版本。在需求迅速成長的同時，它們將從這種高利潤產品中獲得意外之財。今年6月，TrendForce預測，今年全球對HBM的需求將成長60%。
明年，人工智慧晶片大戰將進一步推動這一成長。AMD剛剛推出了一款新產品，希望能與輝達一較高下。全球晶片短缺，加上市場對更實惠的輝達替代品的強勁需求，意味著能夠提供類似規格晶片的競爭對手有了一個賺錢的機會。但要撼動輝達的主導地位，則是另一回事了。輝達主導地位的關鍵不僅在於實體晶片本身，還在於它的軟體生態系統，其中包括流行的開發工具和編程模型。複製這種模式需要數年時間。
這就是爲什麼對於想要挑戰輝達的競爭者來說，硬體——以及每塊新晶片中壓縮的HBM數量——現在將變得更加重要。透過使用升級的HBM來提高內存容量是短期內獲得競爭力的少數幾種方法之一。例如，AMD最新的MI300加速器使用了8個HBM，而輝達的產品只有5到6個HBM。
從歷史上看，晶片一直是一個週期性行業，容易出現劇烈的繁榮和蕭條。按照目前的趨勢，對新產品需求的持續成長，應該會使未來的經濟衰退不像過去那樣動盪。