Open從2022年11月開始。 自ChatGPTAI發(fā)布以來，生成式AI(人工智能)的需求已經(jīng)在全球范圍內(nèi)爆發(fā)式增長。這個系列的AI應(yīng)用正在配備NVIDIAI。 AI服務(wù)器上的GPU等AI半導(dǎo)體。

然而，TrendForce在中國臺灣研究公司正在進行。 根據(jù)2023年12月14日的預(yù)測，AI服務(wù)器出貨量的增長不會達到預(yù)期。預(yù)計2022年AI服務(wù)器僅占所有服務(wù)器出貨量的6%，2023年為9%，2024年為13%，2025年為14%，2026年為16%。(圖1)

圖表1.服務(wù)器出貨量，AI服務(wù)器比例，AI芯片晶圓比例。來源：TrendForce

這就是為什么它被稱為人工智能半導(dǎo)體的限速供應(yīng)。現(xiàn)在，NVIDIA的GPU壟斷了約80%的AI半導(dǎo)體，在臺積電生產(chǎn)。隨后，CoWoS將被用來封裝，但目前CoWoS的產(chǎn)量是個瓶頸。

另外，在CoWoS中，多個HBM(高帶寬內(nèi)存)被放置在GPU周圍，這些HBM是堆疊的DRAM，這也被認為是瓶頸之一。

那為什么臺積電的CoWoS呢？（Chip on Wafer on Substrate）生產(chǎn)能力持續(xù)不足怎么辦？此外，盡管有三大DRAM廠商：三星電子、SK海力士、美光科技，但HBM為何不夠？

這篇文章討論了這些細節(jié)。NVIDIA GPU 等 AI 預(yù)計半導(dǎo)體短缺將持續(xù)多年或更長時間。

01 什么是臺積電的制造步驟？

圖 2顯示了 NVIDIA 的 GPU 怎樣制造臺積電？第一，在預(yù)處理中，各自建立GPU、CPU、內(nèi)存（DRAM）等一下，因為臺積電沒有生產(chǎn)DRAM，所以好像是從SK海力士等DRAM制造商那里得到了HBM。

圖2.2.5D 到 3D 其中存在的制造工藝。來源：Tadashi Kamewada

下一步，GPU、CPU、將HBM等粘合到“硅中介層”上（Chip on Wafer，或者CoW)。硅中介層有事先形成的走線層和硅通孔。(TSV)用來連接芯片。

此步驟結(jié)束后，將中介層貼在基板上（Wafer on Substrate，簡稱WoS)，進行各種測試，CoWoS封裝完成。

圖3顯示了CoWoS的橫截面結(jié)構(gòu)。兩個邏輯芯片(例如 GPU 和 CPU）并且有堆疊式 DRAM 的 HBM 將硅中介層粘合在一起，在硅中介層上形成有走線層和 TSV。中介層通過銅沉孔與封裝基板連接，基板通過封裝球與線路板連接。

圖3.NVIDIA結(jié)構(gòu)和CoWoS AI半導(dǎo)體的兩個瓶頸，如GPU。來源：WikiChip

這里，我們認為第一個瓶頸是硅中介層，第二個瓶頸是HBM，這就是NVIDIAIA的原因。 GPU短缺的原因。

02 硅中介層的尺寸變得非常大

圖 4 顯示了自 2011 年至今 CoWoS 更換情況。第一，我們可以看到，每一代硅中介層都變得非常大。另外，安裝 HBM 數(shù)量也隨之增加。

圖表4。每一代HBM的轉(zhuǎn)接面積和安裝次數(shù)都在增加。來源：臺積電

圖 5 顯示了從 CoWoS Gen 1 到 Gen 6 的 12 安裝在英尺晶圓中 Logic 芯片類型、HBM 標準及安裝數(shù)量，硅中介層面積及可獲得的中介層數(shù)量。

圖5. CoWoS 代次、HBM 安裝數(shù)量、12 英尺晶圓轉(zhuǎn)接層的數(shù)量。

可以看出，自第三代以來，HBM的安裝數(shù)量已經(jīng)增加了1.5倍。另外，HBM 標準也發(fā)生了變化，性能也得到了提高。另外，隨著中介面積的增加，可以從 12 英尺晶圓獲得的中介層數(shù)量減少。

但是，這一收集數(shù)量只是“將12英尺晶圓的面積除以中介面積獲得數(shù)值”，實際收集頻率要小得多。

2023 年發(fā)布的第 6 代 CoWoS 轉(zhuǎn)接板面積為 3400 mm 2 ，但是如果我們假設(shè)這是一個正方形的話， 58 mm × 58 mm。假如把它放在那里 12 在英尺晶圓上，晶圓邊上的所有轉(zhuǎn)接層都會有缺陷。接著，一個58 mm × 58 mm中介層最多只能從 12 得到英尺晶圓 9 個芯片。

圖6. 12英尺晶圓可以得到多少個轉(zhuǎn)接層？來源：Tadashi Kamewada

另外，在中介層上形成了走線層和TSV，但是良率約為60~70%，因此從12英尺晶圓上可獲得的良好中介層數(shù)量最多為6個。

這個轉(zhuǎn)接板是用這個轉(zhuǎn)接板做的。 CoWoS 的代表性 GPU 是 NVIDIA “H100”，它在市場上競爭激烈，交易價格高達 40,000 美金。

03 CoWoS產(chǎn)能不足的臺積電

那臺積電的CoWoS制造能力有多大呢？

在 2023 年 11 月 14 日舉行的 DIGITIMES 研討會“生成式” AI 浪潮中 2024 2023年全球服務(wù)器市場挑戰(zhàn)與機遇顯示， 第二季度產(chǎn)能為每月產(chǎn)能。 13K~15K 零件。根據(jù)預(yù)測，2024 第二季度月產(chǎn)量將翻倍到第二季度 30K~34K，然后縮小 NVIDIA GPU 供需缺口。

不過，這一前景還很遙遠。因為，到目前為止。 2024 年 4 月，NVIDIA 仍然不夠 GPU。在4月16日的新聞中，TrendForce集邦咨詢表示，到2024年底，臺積電的CoWoS產(chǎn)能將達到每月40K左右，到2025年底將翻一番。

另外，TrendForce集邦咨詢報道稱，NVIDIA將發(fā)布B100和B200，但是這些轉(zhuǎn)接板可能比較 58 mm × 58 mm更大。這意味著可以從12英尺晶圓上獲得的優(yōu)質(zhì)中介數(shù)量將進一步減少。因此，即使臺積電試圖增加CoWoS產(chǎn)能，也無法生產(chǎn)足夠的GPU來滿足要求。

這款GPU 無論走多遠，CoWoS中介層的巨大和臺積電產(chǎn)能的提高都是無止境的。

有些人推薦使用515×用12英尺晶圓代替510毫米棱柱形有機基板作為中介層。此外，美國英特爾公司還推薦使用矩形玻璃基板。當然，如果能使用大型矩形基板，大量中介層可以比圓形12英尺晶圓更有效。

但是，如果你想在矩形基板上形成一個行走層和TSV，你需要一個特殊的制造設(shè)備和傳輸系統(tǒng)?？紤]到這些準備工作，需要時間和金錢。接下來，我們來解釋一下HBM的情況，這是另一個瓶頸。

04 HBM 的路線圖

如圖 4 和圖 5 所示，HBM 的總數(shù)隨著 CoWoS 隨著產(chǎn)生和增加，這也導(dǎo)致了巨大的中介層。DRAM制造商不應(yīng)該繼續(xù)生產(chǎn)相同標準的HBM。伴隨著 CoWoS 的發(fā)展，HBM 各種性能都需要改進。HBM 路線圖如圖所示 7 所示。

圖 7.HBM 路線圖和 HBM 堆疊的 DRAM 數(shù)量來源：來源：DIGITIMES Research

首先，HBM 為了配合每秒交換數(shù)據(jù)，必須提高帶寬。 GPU 特性的提升。具體而言，2016 年 HBM1 的帶寬為 128 GB/s，而 HBM3E 大約會擴大帶寬 10 倍，達到 1150 GB/s，將在 2024 年發(fā)布。

接下來，HBM 的內(nèi)存空間 （GB） 必須增加。所以，有必要把堆放在一起。 HBM 里的 DRAM 芯片數(shù)量從 4 個增加到 12 個。下一代 HBM4 的 DRAM 預(yù)計將達到層數(shù) 16 層。

此外，HBM 的 I/O 速率 （GB/s） 還必須改進。為實現(xiàn)所有這些目標，我們應(yīng)該不惜一切代價實現(xiàn)DRAM的小型化。圖8顯示了DRAM銷售比例的變化，根據(jù)技術(shù)節(jié)點進行區(qū)分。2024 年將是從 1z （15.6 nm） 轉(zhuǎn)換到 1α （13.8 nm） 的一年。之后，微型化會以 1 nm 例如，增加增量 1β （12.3 nm）、1γ （11.2 nm） 和 1δ （10 nm）。

圖表8.DRAM銷售百分比按技術(shù)節(jié)點區(qū)分。來源：Yole Intelligence

在這一代DRAM芯片中，括弧中的數(shù)字是實際存在的最小加工尺寸。

05 DRAMM也逐漸應(yīng)用EUV

為了實現(xiàn)高集成度和速度，DRAM制造商必須以1nm的增量進行微型化。所以，EUV(極紫外線)光刻技術(shù)已經(jīng)開始應(yīng)用于形成精細圖案(圖9)。

圖9.EUV層數(shù)由DRAM制造商使用。來源：Yole Intelligence

最早在 DRAM 中應(yīng)用 EUV 公司是三星，現(xiàn)在 1z 代中只使用了一層。然而，這只是借用了三星邏輯代工廠的一個月最大產(chǎn)量。 10,000 晶圓非常大 DRAM 實踐生產(chǎn)線 EUV 應(yīng)用。所以，從真正的意義上說，三星只是 1α 年開始在 DRAM 中應(yīng)用 EUV，那時它是五層 DRAM 中使用了 EUV。

其次是在 HBM 該領(lǐng)域的市場份額排名第一 SK hynix，它在 1α 在生產(chǎn)過程中應(yīng)用 EUV。該公司計劃在那里 2024 年轉(zhuǎn)為 1β，也有可能應(yīng)用于三至四層。 EUV。所以，到目前為止只有幾個 EUV 單元的 SK hynix 將在 2024 年以前推出 10 個 EUV 模塊。三星公司也擁有邏輯代工廠，被認為擁有超過 30 個 EUV 模塊。

最后，美光公司一直奉行盡可能少的使用。 EUV 為了比其他任何地方都更快地推動其技術(shù)節(jié)點，戰(zhàn)略。事實上，美光在 1 β 以前沒有使用過 EUV。它還計劃在開發(fā)過程中， 1 γ 時不使用 EUV，而是使用 ArF 沉浸 多種圖案技術(shù)，但是因為它發(fā)現(xiàn)很難提高效益，因為沒有更多的匹配空間，所以預(yù)計會在 1 γ 開始引入 EUV。

這三家 DRAM 目前，制造商正試圖使用鏡頭孔徑。 NA = 0.33 的 EUV，但是根據(jù)他們的感覺，他們正在考慮。 2027-2028 年起改用高 NA。因此，DRAM 制造商的小型化進程仍然會越走越遠。

現(xiàn)在，有多少 HBM 將采用這些最先進的工藝生產(chǎn)？

06 DRAM 出貨量和 HBM 出貨量

圖 10 顯示了 DRAM 出貨量、HBM 出貨量以及 HBM 占 DRAM 出貨量的百分比。例如本節(jié)開頭上述，ChatGPT 于 2022 年 11 每月發(fā)布，從而使英偉達企業(yè) GPU 在 2023 每年都有重大突破。

圖10.DRAM 出貨量、HBM 出貨量和 HBM 所占百分比。來源：Yole Intelligence

與此同時，HBM 出貨量也在快速增長：HBM 的出貨量從 2022 年 27.5 億美元(3.4%)增長到 2023 年 54.5 億美元(10.7%)，幾乎翻了一番，直到 2024 一年更是翻了一番，實現(xiàn)了。 140.6 億美元(19.4%)。

從 DRAM 根據(jù)出貨量，2021 年由于對 Corona 達到高峰的特殊要求，但 2023 2008年這一特殊要求結(jié)束后，出貨量急劇下降。從那以后，出貨量有望恢復(fù)，而且 2025 年超出 2021 年峰值。此外，從 2026 從2008年開始，出貨量有望繼續(xù)增加，盡管會有一些起伏， 2029 年將超過 1500 億美金。

另一方面，HBM 預(yù)計出貨量將在那里 2025 年后繼續(xù)增長，但是 HBM 在 DRAM 在出貨量中所占的份額將在 2027 年后達到 24-25% 飽和狀態(tài)。為什么會這樣？

07 各種 HBM 發(fā)貨數(shù)量和 HBM 發(fā)貨總量

如圖 11 通過觀察各種各樣的東西 HBM 的出貨量和 HBM 總出貨量，能揭開謎底。

圖11.各種 HBM 和所有 HBM 出貨量。來源：Yole Intelligence

首先，在 2022 年前，HBM2 這是主要的出貨量。其次，2023 2008年，英偉達 GPU HBM2取得重大突破E 替代 HBM2 成為主流。另外，HBM3 將在今年 2024 至 2025 年代成為主流。2026-2027 年，HBM3E 它將成為出貨量最大的商品，而從 2028 年初，HBM4開始 將扮演主角。

也就是說，HBM 大約兩年的間隔將經(jīng)歷幾代人的變化。這意味著 DRAM 制造商必須繼續(xù)這樣做 1 納米為單位進行小型化，每兩年更新一次。 HBM 標準。

因此，如圖 11 所示，2025 年后全部 HBM 出貨量幾乎不會增加。那不是因為 DRAM 制造商之所以放松，是因為他們必須盡最大努力生產(chǎn)最先進的產(chǎn)品。 DRAM 和最先進的 HBM。

此外，2025 年后 HBM 其中一個原因就是出貨量沒有大幅增加。 HBM 里的 DRAM 芯片數(shù)量將增加(圖表) 12）：隨著 GPU 特性的提高，HBM 的內(nèi)存空間（GB）還必須增加，所以堆疊在一起 HBM 2 和 HBM2E 里的 DRAM 數(shù)量會增加。HBM2 和 HBM2E 中堆疊的 DRAM 數(shù)量將增加到 4-8 個 DRAM，HBM3 和 HBM3E 中堆疊的 DRAM 數(shù)量將增加到 8-12 個，HBM4 中堆疊的 DRAM 數(shù)量將增加到 16 個。

圖12.每個 HBM 的內(nèi)存空間（GB）和 HBM 里的 DRAM 芯片堆疊數(shù)量。來源：Yole Intelligence

這意味著 HBM2 只需 4 到 8 個 DRAM，而 HBM4 將需要 2 到 4 倍的 DRAM，即 16 個 DRAM。也就是說，是的 HBM4 時代，DRAM 制造商可以生產(chǎn)比例 HBM2 多 2-4 倍的 DRAM，但是出貨量還是和 HBM 相同。

因此，隨著 DRAM 繼續(xù)以 1nm 增量減少，HBM 兩年換一代，HBM 中堆疊的 DRAM 每一代人的數(shù)量都在增加，估計從 2025 年起，HBM 總出貨量將達到飽和。

那么，HBM 短缺是否會持續(xù)下去？DRAM 制造商是否不能進一步增加？ HBM 的出貨量？

08 DRAM 制造商急于大規(guī)模生產(chǎn) HBM

我們已經(jīng)解釋過了 DRAM 制造商不能大幅上升 HBM 出貨量的原因，但是 DRAM 制造商仍然可以達到他們的極限，如果超過這一極限，他們將嘗試大量生產(chǎn)。 HBM。這是因為 HBM 價格非常高。

圖 13 顯示了各種 HBM 與普通 DRAM 的每 GB 均價。一般 DRAM 和 HBM 在發(fā)時的每 GB 價錢是最高的。雖然趨勢是一樣的，但是一般 DRAM 和 HBM 的每 GB 價格相差 20 倍以上。為更普通的目的 DRAM 和 HBM 的每 GB 均價，圖 13 里面的圖表顯示一般 DRAM 的 10 倍價格。

圖13.各種 HBM 與普通 DRAM 的每 GB 比較均價。來源：Yole Intelligence

與一般 DRAM 的 0.49 與美元相比，比較每一種 GB 在剛發(fā)布的最高價格中，HBM2的價格， 的每 GB 價格大概是一般的 DRAM 的 23 倍（11.4 HBM2，美元)E 的每 GB 價格大概是一般的 DRAM 的 28 倍（13.6 美金），HBM4 的每 GB 價格大概是一般的 DRAM 的 30 倍（14.7 美金）。

此外，圖 14 顯示了各種 HBM 均價。最高價格 HBM2 為 73 HBM2美元E 為 157 HBM3美元 為 233 HBM3美元E 為 372 HBM4美元 則高達 560 美金。

圖14.各種 HBM 與標準 DRAM 的每 GB 比較均價。來源：Yole Intelligence

圖 15顯示了 HBM 例如，DRAM制造商在1z工藝中生產(chǎn)的16GB DDR5 最多3~4美元的DRAM。然而，SK海力士今年發(fā)布的HBM3E價格比361美元高出90~120倍。

DDR(雙倍數(shù)據(jù)速度)是一種內(nèi)存標準。DDR5傳輸速度越來越快。 的速度是 DDR4 DDR6的兩倍 的速度是 DDR5 的兩倍。2024 年將是 DDR4 向 DDR5 變化的一年，DRAM 制造商也必須不斷創(chuàng)新 DDR 標準。

圖表15.對比各種半導(dǎo)體工藝、芯片尺寸、晶體管數(shù)量(位數(shù))和均價。

回到 HBM，HBM3E 芯片尺寸和最新 iPhone 17 的 A15 仿生 AP(應(yīng)用處理器)基本相同，后者選擇最先進的臺積電。 3nm 工藝生產(chǎn)，但是價格比較高 3.6 倍數(shù)。DRAM的HBM高于高級邏輯。那是令人震驚的。而且因為價格這么高，DRAM廠商為了主導(dǎo)HBM的霸主地位，會盡最大努力增加出貨量。

讓我們看一下三家DRAM制造商的路線圖。

09 DRAM 制造商爭奪 HBM

圖 16顯示了 2015~2024 年三家 DRAM 怎樣生產(chǎn)廠家？ HBM。

圖16. SK 海力士，三星和美光 HBM 路線圖。 來源： DIGITIMES Research

HBM1 第一次成功量產(chǎn)是 SK 但是，就HBM2而言，三星率先實現(xiàn)了與SK海力士相比的量產(chǎn)。 NVIDIA 的 GPU 在 2023 SK海力士在2008年取得重大突破時，率先成功量產(chǎn)HBM3。它給SK海力士帶來了巨大的好處。

另外一方面，另一個 DRAM 制造商美光最初開發(fā)和發(fā)展 HBM 不同的混合內(nèi)存正方體標準 （HMC）。但是，聯(lián)合電子設(shè)備工程委員會 （JEDEC） 這是一家促進美國半導(dǎo)體規(guī)范化的行業(yè)組織，已經(jīng)正式認證。 HBM 標準而不是 HMC。所以，從2018年開始，美光放棄了HMC的研發(fā)，進入了HBM的研發(fā)，遠遠落后于兩家韓國制造商。

所以，HBM 在市場份額中， SK 海力士為 54%，三星為 41%，美光為 5%。

SK海力士的HBM份額最大，將于2023年開始在其NAND工廠M15生產(chǎn)HBM。另外，HBM3E 將在 2024 年度上半年發(fā)布。另外， 2025 2008年，目前正在建設(shè)中。 M15X 工廠會專門給予 HBM 為了生產(chǎn)而重新設(shè)計 HBM3E 和 HBM4。

另一方面，三星計劃在2023年開始在三星顯示器廠生產(chǎn)HBM，以趕上SK海力士。2024年，HBM的生產(chǎn)能力翻了一番，并于2025年在SK海力士之前量產(chǎn)了HBM4。

在2024~2025年繞過HBM3，與HBM3E競爭，并在2025年獲得20%的市場份額，這是一個落后的目標。另外，到2027~2028年，該公司還設(shè)定了趕上韓國兩大廠商在HBM4和HBM4E量產(chǎn)方面的目標。

通過這種方式，三家DRAM制造商之間的殘酷競爭可能會突破HBM出貨量的飽和，從而消除HBM的短缺。

10 NVIDIA的GPU短缺會持續(xù)多久？

我們在這篇文章中解釋了 NVIDIA GPU 等 AI 全球半導(dǎo)體短缺的原因。

1、NVIDIA 的 GPU 選擇臺積電 CoWoS 包裝制造。CoWoS的容量完全不夠。這是因為配置 GPU、CPU 和 HBM 每一代芯片硅中介層都越來越大。臺積電試圖增加這一中間工藝的容量，但是隨著GPU一代的推動，中介層也會變得很大。

2、CoWoS 的 HBM 緊缺。造成這種情況的原因是DRAM制造商必須繼續(xù)以1nm的增量進行微型化，HBM標準被迫每兩年更換一次，并且隨著每一代人的增加，HBM中堆疊的DRAM芯片數(shù)量也會增加。雖然DRAM制造商正在盡最大努力生產(chǎn)HBM，但是預(yù)計2025年后出貨量將會飽和。但是，由于HBM的價格非常高，DRAM制造商之間的競爭非常激烈，這可能會導(dǎo)致HBM短缺。

如上所述，造成瓶頸的瓶頸有兩種 NVIDIA 的 GPU 供不應(yīng)求：臺積電生產(chǎn)能力短缺和 HBM 供不應(yīng)求，但是這些問題不太可能在大約一年內(nèi)解決。所以，預(yù)計未來幾年 NVIDIA 的 GPU 短缺將繼續(xù)下去。

本文來自微信公眾號“半導(dǎo)體產(chǎn)業(yè)縱橫”（ID：ICViews），作者：湯上隆，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請在文中注明來源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時與我們聯(lián)系進行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com