隨著AI由模型訓練走向大規模推論，記憶體的角色也從標準化零組件，轉變為決定AI系統性能、成本及服務規模的戰略資源。SEMICON Taiwan 2026記憶體高峰論壇以「The Co-Design Era: Memory as the Strategic Heart of AI Intelligence」為題，邀集Google、三星電子、SK海力士及美光科技等記憶體價值鏈上的重要廠商，分別從CSP、產品架構、記憶體系統與製程技術角度，說明產業如何跨越記憶體牆。

SEMICON Taiwan 2026記憶體高峰論壇匯集重要廠商，共同探討記憶體產業的關鍵趨勢

記憶體供應牽動AI部署

Google供應鏈基礎設施資深總監Nikhil Cherian表示，隨著模型規模擴張，AI瓶頸正由算力轉向記憶體容量、頻寬與延遲。尤其AI Agent需要保存長時間運作的脈絡，KV cache也會與模型權重爭奪記憶體資源，使記憶體成為影響AI性能與成本的關鍵。

記憶體目前已是AI運算伺服器的主要成本來源，也是資料中心整體持有成本(TCO)的重要組成部分。Cherian認為，面對快速成長的需求，CSP不能再只是被動採購，而須與記憶體業者共同規畫產能。由於新增產能需要多年時間，若供應未能跟上，即使投入大量資金建置AI加速器，也可能因等待記憶體資料而閒置，拖慢AI服務的全球部署。

Google供應鏈基礎設施資深總監Nikhil Cherian表示，AI瓶頸正由算力轉向記憶體容量、頻寬與延遲

由平面配置走向垂直整合

三星電子記憶體產品規劃副總裁Jangseok Choi認為，單靠平面擴充已難以滿足AI對容量、頻寬及能源效率的需求。三星為此提出CUBE策略，從容量、利用率、頻寬及效率四個面向推動3D整合。

在產品布局上，zHBM將記憶體垂直堆疊於處理器上方，縮短資料搬移距離；zNAND-O則將V-NAND垂直堆疊，並與NPU整合於單一封裝，分別鎖定資料中心及Edge AI需求。

不過，垂直堆疊也會牽動晶片配置、互連、供電、封裝及散熱。記憶體業者不能再只是提供標準零組件，而須與運算晶片、封裝、材料及設備業者共同設計，從系統層級突破性能與功耗限制。

三星電子記憶體產品規劃副總裁Jangseok Choi認為，單靠平面擴充已難以滿足AI對容量、頻寬及能源效率的需求

容量決定AI服務規模

SK海力士資深副總裁暨記憶體系統研究院士Hoshik Kim指出，AI轉向大規模推論後，長Context、KV cache及Multi-agent工作流程正快速推升記憶體需求。記憶體容量不足不只會拖慢推論，也會限制系統能同時服務的使用者及Agent數量，直接決定AI服務規模。

資料搬移所消耗的能源也遠高於運算本身。未來系統必須縮短處理器與記憶體間的距離、減少資料複製，並透過CXL等介面建立共享記憶體架構；更長期則可能直接在記憶體內進行運算，但相關技術仍處於前瞻研究階段。

在此趨勢下，記憶體業者須從零組件供應商轉型為Co-design夥伴，與CSP及加速器業者共同規畫記憶體階層、資料流與系統架構，改善Token生成的功耗與成本。

SK海力士資深副總裁暨記憶體系統研究院士Hoshik Kim指出，記憶體業者須從零組件供應商轉型為Co-design夥伴，與CSP及加速器業者深度合作

AI反過來加速製程開發

美光科技企業副總裁Mark Kiehlbauch則從製程角度指出，AI讓記憶體牆愈築愈高，但也提供了跨越這道牆的梯子。目前2D DRAM微縮已逼近原子尺度；3D NAND也面臨堆疊高度、應力、蝕刻、缺陷及通道性能等挑戰。

未來記憶體將走向3D DRAM、CMOS與陣列分離製造及Wafer Bonding，但也會對Overlay、晶圓形變及Bond Void控制提出更嚴格要求。這些技術已超出單一廠商可以獨立解決的範圍，仍須設備、材料、量測及設計生態系共同投入。

另一方面，AI也成為製程開發的新工具。美光正結合多尺度、多物理模型，減少昂貴的晶圓實驗，並利用機器學習改善排程、機台匹配、良率及生產週期，讓記憶體支撐AI、AI再反過來加速記憶體開發。

四位講者雖從不同位置出發，結論卻指向同一方向：記憶體已不能等到系統設計完成後再被加入，而必須在架構定義初期，便與運算、封裝、軟體及製造技術共同設計。AI時代的記憶體競爭，也將由單一規格及成本的比拚，轉變為整體系統能力的競爭。

產業鏈齊心協力方能跨越記憶體高牆

從記憶體產能、系統架構到3D整合與先進製程，每一項突破都牽涉不同環節。記憶體牆不可能由單一企業獨力跨越，唯有CSP、晶片、記憶體、封裝、材料及設備業者提早協作，才能讓AI算力真正轉化為可部署、可負擔的服務。