AI伺服器記憶體競爭正由單純追求HBM頻寬，擴大至整個記憶體層次結構的容量與資料搬移效率。Samsung近期以CXL Memory Pool進行大型模型推論測試，將CXL記憶體作為KV Cache外溢空間；SK hynix也將HBM、伺服器DRAM、CXL儲存模組與企業級固態硬碟(Enterprise SSD)整合成全端 AI記憶體布局。
HBM位於GPU／AI 加速器附近，提供極高頻寬，但容量與成本使所有資料都放在HBM並不經濟；DDR5負責Host記憶體，當長Context、多模型及多使用者推論使KV Cache快速膨脹，CXL則可透過高速一致性介面，把多組記憶體組成可動態配置的記憶體池。
當AI伺服器記憶體架構重組，CXL把DRAM變成共享資源池。
|
Samsung測試以CXL Switch串接CMM-D模組，建立1TB記憶體池，在8 GPU環境仍可維持約92%的DRAM效能；其最新CMM-D動態資源配置測試，更顯示相較靜態配置可降低首Token等待時間並提高有效吞吐量。SK hynix則已展示128GB CXL 2.0+及256GB CXL 3.2 CMM-DDR5，並與Memory Pool Server進行互通驗證。
因此下一代AI伺服器記憶體不再是HBM單點競爭，而可能形成「HBM→DDR5→CXL Memory Pool→Enterprise SSD」分層架構。CXL也將提高Memory Controller、CXL Switch、Retimer、CMM模組、DDR5與管理軟體的系統價值。
台灣供應鏈值得觀察的不只是DRAM，而是CXL控制器/開關、高速PCB、連接器、重新計時器、儲存模組及伺服器ODM。當記憶體由固定安裝零件轉成可共享、可動態配置的次系統，AI伺服器的競爭也將從「裝多少記憶體」轉向「如何有效調度記憶體」。
