快科技5月24日訊息，據報道，Reddit使用者APFrisco近日通過一套極客方案，利用6根二手英特爾傲騰DCPMM持久記憶體模組，在單GPU工作站上成功執行了擁有1萬億引數的Kimi K2.5大模型，推理速度約為每秒4個Token。
該系統基於英特爾至強金牌6246處理器與泰安S5630GMRE-CGN主機板構建。記憶體系統總容量為768GB，由6根32GB三星DDR4-2666 ECC記憶體條與6根128GB英特爾傲騰DCPMM持久記憶體模組組成。
圖形算力由兩張華碩GeForce RTX 3060 OC 12GB顯示卡承擔，儲存裝置採用西部資料WD SN850X 2TB固態硬碟，電源為華擎Steel Legend SL-850G 850W全模組電源。
軟體執行層面，該方案採用了基於llama.cpp的GPU與CPU混合推理方法。通過llama.cpp的override-tensor標誌，系統將模型路由元件強制分流至總計24GB視訊記憶體的GPU中處理，其餘引數則由傲騰記憶體承擔儲存與讀取任務，有效規避了單卡視訊記憶體不足的瓶頸。
英特爾傲騰系列產品雖已停產，但其介於DRAM與固態硬碟之間的讀寫特性，使其成為替代昂貴記憶體方案的特殊選擇。
業內分析認為，隨著CXL計算快速連線標準的成熟，未來市場有望出現更具價效比的位元組定址記憶體解決方案，以支撐大型語言模型對記憶體容量的迫切需求。
