商傳媒｜責任編輯／綜合外電報導
Google AI 本週稍早透過一份 Google Research 研究報告，低調公布了名為 TurboQuant 的新型壓縮演算法。這項技術旨在大幅優化大型語言模型（LLM）的記憶體使用效率，預期可將其記憶體用量縮小達六倍，進而顯著降低資料中心的能源消耗。
根據 Mashable 報導，TurboQuant 的核心功能在於有效疏通鍵值快取（key-value cache）和向量搜尋的瓶頸。Google 的研究報告指出，該演算法透過減少鍵值對（key-value pairs）的尺寸來「疏通鍵值快取瓶頸」，其中一項「巧妙」的舉措是「隨機旋轉資料向量」。
這項技術的推出，不僅能讓人工智慧（AI）模型更有效率地利用資料中心資源，潛在減少新建資料中心的需求，還有助於緩解當前全球記憶體（RAM）供應吃緊的狀況。此外，記憶體用量的減少，也為未來強大的 AI 模型在智慧型手機等終端裝置上運行提供了可能。
Mashable 指出，將 AI 模型微型化、智慧化已成為產業趨勢，TurboQuant 便是這一發展的最新例證。輝達（NVIDIA）執行長黃仁勳曾形容 AI 的基礎設施建置是「史上最大的基礎設施建置」，這凸顯了對運算能力與能源的龐大需求。隨著對 AI 運算渴望的增長，電力生成與傳輸等基礎設施限制日益凸顯，因此，「用更少資源做更多事」的技術，如 TurboQuant，顯得格外關鍵。
頭條留言
