華為AI大招 讓推理速度暴增90%的UCM技術是什麼?

熱度24票  瀏覽0次 時間:2025年8月13日 09:03

華為AI大招 讓推理速度暴增90%的UCM技術是什麼?

華為AI大招 讓推理速度暴增90%的UCM技術是什麼? · 鉅亨網

中國科技巨擘華為今 (12) 日在 2025 金融 AI 推理應用落地與發展論壇上正式發表 AI 推理創新技術 UCM(推理記憶資料管理器),並計劃下月正式開源 UCM。

什麼是 UCM?解決 AI 回應慢又貴的問題

想像一下,當你問 AI 問題時,它需要「思考」很久才回答,而且運算成本很高。UCM 就像給 AI 裝了一個「超強記憶系統」,讓它能更快回應、處理更長的對話,同時大幅降低成本。

華為副總裁周躍峰指出,目前 AI 推理面臨三大問題:「推不動」(輸入內容太長超出處理範圍)、「推得慢」(回應速度太慢)、「推得貴」(運算成本太高)。

UCM 透過「分層記憶」概念解決這些痛點,就像人腦會把常用資訊放在容易取得的地方,不常用的資訊存在深層記憶中。

KV Cache 技術突破 記憶容量從 GB 躍升至 PB 級

UCM 的核心是以 KV 快取 (KV Cache) 和記憶管理為中心的推理加速技術。KV 快取是 AI 模型在對話過程中儲存上下文資訊的關鍵技術,過去受限於高頻寬記憶體 (HBM) 容量,現在 UCM 能將 AI 的記憶容量提升百萬倍,從原本只能記住少量對話內容,擴展到可以記住海量的歷史資訊。

UCM 將 AI 推理系統的記憶分為三層:即時記憶資料放在 HBM 中、短期記憶資料放在 DRAM、長期記憶放在共享專業儲存中,透過智慧分級實現最佳效能。

三大技術突破 效能大幅提升

UCM 的核心技術包括三個部分:

    頂:1 踩:1
    對本文中的事件或人物打分:
    當前平均分:0.5 (8次打分)
    對本篇資訊內容的質量打分:
    當前平均分:0.57 (7次打分)
    【已經有7人表態】
上一篇 下一篇