華為AI大招 讓推理速度暴增90%的UCM技術是什麼?
華為AI大招 讓推理速度暴增90%的UCM技術是什麼?
中國科技巨擘華為今 (12) 日在 2025 金融 AI 推理應用落地與發展論壇上正式發表 AI 推理創新技術 UCM(推理記憶資料管理器),並計劃下月正式開源 UCM。
什麼是 UCM?解決 AI 回應慢又貴的問題
想像一下,當你問 AI 問題時,它需要「思考」很久才回答,而且運算成本很高。UCM 就像給 AI 裝了一個「超強記憶系統」,讓它能更快回應、處理更長的對話,同時大幅降低成本。
華為副總裁周躍峰指出,目前 AI 推理面臨三大問題:「推不動」(輸入內容太長超出處理範圍)、「推得慢」(回應速度太慢)、「推得貴」(運算成本太高)。
UCM 透過「分層記憶」概念解決這些痛點,就像人腦會把常用資訊放在容易取得的地方,不常用的資訊存在深層記憶中。
KV Cache 技術突破 記憶容量從 GB 躍升至 PB 級
UCM 的核心是以 KV 快取 (KV Cache) 和記憶管理為中心的推理加速技術。KV 快取是 AI 模型在對話過程中儲存上下文資訊的關鍵技術,過去受限於高頻寬記憶體 (HBM) 容量,現在 UCM 能將 AI 的記憶容量提升百萬倍,從原本只能記住少量對話內容,擴展到可以記住海量的歷史資訊。
UCM 將 AI 推理系統的記憶分為三層:即時記憶資料放在 HBM 中、短期記憶資料放在 DRAM、長期記憶放在共享專業儲存中,透過智慧分級實現最佳效能。
三大技術突破 效能大幅提升
UCM 的核心技術包括三個部分:
- [支持最多的] 慕尼黑狂欢派对大批“兔女郎”上阵(图)
- [反對最多的] 十三届华表奖优秀故事片提名:超强台风
- [給-5最多的] 基恩乐队不记前嫌 望绿洲吉他手任新唱片制
- [給-4最多的] 《斗牛》入围威尼斯电影节 黄渤为戏受伤一
- [給-3最多的] 倡議三查優化精準扶貧 鄺美雲鼓勵中港學生
- [給-2最多的] 比利时男子持AK步枪扫射人群致5死123伤
- [給-1最多的] 香港易事泊(HKeSP)——“易联(eLink)”项目
- [給0最多的] 天娱传媒“杀”陈楚生给谁看
- [給1最多的] 天才數學家出手尋失蹤馬航
- [給2最多的] 慕尼黑狂欢派对大批“兔女郎”上阵(图)
- [給3最多的] 预防乳癌 韩国一线女星惊艳造型秀(图)
- [給4最多的] 十三届华表奖优秀合拍片提名:长江七号
- [給5最多的] 恒指瀉377失最後防線 踩入熊市 中央放水無
- [給-5最多的] 丈夫:希望李英爱叫我哥哥 但她总叫我总裁先
- [給-4最多的] 《建国大业》最新海报曝光 露脸明星戏份都
- [給-3最多的] 重庆A级景区接待游客超千万
- [給-2最多的] 比利时男子持AK步枪扫射人群致5死123伤
- [給-1最多的] 恒指瀉377失最後防線 踩入熊市 中央放水無
- [給0最多的] 决赛惨败无碍马琳出彩 四连亚打不倒奥运会
- [給1最多的] 恒指瀉377失最後防線 踩入熊市 中央放水無
- [給2最多的] 《斗牛》入围威尼斯电影节 黄渤为戏受伤一
- [給3最多的] 基恩乐队不记前嫌 望绿洲吉他手任新唱片制
- [給4最多的] 刘嘉玲恶斗张曼玉显疲惫 素颜现身太阳镜遮
- [給5最多的] 無綫《西遊記》網民唔like 揚言罷睇
- [感動最多的] 台湾18岁少女 32E胸围火速蹿红(组图)
- [路過最多的] 基恩乐队不记前嫌 望绿洲吉他手任新唱片制
- [高興最多的] 台湾18岁少女 32E胸围火速蹿红(组图)
- [難過最多的] 十三届华表奖优秀故事片提名:超强台风
- [搞笑最多的] 刘嘉玲恶斗张曼玉显疲惫 素颜现身太阳镜遮
- [憤怒最多的] 章子怡惨被39岁老女人夺夫的五大原因
- [無聊最多的] 元朗7.21事件八個月晚上有人堵路 警方放催
- [同情最多的] 《斗牛》入围威尼斯电影节 黄渤为戏受伤一
對本文中的事件或人物打分: | |
當前平均分:-0.33 (27次打分) | |
|
|
對本篇資訊內容的質量打分: | |
當前平均分:-0.29 (31次打分) | |
|
最新報道
- 09-12《港樓》梁志堅:應按部就班推
- 09-11就業大減通脹不退 美國滯脹
- 09-11山頂歌賦山道15號以7.9億元
- 09-11東亞債主變業主 購陳紅天山
- 09-11特朗普收緊對處方藥廣告監管
- 09-11特朗普研行政令 遏制中國藥
- 09-11阿里巴巴擬發行可轉換債券籌
- 09-10特朗普電話打進會場 親自要
- 09-10《業績》博通(AVGO.US)上季A
- 09-07業績勁升股價反跌 蜜雪冰城