華為AI大招 讓推理速度暴增90%的UCM技術是什麼?
華為AI大招 讓推理速度暴增90%的UCM技術是什麼?
中國科技巨擘華為今 (12) 日在 2025 金融 AI 推理應用落地與發展論壇上正式發表 AI 推理創新技術 UCM(推理記憶資料管理器),並計劃下月正式開源 UCM。
什麼是 UCM?解決 AI 回應慢又貴的問題
想像一下,當你問 AI 問題時,它需要「思考」很久才回答,而且運算成本很高。UCM 就像給 AI 裝了一個「超強記憶系統」,讓它能更快回應、處理更長的對話,同時大幅降低成本。
華為副總裁周躍峰指出,目前 AI 推理面臨三大問題:「推不動」(輸入內容太長超出處理範圍)、「推得慢」(回應速度太慢)、「推得貴」(運算成本太高)。
UCM 透過「分層記憶」概念解決這些痛點,就像人腦會把常用資訊放在容易取得的地方,不常用的資訊存在深層記憶中。
KV Cache 技術突破 記憶容量從 GB 躍升至 PB 級
UCM 的核心是以 KV 快取 (KV Cache) 和記憶管理為中心的推理加速技術。KV 快取是 AI 模型在對話過程中儲存上下文資訊的關鍵技術,過去受限於高頻寬記憶體 (HBM) 容量,現在 UCM 能將 AI 的記憶容量提升百萬倍,從原本只能記住少量對話內容,擴展到可以記住海量的歷史資訊。
UCM 將 AI 推理系統的記憶分為三層:即時記憶資料放在 HBM 中、短期記憶資料放在 DRAM、長期記憶放在共享專業儲存中,透過智慧分級實現最佳效能。
三大技術突破 效能大幅提升
UCM 的核心技術包括三個部分:
- [支持最多的] 慕尼黑狂欢派对大批“兔女郎”上阵(图)
- [反對最多的] 十三届华表奖优秀故事片提名:超强台风
- [給-5最多的] 基恩乐队不记前嫌 望绿洲吉他手任新唱片制
- [給-4最多的] 《斗牛》入围威尼斯电影节 黄渤为戏受伤一
- [給-3最多的] 倡議三查優化精準扶貧 鄺美雲鼓勵中港學生
- [給-2最多的] 比利时男子持AK步枪扫射人群致5死123伤
- [給-1最多的] 《建国大业》最新海报曝光 露脸明星戏份都
- [給0最多的] 天娱传媒“杀”陈楚生给谁看
- [給1最多的] 天才數學家出手尋失蹤馬航
- [給2最多的] 慕尼黑狂欢派对大批“兔女郎”上阵(图)
- [給3最多的] 预防乳癌 韩国一线女星惊艳造型秀(图)
- [給4最多的] 十三届华表奖优秀合拍片提名:长江七号
- [給5最多的] 恒指瀉377失最後防線 踩入熊市 中央放水無
- [給-5最多的] 丈夫:希望李英爱叫我哥哥 但她总叫我总裁先
- [給-4最多的] 《建国大业》最新海报曝光 露脸明星戏份都
- [給-3最多的] 十三届华表奖优秀故事片提名:超强台风
- [給-2最多的] 比利时男子持AK步枪扫射人群致5死123伤
- [給-1最多的] 恒指瀉377失最後防線 踩入熊市 中央放水無
- [給0最多的] 决赛惨败无碍马琳出彩 四连亚打不倒奥运会
- [給1最多的] 恒指瀉377失最後防線 踩入熊市 中央放水無
- [給2最多的] 《斗牛》入围威尼斯电影节 黄渤为戏受伤一
- [給3最多的] 基恩乐队不记前嫌 望绿洲吉他手任新唱片制
- [給4最多的] 刘嘉玲恶斗张曼玉显疲惫 素颜现身太阳镜遮
- [給5最多的] 無綫《西遊記》網民唔like 揚言罷睇
- [感動最多的] 台湾18岁少女 32E胸围火速蹿红(组图)
- [路過最多的] 基恩乐队不记前嫌 望绿洲吉他手任新唱片制
- [高興最多的] 台湾18岁少女 32E胸围火速蹿红(组图)
- [難過最多的] 十三届华表奖优秀故事片提名:超强台风
- [搞笑最多的] 刘嘉玲恶斗张曼玉显疲惫 素颜现身太阳镜遮
- [憤怒最多的] 章子怡惨被39岁老女人夺夫的五大原因
- [無聊最多的] 元朗7.21事件八個月晚上有人堵路 警方放催
- [同情最多的] 《斗牛》入围威尼斯电影节 黄渤为戏受伤一
對本文中的事件或人物打分: | |
當前平均分:0.5 (8次打分) | |
|
|
對本篇資訊內容的質量打分: | |
當前平均分:0.57 (7次打分) | |
|
最新報道
- 08-13繞過對HBM依賴!華為矽光技術
- 08-13據報華為明天發布AI推理領域
- 08-13華為AI大招 讓推理速度暴增9
- 08-13銀諾醫藥-B招股入場費3774元
- 08-13銀諾醫藥超購5364倍 逾26萬
- 08-12中美同意继续磋商关税休战
- 08-12美中斯德哥爾摩會晤 聚焦關
- 08-11台股初段跌逾0.4%
- 08-11人民幣兌美元中間價失守7.14
- 08-11港股競價時段升87點