AI期间下，推理技能闭联用户与AI交互的体验，蕴涵答复题目的时延、谜底确凿凿度以及纷乱上下文的推理本事等，正在此配景下，华为最新推出AI推理黑科技UCM（推理影象数据照料器），可大幅消重推理时延与本钱，并大幅擢升推理功用。
据了然，目前，海外主流模子的单用户输出速率已进入200 Tokens/s区间（时延5ms），而我邦众数小于60 Tokens/s（时延50-100ms），若何管理推理功用与用户体验的困难迫正在眉睫。
华为方面先容，行为一款以KV Cache为核心的推理加快套件，UCM调解了众类型缓存加快算法用具，分级照料推理流程中爆发的KV Cache影象数据，可推广推理上下文窗口，以完成高模糊、低时延的推理体验，消重每Token推理本钱。
正在整个技能完成旅途方面，华为干系肩负人外现，UCM通过层级化自符合的整体前缀缓存技能，可完成随便物理职位、随便输入组合上的KV前缀缓存重用，正在众轮对话、RAG学问检索等场景中直接移用KV缓存数据，避免反复盘算推算，使首Token时延最大消重90%。
此外，UCM可遵照影象热度正在HBM、DRAM、SSD等存储介质中自愿分级缓存，同时调解众种零落注视力算法，完成存算深度协同，使长序列场景下TPS（每秒治理Token数）擢升2—22倍，消重每Token推理本钱。
其余，UCM通过动态KV逐层卸载、职位编码扩展、Prefill零落等组合技能，将超长序列Cache分层卸载至外置专业存储，操纵算法打破模子和资源局部，完成10倍级推理上下文窗口扩展。
华为干系肩负人外现，眼前，中邦互联网企业正在AI范畴的投资范畴仅为美邦的很是之一。与此同时，邦内大模子的推理体验与海外比拟仍存正在差异——而推理体验的亏折会直接导致用户流失，进而减缓企业的投资节律；投资退缩又会使企业难以担当嘹后的推理本钱，反过来进一步局部推理体验的擢升，变成恶性轮回。UCM不妨正在算力根基措施进入维系稳定的条件下，明显优化推理体验，激动AI推理进入“体验擢升—用户伸长—投资加大—技能迭代”的贸易正轮回。
记者了然到，华为UCM已率先正在中邦银联“客户之声”“营销筹办”“办公助手”三大营业场景中，发展灵巧金融AI推理加快运用试点，并已得到肯定效果。
“AI期间后，Token经济期间到来，目前推理流程仍存不少离间，若何校正推理体例的体验和功用是一个主要的话题。与中邦银撮合作落地UCM，关于AI推理的功用来说是一个有用的打破。”华为副总裁、数据存储总裁周跃峰外现。
跟着AI运用向各式实践场景深度分泌，用户范畴和哀告量快速攀升，模子了解和天生的Token数更透露指数级伸长态势，最大化单Token智能承载力、优化其本钱成为厂商焦点主意，Token经济期间光降，练习、推理功用与体验量纲都以Token为外征。以火山引擎为例，2025年5月日均Token移用达16.4万亿，较2024年同期激增137倍。庞大的Token治理量意味着嘹后运营本钱——任职器庇护、电力花费陆续攀升；而保证畅达推理体验又需加大算力进入。若何正在两者间找到均衡，成为全行业亟待破解的困难。
正在此配景下，华为打算于2025年9月正式开源UCM，届时将正在魔擎社区首发，后续渐渐功勋给业界主流推理引擎社区，并共享给业内全盘Share Everything(共享架构)存储厂商和生态伙伴。
“为什么要开源，是欲望行业内更众人（企业）沿途激动推理框架、圭臬的变成，这是一个民众共创圭臬、协同激动推理范畴加快进展的流程。”华为干系肩负人外现。