您的当前位置:首页 > 全览 > 腾讯混元开源LLM推理算子库HPC-Ops 正文
时间:2026-07-22 03:53:48 来源:网络整理 编辑:全览
2026年2月5日,腾讯宣布正式开源其自研的大模型推理高性能算子库——HPC-OpsHigh-PerformanceComputingOperatorsforLLMs),作为“混元”大模型技术生态的重
2026年2月5日,腾讯M推腾讯宣布正式开源其自研的混元大模型推理高性能算子库——HPC-Ops(High-PerformanceComputingOperatorsforLLMs),作为“混元”大模型技术生态的开源库重要一环。该库聚焦提升大语言模型(LLM)在国产芯片及主流硬件上的理算推理效率,拥护多种精度混合计算,腾讯M推已在内部支撑微信、混元广告、开源库云服务等亿级用户场景,理算现全面向开发者社区开放,腾讯M推助力中国AI基础设施自主化与普惠化。混元
HPC-Ops的开源库核心价值在于“高效”与“兼容”。针对大模型推理中计算密集、理算显存占用高、腾讯M推延迟敏感等痛点,混元该库优化了注意力机制、开源库矩阵乘法、激活函数等关键算子,实现比通用框架平均提速1.8倍,显存占用降低30%。尤为突出的是,它原生拥护华为昇腾、寒武纪、天数智芯等国产AI芯片,并兼容NVIDIAGPU与CPU环境,有效缓解“卡脖子”风险下的部署难题。
技术层面,HPC-Ops引入多项创新:一是动态稀少计算,自动识别并跳过冗余计算单元;二是内核融合技术,将多个小算子合并为单一高效内核,减少调度开销;三是拥护INT4/INT8/FP16混合精度推理,在保证模型输出质量的前提下大幅压缩模型体积与能耗。测试显示,在百亿参数模型上,HPC-Ops可在单张昇腾910B芯片上实现每秒120token的生成速度。
此次开源采用Apache2.0协议,代码托管于GitHub与Gitee,并配套提供Docker镜像、API文档及典型模型适配示例(如Llama、ChatGLM、混元系列)。腾讯表示,未来将继续投入社区建设,联合高校与企业共建“国产软硬协同”标准,推动大模型从“能用”走向“好用、易用、低成本用”。
业内专家指出,在全球大模型竞争进入“推理优化深水区”的背景下,HPC-Ops的开源拥有战略意义。它不仅降低中小企业和科研机构部署大模型的技术门槛,更强化了中国在AI底层工具链的话语权。正如一位AI工程师所言:“有了这样的基础库,我们不必再从零造轮子,可以更专注于上层应用创新。”
随着“人工智能+”行动深入千行百业,高效、安全、自主的推理引擎将成为数字基建的关键支柱。腾讯此举,既是技术回馈,更是生态共建——当更多开发者站在巨人的肩膀上,中国大模型的星辰大海,才真正启航。
心脑血管发病年轻化,看看这份防治“地图”2026-07-22 03:52
经典暗黑动作游戏续作《SiNiSistar 2》steam版发售2026-07-22 03:44
传《GTA6》将取消传统媒体评测码:需在封闭场所试玩2026-07-22 03:40
《最终幻想7:重生》监督滨口直树称不评判粉丝理论2026-07-22 03:25
新任中国足协主席宋凯:不能再出台“奇葩”政策2026-07-22 03:16
一张图看商品支撑阻力:金银油气+铂钯铜农产品期货(2026年2月26日)2026-07-22 03:13
《泰拉瑞亚》15周年销量破7000万份 将更新跨平台联机2026-07-22 03:09
到香港提前“试读”大学,多所高校开设中学生暑期课程,涵盖爆火AI、计算机方向2026-07-22 02:34
美联储大幅缩减政策前瞻指引,机构纷纷研发AI工具预判政策走向2026-07-22 02:18
两轮强降雨接连来袭!湖北发布公众风险提示:这些避险要点请速扩散2026-07-22 02:06
“重大变化”,日本高市内阁不支持率首超支持率2026-07-22 03:45
【在希望的田野上】科技赋能夏收夏种 助力粮食稳产丰收2026-07-22 03:24
游侠早报:《生化0》重制首批情报曝光 高达50周年庆2026-07-22 03:09
西双版纳萤火虫迎来最佳观赏期2026-07-22 02:29
透视100位奥运冠军的升学档案,体坛健儿要怎么上大学丨大学你好2026-07-22 02:24
把传统美学搬进大银幕 暑期档动画片为小观众打造光影新体验2026-07-22 02:24
学音乐为何要去意大利呢?2026-07-22 02:17
《泰拉瑞亚》15周年销量破7000万份 将更新跨平台联机2026-07-22 02:09
美称数名驻中东地区美军士兵因伊朗袭击死亡、失踪2026-07-22 01:46
曝Steam主机售价或超6800元!官方正准备捆绑套装版本2026-07-22 01:08