8月10日消息,据《科创板日报》报道,华为将于8月12日在2025金融AI推理应用落地与发展论坛上,发布AI推理领域的突破性技术成果。据透露,这项成果或能降低中国AI推理对HBM(高带宽内存)技术的依赖,提升国内AI大模型推理性能,完善中国AI推理生态的关键部分。
注意到,华为在AI推理领域的技术突破已有先例。2025年3月,北京大学联合华为发布了DeepSeek全栈开源推理方案,该方案基于北大自研SCOW算力平台系统和鹤思调度系统,整合了DeepSeek、openEuler、MindSpore与vLLM/RAY等社区开源组件,实现了华为昇腾上的DeepSeek高效推理。
在性能方面,华为昇腾已实现多项突破。例如CloudMatrix384超节点部署DeepSeekV3/R1时,在50ms时延约束下单卡Decode吞吐突破1920Tokens/s;Atlas800IA2推理服务器在100ms时延约束下单卡吞吐达到808Tokens/s。
科大讯飞与华为的合作也取得了显著成果,双方率先实现了国产算力上MoE模型的大规模跨节点专家并行集群推理,使推理吞吐提升3.2倍,端到端时延降低50%。
上一篇:GPT-5问题太多,奥特曼带团回应一切,图表弄错是因「太累了」
下一篇:研究显示OpenAI新模型GPT-5能耗显著高于前代:中等长度回应平均耗电18瓦时
聚焦智能天文光学系统,打造人类“天眼”。
一家机器人公司如何穿越行业“死亡谷”?
教师职业三重变革:从编制铁饭碗到流量新战场,谁在定义未来教育者?
苹果发布超薄iPhoneAir,评价两极,或为折叠屏预热。
你是不是也经常遇到“AI配音”的视频?
苹果还没有熟透。
豆包
博思白板 — boardmix AI
扣子-AI办公
千问
讯飞绘文
讯飞绘文-免费AI写作
扣子-AI办公app
AI小聚
ZeroGPT
网站地图
消息称华为即将发布AI推理领域突破性成果:降低对HBM依赖,提升国内大模型性能
8月10日消息,据《科创板日报》报道,华为将于8月12日在2025金融AI推理应用落地与发展论坛上,发布AI推理领域的突破性技术成果。据透露,这项成果或能降低中国AI推理对HBM(高带宽内存)技术的依赖,提升国内AI大模型推理性能,完善中国AI推理生态的关键部分。
注意到,华为在AI推理领域的技术突破已有先例。2025年3月,北京大学联合华为发布了DeepSeek全栈开源推理方案,该方案基于北大自研SCOW算力平台系统和鹤思调度系统,整合了DeepSeek、openEuler、MindSpore与vLLM/RAY等社区开源组件,实现了华为昇腾上的DeepSeek高效推理。
在性能方面,华为昇腾已实现多项突破。例如CloudMatrix384超节点部署DeepSeekV3/R1时,在50ms时延约束下单卡Decode吞吐突破1920Tokens/s;Atlas800IA2推理服务器在100ms时延约束下单卡吞吐达到808Tokens/s。
科大讯飞与华为的合作也取得了显著成果,双方率先实现了国产算力上MoE模型的大规模跨节点专家并行集群推理,使推理吞吐提升3.2倍,端到端时延降低50%。
上一篇:GPT-5问题太多,奥特曼带团回应一切,图表弄错是因「太累了」
下一篇:研究显示OpenAI新模型GPT-5能耗显著高于前代:中等长度回应平均耗电18瓦时
追觅「上天」,官宣成立天文BU|最前线
聚焦智能天文光学系统,打造人类“天眼”。
三临绝境,三度翻盘:一家机器人公司的15年“极限求生”
一家机器人公司如何穿越行业“死亡谷”?
招生锐减、硕博下沉、AI创业——教师职业的破与立
教师职业三重变革:从编制铁饭碗到流量新战场,谁在定义未来教育者?
OpenAI CEO奥特曼点赞iPhone Air,分析师直呼:它只是苹果的试验品
苹果发布超薄iPhoneAir,评价两极,或为折叠屏预热。
偷走全红婵声音,在网上卖鸡蛋?你看的明星带货直播,可能是AI偷来的……
你是不是也经常遇到“AI配音”的视频?
库克不再「挤牙膏」:iPhone薄了,AI缺席
苹果还没有熟透。
豆包
博思白板 — boardmix AI
扣子-AI办公
千问
讯飞绘文
讯飞绘文-免费AI写作
扣子-AI办公app
豆包
博思白板 — boardmix AI
扣子-AI办公
千问
讯飞绘文
讯飞绘文-免费AI写作
扣子-AI办公app
AI小聚
ZeroGPT