麒麟9050:业界首个30B MoE大模型入端
silybear
1天前
52

一部手机屏幕里亮起微缩的星空大脑,数据流在芯片上流动

30B参数的MoE大模型,第一次被塞进了手机。11月11日,华为麒麟官宣9050系列搭载新一代达芬奇架构NPU,业界首个30B MoE大模型可在手机端离线运行。这个数字值得停下来看一看:过去能在手机上跑的大模型,参数量大多在几B到十几B之间,30B是一个此前只属于云端和服务器的量级。

把它装进手机,靠的是两手办法。一是多级存算协同优化,让存储与计算的配合更紧凑,减少来回搬运数据的开销;二是低比特量化,把模型权重压到更低的精度,用更少的存储和算力跑出接近的效果。两件事合在一起,才把30B这个量级的模型塞进了手机的存储与算力预算。NPU的升级是这次突破的硬件底座,没有它,压缩的算法也落不了地。

离线运行是另一个关键点。模型跑在手机本地,意味着推理不再依赖网络:没信号的地方也能用,响应不用等云端往返,数据也不必离开手机。对用户来说,最直接的感受是更快、更稳,以及隐私上多了一层保障。一些对延迟敏感的任务,比如实时翻译、端侧创作,离线大模型比云端方案更合适。

端侧AI眼下是手机厂商竞争的新战场。谁的手机本地能跑更大的模型,谁就能在AI功能上拉开差距。麒麟9050这一步,把端侧的上限从十几B推到了30B,门槛已经被抬高了一截。接下来的问题也很实际:模型在真机上跑得稳不稳,功耗与发热控制得如何,日常使用里能撑多久。这些要等真机实测来回答。但方向已经很清楚了:大模型正在从云端往口袋里走,而且越走越快。

端侧与云端的关系,也因为这一步发生了变化。过去的分工很明确:重的、复杂的任务交给云端,轻的、简单的任务留在手机上。30B模型入端之后,这个分界线开始模糊:不少原来必须联网的任务,现在手机自己就能完成。云端不会消失,它仍然负责最重的计算和最新的模型,但手机的自主性明显增强了。对用户来说,最直观的变化是“没网也能用AI”:飞机上、地铁里、信号不好的地方,手机里的模型照常工作。

对整个行业来说,麒麟9050的意义不只在一款芯片。它证明了一条技术路线的可行性:通过存算协同优化与低比特量化,手机端可以承载比原来大得多的模型。这条路一旦走通,其他厂商也会跟进,端侧模型的规模竞赛才刚刚开始。手机厂商比拼的,将不只是谁的芯片算力高,还有谁能把更大的模型塞进手机、跑得稳、用得久。9050系列只是开了个头,接下来要看的是真机表现和生态跟进。

对应用开发者来说,端侧30B模型打开的是新的可能性。以前手机AI功能要顾及云端成本,太重的功能不敢做;现在一部分推理可以在本地完成,开发者能把更复杂的AI功能直接做到应用里:更强的端侧创作、更懂上下文的助手、离线可用的专业工具。这些功能不再受制于网络与云端成本,产品形态也有了更大的想象空间。芯片、模型、应用三方合力,端侧AI的生态正在成形。

来源:金融界

相关阅读:《昆仑芯M300明年推出:推理将成AI芯片长期增长主推力》

相关阅读:《中芯国际三季度产能利用率升至97.3%,月产能创历史新高》

收藏 0
打赏
前OpenAI研究员称六款中国模型用了禁运英伟达芯片
上一篇
腾讯混元发布实时语音模型Hy Realtime,会说话还会唱歌
下一篇

发表评论

注册不是必须的

  1. […] 麒麟9050:业界首个30B MoE大模型入端 […]

  2. […] 麒麟9050:业界首个30B MoE大模型入端 […]

silybear
silybear
361 文章
0 评论
0 喜欢
最新文章

Edge0开源145B端侧大模型,单张消费级显卡可跑

Edge0开源145B端侧大模型Edge0-145B与Edge0-120B及推理框架,145B模型峰值显存29GB,自称笔记本上生成速度80+ tokens/s,Terminal-Bench 2.1自测86.5分。模型源自Qwen3.8-Flash-Next,512专家、每步激活10个,单张消费级显卡即可运行。

蚂蚁inclusionAI发布Duo-1.0-distill-quant,全双工音视频交互模型量化版上线

蚂蚁旗下inclusionAI发布Duo-1.0-distill-quant,是FP8量化的四步蒸馏版本,用于全双工音视频交互。同系列Duo-1.0-causal-base已于11月12日发布,开发者可在Hugging Face上获取该模型。量化版本在保持交互能力的同时降低了部署成本,全双工音视频模型正走向更轻量的落地形态。

地瓜机器人与无问芯穹达成战略合作,共推具身智能开源基础设施

地瓜机器人与无问芯穹11月13日联合宣布达成战略合作,共推具身智能开源基础设施。双方推动开源矩阵RLark、RLinf、RPent、APXInf与地瓜旭日全系芯片、RoboGo软件平台协同,覆盖模型训练、设备管理、智能体运行和端侧部署。旭日5等芯片已完成RLark适配,合作旨在降低具身智能的开发与部署门槛。

擎天租完成数亿元战略融资,从机器人租赁转向生产力服务

11月13日,擎天租宣布完成数亿元战略融资交割,投资方为和达投资、芒果产业投资方厚为资本、中联即送,这是其2026年内第七轮融资。公司同步品牌升级,推出Worken有效智能工时计量框架,已接入近20家本体品牌与20家全国运营中心。此次融资将用于扩大运营网络与服务能力。
标签
Generating...
赞赏二维码