
30B参数的MoE大模型,第一次被塞进了手机。11月11日,华为麒麟官宣9050系列搭载新一代达芬奇架构NPU,业界首个30B MoE大模型可在手机端离线运行。这个数字值得停下来看一看:过去能在手机上跑的大模型,参数量大多在几B到十几B之间,30B是一个此前只属于云端和服务器的量级。
把它装进手机,靠的是两手办法。一是多级存算协同优化,让存储与计算的配合更紧凑,减少来回搬运数据的开销;二是低比特量化,把模型权重压到更低的精度,用更少的存储和算力跑出接近的效果。两件事合在一起,才把30B这个量级的模型塞进了手机的存储与算力预算。NPU的升级是这次突破的硬件底座,没有它,压缩的算法也落不了地。
离线运行是另一个关键点。模型跑在手机本地,意味着推理不再依赖网络:没信号的地方也能用,响应不用等云端往返,数据也不必离开手机。对用户来说,最直接的感受是更快、更稳,以及隐私上多了一层保障。一些对延迟敏感的任务,比如实时翻译、端侧创作,离线大模型比云端方案更合适。
端侧AI眼下是手机厂商竞争的新战场。谁的手机本地能跑更大的模型,谁就能在AI功能上拉开差距。麒麟9050这一步,把端侧的上限从十几B推到了30B,门槛已经被抬高了一截。接下来的问题也很实际:模型在真机上跑得稳不稳,功耗与发热控制得如何,日常使用里能撑多久。这些要等真机实测来回答。但方向已经很清楚了:大模型正在从云端往口袋里走,而且越走越快。
端侧与云端的关系,也因为这一步发生了变化。过去的分工很明确:重的、复杂的任务交给云端,轻的、简单的任务留在手机上。30B模型入端之后,这个分界线开始模糊:不少原来必须联网的任务,现在手机自己就能完成。云端不会消失,它仍然负责最重的计算和最新的模型,但手机的自主性明显增强了。对用户来说,最直观的变化是“没网也能用AI”:飞机上、地铁里、信号不好的地方,手机里的模型照常工作。
对整个行业来说,麒麟9050的意义不只在一款芯片。它证明了一条技术路线的可行性:通过存算协同优化与低比特量化,手机端可以承载比原来大得多的模型。这条路一旦走通,其他厂商也会跟进,端侧模型的规模竞赛才刚刚开始。手机厂商比拼的,将不只是谁的芯片算力高,还有谁能把更大的模型塞进手机、跑得稳、用得久。9050系列只是开了个头,接下来要看的是真机表现和生态跟进。
对应用开发者来说,端侧30B模型打开的是新的可能性。以前手机AI功能要顾及云端成本,太重的功能不敢做;现在一部分推理可以在本地完成,开发者能把更复杂的AI功能直接做到应用里:更强的端侧创作、更懂上下文的助手、离线可用的专业工具。这些功能不再受制于网络与云端成本,产品形态也有了更大的想象空间。芯片、模型、应用三方合力,端侧AI的生态正在成形。
来源:金融界
相关阅读:《昆仑芯M300明年推出:推理将成AI芯片长期增长主推力》
相关阅读:《中芯国际三季度产能利用率升至97.3%,月产能创历史新高》
[…] 麒麟9050:业界首个30B MoE大模型入端 […]
[…] 麒麟9050:业界首个30B MoE大模型入端 […]