商汤开源90亿参数多模态模型,循环计算加深推理
silybear
12天前
145

光线轨迹循环穿过多层结构、越转越深的概念画面

模型变强,一定要靠堆参数吗?商汤开源的一款90亿参数多模态模型给出了另一种思路:32个解码层中,有24层会重复运行,使一次前向计算实际执行56层的运算。也就是说,模型不是靠把网络铺得更宽更厚,而是让同一组层多算几遍,把推理“想得更深”。该项目采用Apache 2.0许可证开源,这条轻量高效的路线,值得多模态领域的研究者留意。

大模型发展至今,参数规模一度是最直观的竞赛指标:从几十亿到几千亿,数字越大似乎就代表能力越强。但参数规模的增长是有代价的——训练成本、推理显存、部署门槛都会随之水涨船高。于是,越来越多研究者开始换一个方向思考:在参数规模相对克制的前提下,能不能通过改进计算结构,让模型把已有的参数用得更充分?商汤此次开源的模型,正是这种思路的一次实践:不去增加解码层的数量,而是让其中一部分层循环执行,相当于用“重复计算”换取“更深推理”。

具体来看,这款模型的解码层共32层,其中24层会重复运行,一次前向计算实际执行56层的运算。打个比方,这不像请更多人来一起解题,而像让同一批人把题目多读几遍、多想几轮。重复计算的好处在于,模型可以在后续轮次中修正前一轮的中间结果,逐步细化理解,尤其对需要多步推理的多模态任务——比如结合图像与文字进行分析、按步骤拆解复杂问题——这种“多想一会儿”的机制可能带来实实在在的提升。

90亿参数的规模本身也值得注意。这个量级既不像千亿级模型那样对算力提出苛刻要求,也不像十亿以下的小模型那样能力受限,正处在“研究者用得起、企业部署得起”的区间。配合Apache 2.0许可证,开发者可以相对自由地使用、修改和商用,这为模型的二次开发和场景落地留出了空间。开源的意义不仅在于代码和权重的公开,更在于它能否成为一个可复现、可比较的基线,让后来者在同样的起点上验证自己的想法。

多模态是这款模型的另一个关键词。当下的AI应用早已不满足于只处理文字:看图说话、读文档、理解视频,都需要模型同时处理多种信息。把循环计算结构用在多模态模型上,意味着推理深度的提升可以同时惠及视觉理解与语言推理两个方面。当然,循环计算并非没有代价:重复运行层会增加单次推理的计算量,换来的是更深的推理,但推理延迟也会相应上升。实际应用中需要在“想得更深”和“答得更快”之间找到平衡点,不同场景的取舍并不相同。

从行业视角看,这款模型的发布与近期一系列“小而强”的开源进展相互呼应。无论是文档理解领域的小参数模型,还是主打性价比的轻量旗舰模型,行业正在形成一种共识:参数规模不再是唯一标尺,结构创新、训练方法与数据质量同样能决定模型的实际表现。对中国开源生态而言,这类中等规模、高质量的开源模型尤其重要——它们降低了研究与应用的门槛,让更多团队能够站在前人的工作之上继续探索,而不是每次都从零开始。

接下来值得观察的,是这款模型在公开评测与真实应用中的表现。循环计算带来的推理增益究竟有多大,在哪些任务上最明显,又在哪些场景下会因为延迟代价而得不偿失,都需要社区的实测来回答。开源的价值也正在于此:当模型真正交到开发者手中,它的优缺点才会在真实使用中被完整检验。

文末来源:动点科技

收藏 0
打赏
优必选发布Thinker-Sim具身智能仿真平台
上一篇
美团发布LongCat-2.5大模型
下一篇

发表评论

注册不是必须的

  1. […] 相关阅读:商汤科技、多模态模型、智能体 […]

silybear
silybear
361 文章
0 评论
0 喜欢
最新文章

Edge0开源145B端侧大模型,单张消费级显卡可跑

Edge0开源145B端侧大模型Edge0-145B与Edge0-120B及推理框架,145B模型峰值显存29GB,自称笔记本上生成速度80+ tokens/s,Terminal-Bench 2.1自测86.5分。模型源自Qwen3.8-Flash-Next,512专家、每步激活10个,单张消费级显卡即可运行。

蚂蚁inclusionAI发布Duo-1.0-distill-quant,全双工音视频交互模型量化版上线

蚂蚁旗下inclusionAI发布Duo-1.0-distill-quant,是FP8量化的四步蒸馏版本,用于全双工音视频交互。同系列Duo-1.0-causal-base已于11月12日发布,开发者可在Hugging Face上获取该模型。量化版本在保持交互能力的同时降低了部署成本,全双工音视频模型正走向更轻量的落地形态。

地瓜机器人与无问芯穹达成战略合作,共推具身智能开源基础设施

地瓜机器人与无问芯穹11月13日联合宣布达成战略合作,共推具身智能开源基础设施。双方推动开源矩阵RLark、RLinf、RPent、APXInf与地瓜旭日全系芯片、RoboGo软件平台协同,覆盖模型训练、设备管理、智能体运行和端侧部署。旭日5等芯片已完成RLark适配,合作旨在降低具身智能的开发与部署门槛。

擎天租完成数亿元战略融资,从机器人租赁转向生产力服务

11月13日,擎天租宣布完成数亿元战略融资交割,投资方为和达投资、芒果产业投资方厚为资本、中联即送,这是其2026年内第七轮融资。公司同步品牌升级,推出Worken有效智能工时计量框架,已接入近20家本体品牌与20家全国运营中心。此次融资将用于扩大运营网络与服务能力。
标签
Generating...
赞赏二维码