商汤开源SenseNova Loop-9B-Preview模型
silybear
15天前
218
商汤开源SenseNova Loop-9B-Preview模型

商汤开源了SenseNova Loop-9B-Preview模型。该模型采用Looped Transformer架构,通过循环计算来扩展有效计算深度,仅以9B参数就实现了媲美27B模型的表现。这一进展把大模型研究的关注点,从单纯堆叠参数规模,拉回到计算结构本身的效率上来。

在大模型发展的过程中,参数规模长期被视为衡量模型能力的重要参照。更大的参数量往往意味着更强的拟合能力,但同时也意味着更高的训练成本、更大的显存占用和更重的部署负担。对于许多实际应用场景而言,这种代价并不总是划算。SenseNova Loop-9B-Preview的思路恰恰反其道而行之:它没有通过继续放大参数量来换取能力,而是尝试在结构上做文章,让有限的参数在计算过程中被更充分地利用。

所谓Looped Transformer架构,核心在于“循环”二字。传统的Transformer结构通常是一层接一层地向前推进,每一层只被使用一次;而循环结构则允许同一组计算单元被多次复用,模型在处理信息时可以经过多轮迭代和打磨。这样的设计带来的直接效果,是有效计算深度的扩展:参数量没有变,但模型实际经历的计算步骤变多了,信息有机会在反复加工中变得更加精细。打个比方,这就像同一支队伍多打了几轮配合,人数没有增加,但协作的深度和熟练程度都上去了。

值得注意的是,9B参数媲美27B模型这一表述,关键不在于两个数字本身的对比,而在于它所揭示的效率空间。参数规模相差数倍,却能达到相近的表现水平,说明在现有架构下,仍有相当一部分能力提升可以通过结构优化来实现,而不是只能依赖规模扩张。对于研究者来说,这提供了一个值得深入的方向:如何在不显著增加资源消耗的前提下,通过计算方式的改进释放模型的潜力。

从应用角度看,参数效率的提升具有很现实的意义。参数量更小的模型,对硬件的要求相对更低,部署和运行的门槛也随之下降。这意味着更多团队可以在有限的算力条件下尝试和使用模型,更多场景可以在成本可控的前提下引入大模型能力。尤其是在需要本地部署、离线运行或者对响应延迟有要求的场景中,轻量而高效的模型往往比单纯庞大的模型更受欢迎。

开源则是这则消息的另一层意义。模型以开源形式发布,意味着研究者和开发者可以直接获取、测试和研究这一架构,而不必从零复现。开源社区可以在此基础上做进一步的验证、改进和拓展,围绕循环计算结构形成更多的实践经验。这种开放的协作方式,往往能够加快一项技术从概念验证走向成熟应用的速度,也有助于发现原有设计中尚未暴露的问题和改进空间。

当然,作为一个Preview版本,SenseNova Loop-9B-Preview目前呈现的更多是一种技术路线的可能性。循环计算在不同任务上的表现是否稳定、在更长的上下文和更复杂的推理任务中是否同样有效、多次循环带来的额外计算开销如何权衡,都是后续实践中需要继续观察的问题。这些问题的答案,最终要由更广泛的使用和测试来给出。

从研究方法论的角度看,循环计算的思路也提醒人们,模型能力的来源是多维度的。除了数据规模和参数规模,计算结构、训练方式和推理策略都可能成为突破口。当多种思路同时被探索和验证时,整个领域前进的步伐往往会比依赖单一路径更快,而开源正是让多种思路得以并行验证的重要机制。

总体来看,这次开源的价值并不只在于一个模型本身,而在于它提供了一种思路:在参数规模之外,计算结构同样是提升模型能力的重要变量。当行业开始认真对待效率问题时,类似的架构探索很可能会越来越多,而开源则让这种探索能够被更多人参与和检验。

文末来源:新浪财经。

收藏 0
打赏
国金证券与腾讯云签署AI战略合作协议
上一篇
大晓机器人联合南洋理工大学发布世界模型Mundo
下一篇

发表评论

注册不是必须的

  1. […] 理解Apex-35B-V1.0,首先要理解它所站立的基础。以Qwen3.6-35B-A3B为基础模型,意味着这项工作并非从空白处重新开始,而是在一个已有的大模型底座上继续深耕。中训练与后训练这两个阶段,分别承担着不同的任务:前者侧重于让模型在特定方向上积累更扎实的能力,后者则侧重于把能力调整到更贴合实际使用的状态。把这两个阶段结合起来做优化,反映出研发团队对模型能力演进路径的系统思考,而不是只做单点改进。 […]

  2. […] 要理解Clover的特别之处,可以先回到逐字生成的逻辑。逐字生成的好处是直观、易于训练,模型只要学会根据前文预测下一个词,就能一路写下去;但它的局限也很明显:一旦前面的词已经写定,后面的内容就很难回头修正,模型在动笔之初就要对全文走向做出判断,写长文时尤其容易出现前后不一致或越写越偏的情况。相比之下,并行补全的思路更像人类的写作习惯:先搭出一个大致的框架,再在多个位置同时填充内容,随后反复打磨、逐步成文,允许在迭代中修正先前写下的内容。 […]

  3. […] 商汤开源的90亿参数多模态模型采用循环计算结构,32个解码层中有24层会重复运行,使一次前向计算实际执行56层的运算,从而在不单纯堆参数的情况下加深推理能力。该项目采用Apache 2.0许可证开源,便于研究者与开发者直接使用。 […]

silybear
silybear
361 文章
0 评论
0 喜欢
最新文章

Edge0开源145B端侧大模型,单张消费级显卡可跑

Edge0开源145B端侧大模型Edge0-145B与Edge0-120B及推理框架,145B模型峰值显存29GB,自称笔记本上生成速度80+ tokens/s,Terminal-Bench 2.1自测86.5分。模型源自Qwen3.8-Flash-Next,512专家、每步激活10个,单张消费级显卡即可运行。

蚂蚁inclusionAI发布Duo-1.0-distill-quant,全双工音视频交互模型量化版上线

蚂蚁旗下inclusionAI发布Duo-1.0-distill-quant,是FP8量化的四步蒸馏版本,用于全双工音视频交互。同系列Duo-1.0-causal-base已于11月12日发布,开发者可在Hugging Face上获取该模型。量化版本在保持交互能力的同时降低了部署成本,全双工音视频模型正走向更轻量的落地形态。

地瓜机器人与无问芯穹达成战略合作,共推具身智能开源基础设施

地瓜机器人与无问芯穹11月13日联合宣布达成战略合作,共推具身智能开源基础设施。双方推动开源矩阵RLark、RLinf、RPent、APXInf与地瓜旭日全系芯片、RoboGo软件平台协同,覆盖模型训练、设备管理、智能体运行和端侧部署。旭日5等芯片已完成RLark适配,合作旨在降低具身智能的开发与部署门槛。

擎天租完成数亿元战略融资,从机器人租赁转向生产力服务

11月13日,擎天租宣布完成数亿元战略融资交割,投资方为和达投资、芒果产业投资方厚为资本、中联即送,这是其2026年内第七轮融资。公司同步品牌升级,推出Worken有效智能工时计量框架,已接入近20家本体品牌与20家全国运营中心。此次融资将用于扩大运营网络与服务能力。
标签
Generating...
赞赏二维码