
商汤开源了SenseNova Loop-9B-Preview模型。该模型采用Looped Transformer架构,通过循环计算来扩展有效计算深度,仅以9B参数就实现了媲美27B模型的表现。这一进展把大模型研究的关注点,从单纯堆叠参数规模,拉回到计算结构本身的效率上来。
在大模型发展的过程中,参数规模长期被视为衡量模型能力的重要参照。更大的参数量往往意味着更强的拟合能力,但同时也意味着更高的训练成本、更大的显存占用和更重的部署负担。对于许多实际应用场景而言,这种代价并不总是划算。SenseNova Loop-9B-Preview的思路恰恰反其道而行之:它没有通过继续放大参数量来换取能力,而是尝试在结构上做文章,让有限的参数在计算过程中被更充分地利用。
所谓Looped Transformer架构,核心在于“循环”二字。传统的Transformer结构通常是一层接一层地向前推进,每一层只被使用一次;而循环结构则允许同一组计算单元被多次复用,模型在处理信息时可以经过多轮迭代和打磨。这样的设计带来的直接效果,是有效计算深度的扩展:参数量没有变,但模型实际经历的计算步骤变多了,信息有机会在反复加工中变得更加精细。打个比方,这就像同一支队伍多打了几轮配合,人数没有增加,但协作的深度和熟练程度都上去了。
值得注意的是,9B参数媲美27B模型这一表述,关键不在于两个数字本身的对比,而在于它所揭示的效率空间。参数规模相差数倍,却能达到相近的表现水平,说明在现有架构下,仍有相当一部分能力提升可以通过结构优化来实现,而不是只能依赖规模扩张。对于研究者来说,这提供了一个值得深入的方向:如何在不显著增加资源消耗的前提下,通过计算方式的改进释放模型的潜力。
从应用角度看,参数效率的提升具有很现实的意义。参数量更小的模型,对硬件的要求相对更低,部署和运行的门槛也随之下降。这意味着更多团队可以在有限的算力条件下尝试和使用模型,更多场景可以在成本可控的前提下引入大模型能力。尤其是在需要本地部署、离线运行或者对响应延迟有要求的场景中,轻量而高效的模型往往比单纯庞大的模型更受欢迎。
开源则是这则消息的另一层意义。模型以开源形式发布,意味着研究者和开发者可以直接获取、测试和研究这一架构,而不必从零复现。开源社区可以在此基础上做进一步的验证、改进和拓展,围绕循环计算结构形成更多的实践经验。这种开放的协作方式,往往能够加快一项技术从概念验证走向成熟应用的速度,也有助于发现原有设计中尚未暴露的问题和改进空间。
当然,作为一个Preview版本,SenseNova Loop-9B-Preview目前呈现的更多是一种技术路线的可能性。循环计算在不同任务上的表现是否稳定、在更长的上下文和更复杂的推理任务中是否同样有效、多次循环带来的额外计算开销如何权衡,都是后续实践中需要继续观察的问题。这些问题的答案,最终要由更广泛的使用和测试来给出。
从研究方法论的角度看,循环计算的思路也提醒人们,模型能力的来源是多维度的。除了数据规模和参数规模,计算结构、训练方式和推理策略都可能成为突破口。当多种思路同时被探索和验证时,整个领域前进的步伐往往会比依赖单一路径更快,而开源正是让多种思路得以并行验证的重要机制。
总体来看,这次开源的价值并不只在于一个模型本身,而在于它提供了一种思路:在参数规模之外,计算结构同样是提升模型能力的重要变量。当行业开始认真对待效率问题时,类似的架构探索很可能会越来越多,而开源则让这种探索能够被更多人参与和检验。
文末来源:新浪财经。
[…] 理解Apex-35B-V1.0,首先要理解它所站立的基础。以Qwen3.6-35B-A3B为基础模型,意味着这项工作并非从空白处重新开始,而是在一个已有的大模型底座上继续深耕。中训练与后训练这两个阶段,分别承担着不同的任务:前者侧重于让模型在特定方向上积累更扎实的能力,后者则侧重于把能力调整到更贴合实际使用的状态。把这两个阶段结合起来做优化,反映出研发团队对模型能力演进路径的系统思考,而不是只做单点改进。 […]
[…] 要理解Clover的特别之处,可以先回到逐字生成的逻辑。逐字生成的好处是直观、易于训练,模型只要学会根据前文预测下一个词,就能一路写下去;但它的局限也很明显:一旦前面的词已经写定,后面的内容就很难回头修正,模型在动笔之初就要对全文走向做出判断,写长文时尤其容易出现前后不一致或越写越偏的情况。相比之下,并行补全的思路更像人类的写作习惯:先搭出一个大致的框架,再在多个位置同时填充内容,随后反复打磨、逐步成文,允许在迭代中修正先前写下的内容。 […]
[…] 商汤开源的90亿参数多模态模型采用循环计算结构,32个解码层中有24层会重复运行,使一次前向计算实际执行56层的运算,从而在不单纯堆参数的情况下加深推理能力。该项目采用Apache 2.0许可证开源,便于研究者与开发者直接使用。 […]