导语：10月20日，上海记忆张量团队正式发布并开源MemT-1.0。这是一款“记忆原生”大模型，其最大特点在于把记忆机制内化进了模型的底层架构，而非依赖外挂的检索方案。

长期以来，大模型的“记忆”问题主要靠外挂方案解决：最典型的是RAG（检索增强生成）——把外部知识库的文档检索出来，拼进提示词再让模型回答。这种方式虽然实用，但记忆与模型本体是分离的：模型本身并不会“记住”什么，每次调用都要重新检索、重新拼接，既增加了延迟，也难以形成连贯的长期记忆。MemT-1.0走的是另一条路——记忆原生，即把记忆机制直接做进Transformer架构之中，让模型在训练过程中就学会如何自主读写、更新和调用记忆，从根本上改变记忆与模型的关系。

具体实现上，MemT-1.0在Transformer的部分层中增加了专门的记忆模块，传统注意力机制与记忆注意力并行运行。传统注意力负责处理当前输入的上下文关联，而记忆注意力则负责与内化的记忆存储交互。两条通路并行工作、相互配合，使得模型在生成回答时，既能理解当下的问题，又能调取此前沉淀下来的记忆。这种设计的关键在于“通过训练学会”：记忆的写入、更新与读取策略并非人工写死的规则，而是模型在训练中自己摸索出的最优方式，从而能够适应多样化的记忆使用场景，而不是被固定流程束缚。

MemT-1.0此次发布了两个版本：Flash版参数规模为2880亿，Nano版为360亿，大小搭配兼顾了追求极致能力的场景与资源受限的部署场景。在官方公布的11项记忆评测中，两个版本的平均得分分别为50.6和47.0，在参数内化记忆方案这一类别中分列第一、第二位。这一成绩表明，记忆原生路线在记忆相关任务上的表现已经具备竞争力，而不再停留于概念验证阶段；同时两个版本同时上榜前二，也说明该架构在不同参数规模下都保持了有效的记忆能力。

训练数据的构成也值得一提：MemT-1.0共使用了340亿token，其中200亿用于继续预训练，140亿用于后训练。继续预训练阶段让模型在保留通用能力的基础上适应记忆机制的引入，后训练阶段则进一步打磨其记忆读写与调用的行为。为支撑记忆机制的高效运行，团队还引入了MoS（Mixture-of-Storage，混合存储）架构。顾名思义，这一架构通过混合多种存储形态来组织记忆，让不同类型、不同时效的记忆各得其所，在容量与访问效率之间取得平衡，避免单一存储形态顾此失彼。

开源方面，MemT-1.0的代码已公开（github.com/MemTensor/MemT-1.0），模型权重同步上线（huggingface.co/collections/MemTensor/memt-1）。代码与权重的双重开放，意味着研究者可以直接复现、微调乃至改进这一记忆原生架构，而不必从零开始搭建。对于正在探索长期记忆、个性化助手等方向的团队而言，MemT-1.0提供了一个现成的起点：记忆机制不再是每个团队都要重复造的轮子，社区可以在统一的基础上继续迭代。

把视线放宽，记忆能力被认为是AI向更实用形态演进的关键拼图之一。一个没有长期记忆的助手，每次对话都像初次见面；而具备可靠记忆的模型，才能真正做到“越用越懂用户”。MemT-1.0的意义正在于此：它验证了记忆内化这条技术路线的可行性，并以开源的方式把验证成果交给了整个社区。国产大模型近期的整体进展，可参考本站国产大模型周报；本次发布的完整条目也已收录于本站最新AI大事面板。

来源：爱范儿