导语：Edge0开源了145B端侧大模型Edge0-145B与Edge0-120B及配套推理框架。其中145B模型峰值显存29GB，单张消费级显卡即可运行。官方博客于11月12日发布，GitHub记为11月13日。
端侧大模型长期以来有个矛盾：参数越大，能力通常越强，但对显存和算力的要求也越高，只能跑在专业设备上；参数做小了，部署门槛是低了，能力又会打折。145B这个量级放在端侧，本身就是一个值得留意的信号。它意味着端侧模型的规模正在往上走，而不再局限于几B到几十B的范围。
先看官方给出的数据。145B模型峰值显存29GB，这个数字直接决定了它能跑在什么样的硬件上。29GB显存已经进入高端消费级显卡可以覆盖的范围，这也是”单张消费级显卡可跑”这个说法的依据。官方还称，模型在笔记本上的生成速度达到80+ tokens/s。需要注意的是，速度数据来自官方自述，测试用的笔记本配置没有在公开信息中详细说明，读者在引用时应当保留”自称”这个限定。
评测成绩同样来自官方自测。Edge0-145B在Terminal-Bench 2.1上自测86.5分。Terminal-Bench是一项面向终端智能体任务的评测，分数反映的是模型在命令行环境里完成实际任务的能力。86.5分如果属实，是一个相当高的成绩，但因为是官方自测结果，尚未见到第三方复现数据，这个分数目前更适合作为参考，而不是定论。
模型的结构也值得单独说明。Edge0-145B源自Qwen3.8-Flash-Next，采用混合专家架构，共有512个专家，每步推理激活其中10个。混合专家架构的特点是模型总参数很大，但每次推理只调用其中一小部分专家，这样既保留了大模型的容量，又控制了实际计算量。512个专家、每步激活10个，激活比例不到2%，这种设计正是145B模型能在29GB显存里跑起来的结构基础。
配套的推理框架同样是这次开源的一部分。模型参数再合适，也需要框架来管理显存占用、调度专家激活、处理推理过程中的计算分配。没有框架配合，145B模型很难在消费级显卡上真正跑起来。Edge0把框架和模型一起开源，相当于给出了一整套可以在本地复现的方案，开发者不用自己解决部署环节的工程问题。端侧部署还有一个常被提到的好处，就是数据不用上传云端，推理延迟也不受网络影响，这些特点在对隐私和实时性有要求的场景里会有实际价值。
需要说明的一点是，Edge0并非中国公司，但模型基底是通义Qwen系列的Qwen3.8-Flash-Next。开源模型跨国流动、再被二次开发，是当前开源生态里的常见现象。这次发布沿用了Qwen的基底模型，在此基础上做蒸馏和优化，再以Edge0的名义开源。理解这一点，有助于读者分清这次发布里哪些是基底模型的能力，哪些是Edge0自己的工作。
从趋势上看，端侧大模型正在同时往两个方向走：一是参数规模往上走，从几十B走向上百B；二是部署门槛往下走，从专业设备走向消费级显卡和笔记本。Edge0-145B同时踩在这两个方向上，提供了又一个样本。至于它在真实任务里的表现是否配得上官方数据，还要等更多开发者上手实测之后才能判断。模型与推理框架已经开源，有兴趣的读者可以直接获取验证。
来源：Daily AI Brief
相关阅读
