
百度今日发布 ERNIE-5.5-Flash-Base,并开放其预训练终点(pre-training endpoint)的权重,该模型总参数达到 280B。与文心 4.5 采用 Apache 2.0 协议不同,这一次百度换成了自定义许可证,并把欧盟、英国和韩国排除在授权地域之外。
百度这次发布的消息,核心其实是两个点:一个是模型本身,一个是它附带的规则。模型是 ERNIE-5.5-Flash-Base,总参数 280B,开放的是预训练终点(pre-training endpoint)的权重。也就是说,百度把这个模型训练完成之后、尚未经过针对特定任务微调的那一版拿了出来,交到开发者手里。拿到这一版权重的人,可以在这个基础上继续做自己的训练和调整,而不是只能调用一个已经定型的成品。这种开放方式,在当下的大模型发布里并不少见,它的意义在于把模型的可塑性留给了使用者,至于最后做成什么样子,很大程度上取决于拿到权重的人怎么用。
280B 这个数字本身也值得单独说一句。总参数达到这个量级,意味着模型在训练时所容纳的信息规模相当大,结构也相对复杂。对于使用者来说,这既是能力上的底气,也是一种成本上的现实:参数规模越大,对算力、显存和部署环境的要求往往越高,不是所有团队都能直接把它跑起来。百度选择在这个量级上开放权重,等于是在能力与门槛之间做了一个取舍。愿意接住它的人,需要先掂量自己的算力条件,再决定是直接使用,还是做进一步的压缩、蒸馏或者适配。
比模型参数更值得留意的,是这次的许可证变化。文心 4.5 用的是 Apache 2.0 协议,那是一份业内非常熟悉的开源协议,条款清晰,使用范围也宽。而 ERNIE-5.5-Flash-Base 这次换成了自定义许可证,并且明确把欧盟、英国和韩国排除在授权地域之外。这个变化很直接:它不是技术细节的调整,而是使用边界的重新划定。过去用 Apache 2.0 的时候,开发者基本不需要先问自己在哪个国家和地区;现在换成自定义许可证,地域就成了第一道门槛,身处被排除地区的使用者,哪怕技术上能拿到权重,在授权上也不在覆盖范围之内。
这种做法在开源领域并不常见,但也不是没有先例。模型发布方在开放权重时,往往要在开放程度与自身考量之间找平衡。完全开放固然能换来更广的传播和使用,但也意味着对后续用途的控制力变弱;收紧授权,则能在一定程度上把使用范围限定在自己认可的区域和场景里。百度这次的做法,显然是往收紧的方向走了一步。它没有改变模型本身的参数和结构,改变的是谁可以在什么地方用它。这种改变对普通开发者来说可能感受不深,但对身处欧盟、英国、韩国的团队和机构来说,界限是明确的。
从使用者的角度看,拿到 ERNIE-5.5-Flash-Base 的权重之后,真正的工作才刚刚开始。预训练终点的权重只是一个起点,它还需要经过针对具体场景的调整,才能变成一个好用的产品。不同团队的需求不同,有人需要它处理中文文本,有人需要它做代码、做推理、做行业知识的适配,这些工作都需要建立在权重开放的基础之上。百度把这一版交出来,等于把后续的可能性交给了社区和开发者,而许可证上的地域限制,则决定了这份可能性在哪些地方可以落地。
再往远一点看,这次发布也折射出大模型开放方式正在出现分化。过去一段时间,业内有一种倾向是把权重开放等同于完全开放,协议越宽松越好。但随着模型规模越来越大、应用场景越来越广,发布方开始在协议上做更多区分:有的限定商用方式,有的限定使用地域,有的对二次分发提出额外要求。百度这次把地域排除写进自定义许可证,就是这种分化中的一个具体例子。它提醒使用者,拿到权重之前,先把许可证读清楚,比先把模型跑起来更重要。
对于关注文心系列的人来说,这次发布还有一个对比的看点:文心 4.5 与 ERNIE-5.5-Flash-Base 在开放方式上的不同。4.5 用 Apache 2.0,规则简单、适用面广;5.5 Flash Base 换成自定义许可证,规则更细、边界更明确。这种变化本身并不说明模型能力的高低,它说明的是百度在不同阶段、面对不同模型时,对开放策略的想法在调整。至于这种调整会不会成为常态,还要看后续模型的发布方式是否延续同样的思路。
总的来说,ERNIE-5.5-Flash-Base 的发布可以分成三层来理解:第一层是模型本身,总参数 280B,开放预训练终点权重;第二层是使用方式,拿到权重的人可以在此基础上继续训练和调整;第三层是授权规则,自定义许可证把欧盟、英国和韩国排除在外。三层加在一起,才是这次发布的完整面貌。对有意使用这个模型的人来说,先确认自己是否在授权地域之内,再评估自己的算力是否跑得动 280B 的规模,最后再决定怎么用这份权重,是比较稳妥的顺序。
来源:百度
[…] 百度首次披露 Apollo World 世界模型,已用于萝卜快跑的全球化测试与验证。在它构建的虚拟城市里,车辆与行人都是会决策、会互动的 AI 智能体,让无人车在实车部署前先完成驾驶推演。 […]