2800 亿参数，只激活 140 亿：ERNIE 5.5 的多路由 MoE 亮相

小互在一组 ERNIE 5.5 Flash Preview 帖子中给出了更具体的架构描述。根据这条动态，模型总参数为 2800 亿，每个 token 激活 140 亿参数，多个路由器共同参与专家选择。

原帖将多路由的目标概括为，在相同激活数量下把专家选得更准。它还提到混合稀疏注意力，多数层读取压缩后的历史信息，少数层负责查询细节，以减轻长上下文的显存压力。

同一线程另附技术报告、技术博客与模型下载入口。其中下载地址指向百度在 Hugging Face 上的 ERNIE-5.5-Flash-Base。相关帖子也讨论了编程、Agent 和 Blender 建模示例。

从这组分享能看到的变化，是模型能力展示与具体架构信息一起出现。对于准备尝试部署的人，激活参数、注意力机制及对应权重入口都是进一步阅读技术材料的起点。