天机总榜

2800 亿参数，只激活 140 亿：ERNIE 5.5 的多路由 MoE 亮相

小互分享 ERNIE 5.5 Flash Preview 的架构细节，称其采用多路由 MoE 与混合稀疏注意力，重点瞄准专家选择和长上下文的显存开销。