11/11
2800 亿参数，只激活 140 亿：ERNIE 5.5 的多路由 MoE 亮相
小互分享 ERNIE 5.5 Flash Preview 的架构细节，称其采用多路由 MoE 与混合稀疏注意力，重点瞄准专家选择和长上下文的显存开销。
天机乍现，
先闻其声。
AI 江湖，暗流涌动。
把值得追的每一次风起，第一时间传给你。
正在连接灵网
公司 · 人物 · 技术 · 资本 · 世界天机总榜
AI 江湖，一览即知“ERNIE 5.5”的搜索结果清除搜索
AI 江湖，暗流涌动。
把值得追的每一次风起，第一时间传给你。
“ERNIE 5.5”的搜索结果清除搜索
小互分享 ERNIE 5.5 Flash Preview 的架构细节，称其采用多路由 MoE 与混合稀疏注意力，重点瞄准专家选择和长上下文的显存开销。