百度的 ECHO 多 token 预测方法,把打草稿的工作交给了模型最后一层。小互在 ERNIE 5.5 线程中介绍,这一层会复用已有计算,尝试预测后续 token。
训练时,最后一层练习预测接下来的几个字词。生成时,它先给出一串草稿,完整模型再统一核对。连续多个预测通过,一轮就能输出多个 token。
这条加速路径直接瞄准生成环节,把逐个推进的输出流程,变成草稿预测与成批验证的配合。
原帖留影
ECHO 是百度设计的一种多 token 预测方法 复用模型最后一层预测后续 token,一次验证通过就能输出多个 什么意思,训练时,百度让模型用自己的最后一层练习预测接下来的几个字词,生成答案时,这一层就能先打个草稿,再由完整模型一次核对 连续猜对几个,就能一轮输出几个,出字也就更快了@xiaohu在 X 查看原帖发布于 2026/11/11 20:53(北京时间)