推理效率狂飙60倍：DiDi-Instruct让扩散大模型16步超越千步GPT

DiDi-Instruct是一种新型离散扩散大语言模型后训练方法，可在8-16步内完成文本生成，实现超64倍推理加速，困惑度优于1024步GPT-2和dLLM教师模型。该方法通过分布匹配蒸馏、对抗奖励机制与多项优化技术，在OpenWebText上显著提升效率与性能，训练仅需约1小时（单H100），并在蛋白质生成任务中展现跨领域潜力，为高效生成模型提供新范式。
来源：https://mp.weixin.qq.com/s/0mGHnVtgxmazwxeu0nPjOw