扩散不死，BERT永生！Karpathy凌晨反思：自回归时代该终结了?

Nathan Barry通过实验证明，RoBERTa在引入动态掩码率后可转化为文本扩散生成模型，仅30分钟训练即生成连贯文本，效果接近GPT-2。该工作揭示BERT类模型本质是固定掩码率的扩散模型特例。尽管当前推理速度较慢（13秒），但其架构无需改动即可实现生成，凸显扩散方法潜力。谷歌已推出Gemini Diffusion，IBM也预言其或挑战GPT，显示文本扩散模型正成为LLM重要发展方向。
来源：https://mp.weixin.qq.com/s/Mn51nq2nT0ee8Nr76g0gdw