田渊栋与Russell团队联手，证明Transformer能在训练中自然学会叠加推理

田渊栋与Stuart Russell团队合作研究表明，在连续思维链（Coconut）训练中，叠加态可在两层Transformer中自发涌现。通过对图可达性任务的理论与实验分析，发现索引匹配logit保持有界，有助于平衡探索与利用，实现隐式并行推理。实验显示模型在多阶段训练后达到96.2%准确率，并展现出长度泛化能力，揭示了高效推理机制背后的训练动态。
来源：https://mp.weixin.qq.com/s/gnHQcKaq5Kehr11Jh95AHg