康奈尔等机构推出Eso-LM模型，推理速度提升65倍，融合扩散与自回归优势

研究人员提出了一种全新的语言建模框架Esoteric Language Models（Eso-LMs），结合了自回归（AR）和离散扩散模型（MDM）的优势，首次在保持并行生成的同时引入KV缓存机制。新方法在推理速度上较标准MDM提升了65倍，并在两个基准测试（LM1B和OWT）中取得了最优困惑度表现，分别将困惑度降低至16.3和19.1。Eso-LM通过调节扩散步数实现了生成质量和速度的动态平衡，同时避免了模式崩溃问题。这一突破性研究由康奈尔大学、CMU及英伟达研究院等机构共同完成，为未来语言模型的发展提供了新的方向。
来源：https://mp.weixin.qq.com/s/E9xigO4Wu8qlBPlG4WTf_A