Gemini Diffusion挑战自回归模型：扩散架构LLM展现高效并行生成潜力

Google 在 I/O 2025 大会上展示的 Gemini Diffusion 引发关注，其采用扩散架构进行文本生成，平均采样速度达 1479 TPS，在编码任务中更高达 2000 TPS，比现有模型快 4-5 倍。扩散架构通过迭代去噪实现并行生成，相比自回归模型效率更高，且在能源消耗方面具有优势。IBM 工程师认为，基于扩散的 AI 系统有望大幅降低计算成本。此外，学界和工业界此前已有多项相关探索，如 Stanford 的 Diffusion-LM 和蚂蚁集团的 LLaDA 系列。研究表明，大模型的性能提升主要源于极大似然估计，而非自回归建模方式，这一发现为扩散模型的应用提供了理论支持。
来源：https://mp.weixin.qq.com/s/xGNAfCuWpqQEixsskE8gcA