美港等多机构提出DraftAttention，实现视频扩散模型无需训练即插即用且2倍GPU端到端推理加速

近期，来自美国东北大学、香港中文大学及 Adobe Research 的研究团队提出了一种名为 DraftAttention 的视频扩散模型加速方法。该方法基于动态稀疏注意力机制，无需训练即可插入现有模型中使用。通过低分辨率“草图注意力图”评估 token 重要性，结合结构化稀疏策略与 token 重排优化，显著降低计算开销。实验表明，该方法在保持高质量视频生成的同时，在 NVIDIA H100 和 A100 GPU 上实现最高 1.75 倍的端到端推理加速，且在多种评价指标（如 PSNR、SSIM、LPIPS）上优于现有方法。研究团队表示，未来将结合量化与蒸馏等技术，推动模型在资源受限设备上的应用。
来源：https://mp.weixin.qq.com/s/VbWe5u5WdQfKLYOohzCZaA