人大团队联合值得买科技推出JointDiT框架，实现静态图像一键生成同步音视频

中国人民大学高瓴人工智能学院与值得买科技AI团队联合提出JointDiT框架，首次实现从静态图像直接生成高质量同步音视频内容。通过创新设计的感知式联合注意力机制和联合无分类器引导，JointDiT有效解决了音视频生成中的语义错位与节奏失调问题。实验表明，JointDiT在视频质量、音频自然度及同步性等指标上全面超越现有方法，并在用户主观测试中表现出色。该技术为多模态生成领域提供了新思路，未来有望扩展至图像、文本、音频、视频四模态联合建模，推动更智能的多模态系统发展。
来源：https://mp.weixin.qq.com/s/9ui5jx38w-9Qwn5EGVuf9Q