开源即爆火！英伟达重磅推出OmniVinci全模态大模型

英伟达开源了9B参数的全模态大模型OmniVinci，实现视觉、音频与语言的统一理解，上线一周下载超1万次。该模型在多项基准测试中超越同类产品，仅用约1/6数据量即达成更优性能。其三大架构创新与2400万条多模态数据引擎显著提升跨模态对齐与时间感知能力，并通过隐式与显式学习降低“模态幻觉”。实验显示音视频联合输入大幅提升理解效果，结合强化学习后性能进一步增强。OmniVinci在医疗、机器人、体育解说等多场景中展现强大应用潜力，且可在消费级显卡低延迟运行，推动全模态AI向实用化迈进。
来源：https://mp.weixin.qq.com/s/_UWCx0_3D_JCaSf89KVWqw