视频语言大模型的新挑战：港中大LaVi团队联合凤凰卫视发布NeMoBench

为解决传统视频语言评测受限于短时长与高人工成本的问题，香港中文大学王历伟团队联合多家机构推出“蒙太奇式的大海捞针”（NeMo）任务及自动化评测基准NeMoBench。该基准基于凤凰卫视授权视频，利用自动化管道生成31,378个QA对，覆盖秒级到小时级视频，评估模型在长上下文召回与时间定位上的表现。测试显示，当前开源模型性能较弱且随视频延长急剧下降，闭源模型虽领先，但距人类专家仍有超27%的差距，凸显视频理解技术仍处发展阶段。NeMoBench以节省78%时间成本的高效方式推动多模态研究，未来将维护公开榜单促进领域进步。
来源：https://tech.ifeng.com/c/8nhmrsZRqit