Vision-Zero：零数据VLM自我进化！陈怡然团队提出零监督训练新范式

由杜克大学、新国大、马里兰大学与Adobe联合提出的Vision-Zero框架，利用“谁是卧底”式自博弈机制训练视觉语言模型，无需人工标注即可生成复杂推理数据。该框架支持任意图像输入，并通过Iterative-SPO算法实现线索与决策阶段交替优化，避免训练饱和。实验表明，在未使用标注数据的情况下，其在推理、图表问答等任务上超越现有SOTA方法达2.8%-3%，且显著缓解了跨任务负迁移问题，为摆脱数据依赖、实现模型可持续进化提供了新路径。
来源：https://mp.weixin.qq.com/s/TRkETaG2y1gzcdbE-eHNxA