首个实例理解3D重建模型！NTU&阶越提出基于实例解耦的3D重建模型，助理场景理解

NTU与StepFun联合推出IGGT，一种端到端统一Transformer模型，首次融合3D几何重建与实例级语义理解。该研究构建了含15K场景、2亿图像的大规模数据集InsScene-15K，并提出“实例接地”新范式，通过生成3D一致实例掩码实现与任意VLM/LMM的即插即用集成。IGGT在实例跟踪任务中IOU达70%、成功率90%，可同时支持空间跟踪、开放词汇分割与场景问答，显著提升多任务泛化能力，为三维场景理解提供新范式。
来源：https://mp.weixin.qq.com/s/rT8C2tsPMpRG24vy5AZ84A