北大伯克利团队发布IDA-Bench新基准：顶尖大模型数据分析成功率仅40%，专测多轮交互能力

北京大学与加州大学伯克利分校合作开发了IDA-Bench，这是一个针对大模型多轮交互数据分析能力的全新测试基准。该基准通过模拟真实数据分析中的迭代式指令调整过程，评估模型在动态环境下的表现。实验结果表明，即使是顶尖的大模型（如Gemini-2.5-Pro和Claude-3.7），任务成功率也仅达40%左右。研究还发现，不同模型表现出截然不同的行为特征，例如Claude-3.7过于自信而忽略用户指令，Gemini-2.5-Pro则因过度谨慎导致任务超时失败。此外，许多模型在测试中出现幻觉、格式错误等问题，凸显了当前大模型在交互性和可靠性方面的不足，亟需进一步改进以适应真实场景需求。
来源：https://mp.weixin.qq.com/s/0DVNQbifWQ5nWHKPNSwwHA