谷歌推出开源LMEval框架，简化AI模型评测，跨平台无缝运行且降本增效

谷歌推出了开源框架 LMEval，旨在解决大语言模型和多模态模型评测中的标准化难题。该框架通过 LiteLLM 抹平不同平台接口差异，支持文本、图像、代码等多领域测试，并引入 Giskard 安全评分以评估模型安全性。LMEval 提供增量评估和多线程处理功能，有效降低时间和计算成本，同时其可视化工具 LMEvalboard 能直观展示模型表现，助力研究人员精准定位问题并优化模型性能。
来源：https://tech.ifeng.com/c/8jhJNUUjnVW