推理时扰动高熵词,增强LLM性能

[复制链接]
周大 发表于 2025-10-29 14:48:29 | 显示全部楼层 |阅读模式
香港科技大学(广州)团队提出 Minimal Test-Time Intervention(MTI),通过 Selective CFG 和轻量负向提示,在不需训练的前提下提升大模型推理准确性。研究发现仅少量高熵词显著影响输出,实验表明在 Qwen3 系列模型上干预不足 4% 的词汇即可实现平均 1.58 至 4.9 个百分点的性能提升,且兼容现有推理框架,为测试时扩展提供了高效新路径。
来源:https://mp.weixin.qq.com/s/UlKseo4v6Lk2fvzKNmXmRQ

搜索|Archiver|手机版|靠浦网络|靠浦ai课堂 ( 鄂ICP备17024134号-3 )

GMT+8, 2025-11-9 06:13 , Processed in 0.299874 second(s), 24 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表