华中科大与港中文团队提出GOAT框架，单卡微调大模型性能佳且内存占用降8倍

华中科技大学与香港中文大学团队提出全新LoRA微调框架GOAT，通过自适应奇异值初始化与混合专家梯度对齐策略，有效缓解传统LoRA性能不足问题。实验表明，GOAT在25个跨领域任务中接近或超越全参数微调效果，仅调整少量参数，内存需求降低8倍，训练效率大幅提升，具备广泛实用价值。
来源：https://mp.weixin.qq.com/s/2ZvHV0YBTWUkXJFkmJ2D6g