中国人民大学等团队提出MokA方法，兼顾单模态与跨模态建模，实现MLLM高效微调

** 中国人民大学与上海人工智能实验室联合研究团队提出一种新型多模态大模型微调方法 MokA，旨在解决当前方法照搬单模态策略、忽视模态差异的问题。该方法通过引入模态特异矩阵、跨模态注意力机制与共享矩阵，兼顾单模态建模与跨模态交互。实验表明，MokA 在 LLaMA、Qwen 等主流模型基座上的音频-视觉-文本、视觉-文本、语音-文本等多模态任务中均实现显著性能提升，为多模态模型微调提供了新思路。
来源：https://mp.weixin.qq.com/s/1xVU4hVmXxWB8-c8FQYkUg