微软等提出「模型链」新范式，与Transformer性能相当，扩展性灵活性更好

来自微软及多所高校的研究团队针对大语言模型（LLM）扩展中的效率与灵活性问题，提出了“表征链”（CoR）和“模型链”（CoM）的新概念。通过引入因果依赖关系，CoM实现了跨尺度特征转换，并被用于重新设计Transformer架构，形成“语言模型链”（CoLM）及其改进版CoLM-Air。实验结果表明，CoLM系列模型不仅性能与基线相当，还显著提升了预填充速度和弹性推理能力，同时通过链式调优方法降低了约42%的调优成本。这一研究为LLM的高效扩展提供了新思路。
来源：https://mp.weixin.qq.com/s/UFqC41KYaE3h6KnbLw5iXQ