普林斯顿团队推出GTA与GLA注意力机制，推理速度提升2倍且KV缓存减半

普林斯顿大学研究团队提出两种新型注意力机制GTA和GLA，专为大语言模型推理优化设计。GTA通过参数绑定减少约50%的KV缓存用量，性能媲美GQA；GLA借助潜在层压缩上下文，解码速度较FlashMLA快2倍，尤其在长上下文场景中表现突出。实验结果表明，这两种机制在保持模型质量的同时显著提升解码效率和硬件利用率。该研究由Mamba架构作者之一Tri Dao领衔，旨在解决现有注意力机制的内存冗余和计算低效问题，被认为是迈向“理想”推理架构的重要一步。
来源：https://tech.ifeng.com/c/8jpQAbvcjHr