√N并行+84倍计算加速！英伟达港大全新图像注意力：空间结构都保留

研究人员提出广义空间传播网络（GSPN），一种专为视觉任务设计的新型注意力机制。通过线性扫描方法和稳定性-上下文条件，GSPN解决了Transformer在视觉任务中的两大核心挑战——高计算复杂度和忽略空间结构信息，将复杂度降至√N量级。该方法通过二维线性传播实现稳定长距离上下文传播，并提供全局与局部两种变种以适应不同任务需求。实验结果表明，GSPN在图像分类、类条件图像生成及文本到图像生成等任务中表现出色，尤其在生成16K分辨率图像时较现有方法加速84倍以上，展现出卓越效率和潜力。
来源：https://mp.weixin.qq.com/s/sRWVPluSQHehKWsMFEJVqQ