算力成本大降！马尔可夫思考机来了，LLM推理成本直接降为线性

Mila 与微软研究院等团队提出“马尔可夫式思考机”新范式 Delethink，通过将推理过程分块并限制状态大小，使 LLM 长思考的计算复杂度从二次级降至线性。实验表明，在 24K 至 96K token 思考长度下，Delethink 训练的模型在数学任务中表现优于传统 LongCoT 方法，且在 AIME’24 上达到 49% 准确率。计算成本显著降低：94K token 推理训练从 27 个 H100-月减至 7 个。该方法兼容从小模型到 120B 参数大模型，展现出广泛扩展潜力，为高效推理架构提供了新方向。
来源：https://mp.weixin.qq.com/s/bIY_2cs4UOv3_oYSRpu3XA