腾讯混元开源首款混合推理MoE模型，擅长Agent工具调用和长文理解

腾讯混元开源首个混合推理MoE模型Hunyuan-A13B，总参数80B、激活参数仅13B，在保持高性能的同时显著降低推理成本。该模型支持256K上下文窗口、双模式推理，并已在GitHub和Huggingface上线，具备较强的Agent调用、长文处理及多场景适应能力。预训练语料达20T tokens，配合多阶段后训练策略及新开源评估数据集，进一步提升模型效果。目前已在超400项业务中应用，日均请求超1.3亿次，适配中低端GPU部署，吞吐量达前沿模型2倍以上。
来源：https://mp.weixin.qq.com/s/M2LvYmPdvEYeUpOHfUKaiw