每秒110万个token！微软联手英伟达刷新AI推理纪录

微软宣布其基于 NVIDIA GB300 NVL72 系统的 Azure ND GB300 v6 虚拟机，在运行 Llama2 70B 模型时实现每秒 110 万个 token 的推理吞吐量，刷新行业纪录。相比前代 GB200，性能提升 27%，功耗仅增 17%；相较 H100 世代，性能提升近 10 倍，能效比提高 2.5 倍。测试结果经独立机构 Signal65 认证，标志着大规模 AI 推理能力的重要突破。
来源：https://tech.ifeng.com/c/8o2BwgwZa7A