红帽联合谷歌、NVIDIA等启动llm-d开源项目，破解AI推理成本与延迟难题

红帽公司推出开源项目llm-d，聚焦生成式AI的大规模推理需求。根据Gartner数据，到2028年，80%以上的数据中心加速器将专用于推理任务。该项目通过统一平台集成先进推理能力，显著降低企业AI加速器的总体成本，并提升效率。llm-d已获Google Cloud、NVIDIA等多家行业巨头支持，共同应对集中式推理面临的高成本与延迟问题。这一开源项目有望推动AI推理技术标准化，为AI生态系统的可持续发展奠定基础。
来源：https://tech.ifeng.com/c/8jhASJF1jIx