桌面级AI Lab实测:千亿大模型开箱即跑,这个小盒子有点猛

[复制链接]
周大 发表于 4 天前 | 显示全部楼层 |阅读模式
灵启 AI 小盒子由趋境科技与智谱 AI 联合推出,集成 GLM-4.5-air 106B 等千亿参数模型,支持 100K 上下文与多模型并行推理,单并发速度达 30 tokens/s。设备采用图形化界面与 nvFP4 量化技术,实现零门槛部署与高效稳定运行,并内置 LLaMA Factory 微调平台及本地知识库工具,助力开发者快速构建 AI 应用,标志着个人 AI 实验室时代的初步到来。
来源:https://mp.weixin.qq.com/s/wHBswMDWDg2CewzB1eH_9A

搜索|Archiver|手机版|靠浦网络|靠浦ai课堂 ( 鄂ICP备17024134号-3 )

GMT+8, 2025-12-16 02:30 , Processed in 0.246075 second(s), 20 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表