技能英伟达桌面超算，加入苹果Mac Studio快爆了：推理速度飙升至277%

EXO Labs团队通过将两台英伟达DGX Spark与一台M3 Ultra芯片的Mac Studio结合，利用PD分离与流式KV缓存传输技术，使Llama-3.1 8B模型的推理速度整体提升至Mac Studio的2.77倍。其中，DGX Spark（100TFLOPS算力）负责Prefill，M3 Ultra（819GB/s带宽）负责Decode，充分发挥各自硬件优势。该方法显著提升了计算效率，且EXO框架可自动调度设备资源。类似架构也被英伟达下一代Rubin CPX平台采纳。尽管苹果M5芯片AI性能有所提升，但在关键指标上仍不及M3 Ultra。
来源：https://mp.weixin.qq.com/s/gbwuU4gupKP3-XjGPfsaUg