几个月前，爱范儿在一台 M3 Ultra 的 Mac Studio 成功部署了 671B 的 DeepSeek 的本地大模型（4-bit 量化版）。而如果把 4 台顶配 M3 Ultra 的 Mac Studio，通过开源工具串联成一个「桌面级 AI 集群」，能否把本地推理的天花板再抬高一个维度？

这也是来自英国创业公司 Exo Labs 正尝试解决的问题。

 「不要以为牛津大学 GPU 多得用不完」

你可能会以为像牛津这样的顶级大学肯定 GPU 多得用不完，但其实完全不是这样。

Exo Labs 创始人 Alex 和 Seth 毕业于牛津大学。即使在这样的顶尖高校做研究，想要使用 GPU 集群也需要提前数月排队，一次只能申请一张卡，流程漫长而低效。

他们意识到，当前 AI 基础设施的高度集中化，使得个人研究者和小型团队被边缘化。

去年 7 月，他们启动了第一次实验，用两台 MacBook Pro 成功串联跑通了 LLaMA 模型。虽然性能有限，每秒只能输出 3 个 token，但已经足以验证 Apple Silicon 架构用于 AI 分布式推理的可行性。

转折点来自 M3 Ultra Mac Studio 的发布。512GB 统一内存、819GB/s 的内存带宽、80 核 GPU，再加上 Thunderbolt 5 的 80Gbps 双向传输能力——让本地 AI 集群从理想变成了现实。

同时跑两个 670 亿参数大模型是什么体验？

4 台顶配 M3 Ultra 的 Mac Studio 通过 Thunderbolt 5 串联后，账面数据相当惊人：

• 128 核 CPU（32×4）
• 240 个 GPU 核心（80×4）
• 2TB 统一内存（512GB×4）
• 总内存带宽超过 3TB/s

这样的组合几乎是一台家用级别的小型超算。但硬件只是基础，真正发挥效能的关键是 Exo Labs 开发的分布式模型调度平台 Exo V2。Exo V2 会根据内存与带宽状态将模型自动拆分，部署在最合适的节点上。

在现场，Exo V2 展示了以下核心能力：

• 大模型加载：8-bit 量化后的 DeepSeek 完整载入需要 700GB 以上内存，单台 Mac Studio 无力承担。Exo 会将模型拆分部署到 2 台 Mac Studio 上完成加载。激活后，它的「打字速度」基本上超过了人的阅读速度。

• 并行推理：在运行 DeepSeek V3 的基础上，又加载了同样 670 亿参数的 DeepSeek R1。系统立即将 R1 分配到剩余的两台设备上，实现两个大模型并行推理，支持多用户同时提问。

• 文档私有问答：拖入公司财报 PDF，模型在本地完成知识嵌入与问答，不依赖任何云端资源，数据完全私有可控。

• 轻量微调：若企业有数千份内部资料，可通过 QLoRA + LoRA 技术进行本地微调。单台微调需耗时数日，而通过 Exo 的集群调度能力，训练任务可线性加速，大幅缩短时间成本。

巨大的成本差异

爱范儿在现场后台观察拓扑图发现：即使 4 台机器同时处于高负载状态，整套系统功耗始终控制在 400W 以内，运行几乎无风扇噪音。

要在传统服务器方案中实现同等性能，至少需要部署 20 张 A100 显卡，服务器加网络设备成本超 200 万人民币，功耗达数千瓦，还需独立机房与制冷系统。

苹果芯片在 AI 浪潮中意外找到了新定位

M3 Ultra Mac Studio 的起售 32999 元，配备 96GB 统一内存，而 512GB 的顶配版本价格确实不菲。但从技术角度来看，统一内存架构带来的优势是革命性的。

在设计 M 芯片之初，苹果更多是为节能、高效的个人创作而生。但统一内存、高带宽 GPU、Thunderbolt 多路径聚合等特性，却在 AI 浪潮中意外找到了新定位。

传统 GPU 即使是最高端的工作站卡，显存通常也只有 96GB。而苹果的统一内存让 CPU 和 GPU 共享同一块高带宽内存，避免了数据在不同存储层级之间的频繁搬运，这对大模型推理来说意义重大。

当然，EXO 这套方案也有明显的定位差异。它不是为了与 H100 正面对抗，不是为了训练下一代 GPT，而是为了解决实际的应用问题：运行自己的模型，保护自己的数据，进行必要的微调优化。

如果说 H100 是金字塔顶的王者，而 Mac Studio 正在成为中小团队手中的瑞士军刀。