苹果的统一内存让 M3 Ultra 能够以更低的功耗处理 DeepSeek R1

- DeepSeek R1 的 6710 亿个参数在 M3 Ultra 的统一内存上流畅运行
- 苹果 Mac Studio 证明 AI 工作负载不需要昂贵且耗电的 GPU 集群
- M3 Ultra 功耗低于 200W,远低于传统的多 GPU AI 设置
苹果搭载 M3 Ultra 芯片的 Mac Studio 展现出了其他个人电脑无法比拟的能力,能够完全在内存中运行拥有 6710 亿个参数的DeepSeek R1 AI 工具。
YouTube评论员Dave2D的测试表明,尽管使用了 4 位量化版本的模型,但它仍保留了完整的参数数量并且运行流畅。
DeepSeek R1型号拥有高达 404GB 的存储空间和通常在 GPU VRAM 中找到的高带宽内存,通常在多 GPU 设置上运行,这些设置将处理分布在多个高端显卡上。
独特的壮举:在内存中运行 DeepSeek R1
然而,M3 Ultra 的统一内存系统并不依赖外部 GPU,而是使用其 512GB 的统一内存以其他个人计算机无法做到的方式存储和处理 AI 模型。
尽管 MacOS 对 VRAM 有默认限制,但 Dave Lee 通过终端手动将其增加到 448GB,为 AI 处理分配高达 448GB,从而消除了内存瓶颈并减少了在单个系统上简化 AI 性能所需的多个组件。
本次测试最引人注目的方面之一是 M3 Ultra 的功率效率,因为它在运行 DeepSeek R1 时消耗的功率不到 200W。
在没有多 GPU 设置的情况下运行如此苛刻的 AI 模型的能力挑战了依赖于高端Nvidia和AMD显卡的行业标准,因为最好的工作站和服务器场通常使用消耗大量电力的GPU 集群。