搭载 M3 Ultra 的 Mac Studio 在本地运行大规模 DeepSeek R1 AI 模型

著名YouTuber Dave Lee(Dave2D )演示了搭载 M3 Ultra 芯片的 Apple 新款 Mac Studio 如何高效地在本地运行庞大版本的 DeepSeek R1 AI 模型,前提是用户为机器配备最高 512GB 的内存。

根据李的测试,这个拥有 6710 亿个参数的 AI 模型可以直接在苹果的高端工作站上执行,但它需要大量的内存资源,占用 404GB 的存储空间,并且需要通过终端命令手动分配 448GB 的​​视频 RAM。

M3 Ultra 的统一内存架构是实现这一性能的关键,它使系统能够高效处理 4 位量化版本的 DeepSeek R1。虽然量化会略微降低准确度,但它保留了所有参数,并且每秒可提供约 17-18 个 token,足以满足许多实际应用的需求。

或许最令人印象深刻的是,Mac Studio 在实现这一目标的同时,功耗不到 200 瓦。在传统 PC 硬件上,要达到同等性能,需要多个 GPU 的功耗大约是后者的十倍。

在本地运行这种先进的人工智能模型的能力为医疗数据分析等敏感应用提供了隐私优势,因为在这些应用中,将信息发送到云服务会引发安全问题。

然而,如此强大的性能并不便宜——一台配置 M3 Ultra 处理器和 512GB RAM 的 Mac Studio 起价约为 10,000 美元。而配置满配的 Mac Studio,如果配备 16TB SSD 存储,以及搭载 32 核 CPU、80 核 GPU 和 32 核神经网络引擎的 Apple M3 Ultra 芯片,售价高达 14,099 美元。当然,对于需要本地 AI 处理敏感数据的机构来说,与其他硬件配置相比,Mac Studio 提供了相对节能的解决方案。
苹果表示,M3 Ultra 是其迄今为止发布的最快的 Mac 芯片,这得益于其采用“UltraFusion”技术将两块 M3 Max 芯片融合在一起的策略。这使得该芯片的规格是 M3 Max 的两倍。