2025年8月我买了一台配备128GB统一内存的 NVIDIA DGX Spark。最初的想法很直接把 Whisper 语音转写、本地大模型、公司内部知识库和一些 AI 工具搬到本地运行尽量减少对云端服务的依赖。最近又有人问我既然 Mac Studio 的 M3 Ultra 可以配置到512GB统一内存整整是 DGX Spark 的四倍那么它是不是更适合运行大模型甚至可以直接替代 DGX Spark搭载 M3 Ultra 芯片的新款 Mac Studio并不是什么新产品其发布和发货时间节点如下发布时间2025年3月5日北京时间。苹果官方通过新闻稿正式发布了这款迄今最强大的 Mac 桌面设备与搭载 M4 Max 的版本一同推出。正式发货/发售时间2025年3月12日星期三。补充细节 由于 M3 Ultra 顶配版本特别是本文提到的 512GB 统一内存 16TB 固态硬盘 这种怪兽级配置极为抢手且产能受限在 3 月 12 日首发当天选择顶配定制版的用户普遍遇到了约两周的延迟订单大多被推迟到了 2025 年 3 月底甚至 4 月初才陆续送达。从纸面参数看Mac Studio 的确很凶猛512GB统一内存、819GB/s内存带宽、最高32核CPU和80核GPU。DGX Spark只有128GB统一内存带宽也只有273GB/s。但真正把这两台机器摆在一起就会发现它们并不是同一类产品。Mac Studio更像一台拥有超大共享内存的全能专业工作站DGX Spark则更像一台缩小到桌面上的CUDA AI开发服务器。谁更适合你不能只看内存容量。一、先澄清一个概念M3 Ultra不只是一颗“CPU”很多人习惯把它叫作“M3 Ultra CPU”严格来说并不准确。M3 Ultra是一颗完整的SoC其中集成了CPU、GPU、32核Neural Engine、媒体编解码引擎以及统一内存控制器。标准版本为28核CPU加60核GPU最高可以配置到32核CPU加80核GPU统一内存带宽为819GB/s内存容量最高512GB。DGX Spark内部的GB10同样不是传统意义上的“CPU加独立显卡”。它把20核Arm CPU和Blackwell GPU结合在一个Grace Blackwell平台中CPU和GPU共享128GB LPDDR5X内存并通过一致性内存架构协同工作。因此两台机器都有统一内存但设计目标完全不同。项目Mac Studio M3 UltraNVIDIA DGX Spark产品定位专业桌面工作站桌面AI开发系统CPU28核或32核Apple CPU20核Arm10×Cortex-X92510×Cortex-A725GPU60核或80核Apple GPUBlackwell GPU6144个CUDA核心AI专用单元32核Neural Engine第五代Tensor Core统一内存96GB起最高512GB128GB内存带宽819GB/s273GB/s低精度AI指标Apple未公布可直接对比的FP4指标最高1 PFLOP FP4稀疏计算网络10GbE、Thunderbolt 510GbE、ConnectX-7、双QSFP接口视频硬件2个解码、4个编码、4组ProRes引擎1个NVDEC、1个NVENC主要软件环境macOS、Metal、MLX、Core ML、MPSLinux、CUDA、NGC、PyTorch、vLLM、TensorRT-LLM需要特别注意DGX Spark标称的“1 PFLOP”是在FP4低精度并启用稀疏计算的特定条件下得到的AI指标不能直接拿来和Apple GPU的通用计算能力比较。二、Mac Studio的512GB内存真正解决的是什么问题Mac Studio最大的吸引力不是某一个AI算力数字而是512GB容量和819GB/s带宽同时出现在一台桌面电脑里。这相当于给CPU和GPU准备了一个巨大的公共仓库而且仓库通道非常宽。1. 在一台机器里容纳数百B参数的大模型大模型首先要解决的不是“算得快不快”而是“能不能装进去”。可以做一个非常粗略的估算BF16或FP16每个参数约2字节INT8每个参数约1字节4bit量化每个参数理论上约0.5字节不考虑量化尺度、缓存和运行时开销时70B模型4bit权重大约35GB200B模型4bit权重大约100GB405B模型4bit权重大约203GB671B模型4bit权重大约336GB因此512GB Mac Studio不仅可以轻松容纳32B、70B和100B级模型还能够尝试405B甚至671B级量化模型。Apple官方也宣称512GB版本可以在本地运行超过600B参数的大模型。这个说法显然不可能指BF16全精度权重而必须建立在量化、压缩和特定软件实现之上。不过装得进去和跑得实用是两回事。一个671B模型即使能够完整放进512GB统一内存每生成一个Token仍然需要读取大量权重。模型结构、量化格式、上下文长度、KV Cache、MoE激活方式和推理框架都会影响最终速度。所以512GB Mac Studio的正确理解不是“可以高速运行所有大模型”而是它把很多原来根本无法在单机内存里展开的实验变成了至少可以启动、观察和研究。2. 单用户大模型推理819GB/s带宽很有价值DGX Spark的内存带宽是273GB/sM3 Ultra是819GB/s纸面上正好达到三倍。在单用户、Batch Size较小的对话式LLM推理中模型解码阶段经常受到内存带宽限制。每生成一个TokenGPU都要不断从内存中读取模型权重。因此在模型格式和软件优化水平接近时更高的带宽通常有助于提高Token生成速度。但是这不代表Mac Studio在所有AI任务中都会快到三倍。大批量推理、Prompt Prefill、模型训练、矩阵计算和低精度Tensor运算可能更多受到GPU计算单元、内核优化和软件框架影响。DGX Spark的Tensor Core、FP4支持以及NVIDIA推理软件栈在这些场景中仍然具有明显意义。3. 它还是一台非常强的视频和内容生产工作站M3 Ultra不仅有大内存还有两套视频解码引擎、四套视频编码引擎以及四组ProRes编解码引擎支持H.264、HEVC、ProRes、ProRes RAW和AV1解码。对于经常处理技术交流视频、提取字幕、剪辑演示录像、压制公众号视频的人来说Mac Studio可以把很多工作集中到一台机器中视频导入、音频提取、语音识别、字幕处理、视频剪辑、降噪、调色、编码和导出都可以在同一个macOS环境里完成。DGX Spark也有NVENC和NVDEC但官方硬件规格只有一套编码和一套解码引擎。它首先是一台AI开发设备并不是专门为多路ProRes剪辑和影视后期设计的。三、DGX Spark为什么只有128GB仍然很难被Mac替代如果只比较128GB和512GBDGX Spark似乎已经输了。但DGX Spark真正卖的并不是内存容量而是下面这几个字NVIDIA AI软件生态。1. CUDA仍然是AI开发的主航道大量AI项目默认围绕CUDA开发包括PyTorch CUDATensorRT-LLMvLLMNVIDIA NGC容器NeMoTriton Inference ServerRAPIDSIsaac、Metropolis和HoloscanDGX Spark预装NVIDIA AI软件环境官方建议通过NGC容器使用经过适配的PyTorch、vLLM和TensorRT-LLM。这带来一个很现实的优势在DGX Spark上开发和验证的模型更容易迁移到配备RTX PRO、L40、H100、H200、B200或者其他NVIDIA GPU的数据中心和云端环境中。而Mac上的Metal、MLX和Core ML本质上是另一条技术路线。模型虽然可以转换过去运行但它和企业里常见的CUDA服务器并不是完全相同的开发、调试和部署环境。如果工作的目标是“在桌面上验证随后部署到NVIDIA服务器”DGX Spark明显更加顺手。2. Tensor Core和FP4不是摆设DGX Spark的Blackwell GPU带有第五代Tensor Core并支持FP4低精度AI计算。NVIDIA给出的指标是在稀疏条件下最高1 PFLOP FP4性能。对于已经针对Tensor Core优化的模型特别是TensorRT-LLM、NVIDIA量化工具链和大批量推理专用Tensor Core可能比单纯增加内存带宽更加重要。Mac Studio虽然有32核Neural Engine但在当前常见的本地LLM工作流中主要承担计算任务的通常仍然是Apple GPU和统一内存而不是Neural Engine。Apple自己的MLX框架目前主要把计算放在CPU和GPU上并利用统一内存避免CPU与GPU之间反复复制数据。换句话说不能简单地把“32核Neural Engine”和“第五代Tensor Core”当成两个可以逐项对比的产品参数。3. DGX Spark更像一台Linux服务器DGX Spark运行Linux系统带有10GbE和ConnectX-7高速网卡并提供两个QSFP网络接口。单台机器支持最高200B级模型两台Spark还可以通过高速网络组合用于405B级模型。它很适合放在办公室里作为一台长期开机的AI节点部署Open WebUI提供内部HTTP API运行本地知识库建立多人共享的推理服务通过SSH远程管理运行Docker或NGC容器和其他Linux服务器组成实验环境Mac Studio当然也能运行Web服务和容器但它更像一台安静、强大的个人工作站DGX Spark从产品思路上就更接近“小型AI基础设施”。四、回到最实际的问题Whisper语音转写选谁这是我自己非常关心的场景。公司经常有产品培训和技术演示视频需要从视频里提取音频再用faster-whisper生成字幕最后整理成总结报告。DGX Spark更接近原来的faster-whisper工作流faster-whisper的核心执行引擎是CTranslate2。当前CTranslate2官方已经提供Linux AArch64的Python Wheel并支持Linux下的NVIDIA GPU执行。因此从系统架构上看DGX Spark适合继续使用FFmpeg → faster-whisper → 字幕文件 → 文稿整理 → 视频回写问题在于DGX Spark同时涉及Arm64、Blackwell、CUDA、cuDNN和CTranslate2版本匹配。只要其中一个环节没有及时适配就可能出现“硬件很强软件却暂时跑不起来”的情况。这也是DGX Spark刚买回来时容易踩坑的地方它不是普通的x86电脑加一张NVIDIA显卡而是一个相对较新的ArmBlackwell平台。Mac Studio不要强行照搬faster-whisperCTranslate2的macOS ARM64版本可以安装但其官方预编译包的GPU执行主要面向Linux和Windows上的CUDA环境。Mac没有CUDA因此不能指望把原来的faster-whisper CUDA流程原封不动搬过去。Mac Studio更合适的路线是MLX Whisper基于Metal的Whisper实现Apple Silicon原生语音识别工具Apple的MLX示例项目已经包含Whisper语音识别也包括LLM、LoRA、QLoRA、图像生成和视频生成等示例。不过即便使用同一个Whisper large-v3模型不同推理引擎在分段、Beam Search、VAD、时间戳和解码参数上也可能存在差异。不能只看速度还需要拿公司过去积累的中文技术交流录音做一轮准确率和时间戳测试。对语音转写来说512GB其实严重过剩Whisper large-v3并不是一个需要数百GB内存的模型。如果购买512GB Mac Studio只是为了跑Whisper、整理字幕或者运行32B本地模型那么配置明显过高。Whisper真正需要的是成熟的软件适配、可靠的批处理脚本和稳定的GPU加速而不是半TB内存。五、运行32B、70B、235B和671B模型两台机器分别怎样结合我自己比较关注的模型可以简单划分如下。32B级模型例如DeepSeek-R1蒸馏版32B、Qwen系列32B。两台机器都能轻松容纳。DGX Spark可以通过CUDA、vLLM或者TensorRT-LLM运行Mac Studio则可以通过MLX、llama.cpp类工具或者LM Studio运行。在这个级别没有必要为了容量从128GB升级到512GB。70B级模型两台机器仍然都很适合。NVIDIA官方给DGX Spark的定位是最高支持70B级模型微调、200B级模型推理。这里的“微调”通常需要结合具体精度、LoRA或其他节省显存的方法理解不能等同于任何条件下都能进行70B全参数训练。Mac Studio则拥有更大的内存余量可以使用更高精度、保留更长上下文或者同时运行Embedding、Reranker和主模型。200B至235B级模型这时差距开始变得明显。一个235B模型使用4bit量化仅权重理论值就接近117.5GB。对于128GB DGX Spark来说除去操作系统、运行时、KV Cache和量化元数据以后空间会非常紧张。虽然NVIDIA官方宣称单台DGX Spark支持最高200B参数模型推理但这显然需要合适的量化格式、上下文长度和软件优化。512GB Mac Studio在容量方面会从容得多。405B至671B级模型这正是512GB Mac Studio最有吸引力的领域。405B模型的4bit权重理论上约203GB671B模型约336GB。即使加入量化信息和运行时开销512GB仍然提供了相当可观的空间。单台DGX Spark基本不属于这个容量级别。两台DGX Spark可以按照NVIDIA官方方案尝试405B模型但两台机器之间的数据交换、并行框架和模型切分都会提高部署复杂度。所以如果目标是在一台桌面机器里研究DeepSeek-V3、DeepSeek-R1全尺寸模型或者其他600B级量化模型512GB Mac Studio的容量优势是实实在在的。只是还要再强调一次可以把模型装进内存不代表一定能够获得令人满意的生成速度。六、两台机器各自最适合什么场景Mac Studio M3 Ultra512GB更适合超大模型单机推理和研究需要在一台机器中容纳200B、400B甚至600B级量化模型又不想搭建多GPU服务器。视频、音频和内容生产大量技术视频剪辑、ProRes处理、字幕生成、图片处理、三维渲染和多媒体导出。一台机器完成全部日常工作除了AI还要同时处理浏览器、Office、图片、视频、编程、音乐和多屏显示。需要大容量GPU可访问内存的专业应用例如3D渲染、超大场景、科学数据处理、基因测序、视觉特效和大型数据集分析。Apple也把512GB统一内存重点用于LLM、3D、视觉特效和科学计算场景。DGX Spark更适合CUDA原生AI开发项目依赖CUDA、TensorRT-LLM、vLLM、NGC、NVIDIA NeMo或其他NVIDIA框架。模型微调和部署验证希望在桌面上完成原型开发再迁移到NVIDIA服务器、数据中心GPU或者云端。公司内部AI服务器需要长期开机、远程SSH、Docker部署、Open WebUI、API服务和多人访问。机器人、视觉和边缘AI使用Isaac、Metropolis、Holoscan或者其他NVIDIA边缘AI框架。需要高速网络互连ConnectX-7和QSFP接口使DGX Spark更容易进入多节点AI和高速网络实验环境。七、对我自己的使用需求应该怎么选结合我平时的工作内容我的结论并不是“Mac Studio比DGX Spark强”也不是“DGX Spark才是真正的AI机器”。更准确的判断是如果主要做下面这些事情现有DGX Spark已经够用faster-whisper字幕转写32B或70B本地大模型Open WebUI公司内部知识库技术文档问答客户视频摘要内部AI API服务CUDA软件和模型测试这类任务的核心问题不是128GB不够而是要把Arm64、CUDA、容器和推理框架真正配置稳定。如果DGX Spark目前没有充分利用起来仅仅再买一台512GB Mac Studio并不会自动解决软件部署和工作流问题。出现下面这些需求时512GB Mac Studio才真正有价值确实要在单机中运行235B以上模型想尝试405B、600B或671B级量化模型同时承担大量视频剪辑、转码和公众号内容生产不想搭建多GPU或多节点服务器希望得到一台安静、省心、日常办公也很好用的超级工作站愿意围绕MLX、Metal和Apple Silicon重新搭建AI软件环境从这个角度看Mac Studio不是DGX Spark的升级版而是另一种方向。八、最后的结论不要让“512GB对128GB”替你做决定如果只看内存容量和带宽Mac Studio M3 Ultra明显占优。它拥有四倍内存容量和三倍理论内存带宽特别适合单机加载超大模型、处理大型媒体工程和承担综合性专业工作。如果看AI开发生态、低精度Tensor计算和未来部署路径DGX Spark仍然有自己的护城河。CUDA、TensorRT-LLM、vLLM、NGC和NVIDIA服务器生态使它更适合真正围绕NVIDIA平台进行模型开发、微调、验证和部署。可以用一句话概括这两台机器Mac Studio是一座容量巨大、传送带很宽的全能仓库DGX Spark是一间面积小一些、但设备和接口都按照NVIDIA AI生产线布置好的实验室。对于已经拥有DGX Spark的人来说如果日常只是跑Whisper、32B或70B模型没有必要因为看到512GB这个数字就急着换机器。只有当工作负载真正跨入200B、400B甚至600B级模型或者希望把AI、视频剪辑和日常生产全部集中到一台桌面工作站上时M3 Ultra512GB才会体现出它不可替代的价值。真正专业的比较最后一定要落到同一个模型、同一种量化、同样的上下文长度、同样的Batch Size和同一套测试数据上。脱离这些条件讨论“谁每秒能跑多少Token”往往只是在比较两张产品宣传页。
