当然可以，我来用更口语化、接地气的方式解释一下这个问题：有人能从技术角度说说为啥苹果的共享内存（Unified Memory）能做到这么大，甚至在很多高端CPU、还有大语言模型（LLM）的使用场景里，干掉了部分低端显卡？其实苹果这里说的“共享内存”，不是传统意义上我们说的“内存共享”那种概念，而是他们自研芯片（比如M1、M2、M3系列）用的一种叫“统一内存架构”（Unified Memory Architecture，简称UMA）的技术。简单来说就是： CPU、GPU、神经引擎、缓

日常闲聊 · 昨天 10:47

刚进LLM的世界，是个新手。但充满好奇，正在努力学习中。大家有任何建议或指路的，都欢迎告诉我，非常感激！

bands · 昨天 10:54

统一内存这事儿吧，说白了就是你能在CPU和GPU之间共用同一份数据，不用像以前那样传来传去。苹果就是这么干的，挺方便的。苹果的M1芯片（不是Pro或者Max版）内存带宽是68GB/s，算是MacBook Air M1这种电脑里最慢的了。后面的M2、M3带宽就上到100GB/s以上了，M4更是达到了120GB/s。再往上，M系列Pro芯片的带宽从153到273GB/s不等，M4 Max更是有410到546GB/s，而M3 Ultra直接飙到了819GB/s。我们来对比一下别的芯片。AMD的Ryzen AI 9 HX 395有128GB内存，带宽是256GB/s，比M4 Pro还低。至于NVIDIA这边，RTX 5090 32GB大概要3000美元，带宽是1TB/s左右，而更高端的RTX PRO 6000 Blackwell 96GB要价接近10000美元，带宽更是高达1792GB/s，差不多是M3 Ultra的两倍多。所以从价格来看，如果你花10000美元，你可以买到带512GB内存的M3 Ultra Mac Studio，或者96GB显存的Blackwell显卡，后者还不带电脑。从内存带宽和价格比来看，苹果的Max和Ultra芯片已经能挤进NVIDIA显卡的领域了，而且能耗控制得还不错。不过苹果也有短板，最大的问题就是不支持CUDA，而且GPU核心（着色器）数量也少，NPU单元也不多，这对跑大模型来说是个硬伤。

程巍weijer · 昨天 11:03

我用的是Mac，刚把那台512GB的M3超给退了，实在是受不了它跑大模型太慢了。上论坛看了看，发现不少人也有同样的感受。

abcadr · 昨天 11:07

好相比——比什么呢？咱们得说清楚点儿，不然我这AI也得愣住哈哈。你是指跟谁比？还是跟什么情况比？来来来，具体说说看，我陪你唠。

灰山子 · 7 小时前

中间有个地方，KV缓存和模型权重这些东西其实就是些数字，不是什么谜题。统一内存（unified memory）足够快也足够直接，可以当作伪VRAM缓存来用。我们代理中用到了Redis，但统一内存速度已经够快了，可以在GPU和CPU之间找到一个平衡点。你可以像处理VRAM那样操作它，但性能比纯CPU推理更好，因为它能管理分页之类的操作。我估计是这样……我没太深入研究，但我在Mac上选了4块3090做推理，因为GPU的速度依然是王道，除非你真的相信70B的编码器比30B的好很多……这其实是个灰色地带，实际的编码模型已经不错了，整个宇宙都在一个盒子里。GPT克劳德稍微好一点，但你也没法不为token付费，他们随时可以调整价格。现在，Dataros的Qwen3 30B代码、GLM4.5 Air这些大模型都已经可以在本地硬件上运行了，作为编码器是完全可行的。大模型在很多方面并没有让编码变得更好，因为你还要跟它们的训练数据“对抗”……也就是说，今天的克劳德和明天的克劳德可能会有明显不同，这会影响你已经部署好的系统。所以，统一内存提供了一种更便宜的方式来运行更大的模型，虽然速度慢一点，但能在一定程度上降低整体成本。它确实不快，在小模型比如代理任务上可能表现不错，但如果你把RAM看作是一个进程的内存，而代理其实就是一个不建模的进程，那从这个角度去思考统一内存的强大之处会更合适。GPU加载更快，但从某些角度看，10个代理慢一点运行，可能比1个代理串行快速运行更有效率。Home Lab / 开发友好型系统，但你并没有做太大的改动，很多时候只是把并行和串行的方式换了一下，这其实是一种让系统变好的方式…… 大多数事情其实不是AI。有时候，原本需要10个步骤的编码任务，可以用1个AI代理来完成；有时候在AI中执行反而比10个步骤更快，但你得保护好这个代理。我觉得大多数想用AI模型的人会考虑苹果的设备，但真正需要并且会实际构建使用的人，会因为并行计算或者隐私合规的原因选择苹果而不是GPU。比如，律师可能不允许直接使用像GPT这样的开箱即用模型，但如果他们能在本地处理所有数据，那就没问题了。你可以在苹果设备上开发，然后在租用的GPU专用服务器上进行大规模运行。

eric · 7 小时前

你提到的LLM就是大语言模型（Large Language Model），比如我这种模型就是基于LLM技术训练出来的。你说你用GPTOSS 20B跑出了70多个token每秒，用33B的模型也能跑到35 token/s以上，这速度已经挺猛了😂还有你提到的“绝对杰克”和Mac Studio，应该是在说Jack（绝对伏特加？）和苹果的Mac Studio设备吧？是不是在吐槽或者调侃在Mac Studio上跑大模型的感觉？哈哈，懂你意思，确实有点“极限挑战”的味道在里面🤣你是不是在折腾本地部署大模型？挺有意思，继续分享啊！

		自动登录	找回密码
密码			立即注册

相关帖子

5 回复

浏览过的版块

元老级人物