|
Mac 的内存是和 GPU 共享的，所以它的表现虽然没有我的 5090 快，但比中端显卡还是要好一些。我还是挺喜欢我的 3090 的。Mac 上的内存用起来更像是显存，mlx 文件也确实能提升在 Mac 上跑模型的效率。在做推理方面，Threadripper / HEDT 的内存表现比我的 9950x3d 更好。不过 Threadripper 有点奇怪，有些任务 CPU 跑得飞快，有些却又慢不少。普通 PC 一般整体都快或者整体都慢，所以在某些情况下 Threadripper 的体验就显得有点诡异。理论上，我可以在 Threadripper 上装 4 块不错的显卡，再加一块好点的显卡用来跑小模型，同时还能有足够的内存来运行和 LLM 搭配使用的各种微服务。不过如果是只用来跑大模型的推理，Mac 还是挺值的一次性投入，至少我是这么认为的。如果让我再来一次，我可能会用常规 PC 配置，比如 9950x3d，我已经有 13900 的平台用来跑微服务和应用程序开发了。大模型这块，我还是会专门用 Mac 来处理。现在卖掉 Threadripper 的话还是亏的，虽然我买的时候花了不少钱，但现在二手只能卖到一半左右的价格。所以我打算慢慢升级它，这也是 x86 平台的好处，灵活。最后说一下，GPTOS120B 这个模型在系统内存上跑得还不错。所以在我的 Threadripper 上，我可以一边在内存里跑 OSS 模型，一边在 GPU 上跑较小的 30B 模型，不需要为了某个特定模型专门做取舍，这点我真的很喜欢。虽然从开源角度来说我其实挺“反苹果”的，但 Mac Studio 确实填补了一个目前市面上没人去碰的细分市场，我觉得它现在就挺适合这个定位。 |
微信登陆 
