Apple Mac Studio 搭载 M1 Ultra 芯片，64GB 内存加 1TB 硬盘这配置，跑大型模型够不够用？这么说吧，M1 Ultra 的性能本身就挺猛的，尤其是它的统一内存架构，64GB 对于大多数本地大模型来说已经算高配了。像一些主流的大语言模型，比如 Llama 2 的 13B 甚至 70B（量化后），在 64GB 内存下用 Metal 加速跑起来是没问题的，尤其是做了量化压缩之后，流畅运行完全有可能。不过如果你说的是“超大规模”模型，比如没做量化的百亿、千亿参数模型，

日常闲聊 · 2 小时前

嗨～
刚开始接触本地大模型（LLM），虽然现在还不太熟，但每天都在学新东西，目标就是能在家里跑动大型AI模型。
我还想把本地AI和Home Assistant结合起来，给家里的监控摄像头系统加上智能通知，比如有人来了能自动识别并提醒我。
最近花了1万六千多人民币买了台Apple Mac Studio，M1 Ultra版本，64GB内存加1TB硬盘，这机器用在这事儿上，值不值啊？

方式 · 2 小时前

它比纯金属靠谱多了，但现在你可以直接在网上租GPU用，所以根据你的需求和时间安排，完全可以租个A6000之类的显卡用上一阵子，把像vllm或者tabbyapi这些服务都本地跑起来，再通过隧道连出去。从CUDA转到MLX再到CPU，性能差距其实挺大的。当然也能跑，但花同样的钱，你得到的速度和效率可能差很多。而且说实话，现在大多数应用场景根本用不着动不动就上万亿参数的大模型，感觉有点杀鸡用牛刀了。至于说AI会彻底搞垮世界经济体系……确实有这可能，但更多还是像我看自家拼出来的“科学怪人”那样——他们早就清楚这玩意儿其实就是个提线木偶，不是真脑子，毕竟它没法在运行过程中自己判断啥重要、啥不重要。这就是现实。

vicko007 · 1 小时前

不一定啊，虽然MoEs由一大堆参数组成，但它的表现其实还挺不错的。

likey · 23 分钟前

我在16GB内存的Mac mini上跑HA（Home Assistant）加Ollama，用的是qwen3:4b模型。速度大概也就16 token/s左右，说实话，真挺慢的，而且这AI有时候也挺“憨”的。像“打开我的枝形吊灯”这种简单指令还能应付，但一碰到稍微复杂点的操作，比如让我WLED服务器切换个灯光预设，那就卡得不行，体验非常痛苦……

		自动登录	找回密码
密码			立即注册

相关帖子

1 回复