Apple Mac Studio 搭载 M1 Ultra 芯片,64GB 内存加 1TB 硬盘这配置,跑大型模型够不够用?
这么说吧,M1 Ultra 的性能本身就挺猛的,尤其是它的统一内存架构,64GB 对于大多数本地大模型来说已经算高配了。像一些主流的大语言模型,比如 Llama 2 的 13B 甚至 70B(量化后),在 64GB 内存下用 Metal 加速跑起来是没问题的,尤其是做了量化压缩之后,流畅运行完全有可能。
不过如果你说的是“超大规模”模型,比如没做量化的百亿、千亿参数模型,
嗨~
刚开始接触本地大模型(LLM),虽然现在还不太熟,但每天都在学新东西,目标就是能在家里跑动大型AI模型。
我还想把本地AI和Home Assistant结合起来,给家里的监控摄像头系统加上智能通知,比如有人来了能自动 ...
酷情鸟2025-9-26