我最近也在考虑入手一台迷你或者小型主机,用来跑一些大模型推理,比如 Mistral Small 24B、Qwen3 30BA3B、Gemma3 27B 这类模型,顺便玩玩微调小模型(24B)练练手,偶尔也搞点图像生成。
看了不少方案之后,我大致把需求定了下来:
安静,空闲功耗低
发热量小
有升级空间
最后锁定了三款候选产品:
1. Beelink GTR9:搭载 Ryzen AI Max 395 处理器,128GB内存,价格1985美元
2. 自己攒一台小主机:比如用 Frame 台式机主板 + 自定义外壳 + 电源 + 风扇 + 存储。整套下来大概能控制在2000美元以内
3. Beelink GTi15 Ultra:配的是 Intel Core Ultra 9 285H 处理器 + Beelink 显卡坞,显卡用的是 RTX 3090。价格是主机1160美元 + 显卡750美元,合计1910美元
前两个方案配置差不多,都是128GB内存+差不多的CPU/GPU。但我感觉 Max 395 的 RAM 是固定的,未来升级可能受限。而且 AMD 的生态还在快速成长中,比如 ROCm 7 和 Vulkan 的支持,这些都还处于追赶阶段。不过优点是体积小、功耗低、发热少。
第三个方案虽然体积稍大一点,但性能上没怎么妥协。电源是600W,支持 PCIe 5.0 x8。RTX 3090 在跑 Mistral 24B 的时候能有 50 tokens/s 的速度,而 Max 395 只有 1314 tokens/s,差距有点大。NVIDIA 的 CUDA 生态现在更成熟,软件支持也更方便,省去了折腾各种兼容性问题的时间。
虽然说,如果买个双3090的大机箱,性能会更强,性价比也更高,但问题是——我实在没地方放那种大机箱,也受不了多个风扇的噪音和发热。
所以,如果你是我,你会怎么选? |