发帖
 找回密码
 立即注册
搜索
2 0 0
日常闲聊 572 2 3 天前
我最近也在考虑入手一台迷你或者小型主机,用来跑一些大模型推理,比如 Mistral Small 24B、Qwen3 30BA3B、Gemma3 27B 这类模型,顺便玩玩微调小模型(24B)练练手,偶尔也搞点图像生成。
看了不少方案之后,我大致把需求定了下来:
  安静,空闲功耗低
  发热量小
  有升级空间

最后锁定了三款候选产品:
1. Beelink GTR9:搭载 Ryzen AI Max 395 处理器,128GB内存,价格1985美元
2. 自己攒一台小主机:比如用 Frame 台式机主板 + 自定义外壳 + 电源 + 风扇 + 存储。整套下来大概能控制在2000美元以内
3. Beelink GTi15 Ultra:配的是 Intel Core Ultra 9 285H 处理器 + Beelink 显卡坞,显卡用的是 RTX 3090。价格是主机1160美元 + 显卡750美元,合计1910美元

前两个方案配置差不多,都是128GB内存+差不多的CPU/GPU。但我感觉 Max 395 的 RAM 是固定的,未来升级可能受限。而且 AMD 的生态还在快速成长中,比如 ROCm 7 和 Vulkan 的支持,这些都还处于追赶阶段。不过优点是体积小、功耗低、发热少。

第三个方案虽然体积稍大一点,但性能上没怎么妥协。电源是600W,支持 PCIe 5.0 x8。RTX 3090 在跑 Mistral 24B 的时候能有 50 tokens/s 的速度,而 Max 395 只有 1314 tokens/s,差距有点大。NVIDIA 的 CUDA 生态现在更成熟,软件支持也更方便,省去了折腾各种兼容性问题的时间。

虽然说,如果买个双3090的大机箱,性能会更强,性价比也更高,但问题是——我实在没地方放那种大机箱,也受不了多个风扇的噪音和发热。

所以,如果你是我,你会怎么选?
──── 0人觉得很赞 ────

使用道具 举报

感兴趣的一些数字来自墙上,如果你有一个瓦特式的电量统计表。我2020年那台老PC,配置是Ryzen 3900X、DDR4内存和RTX 2080 Super,在空闲状态下功耗从来没低于过70瓦。除了GPU和CPU风扇外,机箱里还有7个风扇在转。那时候我用的是Windows 11系统。而所有那几台395主板或者迷你主机,在空闲状态下的功耗都不到10瓦。至于最大功耗其实不是问题,因为AI任务跑得快,完成得更快,反而可能更省电。发热确实是高功耗的副产品。但我不可能24小时不间断地满载使用这张显卡,所以这也不是什么大问题。
我有Beelink的安卓盒子,但据我看到的一些反馈,它的CPU占用率比较高,而且散热设计可能不太够,和395(可能是另一款产品)相比有点差距。
有件事你没提的,是PCIe插槽这个点。在Wendell的视频里,他展示了用雷电接口(Thunderbolt)连接Nvidia的外置显卡(eGPU)来提升性能,所以你还是可以继续用这个外接显卡。不过,如果你用主板上自带的PCIe插槽来接显卡的话,速度会比雷电接口快不少,差不多是雷电的两倍带宽。而且我也不太明白,你为啥不能同时用雷电接口和PCIe插槽。另外,这主板还有两个M.2 NVMe插槽,如果你真想把性能榨干,还可以在那加个PCIe设备。不过内存限制这块你是没啥办法的,还有就是那些扩展卡的价格问题也得考虑进去。除非你直接上三块RTX 6000 Blackwell显卡,每块都带96GB显存,那倒是可以解决不少问题了。/讽刺一下哈 😏
最早也得等到9月底。据我了解,我们这边几乎没人拿到过Jetson Thors这款产品,它的性能应该和Spark差不多。
Apple 的 MLX 确实进步不小,但还是比不过 CUDA,更别说 AMD 新出的 395 芯片了。这点得记住了:Mac 上跑不了 Max 能跑的东西,主要还是因为 PyTorch 支持不够。我就没法在 Mac 上做视频生成,因为有些 GPU 操作压根不支持,只能退回去用 CPU,那速度就慢得不行。
前天 02:32
我有个X2,现在基本都不怎么用显卡了。当然了,如果你只是跑个小模型,3090肯定更快。但问题是,谁还去跑小模型啊?我在我的X2上都跑4000亿参数的模型了,这玩意儿一用上,就再也回不去了。不过话说回来,1985美元确实有点贵了。我当时买X2花了1800美元,因为128GB那款最低才1709美元。现在Bosgame更便宜,只要1670美元,也是128GB的。
前天 08:16
为啥?我可是有Mac Max的,我的那个Max可比这个强多了。
我现在的机器是2023款的 SER 6 MAX,这玩意儿真是猛兽级别的,跑起来一点不烫,也没出过啥问题,LLM 模型我都是 24 小时不间断跑的。GTR9 AI MAX 395 还没发布,不过他们说散热方面会很强。你有啥具体的需求或者框架想聊的吗?
这性能跟AI MAX 395差不太多,但贵了1000美元?而且这玩意儿还没正式发布,评测媒体都还没拿到样机呢。
我的那台桌面游戏PC,配的是5800X和6800XT,空闲的时候功耗才9瓦。说实话我自己一开始也不信。你想啊,我那块7900XTX显卡,单独空闲的时候功耗都比这高。6XXX系列显卡可是出了名的费电,我那台用5600的机器,空闲功耗肯定也得在9瓦以上。你是看系统里显示的数据,还是直接在电源插座上测的?要真测功耗,你得拿个测电的插头插座那种工具,直接在墙上测才准。
您需要登录后才可以回帖 立即登录
高级模式