李强 发表于 2025-7-7 13:25:04

分享大佬用 ROG 幻X 2025 128G 跑本地LLM的体验

<p>近期JD放货了，使用国补买了顶配的128GB内存配置的幻X 2025。 在年初就听说AMD这款向Apple致敬的CPU，之前量很少，等待了半年终于到手了，（不要问为什么不买Mac M3或M4，就是不喜欢</p>
<p>目前就到手一周，机子本身还可以，全机身CNC工艺还可以，感觉很厚重，比我手里的Thinkpad X1 Tablet 2，Huawei Matebook e 都厚50% 以上。**必须严重吐槽一下这款ROG星云品目面板的质量，左右边框10毫米的区域内，背光亮度会偏暗一些，在白色背景的时候，会非常非常让人不爽快。</p>
<p>安装LM Studio，替换国内源，折腾下来，目前就下了这几个模型：</p>
<p><img src="data/attachment/forum/202507/07/132426ozoxetrv9k3aktxr.webp" alt="1ee65b3f6938ea588c63b6b9d9a2fa3edae46236.webp" title="1ee65b3f6938ea588c63b6b9d9a2fa3edae46236.webp" /></p>
<table>
<thead>
<tr>
<th>模型名称</th>
<th>速度</th>
<th>使用体验</th>
</tr>
</thead>
<tbody>
<tr>
<td>Qwen3 30B A3B</td>
<td>40 tokens/s</td>
<td>可接受</td>
</tr>
<tr>
<td>Qwen3 32B</td>
<td>8-10 tokens/s</td>
<td>较低</td>
</tr>
<tr>
<td>Hunyuan A13B Instruct</td>
<td>未支持（需自行编译lm-studio）</td>
<td>-</td>
</tr>
<tr>
<td>Deepseek Qwen3 8B</td>
<td>28 tokens/s</td>
<td>可接受</td>
</tr>
</tbody>
</table>
<p>AMD 395+GPU算力较弱(等效4060），内存带宽为256Gb/s。我查了一下Mac家的相关内存带宽性能。</p>
<table>
<thead>
<tr>
<th>芯片型号</th>
<th>内存带宽</th>
<th>说明</th>
</tr>
</thead>
<tbody>
<tr>
<td>M3 Ultra</td>
<td>800Gb/s</td>
<td>最高性能</td>
</tr>
<tr>
<td>M3 Max</td>
<td>400Gb/s</td>
<td>高端机型</td>
</tr>
<tr>
<td>M4 Pro</td>
<td>270Gb/s</td>
<td>接近AMD 395+带宽</td>
</tr>
</tbody>
</table>
<p>为什么要谈到内存带宽呢，因为LLM的token生成速度跟显存/内存的带宽有很大关系，容量大小只决定你能否加载LLM，跑起来的速度则直接与带宽相关。</p>
<p>从youtube上的一个评论上看到，</p>
<blockquote>
<p>To generate a token, you need to complete a forward pass through themodel, so (tok/s) * (model size in GB) = effective memory bandwidth</p>
</blockquote>
<p>这个评价不是非常精确，但可以快速评估LLM在本地的运行效果。 公司同事用M4 Pro 48GB内存版本跑大模型的性能就比我快一丢丢，差距不明显。</p>
<p>综合体验下来，适合395+ 的应该是MOE模型，模型原始尺寸可以比较大，充分利用高达96GB的可用显存，激活时使用8B-16B的参数，那么就有可以接受的token生成速度，同时有较好的使用体验。（当然希望MOE不要有负优化）</p>

1qaz 发表于 2025-7-7 13:25:18

cpu显存跑的？现在cpu显存这么强吗

chaoji 发表于 2025-7-7 13:25:30

1qaz 发表于 2025-7-7 13:25
cpu显存跑的？现在cpu显存这么强吗

LPPDR 8000MHZ以上，带宽256GB/s，游戏性能跟4060M差不多，

peterll 发表于 2025-7-7 13:41:07

这位大佬是 2 万买一台核显机？同样的价格能买枪神 5080 了

chaoji 发表于 2025-7-7 13:41:31

看了下，要是在有个pd3充电就爽了

李强 发表于 2025-7-7 13:42:01

peterll 发表于 2025-7-7 13:41
这位大佬是 2 万买一台核显机？同样的价格能买枪神 5080 了

是的，你可以理解为2W买了一台游戏性能约等于4060，理论可以加载70B大语言模型，但实际最好只运行16B MOE模型的二合一笔记本

寻找机会 发表于 2025-7-7 13:42:22

一般的DDR5内存跑Q4版本的Qwen3 30B在20t左右的速度，这个内存确实是强多了。

peterll 发表于 2025-7-7 13:42:56

peterll 发表于 2025-7-7 13:41
这位大佬是 2 万买一台核显机？同样的价格能买枪神 5080 了

我嘞个真富哥啊啧啧啧
页: [1]
查看完整版本: 分享大佬用 ROG 幻X 2025 128G 跑本地LLM的体验