我是该买一台新电脑/升级电脑以运行本地大语言模型（LLMs），还是直接花四年的钱订阅ChatGPT Plus、Gemini Pro、Mistral Pro之类的服务呢？

日常闲聊 · 昨天 08:27

在两个选择之间难以抉择：

升级/组装一台新电脑（分期付款大约1200美元，目前我没有这么多现金）。

电脑需要有足够的GPU性能（考虑RTX 5060 Ti 16GB），以便在本地运行一些顶级的开源大语言模型。这样我就可以进行实验、微调并运行模型，无需支付月费。额外的好处是，我还可以用它玩游戏、编程以及用于个人项目。不利之处在于，当更新、更大的模型推出时，我可能会遇到硬件限制。

订阅前沿模型的人工智能服务。

比如GPT Plus、Gemini Pro、Mistral Pro等。用这1200美元，大约可以获得四年使用云端前沿模型的权限，该模型运行在最新的云硬件上。不用担心显存限制，但四年期满后，除了我完成的工作成果，我没有任何实体的东西留下。而且，如果出现有趣的新模型，我还可以灵活地在不同模型之间切换。

说一下背景情况，我目前有一台能正常使用的电脑：i5 8400处理器、16GB DDR4内存、RX 6600 8GB显卡。日常使用没问题，但不太适合运行大型本地模型。

如果你必须做出选择，你会选哪一种方式呢？是选择本地硬件，还是长期的云端人工智能服务？原因是什么？

3263394665 · 昨天 09:42

如果他买一块二手的RTX 3090（前提是显卡状态良好），再增加16GB系统内存，然后在需要强大性能的时候按需使用付费API，这样对他来说不是更好吗？

lukeluk · 昨天 14:12

最终，我的目标是学习、实践并研究大语言模型（LLMs）的理论基础，希望能从事自然语言处理（NLP）工程方面的工作，或者成为一名向量数据库与检索工程师。所以，这只是我征程中的一部分。

foxfly · 昨天 16:00

我刚刚组装了一台电脑，用于本地人工智能相关事务的升级配置。显卡是5070ti，内存64GB，处理器是9950x3d。还有很多其他配件，组装下来总价差不多是3150美元。不同型号的价格会有波动，而且使用某些产品时你不得不让他们共享你的数据。我很重视隐私，而且使用本地设备的话，他们就没办法拿走我的数据。对我来说，自己运行相关程序，每一分钱都花得值。没错，我运行不了1200亿参数规模的模型，但我可以花20美元之类的价格订阅相关服务来使用那种级别的模型，同时我也能使用本地模型。如果你不介意捣鼓一下，相比5060ti，你可以选择显存24GB的7900xtx，或者老款的3090之类的显卡。对于将更大的模型加载到内存中，显存大小是关键。这次我之所以选择英伟达，是因为在人工智能领域之外，我还有其他需要用到CUDA的场景，不然我就会选择支持ROCm的AMD产品了。

		自动登录	找回密码
密码			立即注册

我是该买一台新电脑/升级电脑以运行本地大语言模型（LLMs），还是直接花四年的钱订阅ChatGPT Plus、Gemini Pro、Mistral Pro之类的服务呢？

相关帖子