我是该买一台新电脑/升级电脑以运行本地大语言模型（LLMs），还是直接花四年的钱订阅ChatGPT Plus、Gemini Pro、Mistral Pro之类的服务呢？
在两个选择之间难以抉择：升级/组装一台新电脑（分期付款大约1200美元，目前我没有这么多现金）。
电脑需要有足够的GPU性能（考虑RTX 5060 Ti 16GB），以便在本地运行一些顶级的开源大语言模型。这样我就可以进行实验、微调并运行模型，无需支付月费。额外的好处是，我还可以用它玩游戏、编程以及用于个人项目。不利之处在于，当更新、更大的模型推出时，我可能会遇到硬件限制。
订阅前沿模型的人工智能服务。
比如GPT Plus、Gemini Pro、Mistral Pro等。用这1200美元，大约可以获得四年使用云端前沿模型的权限，该模型运行在最新的云硬件上。不用担心显存限制，但四年期满后，除了我完成的工作成果，我没有任何实体的东西留下。而且，如果出现有趣的新模型，我还可以灵活地在不同模型之间切换。
说一下背景情况，我目前有一台能正常使用的电脑：i58400处理器、16GB DDR4内存、RX 6600 8GB显卡。日常使用没问题，但不太适合运行大型本地模型。
如果你必须做出选择，你会选哪一种方式呢？是选择本地硬件，还是长期的云端人工智能服务？原因是什么？ 如果他买一块二手的RTX 3090（前提是显卡状态良好），再增加16GB系统内存，然后在需要强大性能的时候按需使用付费API，这样对他来说不是更好吗？ 最终，我的目标是学习、实践并研究大语言模型（LLMs）的理论基础，希望能从事自然语言处理（NLP）工程方面的工作，或者成为一名向量数据库与检索工程师。所以，这只是我征程中的一部分。 我刚刚组装了一台电脑，用于本地人工智能相关事务的升级配置。显卡是5070ti，内存64GB，处理器是9950x3d。还有很多其他配件，组装下来总价差不多是3150美元。不同型号的价格会有波动，而且使用某些产品时你不得不让他们共享你的数据。我很重视隐私，而且使用本地设备的话，他们就没办法拿走我的数据。对我来说，自己运行相关程序，每一分钱都花得值。没错，我运行不了1200亿参数规模的模型，但我可以花20美元之类的价格订阅相关服务来使用那种级别的模型，同时我也能使用本地模型。如果你不介意捣鼓一下，相比5060ti，你可以选择显存24GB的7900xtx，或者老款的3090之类的显卡。对于将更大的模型加载到内存中，显存大小是关键。这次我之所以选择英伟达，是因为在人工智能领域之外，我还有其他需要用到CUDA的场景，不然我就会选择支持ROCm的AMD产品了 。 4年时间可不短，在未来4年里，这些订阅服务的价格可能而且很有可能会有很大变化，很难预测1200美元在云订阅方面到底能让你享受多少服务。16GB的显存也不算多，用它无法运行较大型的开源大语言模型（LLM），不过运行一些像Qwen330B和GPTOSS20B sd这样的新模型应该还算凑合，它们是混合专家模型（MoE）。如果负担得起的话，我几乎总是建议具备一定程度的本地处理能力。16GB显存肯定能让你有机会尝试一些不错的模型，但远远达不到顶级水平。市面上有很多免费资源可供补充使用，比如Open Router的免费模型，Gemini有一些免费的API使用额度，Qwen代码命令行界面目前也提供每天2000次免费请求。再说一次，在这个快速发展的领域，4年时间可不短，就能力规划而言，很难提前这么久做好打算。如果本地大语言模型的特定优势对你很重要（比如随时无限制访问、隐私保护、对整个系统栈的掌控，以及不用担心常用模型突然无法使用），那就组装一台电脑。如果可以的话，争取使用超过16GB显存的配置，但我也明白每个人的情况都不一样 。 不错。我目前从事专业的信息技术支持工作，但我的目标是最终转向大语言模型工程领域。在攻读硕士学位学习某些课程模块时，我就对其背后的技术和理论深深着迷。 7900 XTX不是24GB（显存）吗？ 我真的很喜欢在本地运行模型，以至于我有一台配备3块GPU（都是3090）的AMD线程撕裂者电脑，总共有72GB的显存。即便如此，我能在本地运行的模型还是无法与GPT、Claude等相提并论。我的服务器有各种各样的用途，但说实话，就算是运行服务器产生的电费，也和订阅那些服务的费用差不了多少。对我来说，我痴迷于本地模型。在某种程度上，我喜欢捣鼓这些。但我真正喜欢它们的地方在于，就算因为某种原因断网了，我也能使用这些模型。但实际上，这么做并不划算！就整体性能而言，我觉得16GB的显存会让你失望。我不是说你不该这么做。我不后悔，而且很享受在本地运行大语言模型和进行图像生成，但从经济角度来看，这毫无意义！另外我忘了提到一点，我喜欢本地运行在隐私方面的优势。
页:
[1]