|
大家好。我在一台配备RTX 3050（6GB显存）、16GB内存的戴尔笔记本电脑上运行本地模型（通常我能以每秒8到16次的速度运行80亿到120亿参数的模型）。我正在组装一台新的台式机，配置为i9 13900k处理器、64GB内存、8TB固态硬盘，但最大的问题是选择显卡，因为我的钱快花光了，而且我们国家现在显卡极其昂贵。我买不起RTX 4090（4000美元）或RTX 5090（相当于6000美元）…… 就连二手的3090（24GB），人们卖的价格都相当于1500美元，而且还没有任何保修。所以，我只能买像RTX 5060 ti（大约1000美元）或者RTX 5070（1500美元）这类的显卡。这两款都是16GB的显卡，不过5070 ti是一款速度很快的显卡，但用它运行模型的话，我最多只能运行200亿参数左右的模型，运行300亿参数的模型会有些吃力。我需要一些建议，看看该怎么办。也许最好是等一款新的24GB显存的英伟达5070 ti Super，但我们不知道它什么时候才会问世。与此同时，我看到有人能在本地运行大型语言模型，可我只能通过应用程序编程接口或者用我性能较弱的笔记本电脑来使用这些模型，尽管这台台式机只差一张显卡就能组装完成并投入使用了。要是你们处在我的情况，会怎么做呢？提前感谢大家。 |
微信登陆 
