我用4块V100和4块3090打造了这台“怪兽”主机，搭配线程撕裂者处理器、256GB内存以及4个电源。
一个电源为整台机器供电，另外3个1000瓦的电源专门给显卡供电。我使用了分叉的PCIe转接卡，把x16的PCIe接口拆分成4个x4的PCIe接口。有什么问题尽管问，在这台“怪兽”主机上我能运行的最大模型是通义千问3 235B Q4，每秒大约能处理15个令牌。平时我会运行Devstral、通义千问3 32B、Gamma 3 27B、通义千问3 4B（三块）…… 全都是Q4精度的，并且使用异步方式，以便能同时用不同模型处理不同任务。
|
微信登陆 
