|
使用Linux的主要原因是运行vlllm，它能在本地快速加载和运行模型，但仅支持Linux系统。在Windows系统上，通过Windows子系统 for Linux（WSL，即在Windows中运行Linux虚拟机来运行vlllm）也能很好地实现这一点 。你不一定要用vlllm，也可以直接通过Python/PyTorch/Hugging Face接口在本地运行模型，但速度会比较慢（处理长令牌时慢6倍）。你也可以试试ExLlamaV2来加载模型，我还没试过，不过它是原生支持Windows系统的，说不定不错。它在多流生成过程中没有实现动态令牌级批处理，所以我觉得它可能会比较慢，因此还没尝试，但也许我想错了。对于6GB显存来说，像Qwen3 0.6B Chat这样的模型是个不错的起点，它应该能在这种配置下运行。之后你可以根据自身需求尝试更大的模型。仅仅加载这个模型大约需要1.5GB显存。如果你想训练或微调模型，采用LoRA微调的话，所需显存大概会翻倍。6GB的GPU运行Qwen3 1.7B可能也比较流畅。要是使用8B参数的模型，可能就会让你的显存吃紧了，或许只能运行4位量化版本。对于编码需求，要想在显存范围内运行，Deepseek Coder 1.3B可能比较合适。Seed Coder 8B Reasoning可能会超出显存，但它能满足你的推理和编码需求。是的，你可以下载多个模型并加载它们，但考虑到GPU显存，可能一次只能运行一个模型，不过只有试过才知道具体情况。 |
微信登陆 
