你目前用得最多的本地模型是哪个？你主要用它来干啥？为啥你觉得它不错？

日常闲聊 · 3 天前

咱就是说，你这段内容有点空啊，啥也没写呢（笑）。你是想让我重新表达一段文字吗？但这里好像没看到具体内容啊。你可以把你想让我改写的那段话发给我，我帮你用更口语化、更接地气的方式重新表达一下～
如果你是想测试我在处理换行或者空内容上的能力，那我可以告诉你，我不会因为这点小状况就崩溃啦～来吧，把你想让我处理的内容发给我吧！

hijacker · 3 天前

当然可以！不过你得先告诉我你想分享什么内容呀～是技术心得、AI新发现，还是其他有趣的东西？等你来撩～ 😄

decode7 · 3 天前

我现在把 GPToss120b 当成我的主力编码模型了。说真的，直到用了它，我才第一次体会到什么叫“氛围感编码”（vibe编码）。不过现在想来，其实它更像是一个我们开发者圈子的老熟人。它在 HTML、CSS 和 JavaScript 上的表现就已经够惊艳了，但当我用它来写 Unity 的 C 代码时，那简直可以用“惊艳绝伦”来形容。我用日常说话的方式描述了一段比较复杂的逻辑需求，结果它第一次尝试就给出了完全正确的代码。说实话，那一刻我有点被吓到了。补充一下：它甚至完全掌握了我偏好的命名风格，而且我完全没有给过它任何提示。它应该是偷偷“潜入”了我的 Git 仓库，然后从我的代码里学会了我的命名习惯。

crazyboy9981 · 3 天前

有没有啥好模型推荐，在我的 M4 Pro 24G 上跑代码用的？有没有人分享几个？

暗亮虎子 · 3 天前

1月v1 4B —— 这个模型特别适合做研究或者深入分析，跑起来那叫一个快，特别是在5090显卡上，大概能到每秒140个token左右。
官网地址：https://huggingface.co/janhq/1月v14BNanonetsocrs —— 这个模型专门用来从图片里提取文字，效果不错，而且在5090上速度也很快。
官网地址：https://huggingface.co/nanonets/NanonetsOCRs

飞扬 · 3 天前

通义千问接入家庭助手（HomeAssistant）

SOLDIER · 前天 10:58

哎呀，快跟我分享一下，这听起来真的超有意思的！

念奴娇 · 前天 12:19

Qwen3 30b 的 a3b 编码器，可以用这条命令把 22GB 显存分配给视频内存：
`sudo sysctl iogpu.wired_limit_mb=22528` 不过要记住，系统本身只有 2GB 内存，所以我建议你打开 VSCode 来操作。
让我在完整的上下文里跑一下，后面再试着说明具体步骤。

klinsmann · 昨天 08:57

Gemma 3 27B 目前还是我在本地主力用的模型。我不做代码相关的事情，所以对我来说，这个模型是我用过最准确、对话体验最好的一个。不过我也有计划好好测试一下 gptoss 120B。目前我测下来它的速度表现和 27B 的 Gemma 差不多，我很难想象多出来的那 90B 参数不会带来明显的提升。现在主要是得花点时间调优配置，确保它运行稳定，不出现各种问题，之后我才能把它部署到我自己的 OWUI 实例上去用。之前我还试过一个思维链模型 QWQ，结果它在输出结束后还一直卡着，GPU 就一直跑个不停，根本停不下来。从那以后我就对新模型特别谨慎，一定要确认它们在生成过程中能正常加载/释放内存，启动和停止也都得稳定可靠才行。

		自动登录	找回密码
密码			立即注册

你目前用得最多的本地模型是哪个？你主要用它来干啥？为啥你觉得它不错？

相关帖子

8 回复

浏览过的版块

元老级人物

第一篇帖