发帖
 找回密码
 立即注册
搜索
6 0 0
日常闲聊 505 6 3 小时前
我现在有点懵,不知道该怎么搞。
我的 Mac M1 Ultra Studio 上已经装好了 LM Studio,跑得挺顺,没啥问题。
现在我远程办公,用的是 MacBook Pro,而 devonThink 是通过远程 URL 调用那台 Studio 上的 LM Studio 来当它的 AI 引擎。
在 Studio 那边,我可以把文档拖进聊天窗口,让 LM Studio 帮我分析、总结,效果特别棒。
但现在的问题是:我怎么能让这台远程的 MacBook Pro 也方便地跟 LM Studio 的界面或者项目进行交互呢?最好是免费的。
App Store 上确实有不少 GUI 工具,或者像 BOLT 这类第三方应用,说是能连远程的 LM Studio,但很多都要收费,有的要五十多美元,甚至有些要几百,这就让我觉得挺离谱的——毕竟实际干活的是 LM Studio,我只是想连个接口而已。
所以……是不是我漏掉了啥简单的方法?难道就没有一个轻量、免费又能图形化操作的方式,让我在 MacBook 上轻松调用远程那台机器上的 LM Studio 吗?
──── 0人觉得很赞 ────

使用道具 举报

把 openwebui 暴露在公网上其实挺危险的,不建议这么做。
我在自己的 Mac Studio 上折腾了一套 AI 工具组合,现在用起来特别顺手。  我用 Open WebUI 当前端界面,后端的 LLM 引擎是 LM Studio,通过 API 接上来的。大模型这块,我跑了个 MCP Server 给 LLM 提供各种工具支持,主要靠的是 MLX 版的 GPTOSS120B 这个模型。  至于嵌入模型(embedding),我选择用 Ollama 来跑 bgem3,因为它比 Open WebUI 自带的默认方案快不少。  功能方面也配齐了:Jupyter Lab、记忆管理、联网搜索、文件系统读写、时间查询这些常用工具都加上了,干活很方便。  我不在家的时候,就通过 WireGuard 搭的内网穿透远程连回去,安全又稳定。  刚开始搭的时候确实费了点劲,各种调试像拉小提琴一样精细,但现在整个系统跑得贼溜,体验非常棒!  顺便说一句,我发现 LM Studio 比 Ollama 更稳更快,尤其是服务大模型时表现更好,关键是它原生支持 MLX,这点 Ollama 目前还跟不上。
Docker
TailScale 是个 VPN,但它不带图形界面(GUI),所以我没法直接在另一台机器上用图形化操作。我现在已经把几台机器连上了,问题就是——在其他机器上用啥来当图形界面呢?
服务器那边有个url,是OpenAI兼容的接口!你可以拿这个地址当远程链接,接到各种支持的应用上。我自己就用这个方式连上了远程的LMstudio,测试过完全没问题~现在我基本就这么用LMstudio了,嘿嘿;)我的机器就放在柜子里,没接显示器,只插了个电源和网线,安安静静跑着。
Openwebui根本不需要用容器跑。现在有几百万个应用,比如Lmstudio、Anythingllm、Openwebui、N8n、Gpt4all等等,全都有图形界面,操作特别简单。你只要把lmstudio服务器的url填进去就行,其他的都不用管,完全不用装什么特殊软件。而且你可以用Tailscale来搞内网穿透,连unraid都不需要,更别说什么特殊操作系统了,统统不用。
好像有个Python版本……
您需要登录后才可以回帖 立即登录
高级模式