发帖
 找回密码
 立即注册
搜索
0 0 0
日常闲聊 702 0 昨天 17:27
大家好!感谢大家对我之前关于 vLLM CLI 那篇帖子的热情反馈 🙌 我很开心地告诉大家,vLLM CLI v0.2.0 正式发布了!

这次更新带来了不少实用的新功能!

v0.2.0 新增功能一览:

🔧 支持 LoRA Adapter 你现在可以用 LoRA 适配器来部署模型啦!只需选定一个基础模型,然后附加多个 LoRA 适配器来提供服务,灵活又高效。

🔍 增强的模型发现功能 模型管理也全面升级了,现在你可以看到: HuggingFace 上的所有模型 所有可用的 LoRA 适配器 数据集列表及其大小信息 还能自定义模型目录,让模型自动发现更智能 新增了基于 TTL 的缓存机制,模型列表加载速度更快

🔐 HuggingFace Token 支持 现在你可以通过 CLI 使用受限制的模型了!我们加入了 HF Token 自动验证功能,访问 gated 模型变得轻松简单。

⚙️ 配置文件管理优化 提供统一界面查看和编辑配置文件 可以直接修改内置配置(支持用户覆盖) 想恢复默认?一键重置自定义配置即可 更新后的 `low_memory` 配置默认使用 FP8 量化,性能更上一层楼!

🚀 快速升级方式: 如果你已经用过旧版本:
  1. pip install --upgrade vllm-cli
复制代码


如果是新用户:

  1. pip install vllm-cli
  2. vllm-cli  # Launch interactive mode
复制代码


🔗 项目地址 & 详细文档: GitHub: [https://github.com/chenzexi/vllmcli

(https://github.com/chenzexi/vllmcli)

完整更新日志: [https://github.com/chenzexi/vllmcli/blob/main/CHANGELOG.md]
(https://github.com/chenzexi/vllmcli/blob/main/CHANGELOG.md)

再次感谢大家的支持和宝贵反馈!有任何问题或建议欢迎随时在评论区或 GitHub 提出来



──── 0人觉得很赞 ────

使用道具 举报

其实我也是刚了解到这个情况。vLLM 官方确实有一个 CLI 工具,但有时候它可能功能比较基础,或者不够灵活,不能完全满足一些用户的个性化需求。比如: 想要更丰富的命令行参数支持
希望有更友好的交互方式
或者想集成一些额外的功能(比如日志、监控、配置文件支持等)这时候,有人就会考虑开发一个新的包,来补充官方 CLI 的不足,或者提供一个更高级的封装。有点像“增强版”或者“第三方扩展”。所以,虽然 vLLM 有自带的 CLI,但社区再出一个新包,其实是挺常见的事情,目的大多是为了提升使用体验或者扩展功能。
刚推送了一个补丁,多谢你提醒我!
这个问题应该在 v0.2.3 版本里已经解决了,现在新版本已经上线啦~
我懂你为啥这么干,挺靠谱的👍🏽
升级搞定了没?INSTA这边失败了: vllmcli报错回溯(最后一次调用):文件路径:“/nfs/ai/vllmcli/venv/bin/vllmcli”,第5行,在 <module> 里执行了:from vllm_cli.__main__ import main接着是文件:“/nfs/ai/vllmcli/venv/lib/python3.12/sitepackages/vllm_cli/__init__.py”,第18行,在 <模块> 中执行了:from .config import ConfigManager然后就报错了:ModuleNotFoundError: 找不到名为 “vllm_cli.config” 的模块
您需要登录后才可以回帖 立即登录
高级模式