发帖
 找回密码
 立即注册
搜索
7 0 0
日常闲聊 570 7 2025-8-8 16:36:13
我今天早上用本地的vllm启动了gptoss服务。按道理讲,vllm应该没有内置供gptoss使用的工具,可gptoss却精准地说出了时间。


我昨天晚上在同样的环境下进行测试,它能准确说出昨天晚上是8月7日。这是昨晚的截图,能看到思考过程中有8月7日的信息。


运行的代码


用的是120b参数的模型。

同样的问题在openrouter上也能复现,而且openrouter没有配置任何工具调用的内容,就是单纯在聊天界面提问。


这是怎么回事?gptoss难道成精了?

它有一定概率说无法获取时间,可经过我多次重新测试,今天再也没法让它说出8月7日这个日期了。太离谱了,这到底是啥情况?它还能感知到时间信息?
──── 0人觉得很赞 ────

使用道具 举报

2025-8-9 15:38:57
抽卡是蒙的
2025-8-9 15:54:47
是不是你没设置系统提示(system prompt)的时候,vllm 自动给你设置了一个呀?你要不设置一下。
2025-8-9 22:23:51
好像是幻觉,我传了空字符串,请求了10次。
2025-8-11 03:14:46
老朋友们破案了,vllm在推理的时候会自动用harmony格式将输入格式化后发给模型请求,
并不是真的成精了。
从如下命令安装环境
2025-8-11 07:01:40
思考过程说了,你的系统提示包含了时间
等等,我再看看代码
2025-8-11 14:26:46
用带有输入日志的 API 服务看看吧
2025-8-12 15:13:57
我今天早上用本地的vllm启动了gptoss服务。按道理讲,vllm应该没有内置供gptoss使用的工具,可gptoss却准确说出了时间。
您需要登录后才可以回帖 立即登录
高级模式