我最近在开发一个iOS应用,大家可以点这个链接来测试一下:
https://testflight.apple.com/join/N4G1AYFJ
这是一个LLM(大语言模型)客户端。不过因为市面上大多数应用都不支持联网搜索,我就自己搞了个在设备端运行的“定制流程”。这个流程会反复提示LLM,直到它觉得自己掌握了足够的信息,才会输出答案。
背后用的是serper.dev来执行搜索,但网页内容是我在本地抓取的。我还加了个非常轻量的“检索摘要”流程,避免上下文窗口被塞爆。
效果比我们平时用的那些简单粗暴的搜索+抓取方式好太多了。截图里可以看到,它在一些冷门话题的最新信息查询上,干翻了ChatGPT和Perplexity。
大家可以试试看,欢迎提意见!
另外,因为我本人挺喜欢语音输入的,所以还在设置里加了个选项:在iPhone 13及更新机型上可以下载whisperv3turbo模型。语音转文字的效果出奇的好,实时转录速度能达到10倍速。
 |