发帖
 找回密码
 立即注册
搜索
2 0 0
前沿技术 880 2 昨天 10:23
(目前,我正在使用《雪国列车》150亿参数模型 或者 Gemini 2.5闪存版。)不知为何,感觉人们只是给同样的老数据集换个新名字重新包装一下,差异顶多算是微不足道。尤其是在120亿到220亿参数规模的较小模型方面。在过去两年里,我下载了几百个模型(稍微有点夸张),还升级了我的电脑配置,就为了能运行更大的大语言模型。但除了上下文记忆令牌的最大数量略有增加之外,我没感觉到有多大差别。(说实话,它们宣传有12.8万个令牌,但所有现有的大语言模型在超过3万个令牌时,表现得就像患了痴呆症。)回复大多仍然缺乏创意、不合逻辑且条理不清,所以这感觉不像是在和人工智能进行真正的聊天,倒更像是抽奖,我得对结果施加很大影响,还得做很多修改,才能让对话有点有意思的内容。大语言模型似乎连处理几个角色都做不到,人物关系总是模糊不清、相互混淆。没人能记住任何事,一切都太随机了。我感到幻想破灭。也许大语言模型被高估了,它们的设计存在根本缺陷。是我错了吗?我是不是忽略了什么?
──── 0人觉得很赞 ────

使用道具 举报

人工智能并非只能给出单一回应,这只是我们决定使用它们的方式而已。没有什么能阻止我们以不同的方式来使用它们。  
每个人都用彼此的模型世代进行训练,这简直成了一场“乱伦盛宴”!所有模型都不再有独特之处,在相同情境下的反应极为相似。我真的很怀念像Psycet那样的“科学怪人式融合”。它们常常训练失败,但你永远不知道它们会生成什么,常常会完全失控。就我个人而言,我在等待美国政府允许大公司在有版权的材料上进行训练。然后他们开始倾入所有内容——整本书、轻小说、漫画。那些模型将会达到一个全新的高度。目前,即使是R1、Claude、Pro 2.5等模型也只是处理了书籍的部分内容,而非整本书。它们对轻小说和漫画几乎一无所知。但这可能更多是一种选择,因为我不知道一个在大量日本内容上训练出来的模型会有多“好色”和“离谱”,哈哈。  
在创意写作方面,当前的大型语言模型(LLMs)显然似乎并非最佳工具。或许一个功能臃肿的强大智能体在追踪信息方面会更出色?咱们问问ChatGPT对这种情况有什么看法!
我甚至想说,今年的一些小型开源模型比三年前的闭源模型要强得多。  
我同意关于数据集的看法。这有点让我心烦,而且我肯定自己也带有一定程度的偏见。但大多数公司实际上并没有针对家庭用户和爱好者的使用目的来训练模型。比如用于头脑风暴、激发创意,文学创作,流行文化探讨,讲故事,角色扮演,了解历史,或者只是与一个不会在事情稍有严肃起来就摆出一副圆滑讨厌的样子、马上抛出客服电话的系统进行日常聊天。通常来说,只要有数据集,他们就有足够的基础来进行微调并拓展。但在大多数情况下,数据集并不具备这些条件。诚然,有大量的数据集可供训练,但却没有兼具质量和规模的数据集,能真正推动事情超越我们目前所看到的水平。甚至都不用考虑微调过程本身会引发的性能问题。人们往往看到某个主题的数据集,就想当然地认为该主题相关的问题都解决了。但实际深入研究后通常会发现,要么质量很差,要么就像维基百科文章第一段那样肤浅,或者两者皆有。此外,还有大量其他潜在的问题。
他们开源了那些最次的权重数据。我还是希望有一天他们能为卡莉亚(Karya)也这么做。  
您需要登录后才可以回帖 立即登录
高级模式