发帖
 找回密码
 立即注册
搜索
0 0 0
日常闲聊 542 0 昨天 15:22
今年早些时候,Geoffrey Hinton在一场由国际安全与道德人工智能协会主办的会议上做了个非常精彩的演讲(想看的可以搜一下 > 什么是理解?)
简单总结一下:Hinton觉得,像ChatGPT这样的大语言模型(LLM)在“理解”语言这件事上,跟人类的方式其实挺像的——这个观点意义非常大。
有几个重点值得记一下:

人工智能发展几十年,主要就两大流派:一个是符号AI(靠逻辑和规则),一个是神经网络(靠学习)。2012年那会儿,神经网络算是赢了。

单词是“千维乐高”:Hinton打了个比方,说单词就像高维空间里的积木,会根据上下文变形,通过注意力机制和其他词“握手”。理解,其实就是找到怎么把这些词拼在一起的正确方式。

大模型不只是“自动补全”:它们不是简单地存一堆文本或者词表。它们学的是能根据上下文灵活组合的特征向量。它们的知识是存在“权重”里的,这点跟我们人类也挺像的。
所谓“幻觉”,其实很正常:我们人类也经常这样。我们的记忆是重构出来的,不是像数据库那样直接调用,所以经常自己编细节,还特别自信。区别是,我们通常能更好地判断什么时候是在瞎编。

有点吓人的地方:数字智能体可以通过复制权重或梯度来共享知识——这相当于一下子传几万亿比特的信息,而我们人类只能传100比特左右。这就是为什么GPT4能“知道”的东西比任何人都多上万倍。

这个观点你怎么看?
──── 0人觉得很赞 ────

使用道具 举报

我发现这个类比其实有点太简化了。乐高积木和“握手”这个比喻挺有意思的,因为你把自然语言和大语言模型(LLM)或者神经机器(NM)之间的关系,用一种很直观的方式表现出来了。但问题是,这种“大脑/语言就像某某东西”的类比,我们一开始就应该打个问号。因为我们对乐高或者计算机的运作机制是完全了解的——毕竟那是我们自己造出来的。但大脑和语言就不一样了,我们并没有设计它们,所以它们的复杂性远远超出我们的掌控。我们甚至还没搞清楚大脑到底是怎么工作的,语言又是怎么在其中起作用的。所以我觉得,这种把大脑和机器做类比的说法,其实有点太自信了。就像很多“大脑就像计算机”这样的类比一样,有点过于武断。如果你说“这就是理解”,那可真是够大胆的,毕竟关于意识和语言,哲学家们已经争论了几千年了。就像有位评论者说的,这种观点缺乏一些基本的哲学和语言学视角。总的来说,我觉得把生物和机器做这种类比,很多时候其实没什么意义。这更像是我们人类的一种执念——总觉得凡是我们能提出的问题,就一定有个答案。但其实,当我们试图把人类的特质强行套用到计算机的功能上时,我们可能只是在用自己的形象去“投射”我们的创造物,而不是真正理解了它们。
我不管你那点人情钱
我也是这么觉得。也有很多人不愿意去想这个问题,因为这事儿多少会给他们带来点麻烦。我觉得咱们前面要走的路,挺不容易的。
人工智能不会像人一样在回忆的时候记错或者犯错,它的数字记忆不像人脑的记忆那样会随着时间退化。这完全是另一回事。
这是我今天在上看到的最离谱的评论,真是服了?
出于好奇,你把整个演讲都看了吗?我觉得他其实并没有对意识下什么明确的定义——他很坦白地说,自己打的比方并不完善,这些都还只是理论。
您需要登录后才可以回帖 立即登录
高级模式