今年早些时候,Geoffrey Hinton在一场由国际安全与道德人工智能协会主办的会议上做了个非常精彩的演讲(想看的可以搜一下 > 什么是理解?)
简单总结一下:Hinton觉得,像ChatGPT这样的大语言模型(LLM)在“理解”语言这件事上,跟人类的方式其实挺像的——这个观点意义非常大。
有几个重点值得记一下:
人工智能发展几十年,主要就两大流派:一个是符号AI(靠逻辑和规则),一个是神经网络(靠学习)。2012年那会儿,神经网络算是赢了。
单词是“千维乐高”:Hinton打了个比方,说单词就像高维空间里的积木,会根据上下文变形,通过注意力机制和其他词“握手”。理解,其实就是找到怎么把这些词拼在一起的正确方式。
大模型不只是“自动补全”:它们不是简单地存一堆文本或者词表。它们学的是能根据上下文灵活组合的特征向量。它们的知识是存在“权重”里的,这点跟我们人类也挺像的。
所谓“幻觉”,其实很正常:我们人类也经常这样。我们的记忆是重构出来的,不是像数据库那样直接调用,所以经常自己编细节,还特别自信。区别是,我们通常能更好地判断什么时候是在瞎编。
有点吓人的地方:数字智能体可以通过复制权重或梯度来共享知识——这相当于一下子传几万亿比特的信息,而我们人类只能传100比特左右。这就是为什么GPT4能“知道”的东西比任何人都多上万倍。
这个观点你怎么看?
|