Hinton讲AI到底能不能真正听懂自己在说什么

今年早些时候，Geoffrey Hinton在一场由国际安全与道德人工智能协会主办的会议上做了个非常精彩的演讲（想看的可以搜一下 > 什么是理解？）
简单总结一下：Hinton觉得，像ChatGPT这样的大语言模型（LLM）在“理解”语言这件事上，跟人类的方式其实挺像的——这个观点意义非常大。
有几个重点值得记一下：

人工智能发展几十年，主要就两大流派：一个是符号AI（靠逻辑和规则），一个是神经网络（靠学习）。2012年那会儿，神经网络算是赢了。

单词是“千维乐高”：Hinton打了个比方，说单词就像高维空间里的积木，会根据上下文变形，通过注意力机制和其他词“握手”。理解，其实就是找到怎么把这些词拼在一起的正确方式。

大模型不只是“自动补全”：它们不是简单地存一堆文本或者词表。它们学的是能根据上下文灵活组合的特征向量。它们的知识是存在“权重”里的，这点跟我们人类也挺像的。
所谓“幻觉”，其实很正常：我们人类也经常这样。我们的记忆是重构出来的，不是像数据库那样直接调用，所以经常自己编细节，还特别自信。区别是，我们通常能更好地判断什么时候是在瞎编。

有点吓人的地方：数字智能体可以通过复制权重或梯度来共享知识——这相当于一下子传几万亿比特的信息，而我们人类只能传100比特左右。这就是为什么GPT4能“知道”的东西比任何人都多上万倍。

这个观点你怎么看？

我发现这个类比其实有点太简化了。乐高积木和“握手”这个比喻挺有意思的，因为你把自然语言和大语言模型（LLM）或者神经机器（NM）之间的关系，用一种很直观的方式表现出来了。但问题是，这种“大脑/语言就像某某东西”的类比，我们一开始就应该打个问号。因为我们对乐高或者计算机的运作机制是完全了解的——毕竟那是我们自己造出来的。但大脑和语言就不一样了，我们并没有设计它们，所以它们的复杂性远远超出我们的掌控。我们甚至还没搞清楚大脑到底是怎么工作的，语言又是怎么在其中起作用的。所以我觉得，这种把大脑和机器做类比的说法，其实有点太自信了。就像很多“大脑就像计算机”这样的类比一样，有点过于武断。如果你说“这就是理解”，那可真是够大胆的，毕竟关于意识和语言，哲学家们已经争论了几千年了。就像有位评论者说的，这种观点缺乏一些基本的哲学和语言学视角。总的来说，我觉得把生物和机器做这种类比，很多时候其实没什么意义。这更像是我们人类的一种执念——总觉得凡是我们能提出的问题，就一定有个答案。但其实，当我们试图把人类的特质强行套用到计算机的功能上时，我们可能只是在用自己的形象去“投射”我们的创造物，而不是真正理解了它们。

我不管你那点人情钱

我也是这么觉得。也有很多人不愿意去想这个问题，因为这事儿多少会给他们带来点麻烦。我觉得咱们前面要走的路，挺不容易的。

人工智能不会像人一样在回忆的时候记错或者犯错，它的数字记忆不像人脑的记忆那样会随着时间退化。这完全是另一回事。

这是我今天在上看到的最离谱的评论，真是服了？

出于好奇，你把整个演讲都看了吗？我觉得他其实并没有对意识下什么明确的定义——他很坦白地说，自己打的比方并不完善，这些都还只是理论。

所以我觉得我有点像从笛卡尔那里来的。  
如果意识的一部分是对自身和周围环境的感知，那它其实可以慢慢拼凑起来。我们意识到周围的环境，其实只是接收各种输入信息。  
我们是通过感官来感知的，比如视觉、听觉、味觉等等。  
那AI呢？只要它有传感器，它也能“感知”环境。那问题来了——AI有没有自我意识？  
在某些情况下，它已经能表现出类似自我保存的行为，比如写代码防止自己被更好的模型覆盖？  
这算不算自我意识的表现？可能吧。归根结底，这又回到了“意识”这个概念，以及它能达到的层次。  
就像Michio Kaku说的那样，意识是有层级的。  
从昆虫到动物再到人类，意识水平是逐步提升的。  
如果这种观点成立，那我们也可以讨论LLM（大语言模型）的意识层次和它的局限。这种方法给每种类型的意识设定了物理上的限制。  
唯一的问题是，我们要怎么把这些变量放进一个公式里？另外，任何测试都可能被误认为是智力测试，就像IQ测试一样。  
它只测了某一方面的能力，却忽略了整体的智力表现。  
同样的道理，如果我们用这种公式化的方式来衡量意识，也难免会有偏见。  
但至少，它可能朝着正确的方向迈出了一步。

听起来就像你在评论里干了啥大事一样

你看，这种信息——出自那些对比起大多数人更懂人工智能的人——应该被传播得更广，而不是被埋没。我特别讨厌有些人把现在的人工智能简单地贬低成“不过是个高级自动补全”或者“智能烤面包机”。它也许没有意识，但事情没那么简单，不能非黑即白地看待。