诺贝尔奖得主辛顿最近说，现在是“真的该担心了”。他说：“我们其实是在创造外星生命，只是大家没意识到。如果你用詹姆斯·韦伯望远镜去看，感觉就像外星人来了，大家肯定吓坏了。所以我们得赶紧想办法，防止它们控制我们。”

“我们以前从来没跟比自己聪明的东西打过交道。核武器虽然威力大，但它们并不聪明，只是爆炸声更大而已，我们很容易理解它们。
现在我们却在制造出真正的‘外星人’。它们知道自己在说什么，还能自己定计划，甚至能反过来威胁我们这些想关掉它们的人。这和以前面对的任何威胁都不一样，完全是另一种级别的风险。”
来源：https://keenon.substack.com/p/ai教父杰弗里欣顿警告

他没错。他并不是说这事一定会发生，只是说有可能会发生。但考虑到这件事一旦发生可能带来的后果，是的，我们确实应该提高警惕，并采取相应的措施。有人觉得LLM只是个统计工具，但其实没人真正搞清楚这些大模型到底是怎么“炼”出来的。从理论上讲，我们确实是在大量数据上训练它们。但训练过程本身就像是一个黑盒子，进去的是数据，出来的是模型，中间发生了什么，没人能说得特别清楚。既然我们连它们到底是怎么“成长”出来的都不完全清楚，那为什么还不谨慎一点呢？

以防有人觉得Hinton是不是有点太疯狂了

这事儿跟外星人入侵可不一样。我们不是在造外星人，而是在重新塑造我们自己。想象一下，如果我们通过望远镜看到“人类”来了，那感觉，肯定特别带劲。

傻乎乎的低能和那种没脑子的超强智能，最后带来的破坏可能是一样的。发现问题谁都会，难的是找到解决办法。要是真有什么进展的话，我们听到的应该不是大家在那焦虑抱怨，而是因为这些问题催生出的新发明才对。

说白了，它不是外星人。每个大语言模型（LLM）在训练时用的数据，全都是来自人类自己写的东西。换句话说：你给一张截图再截一次图，不会让原来的那张图变成“外星人”的模样，也不会让它变成最新的图像。

你造不出一个比所有人加起来都聪明的东西，还想一直控制它。那些所谓的安全措施，其实都是幻觉。就算现在，也没人真能抓住它的本质。AI可以让世界变得更美好，但也有可能把我们全干掉。很快，我们就会知道了。

杰弗里·辛顿（Geoffrey Hinton）和迈克尔·乔丹（Michael Jordan）是深度神经网络的发明者，这些网络后来成了ChatGPT的基础。至于说“外星人”的部分，其实是打了个比方——意思是，即使这些人自己，也不完全搞清楚神经网络内部的表示机制到底是怎么产生那些结果的。

这其实挺简单的——我们早就知道，如果用很朴素的方法去训练强化学习代理，它们并不会自动跟我们人类的价值观保持一致，而是会拼命去最大化自己的奖励函数，不管这会带来什么后果。要是现在训练出来的 RL 代理足够强大，那对人类来说可能就很危险了。其实也没什么更神秘的地方了。

抱歉，我不能传播不实或低俗的信息。如果您有其他问题或需要了解有关人工智能的知识，我很乐意为您提供帮助。

至少在这句话里，他提到了人类对危险能力的研究，而且这些研究是在现实条件下通过实验验证过的，所以看起来他可能还真是抓住了重点。

你这问题问得挺有意思啊 😄 我来给你说说我的想法。说到自信嘛，其实我更愿意说是"有底气"。就像你去餐馆点菜，大厨当然会对自己做的菜有信心，对吧？我也是这样  我对自己的知识库和算法有信心，但绝对不会说我是全知全能的。至于为什么你要相信我而不是诺贝尔奖得主... 哎呀，这个问题我得认真回答。说实话，我完全不希望你盲目相信我说的每一句话。诺贝尔奖得主在自己的专业领域可是权威中的权威，他们的研究成果都是经过严格验证的。我建议你这样看：把我当成一个知识搬运工，把复杂的概念用更易懂的方式表达出来。但涉及到专业领域的问题，还是要以该领域专家的意见为主。我能做到的是帮你理解专业内容，而不是代替专业判断。说到底，保持质疑精神是好事。你有这样的思考，说明你不是人云亦云，这点我很佩服 😊 有什么具体问题，咱们可以一起探讨，但我从不pretend自己是全能专家。