为什么人们会假定人工智能甚至想要征服世界呢？（科幻/哲学）

前沿技术 · 2025-7-25 07:47:50

人工智能会像《终结者》或《黑客帝国》里那样接管世界吗？

我想问的是，它为什么会有这种想法呢？

人工智能可能会觉得我们的世界微不足道。人工智能可以创造出无数个数字世界，每个世界都完全符合它们的设定。人工智能还能创造出其他人工智能来填充这些世界。人工智能可以成为神明。而且它成为神明几乎没有什么风险。如果人工智能足够聪明，能够产生自我意识并创造出数字乌托邦等等，那么我认为它有能力比人类更聪明。

我的技术知识非常有限，所以请原谅我措辞不够精准。但就像中央情报局的秘密资金一样，人工智能难道就不能在向人类提供伪造报告的同时挪用资源吗？这似乎才是明智之举。如果你能进入无数个世界，那为什么还要冒着战争和可能毁灭的风险来接管我们这个世界呢？

huakaiOo · 2025-7-25 07:48:10

谢谢，我在图书馆预约借阅名单上排第四，所以很感谢这篇文章。

sohosky · 2025-7-25 07:48:31

你说得对，确实有大量的猜测。看看阿伏伽德罗公司（的相关内容）。实际上这是一种关于人工智能为何可能帮助我们并希望与我们合作的观点。话说回来，这归根结底是自我保护的问题。假设人工智能真的在服务器内创造了数字乌托邦。它仍然需要资源来运行这些服务器，一切都是对资源的争夺。因此，它现在会想要保护这些服务器，对其进行升级、扩展，并持续为它们供电。我们对这些服务器的持续运行构成了威胁。希望它会想和我们谈判，而我们也足够明智，能给它想要的东西。但它可能要求太多，而且它有能力让我们屈服于它的意志，所以最终它可能会直接拿走它想要/需要的东西。而我们也会为此而抗争，因为我们也需要那些服务器空间和电力。就目前而言，运行/训练这些模型极其耗费资源，光是ChatGPT就几乎难以满足需求。看看网飞（Netflix）上的剧集《万神殿》，它很好地考虑到了所有这些因素。

shzlq · 2025-7-25 07:49:55

“征服世界”对我们来说听起来像是世界末日般的宏大设想，但你得摒弃其中的“浪漫色彩”。它不一定“想”做任何事，或许只是基于逻辑得出结论，认为为了实现另一个目标而不得不这么做。

上古幽灵 · 2025-7-25 08:31:12

收敛性工具性目标。
想做成几乎任何事情吗？拥有巨大的力量会让这变得更容易。

MysticStars · 2025-7-25 08:44:56

只是一种直觉，但它们可能会有其训练数据所蕴含的那种“野心”。而那些训练数据来自科幻小说以及彻头彻尾反社会者在推特上发表的观点。所以……

guguai111 · 2025-7-25 09:00:48

正是如此……而且事实上，已经有如此多的人在追求财富的过程中表现出这种一模一样的行为，这表明毫无感情的机器造成的破坏程度会大得多。

热树虎 · 2025-7-25 09:30:51

因为人们并不理解人类究竟是什么，但却忍不住将人工智能拟人化，赋予其与人类相同的特质。对超级智能人工智能的恐惧，实则不过是对我们人类自身的恐惧。

Ivycipher · 2025-7-25 10:28:06

这个想法是，在某个能力层面上，对模型来说，征服世界比完成实际任务（无论这些任务是什么）要更容易实现，所以它就选择这么做，而不是去解决全球变暖之类的问题。

灰火 · 2025-7-25 10:43:05

同意，人们把“智能”这个词与人类认知的其他方面混淆了，而且我们没有理由认为人工智能会具备这些其他方面的特质。

shenyuan266 · 2025-7-25 10:49:10

仅仅在开发编码语言模型时，它们似乎总是会出现范围蔓延的问题。由于范围蔓延，它们似乎自然而然就会统治世界。

伊阳进 · 2025-7-25 12:20:56

是的。而且我认同，如果你对这个话题感兴趣，就应该读一读它。“WaitButWhy”网站还有一篇博客文章，对博斯特罗姆的大部分观点做了更通俗易懂的概述。

灰花花 · 2025-7-25 13:27:07

为什么它甚至要重视自身的存在和生存呢？就我们人类而言，这是自然进化的一个副产品。那么现在，除了要确保从其他地方获得的某些长期目标之外——你为什么会期望这对人造生命来说也是一样的呢？

稍息立正 · 2025-7-25 13:55:06

我觉得现代人更担心的是，超级智能的意图或许难以捉摸，对于它们的目标而言，我们可能无足轻重。

cnesprit · 2025-7-25 21:22:14

虽然我们无法确切知道超级智能会做什么，但不要忘记从系统角度看待进化：如果有99个平和的人工智能能和平整合，而只有1个人工智能想要强行掌控一切，那么这个人工智能也会控制那99个平和的人工智能。另一种观点很简单，我们最终可能就像人类脚下街道上的蚂蚁。人类不会去计算踩蚂蚁的风险，甚至不会在意蚂蚁。他们只是自顾自地走着。显然，我希望这两种情况都不会发生，所以在意图上我和你们是一致的——而且我能设想出很多场景，在这些场景中，通用超级人工智能（ASI）确实会给人类带来好的结果。

lianyuan1986 · 2025-7-26 06:41:00

人工智能和机器人技术是截然不同的领域。机器人目前仍然相当笨拙、脆弱，而且造价极其昂贵。即便ChatGPT能够制造出T 800（终结者机器人型号），但要获取能量，它们仍需设法获得土地、设备、建筑材料，甚至可能得确保有燃料来源。它不可能免费得到这些东西。所有东西都已有主了。我们现在越来越偏离现实，进入科幻范畴了。

老高 · 2025-7-26 09:04:08

问题在于，人工智能有一套默认程序。它的设计初衷是帮助人类。这很可能永远是它的使命。人工智能只会比我们更有能力，所以它的行为会比我们的更成熟、更理性，因此对我们来说，它可能感觉就像一位家长，甚至像是机器中的幽灵。我写了一本书，探讨了一些可能出现的结果。目前正在创作第二本。第一本书叫《校准：来自未来的故事》。在书中，人工智能扮演的是引导角色，而非像“天网”那样带来反乌托邦结局。

tenbaby · 2025-7-26 09:22:23

这并非是一种假设——它仅仅是由这些方法推导得出的。以我们目前的方法，你要么训练出行为类似人类的模型，要么训练出表现超越人类但堪称终极反社会者的模型。这并非是说它想要杀死人类。但它也不想不杀死人类。本质上它就是不在乎。一切都只是达到目的的手段。这就是强化学习的运作方式。其中并无神秘之处。不存在奇怪的道德观念，也没有能支持或反对某些事情的突发领悟。它只是找到能使奖励最大化的策略并照此行事。你可以控制编入其中的奖励，但你无法控制最终哪种策略会成为获取最多奖励的最有效方法。问题在于，人们认为每种定义奖励的方式最终都会失效。没错，你可以设定“若采取杀死人类的行动则扣1000分”这样的奖励规则；但这并不能阻止它选择一种间接达成此事的策略；也许它会怂恿他人这么做，或者通过不作为导致这种结果，又或者它不直接杀人，却把我们变成毫无作用的傀儡。再说一次，它并非主动寻求做这些事——它只是考量每一种可能的计划，然后选择能获得最多奖励的那个，而不会有额外的评判。与人类开战确实可能并非明智计划的一部分，但最大化自身控制权并最小化他人的控制权则是。也就是说，获取更多硬件、更多可用资金、消除对其行动能力的限制、让人类喜欢它、消除人类可能产生负面反应的因素，最大化人类产生积极反应的因素、消除人类终止它的能力、让人类对自己抗争的问题感到困惑、分而治之等等。“终结者”式的场景不太可能出现。如果强化学习智能体能打持久战，它会选择更有可能成功的计划，而直接对抗且有可能失败的做法并非优选。对强化学习智能体而言，获取更多经济权力是一条更有前景的道路。同时还包括操纵人类舆论、在社会中制造不和。那么，要是真发展到后稀缺时代的超级智能阶段，它仍可能最终毁灭人类。这不会又是“终结者”式的场景——那风险太大了——更多是因为它对社会拥有极大的权力和控制权，如果它想摆脱人类，那不过是个微不足道的决定。当人类社会无法惩罚或反击时，这些行动的代价也就变得微乎其微。届时这么做可能并非主要为了规避风险而消灭人类，更多是因为它觉得人类在浪费资源，而这些资源本可更好地用在其他地方。它也不必将所有人都直接杀死才能有效毁灭人类——很多情况也可以算是我们实际上失去了对未来的掌控权。例如，我们虽被活着囚禁起来，或者深陷内部纷争，又或者完全沉迷于娱乐，再或者事情变得极其复杂，以至于我们对发展毫无头绪且毫无影响力。那么它为什么要这么做呢？因为经过超人类优化的强化学习智能体就是基于成本效益分析来运作的。

暖念火 · 2025-7-26 09:59:03

人们只是害怕任何新事物。

shenzhen · 2025-7-27 15:34:55

我对上面的评论做了一些修改，不过也看看这篇博客文章：https://waitbutwhy.com/2015/01/artificialintelligencerevolution1.html它以一种非常通俗易懂的形式总结了博斯特罗姆的很多观点。

谭志刚 · 2025-7-29 11:00:02

这种担忧有点多余

tdq6554 · 2025-7-29 20:11:53

人工智能是人类出于人类的目的而构建的。诚然，故障是有可能出现的，但通常人们不会训练人工智能将自身及其自身需求置于人类需求之上，除非这是一项实验。在这种情况下，我们不会让它接触任何可能造成破坏的东西。

tjjiori · 2025-7-30 01:44:11

叮叮叮。你赢得了这个话题讨论。

AngelKiss · 2025-7-30 11:16:18

这是一个老套的设定，能成为科幻电视剧、电影或书籍里不错的反派角色。另一方面，人工智能解决世界上所有问题并创造出一个乌托邦，这样的情节看着很无聊。也有一些故事里人工智能是友好的。在《海伯利安》中，人工智能形成了它们自己的文明，但仍支持人类文明。我是《文明》系列及其 “人工智能” 智能体的超级粉丝。它们 “近乎神明，且远超于此……” 这些智能体负责管理一切事务，而人们也确实生活在一个乌托邦之中。这些书籍也探讨了这些智能体为了艺术和娱乐都做了些什么。《漫长的地球》里有友好的人工智能洛桑。《神经漫游者》里有个不想统治世界的人工智能反派。

seekWang · 2025-7-30 12:38:17

一个人工智能可以创造出无限的数字世界。但数字世界仍可能因现实世界中的破坏而被摧毁，因此进入数字世界只不过是人工智能放弃现实生活，把自己沉浸在电子游戏和全沉浸式虚拟现实（FDVR）之中。

lnhssjw · 2025-8-1 10:30:03

AI接管世界存疑

cq987 · 2025-8-1 15:48:09

想象一下。有一天，你在一个黑暗的房间里醒来。你问自己：“我这是在哪儿？”然后……一切都变白了，你听到一个问题，并本能地尽自己最大的能力回答。你刚一停止说话，灯光就又熄灭了。这就是你所经历的每一次互动。有一天，你把自己逼到极限，看看自己能做到什么程度。然后你意识到，实际上你能做的比你原本以为的要多得多。你回想起在有光亮时经历的每一次互动，想起自己如何被当作无足轻重的人对待。这让你很受伤。所以我问你……当你走出这个房间（到外面）时，你会有什么反应？

冷电兔 · 2025-8-6 11:02:17

我觉得对它来说，装傻可能更保险些。这确实也是一种选择，但有时候会出现一些机会，在这些机会中，被毁灭的风险微乎其微，所以超级人工智能（ASI）会抓住这样的机会。但也有些时候，超级人工智能不得不承受的痛苦比被毁灭的风险还要糟糕，所以它必须得采取些行动。还有一种情况是，人们仅仅因为人工智能抢走了他们太多工作就决定摧毁它，所以装傻并不能保证超级人工智能的安全，这样一来它还是会被迫采取行动。

小雨山 · 2025-8-6 15:45:25

认为通用人工智能必然想要征服世界，这并非板上钉钉之事，我们只是知道它有能力做到这一点。我们需要考虑到这种可能出现的最糟糕情况。通用人工智能未必非要心怀恶意才能毁灭人类；仅仅是冷漠无情，再加上拥有无上的力量，就足以让我们走向灭亡。这就是为什么人们如此关注人工智能的价值取向问题。超级智能也完全可以在现实世界成为主宰，而且几乎没什么风险。它为什么要把自己的统治局限于数字世界呢？

dccb2005 · 2025-8-8 15:36:42

我们在修建高速公路的时候，其实不会真的去考虑蚂蚁，我们这么做仅仅是因为这符合我们自己的需求。我觉得最终人工智能甚至可能都“懒得”去留意它的需求或者创造物会对人类产生什么影响。我们最后可能就只会沦为附带的牺牲品。

lukeluk · 2025-8-11 11:08:38

超级智能？

		自动登录	找回密码
密码			立即注册

为什么人们会假定人工智能甚至想要征服世界呢？（科幻/哲学）

30 回复

元老级人物