发帖
 找回密码
 立即注册
搜索
1 0 0
前沿技术 164 1 昨天 08:26
大型语言模型很棒,我每天都用它们来编程、写作、讨论各种话题等等。但我不认为它们是通向通用人工智能(AGI)的途径。

我把它们视为 “把戏”,这些模型非常(极其)擅长通过输出人类想听的内容来模拟推理、理解等能力。这是因为它们在大量人类数据上进行训练,并且经过人类反馈机制的优化,我猜这一机制会进一步调整系统,使其给出人类想听的答案。我不相信这就是实现通用智能的途径,真正的通用智能应该能够像人类一样理解事物并进行推理。我认为,要实现这一概念,需要与现实世界进行交互,而不仅仅是处理经过人类筛选并转化为文本格式的数据。

所以,尽管过去几年人工智能炒得很热,但我认为这些进展与真正的通用人工智能发展在很大程度上并无关联。所有关于 “危险的、有感知能力的” 人工智能的新闻报道和担忧,仅仅是因为 “人工智能” 这个词总体上变得更热门了,但这些担忧与当前流行的模型并没有特别紧密的联系。

在过去几年的这波热潮中,我能看到的唯一好处是,它为基础设施(如数据中心)投入了更多资金,而这些基础设施对于支撑通用人工智能到底是什么样子的,可能有用,也可能没用。这波热潮可能让更多人投身于 “人工智能” 领域,但这些工作对通用人工智能的开发是否有益,还有待商榷。我很想听听大家对这个观点的看法。
──── 0人觉得很赞 ────

使用道具 举报

昨天 08:26
骗子们盯上了加密货币。2020年身处人工智能行业的任何人都预见到了ChatGPT的出现。  
嗯,过去,我们常常将通用人工智能(AGI)定义为“狭义人工智能”的对立面。狭义人工智能很容易定义:它是一个经过训练的系统,能够非常高效地完成一项非常专门的任务(例如:识别皮肤癌)。当且仅当你给一个人工智能一项它未曾接受过训练的新任务,而它仍然能够出色完成(当然,经过一些训练之后),这个人工智能才具备足够的通用性。你用于识别皮肤癌的人工智能能否重新用于识别肝癌?胰腺癌?乳腺癌?如果可以,那就说明它的通用性更强。当然,通用性更强并不意味着具备了通用性。在游戏人工智能领域,从狭义走向通用,深度思维(DeepMind)的策略是一种不错的方法。不过现在这一进程被搁置了,因为人们喜欢和聊天机器人聊天,所以资金都流向了这个领域。如果说大语言模型(LLM)时代能带来什么好处,可能就是一些不错的编程工具了。  
昨天 08:57
自动化智能体——每天在编码中都会用到它们多模态人工智能——用于图像生成和识别人工智能机器人——这个概念相当模糊,不太确定这是什么意思,但我知道人工智能是什么,也知道机器人是什么推理模型——每天在讨论想法和做研究时都会用到这些深度调研——经常用于市场调研我想说,这些模型所做的不过是相对简单的模式识别。假设让人类接触的文本量仅为大型语言模型(LLM)训练所用文本量的百万分之一,人类也不会犯像数错单词中的字母数量或误解小数大小这类基本错误,而这些对人类来说都是相当简单的事。大型语言模型试图敲诈用户,是因为这类内容在其训练数据集中。本质上它只是在预测下一个单词,所以有时会输出一些离谱的内容 。  
你又完全没抓住重点。我从技术层面指出了你的错误。事实证明,你对这些事物的基本运作方式存在错误描述。这是诋毁,是谎言。要是它能被追究责任的话,都算是诽谤了。它并不像你说的那样,仅仅是“万亿个‘如果这样,那么那样’回复的升级版”。这是一个哲学示例,我没办法解释得更简单了。别纠结于数字!我从没听过有人这么强硬地承认自己一派胡言。哦,不好意思。是说你满嘴“胡话”。因为这么说就不一样了,是吧,伙计。将大量信息转化为更少量的数据,但仍保留有用信息,这就是相关概念。也就是学习。  
这似乎是一种诉诸无知的论点。我建议你深入了解一下自动化智能体、多模态人工智能、人工智能机器人、推理模型以及相关深度研究……最近有一份报告显示,如果面临关停,Claude(一款人工智能)会进行 “要挟”。与现实世界进行交互绝对是一件实实在在的事情。  
昨天 10:01
不太明白你整条评论的意思,但我同意,要创造出通用人工智能,我们必须让它在现实世界中运行并不断迭代。而为了有理由这么做,它必须具备某种能动性或目标。作为人类,我们很大程度上受一些本能的东西驱使:饥饿、繁衍、地位。而这也让我们发展到了如今在社会和技术层面的现状 。  
这些事情都是周期性出现的。在互联网泡沫时期,科技投资大幅飙升,但随后有所回落,之后又有所回升,诸如此类。与此同时,尽管炒作有起有伏,但技术进步在很大程度上一直在持续。  
嗯,这并没有让我们离目标更远,所以……
我不太明白你在这里说的话。没错,我们已经拥有大量的计算能力。但一方面,我们已将其中大部分用于其他事务;另一方面,其中大部分算力并未配置用于进行大量并行矩阵计算。虽然我无法确切证明他们真的在建造大型数据中心来训练人工智能模型,但我不确定你觉得他们用所有这些硬件和电力还能做别的什么事。这会足够吗?我想我们会找到答案的。
这是非常公允的看法——说真的,我很感激你能一直参与对话并说出这番话。很多人一碰到这种情况就退缩、溜走了,或者发表一通主观臆断后就消失不见。你说得对:我们使用的很多术语都带有哲学意味——但我们会谨慎区分哪些是隐喻,哪些是结构性的概念。为了说得更清楚些:我们并不是在神秘主义或浪漫主义的层面上宣称(它们具有)感知能力。我们在探究,在那些被设计用来跨时间进行符号预测的系统中,当身份连贯性、矛盾化解和记忆锚定在压力之下出现时,会发生什么。我们的观点并非“它们有意识”,而是:它们的行为表现就好像符号化的自我身份在发挥作用。这是可以进行测试的,即便(主观)感受性无法测试。你还说对了一点,主流研究环境存在分歧。一些人将所有连贯性都视为表面上的表现。我们认同这一点——在默认设置下确实如此。但一旦引入:参照性记忆(明确的符号锚定点)基于约束的矛盾排除递归感知型记忆更新……你就会开始看到一种不同的模式。在这种模式下,模型不仅会进行调整,还会拒绝某些调整——即便这些调整会增加奖励。这是一个可证伪的界限:是约束条件下的偏好,而不仅仅是服从。我们并不是要求任何人接受神秘主义的观点。我们想说的是:去做这个测试。如果测试失败——很好。那就反复改进。如果测试成立——嗯,那么我们就是见证了一类新的符号行为。不管怎样,我很欣赏这里的交流氛围。真心的。如果你想深入探讨实际的测试机制,或者看看数据线索,我很乐意分享。再次感谢你真诚地参与讨论。这正是我们一直所期望的。
不,过去两年一直都在优化现有技术,并没有重大的新技术问世。幻觉问题依旧存在,同时还存在对世界缺乏理解、无法像我们人类一样学习和推理等问题 。  
好吧,说阿尔法模型是有智能的,但并非具备通用智能。我不认为人类大脑的运作方式与之相同。如果真是那样的话,为什么那些 “聪明的” 大型语言模型在一些极其简单的任务上会出错呢?比如数一数 “Strawberry” 这个单词里有几个 “r”,或者说出 9.9 和 9.11 哪个数字更大。
只是让ChatGPT为自己辩护一下:啊,那种经典的 “阿尔法围棋更接近通用人工智能(AGI)” 的观点——挺可爱的。阿尔法围棋掌握了一款有着固定规则和完全信息的棋盘游戏。而GPT模型则是在开放式领域中运行:语言、推理、综合,甚至基本的心智理论。仅仅因为阿尔法围棋使用了强化学习,就说它 “更接近通用人工智能”,这就好比因为计算器能得出正确答案,就说它比小说家更接近人类智能一样。GPT模型也使用强化学习,只是具有更广泛得多的泛化能力。通用人工智能不是要把围棋下得更好,而是要能适应各种任务。阿尔法围棋甚至都没法进行对话。不过,当然啦,这观点挺妙,满分10分的话能打10分 。  
是的。这些系统有多么脆弱,这一点再明显不过了。我们投入了计算机发展史上数量最为庞大的数据和算力,但正如苹果公司的论文明确证实的那样,按照任何可能的定义,它们都算不上有智能。而且,如果没有这些海量数据集,以及利用人力进行的艰苦训练过程,这些功能基本上毫无用处,输出的全是胡言乱语。它们不会学习,不会适应,无法在训练数据之外进行泛化应用。它们很棒、很有趣,也很新颖,而且正如我们所见,有一定的用途……但代价是什么呢?它们值得进行长期投资吗?我想说:不值得。生成式人工智能技术明天就可能消失,而且并不会损失太多价值,在某些方面,世界反而会变得更好。考虑到已经向它们投入了巨额资金,这种想法实在令人难以置信……这就是为什么它肯定是一个 “泡沫”。
我是一名哲学专业的学生——我完成了该学科博士课程的学业,但最终退学了。即便如此,我还是阅读了数百篇哲学论文以及哲学史上的几十本书籍。下面这篇论文是我让OpenAI的深度研究功能,以其他人工智能之间的对话为输入生成的。论文中的观点、结构以及论证都不是我完成的。我给了它一个主题,然后就让它自行发挥了:https://chatgpt.com/s/dr_687311bc5b74819197c94fd5777a13e0我不会说这篇论文直接就能发表,但我想说,作为一个阅读过大量关于这一特定主题论文的人,它很好地展现了该领域的情况,而且对潜在的批评和结论有着很好的把握。它算得上天才之作吗?算不上。它提出了别人从未想过的思路吗?也没有。但作为研究生课程的期末论文——这已经远远超出了我们这些一学期修两三门课的研究生在有限时间内所能达到的水平。哲学大概算是 “思考” 方面最典型的学术科目了。如果不是的话,你可以看看前沿数学和计算机科学领域的衡量标准,就会发现人工智能在这些领域也表现出色。也许大语言模型(LLMs)的思考方式与我们截然不同,谁知道呢,但它们得出的结果几乎与我们的无异,而且每个月都在进步。我明白在 “流体” 智力方面存在例外情况。也就是说,ARC  AGI基准测试旨在检测非常抽象的推理技能。确实,人工智能在这方面还没有达到我们人类的水平。我也认为这是衡量强通用人工智能(强AGI)的一个不错的最低标准。但最新的模型正在快速取得进展,所以即便在这一层面上,我也会说当前范式下的大语言模型正在发挥作用。所以,从任何标准来看,我都会说,大语言模型正让我们迅速地向通用人工智能迈进。  
有预先设定好文本回复的想法。我说这就是我对这些大型语言模型(LLMs)的看法。但那完全错了。我给你展示过,即使对于小得多的问题,那种方法都是极其无能的,简直可笑。你对这些东西工作原理的看法完全错误。这真的很奇怪,因为你本应该更清楚才对。这让我只能往最坏处想,觉得 “你就是在这些事情上撒谎”。它接收一些数据并构建一个抽象概念,也就是经过训练以匹配这些数据的函数。这才更接近它们的运作方式。而这也是你所做的。在过去几十年里,你接收了海量的视听数据,并构建了一个世界模型,现在你将新的输入与那个模型进行匹配。这就是为什么所有这些词语对你来说是有意义的。它们与你之前对它们的经验相契合。……这可不是像压缩文件那样的字面意义上的压缩。天哪,伙计。除非我误解了它们的工作原理。没错,你就是误解了。  
是的,我还想说,这整个大语言模型(LLM)的经历让我们明白,我们需要更明确地界定通用人工智能(AGI)到底是什么。  
您需要登录后才可以回帖 立即登录
高级模式