Hash Global KK:一个 Web3 从业者看 ChatGPT 和 AGI

作者:KK来源:foresightnews2023-05-21

 近期听了陆奇博士和张宏江博士关于大模型和 ChatGPT 的分享,收获很大。整理了一些感想,和 Web3 从业者共勉:

1. 和家里宠物呆的时间足够长,你会意识到猫只是比你简单几个维度的一个大模型或者说模型组合。

 

2. 模型的演化会很像基因和生命的演化,本质是一样的。Transformer 模型架构的出现就像分子第一次「无意」搭成了可复制的 RNA;GPT-1,2,3,3.5,4,以及后面的模型发展演化只要没有慧星撞地球般的事件,可能就像生命爆发一样,越来越快,越来越「失控」。模型自身有不断复杂化的「内驱力」,这是宇宙规律。

 

3. 三十多年前,斯蒂芬平克发现了语言是人类的本能,就像我们现在意识到,原来文字语言能力才是模型训练里我们苦苦追求的泛化能力的来源。 为什么以前搞人工智能和语言研究走不通,因为路走反了!语言是人大脑神经元系统足够复杂了,涌现出来的本能,至于是演化成汉语,还是英语,鸟语和环境及部落有关。泛化模型加上其他「模型」叠加产生了人这个牛逼的智能体。你要去主动设计和构建智能体或者 AGI,路彻底走反了。我觉得可能也不是不行,而是要难 1 亿倍。

 

4. 如果我们这个宇宙「上面」有高维智能体或者「神」存在,当它看到地球上的寒武纪大爆发时的惊讶应该像今天我们看到 ChatGPT 一样。暂时无法完全解释,只能慢慢体会和学习,试着去了解。

 

5. AGI 可拆解为 Reason,Plan,Solve problems,Think abstractly, Comprehend complex ideas, 和 Learning。GPT4 目前除了 Plan 不行,Learning 算一半以外(因为基于预训练模型,不能实时学习),其他都已具备。

 

6. 人脑的平均学习能力进化速度缓慢,但硅基智能的发展一旦方向找对,速度可以是指数级(看下 GPT4 和 GPT3.5 的差距)。

 

7. 大模型=大数据 + 大算力 + 强算法。全球只有美国和中国可以做。做大模型的难点在于芯片,CUDA(GPU 的编程平台)开发者积累,工程构建,和高质量的数据(用于训练,调参和对齐)。对齐有两方面,一是对齐人类大脑的模型和表现方式,二是人类的道德标准和利益。国内至少有两个方向的垂直模型赛道很有机会:医疗和教育。

 

8. GPT4 虽然还有弱点和缺点,但就像人脑一样,一旦给予更明确的指示或提示,可以更强;还可以调用其他辅助工具后更加完美。就像人脑也需要借助计算器等工具完成人脑本身不擅长的任务。

 

9. 大模型的参数量应该和人大脑神经元的突触数相比(而不是神经元),这个数字是 100 万亿。 GPT4 的参数量还没有公布,但估计大模型参数量很快会逼近。

 

10. GPT4 目前的幻觉率(hallucination)大概在 10%-14%,必须降下来。幻觉率是「类人」模型必然会出现的特征。这个比例和人相比,还是太高。能否有效降下来,决定几年后 AGI 发展是继续一路向上还是进入阶段性低谷期。

 

11. 对我个人来说,ChatGPT 最大的意义在于它最直接地,毫无争议地证明了基于简单的计算节点和函数,只要数量足够多,模型足够大,就可以生成足够复杂的思考模式,而这个系统是有限的,不是无限的。人类语言以及驱动语言的思考的背后可能并不是什么灵魂,可能就是 100 万亿的神经突触连接后,被环境的演化不断调教,「涌现」出来的东西。这一切非常符合人类最近两百年对「人来自于哪里」这个问题的突飞猛进般的各类研究。

 

12. 单细胞到人的形成,所有证据链条已经足够完备;关于复杂系统的形成,基因的存在和「动机」也已有完备的理论;但人能不能依据所有科学理论,设计出硅基的 AGI 呢?有人认为是几年,有人认为是几十年,更多的人认为永远不会(即使在看到 AlphaGo 在围棋领域的表现后),但 ChatGPT 用铁一般的事实给出了最明确的答案。Sam 团队应该打心眼里没觉得人类大脑有什么了不起,才能如此坚定地走大模型的 AGI 路线,一个月烧 1 亿美元还是很考验信念的。

 

13. 由于底层硬件不同,所以 ChatGPT 的「策略」很可能和人的大脑是很不同的,而且是低效的,但令人惊讶的是,Her 产生的结果是如此像人的思考。人的思考本质上可能就是由简单规则驱动的。

 

14. 语言和思考的「规则」,可能并不是我们能够完全按「语法」总结出来的,这个规则目前来看是隐含,无法完全简约和总结的。所以目前只能用大模型来干出来,毕竟人的大脑架构也是从单细胞自然演化来的,即使有造物主,也应该是「开辟」了宇宙后,就撒手不管了,否则怎么会有这么多的 bug 和缺点,哈哈。

 

15. 我很佩服史蒂芬平克,他可以在几十年前只用观察和推理,就令人信服地说明语言是所有人类的本能,是「刻」在我们基因里的。我不知道 Sam 有没有读过《语言本能》这本书,但他证明了 ChatGPT 这样的人造网络可以非常好的完成语言创立工作。语言本能和逻辑思考没有想象中的复杂,ChatGPT 已经「默默地」地发现了语言背后隐含的逻辑。语言也会是所有硅基 AGI 区别其他硅基计算器和 AI 的「本能」。

 

16. 人脑和碳基大脑都喜欢做 generalize 提炼(可能是残酷的进化所逼),所以极其高效(能量使用方面);但不擅长做 irreducible 的计算和处理,而我们知道很多计算模式可能只能一步一步做。GPT4 的架构肯定还不是最优,没有太多的 generalization 和简化,所以能耗极高。但「此路可通」的全球共识已经形成,后面应该会看到美国和中国的多个团队在各方面加速推进:芯片算力,数据质量,算法优化,和工程架构等。

 

17. 人的大脑的价值评估体系应该是碳基分子形成的 DNA 和遗传基因「为了」最大化地提高自己的复制概率,通过自然演化的力量,给神经元的突触设置好权重,逐步演化确定下来。这个碳基计算节点支撑的「模型」远非完美,演化速度缓慢,「权重」和「算法」调整极其低效,完全跟不上环境变化。所以我们才会有各种宗教提到的人的欲望和痛苦。

 

18. 《Why Buddism is True》一书里提到,人大脑至少有 7 个模块(应该是多模态并行大模型)。哪一个思维模块占据「当下」的主体,人的「决策」如何做出,其实都由「感觉」决定。而这个「感觉」就是由「人」进化带来的「陈旧」的价值评估体系来决定(载体之一可能是肠道细菌,哈哈)。建议大家可以读下我几年前写的读书笔记的第 6,7,9 章。高山书院的公众号里有。

 

19. 畅想一下,如果人类真的把硅基 AGI 和机器人创造出来了。驱动机器人大脑的价值评估体系是什么?机器人会不会也很困惑「我来自于哪里,我往哪里去」?人类有释迦摩尼,机器人为什么不能有?机器人觉醒会是怎样?某个机器人会不会某天写一本《Why Machinism is True》来呼吁机器人觉悟,呼吁机器人进入涅槃,来摆脱人类给他们设置的「轮回」?

 

20. 能量限制会是模式演化的硬顶。但未来硅基 AGI 的能量消耗模式应该会比现在高效很多,碳基人脑的模式毕竟迭代演化了十亿年,才到了乌鸦大脑般的能量高效。未来硅基 AGI 的能耗可能是现在人类能使用能量的几亿倍甚至更高量级,但能处理的计算和完成的事情也会是几亿倍。可能可控核聚变技术信手捏来了也不一定。这样的话,地球上的能量可能就够了,更何况还有太阳系,银河系和更广袤的宇宙。

 

ChatGPT 和 AGI 很伟大,应该说超级超级伟大!我们有幸活在这个年代,不但肯定能搞懂人来自哪里,可能还能搞懂人往哪里去。

 

AI 的快速发展,会极大地促进我们对 Web3 技术的需求:内容创作如何确权;如何确立人的身份(Sam 在搞 worldcoin);Prompt 和开源代码能否做成 NFT 授权使用;价值如果不能在互联网上自由流动,生产力那么强有什么用?你能想象所有的内容订阅,还要用银行体系来完成转账和跨境划款吗?你能给一个物联设备开银行账户吗?你能同时给 1 万个用户转 0.01 分美元吗?...我上次说接下来三年是 Web3 的 iPhone 时刻,Web3 用户三年后肯定能突破 1 亿,甚至远远超过。大家可以看下面这个飞轮:

 

Web3

一直很喜欢看生命科学,复杂系统,(作为哲学的)佛教方面的书籍,推荐几本给大家,按我个人建议的阅读次序:《生机勃勃的尘埃》,《奇妙的生命》,《自私的基因》,《自下而上》,《The Social Conquest of Earth》,《语言本能》,《深奥的简洁》,《失控》,和《Why Buddism is True》。 我觉得这些作者如果还健在,还有能力写,都应该看着 GPT 未来的发展,把书都写个新版。

 

人的生命太短暂,很多伟大的想法都极其可惜地永远地遗失在了历史的长河里。书籍,音乐和影视的记录应该只是很小很小的一部分。即使记录下来,那么多的伟大的著作和真理其实一直都在那里,但一个人又能读多少呢?硅基 AGI 则完全没有这个问题。

 

是时候再把电影《The Matrix》里 Mopheus 和 Neo 的对白找出来再读一遍了。