人工智能迭代：智能升级还是恶性循环？

最近，刘慈欣在直播时透露，自己实在没时间，所以参加科幻大会时用ChatGPT写了一两篇发言稿。刘慈欣表示，ChatGPT 写得也还挺不错的。此前刘慈欣发表了一篇题为《科幻文学中的可持续未来》的演讲，用科幻的视角解读了一个截然不同的人类未来。何为科幻视角？从距地球60亿公里的太空之上，回望这颗比尘埃还小，却又承载了和我们有关的一切的星球，即为科幻视角。在演讲结束后，刘慈欣谈到了以ChatGPT为代表的人工智能可能会给人们带来的影响。2015年，刘慈欣曾在一次采访中引用了霍金的观点，霍金曾预言「人工智能比核弹还危险，人类马上就要被人工智能控制」，当时的他认为这个说法有点危言耸听。

而现在，他认为我们是时候对未来有所警觉。

划重点

1.人工智能会首先取代高智能的职业，这与我们的预测相反。2.人工智能可以自我迭代出更高智能的版本，但我们的算力限制它的发展。3.人工智能或许会让人类陷入舒适的陷阱之中。Q：现在ChatGPT横空出世，被人们热烈地讨论，您觉得人工智能的发展对人类的命运会产生一个什么样的影响？那自我迭代的人工智能有没有可能会取代或者说消灭人类？刘慈欣：我觉得这（人工智能的影响）应该从这个现实或近未来和比较远的未来这两点来看待。从我们近未来或甚至从我们现实来看，人工智能它对我们社会世界的影响我相信大家已经都看到了，它现在已经产生一个很明显的趋势：（人工智能）有可能在代替我们人去从事很多的工作。这个应该说是一个正面的趋势，这种趋势它可以提高我们的生活质量、提升人类的幸福感，让我们的生活在科技的加持之下可能变得更加舒适。但是另一方面我们也不能不正视，人工智能的发展给人类社会带来的冲击。首先，最明显的一点是人工智能可能会代替相当多的「人的工作」，而且这个趋势与我们以前的预测正好相反。

以前我们预测认为人工智能首先代替的是那些简单劳动、重复劳动的那样的工作，但是现在看来正好相反，人工智能可能首先代替的是那些需要高智能的、很高的教育程度的那样的工作，比如像医生、教师、股票经纪人等等这些工作可能是被首先代替的。这其中可能也包括我们作家也可能首先被代替的。所以说人工智能对于人类的整个世界的发展来，它的影响很深远。我们再往层次再高一些的话，人工智能可能会对我们世界中相当多的比较基础的东西可能会产生重大的影响。比如它会对文化艺术、文学，对这个人的创造力，对人的对世界的认识等等可能都会产生重大的影响，甚至可能让这一些东西都会被重新定义。当这个人工智能现在已经开始介入到我们的科学研究之中，介入到我们对整个世界规律、对自然规律的认识之中，介入到对人类发展规律的认识之中，它可能产生的影响十分的深远。当初人工智能在围棋领域战胜很多优秀的围棋选手的时候，有一位我们国内最出色的围棋选手说了一句话，让我印象很深刻。他说中国的围棋博大精深，有两三千年的历史，积累了深厚的这个理论和经验，甚至围棋本身成为一种文化，具有了很深的禅意，但是就在这一夜之间，我们发现它的一切全是错的。这一个说法确实很令人震惊，这件事情会不会发生在别的领域我们不知道，如果广泛发生的话，那么人工智能对人类文化文明最深层的影响我们是不可忽视的。下面我回答您的第二个问题，就是说人工智能是否会消灭人类，这也应该分两个层次来回答。

第一个层次就是这种字面意义上的消灭，就是人工智能用某种暴力从肉体上完全消灭人类或是统治世界。这一点从目前的这个技术发展趋势来看，特别是从目前的技术水平来看，在可以看到的未来可能性不是太大。 当然您刚才提到一个很有意思的概念叫迭代。人工智能的迭代，这是目前人工智能最可能出现危险的一个行为。

了解了，以下是改写后的内容：🚀当AI的进步超越人类智慧阈值，它将开启自我创新的崭新篇章。它生成的新AI可能拥有更高的智能，这将进一步推动AI的迭代升级。🚀这一过程如同接力，智能水平将以惊人的速度不断提升，直至达到前所未有的高度。无需关注创造者身份或联系方式，让我们聚焦于技术的进步与未来的可能性吧！SEO关键词：人工智能、自我创新、智能迭代、未来发展。

可能迭代下去，会提高到人类（智能）的几百倍甚至上万倍。 而它而由于它的这个计算机的计算时间比这个人脑人的大脑要快成千上万倍，那么这个迭代的时间可能十分的短，据推测可能只有半个小时到一个小时。 就说我们把人工智能发展到现在用了一个世纪的时间，而人工智能百倍于现在的这个程度，可能只用半个小时到一个小时，这是很可怕的一件事。 但是做出这个预测的人忘了一点，就是我们人类的计算能力，我们所能提供的算力是有限的。它的迭代到一定程度，我们的算力不（能够）支持它。 所以这就是一个有很讽刺意义的一件事情：我们人类的无能反而成为我们一个最后的屏障。所以您说的这这种毁灭不太可能。 那么第二种消灭则是一种我们想不到的一种方式，就是说第一种消灭人类是完全违背人类意愿的，而第二种对人类的消灭可能完全符合我们的意义。 比如说人工智能的发展，我刚才说过它可能会代替我们的这个大量的工作，而我们的社会如果适应了与人工智能的这种共存，我们发展出一种新的这种分配制度，那么我们就可能带来一个十分舒适的那种社会环境和十分舒适的生活。大部分人可能不需要工作，把大部分的工作都交给人工智能来进行。 在这种情况下，我们会越来越多地交出自己对社会运作的操作这种权利给到人工智能。 而生活会变得越来越舒适，那么这个样子下去的话，我们可能面临着人类历史上前所未有的一个巨大的陷阱。就是说在这个科技的这种安乐窝里面，那么人类文明的活力在哪里？我们的开拓精神在哪里？如果这样一直发展下去的话，那可能人类最后的命运就是您说的被人工智能所消灭，但这个消灭的过程完全是在我们的意愿之内，而人工智能至始至终它没有任何恶意，它只是照着人类的指示去行驶。

而这样的如果真的发生这样的事，那人工智能所需要的它的智能程度以及它所需要的计算能力远远小于我们前面那个真正的字面意义上的那种消灭。所以这确实是我们应该对未来有所警觉的一件事情。

刘慈欣演讲全文整理大家好，我们今天要谈论的话题是科幻文学中的可持续未来。 作为一种基于想象力的文学形式，科幻小说并不能够对未来作出科学的预测，它只是描述未来的各种可能性，同时它也提供了一个看世界和看未来的独特视角，这个视角与我们从现实看世界看未来的视角可能有很大的不同。 科幻的视角是什么？大家可能都知道一张叫《暗淡蓝点》的照片，我本来想把那个照片拿来的，但我觉得好像大家应该都看过那张照片，就没有把它拿来放出来。 这可能是人类历史上最重要也是最著名的照片之一，他是上个世纪70年代发射的旅行者1号宇宙探测器，在90年代初在距地球60亿公里的太空中拍摄的。 初看上去整张照片它都是黑色的，很仔细看才能发现这一片黑色中有一个小小的亮点。它十分的小，就是仅有这张照片的0.12个像素那么大。如果不加以指示，你说观看者是很难发现这个白点的。 有人形容它是太空中的一粒尘埃，其实是把它说的大了。按照比例计算，这个暗淡的小点放在宇宙中，它比地球大气层中的一粒尘埃还要小很多个数量级，要小得多。这个亮点就是地球，人类世界的全部，和我们有关的一切，所有活着和曾经活过的人，所有曾经有过和正在进行历史和生活，都在这里尘埃上面，这就是科幻的视角。对于人类的发展和未来，这个视角与我们传统的视角是有很大差异的。从这个视角去看，我们对人类社会的可持续发展会有一些新的感悟。首先，目前可持续发展所依赖的基础环境保护，阻止全球气候变化、对资源开采的节约和节制、基于环保的绿色生活方式等等，其重要性是无需质疑的。在可以想见的未来，坚守并贯彻以上的理念是人类文明得以延续的基本保证。 但是从科幻的视角看，从60亿公里外，看一看那个暗淡的蓝点，我们就真切地感受到，人类世界在宇宙中是多么的渺小。 对于文明的发展，这样一个小世界存在着天然的脆弱和不确定性。这些脆弱和不确定性极大地影响着人类可持续的未来。对发展的威胁，它很可能来自发展自身。世界正走在现代化的进程中。尽管近年来遇到了包括疫情、局部战争、国际社会分裂和对抗加剧这些挫折，但从长远的大趋势来看，现代化的进程不可遏制。 现有的不发达国家和地区全面达到西方的发展程度和生活水平并非遥不可及的事，而如果全世界都进入这样的发展状态，我们粗略估算一下，人类将需要4个半地球的资源。所以，要实现人类真正的可持续发展，我们必须找到另外3个半地球。 另外也是更重要的就是未来的不确定性还来自地球自然界本身。地球生态系统是一个极其复杂的系统，处于不断的波动之中。 例如在漫长的地球历史中，在地球的地质纪年中，大气温度上升或下降几度，从这个地质纪年的尺度来看那是一件很平常的事。但是对于现代人类社会来说，却可能是灭顶之灾。 地球平均气温上升几度，就会因冰川融化导致海平面全面上升至使沿海地区、沿海经济区被淹没，大量人口向内地迁移，进而造成世界经济的混乱和崩溃。 而地球平均温度下降几度将导致全球农业体系的崩溃，是世界处于大饥荒之中。就在现在人们担忧过量的碳排放导致气温上升时，却很少有人注意到地球的下一个小冰期可能正在到来。在地球这样一粒宇宙尘埃上，生态圈的长期的稳定，它只是一种幻觉而已。 为了应对未来的种种不确定性，人类社会将在政治、经济和文化等方面作出不断的努力。但这也是从我一个科幻作家的这个角度来看，我们最终所能依赖的力量还是来自于科技的进步。 首先，在地球的生态空间之内，技术的进步可以开发出全新的资源。在历史上，煤炭、石油和核能取代了木材，合成材料取代了棉花和皮革。在未来，科技的进步能够带来更加高效和环保的能源，能够从之前从未利用过的自然资源中产生出新的材料，能够培育出适应各种气候的高产农作物。 无论是在未来变化的地球环境中生存下去，还是努力阻止地球环境发生变化，都要借助科技的力量。如果从地球向外看，我们就看到了一条更为广阔的发展之路。太阳系中有着巨量的资源，在八大行星上，在小行星带中，人类生存和发展所需要的资源，从水到金属，从有机物到核聚变材料到核聚变燃料应有尽有。我们能够从太阳系的太空中找到的远不止3个半地球，按照地球最终可以养活 1000亿人口计算，那么太阳系中的资源总量可以养活10万个地球的人口，一个人只有走出摇篮才能实现可持续的成长，而人类文明作为一个整体，要想拥有真正的可持续的未来，也必须走出地球这个摇篮。否则的话，人类的未来就有可能像阿瑟克拉克在科幻小说《2001太空奥德赛》中描述的那样，在一片丰饶之中他们慢慢饿死。这两个方向的可持续发展都是以科学技术的不断进步为基础的，在这方面人们面对的现实并不是很乐观的。我们现在所处的这个年份就是2023年，曾经无数次在科幻小说中出现。 对比一下以往的科幻小说中的21世纪20年代和们现在已经变为现实的2023年，我们能有的也只是一声叹息。 在科幻小说中的2023年，地球的同步轨道上运行着宏伟的太空城，月球像地球的近邻近郊一样繁荣，在火星上已经建成多处人类知名城市，生活着数以百万的人，在小行星带进行着大规模的矿业开发。在木卫一的冰封海洋上，在海王星的轨道之外，都有人类开拓新世界的身影。太空航行已经普遍使用核动力飞船，拥有着现在的化学动力飞船所不可比拟的运载和续航能力。 在那个2023年，也就是在科幻小说中的2023年，他们所展望的2023年，10万个地球正在诞生之中。谈到可持续的未来，这应该是一幅符合逻辑的图景，但在现实的2023年中，我们确实还看不到这幅图景的影子。在现实的2023年，唯一与科幻小说中对这个年份的想象相近的是信息技术的发展。在过去的30年，信息技术以远超其他技术的速度越近，信息网络已经渗透到人类社会的方方面面，全面而深刻地改变着我们的生活。特别是近来人工智能开始有了取得突破的迹象，也引起了广泛的关注。科幻小说中无数次描述过的21世纪强人工智能，它已经现出端倪。但正是信息技术的快速发展，掩盖了其他科技领域进步的缓慢，造成了科技全面飞速进步的一个假象。如果把科学发展产生的技术进步看成是一棵大树的话，那么在今天，这棵树上最容易够得到的果实都已经被摘光。科技进一步的发展和突破需要巨大的投入和长远的规划，而这一点在目前对可持续发展所持的理念上似乎并没有被放到最重要的位置。目前世界各国对于基础科学研究和航天探索的资金的投入，只有对环境保护事业投入的1/10。现在对可持续发展的规划是建立在环境保护、节约资源和建立绿色生活的基础上。但要得到一个长远的、真正可持续的未来，我们还需要更多的开拓精神和进取精神。国际社会需要更长远的发展规划，需要对基础研究和技术创新全力关注和投入。在这方面的很多事业可能只有大范围的国际合作才能完成，联合国无疑能够在这方面发挥重要的作用。科幻小说描述了未来的多种可能性，用想象力构建了无数个未来世界。他们色彩各异，形态万千，但都有一个共同点，那里的科学技术已经发展到了很高的水平，借助于科技的力量，人类能够为自己开拓更加广阔的生存空间。这无数个想象世界中的一个将变为现实，成为我们的未来。也许在那样的世界中，人类仍然会面临来自社会发展和大自然的更多的挑战，我们也必须接受未来的挑战，用发展来解决发展遇到的问题。最后，对于人类可持续的未来，引用科幻作家乔治威尔斯的一句话：要么遍布宇宙，要么彻底灭亡。谢谢大家，我的讲话完了。

图片：文汇报资料图

来源：文汇教育

AI，正在污染中文互联网

第一批用AI替自己干活的人：更轻松了，也更害怕了

人工智能对我们的操控，可能比你想的更严重

复旦人工智能教授：未来3-5年，哪些工作会被AI取代？

ChatGPT后，教育应当注重批判性思维、逻辑能力，为年轻人创造自由的空间

全球多地呼吁限制ChatGPT，他们究竟在害怕什么？

吴 军：ChatGPT不算新技术革命，带不来什么新机会

韩启德院士：关于生死，我向ChatGPT提了一个问题

暑期游学·日本（8/17-23）：和韩昇教授一起解读日本文化的传承与嬗变

游学招募・埃及（7·29-8.6）｜从7000年前的埃及出发，探寻世界古文明

游学招募・ 伊朗（7.29—8.7）｜壮丽与神秘：溯源4000年的波斯史诗