返回 王金戈

科幻短篇小说

第一次危机

🏆 2024首届"轩辕杯"全国文学创作大赛 · 入围奖

作者:王金戈  ·  2024年3月完稿

第一章  全面瘫痪

1 · 警报

前脚刚踏进家门,伊帆的手机就响了起来。

果不其然,闪烁着的是一个刺眼的座机号码。伊帆知道,美好的夜晚又要泡汤了。

这周轮到她值班,随时可能接到线上故障的报警电话。最让人头疼的就是下班之后的来电,虽然大多数情况下都很容易解决,但总归是搅黄过几个安适的夜晚。

可电话听到一半,伊帆隐约觉得不妙。对面传来AI话务员温柔的声音,却似乎预示着严重的故障。"一级事故",伊帆重复了一遍对方的言语,不敢怠慢,赶忙打开家中的笔记本电脑检查邮件。

2 · 一级事故

自从伊帆加入学友科技公司,还从来没遇到过这个级别的事故。

收到的警报通常是三级事故,表示某些用户的请求可能得不到响应或收到了错误的结果。如果出问题的服务覆盖范围太广,比如超过一半的客户无法正常使用,警报就会升级到二级。而最高级别一级,只有当服务完全停摆时才会发生。

很快,邮件和消息如雪花般飞入伊帆的收件箱。

首先是各项服务的内部监控警报,短时间内全部从三级、二级提高到一级。这意味着,公司的几乎所有服务全面瘫痪。紧接着,来自外部客户的邮件纷至沓来。包括中国的几家课外培训公司,以及正值上课时间的欧洲和北美的学校。

电话又响了起来,这次是老大。

“收到警报了吧?赶快检查一下故障原因。”

“好的,我正在研究。但是这么大规模的故障,似乎不应该是我们的问题……”说这话时伊帆有点心虚,毕竟自己需要对服务的质量承担一定责任。但根据经验,底层算法一般不会出现突发故障,大概率是网络的问题。

伊帆想起几年前因网络故障引起的大面积停摆,似乎历历在目。

3 · 学友科技

公司的历史上很少发生一级事故。上次出现这样严重的问题还是在孔子一号上线时由于太受欢迎而导致的网络崩溃。

五年前,伊帆刚从中科大毕业,凭着远超平均水准的技术能力加入当时的明星创业公司学友科技,进入核心算法团队。那时候“孔子”刚刚发布不久,这款新产品对她产生了难以预料的冲击,也改变了她往后的职业生涯。

整个事情需要追溯到十年前。2022年底,OpenAI公司发布了一款对话AI,叫做ChatGPT,掀起了长达十年的AI黄金时代。ChatGPT可以像人一样和用户对话,并回答天南海北的任何问题,而且任劳任怨。从那时起,人们似乎纷纷意识到AI可以代替我们做很多工作。于是AI创业公司如雨后春笋般出现,基于ChatGPT的应用百花齐放。这场生产力解放运动遍及全球,丝毫不亚于互联网诞生之初的那股浪潮。学友科技在2025年应运而生,专注于教育行业的AI赋能。

甫一成立,公司立即获得大量投资,并开展起与国内外各类教育机构的合作。最先抛出橄榄枝的是家教行业。家庭教师虽然门槛不高,但要想服务好顾客,需要高超的教学手段和强大的亲和力,因此好的家教可遇不可求。况且这种私人定制服务的价格显然并非普通老百姓所能承受。学友科技自然是看中了这一点,将公司的首要战略目标确定在家教领域。打造一款个性化、覆盖全年龄段所有学科的家教AI。

然而过程称不上顺利。最初两年,公司以ChatGPT为基础,打造了几款家教AI。虽然AI懂的很多,也能按部就班地把课讲清楚,但客户并不买账。因为这些AI太死板,没有人情味。如果家教不能感情饱满地与学生互动,并随时调整自己的教学节奏,这和看书或看视频又有什么区别呢。

到了2027年,公司决定不能止步于此,要创建真正专属于家教的AI大模型,与ChatGPT分道扬镳。恰逢算力近几年井喷式发展,连小公司也有机会训练自己的大模型,而不必被OpenAI这样的大公司掣肘。公司内部将这一项目称为“孔子计划”,秉承“有教无类”“因材施教”的教育理念,来一场教育领域的革命。

4 · 孔子一号

伊帆所在的团队正是负责“孔子”AI的研发。彼时她还没有毕业,团队也只有十个人,但都是领域内的精英,其中不乏从OpenAI挖来的华人大牛。

借助头两年家教产品积累的数据,大家很快搭建出了一个专属于家教领域的大模型。这个模型掌握了从幼儿园到研究生的所有知识,并擅长用通俗易懂的语言讲解。模型还支持多模态输入输出,你可以通过文字、语音、图片或视频来与之交流,它也会用这几种方式和你互动。

伊帆真切地记得,“孔子”AI发布会的当天,直播间里来自世界各地的数百万观众翘首以待。

学友科技CEO走上台,并没有展示人们想象中的炫酷视频或PPT,而是直截了当地说:“让我们一起亲自体验一把‘孔子’AI吧。”说罢,屏幕上出现一个对话框和一个卡通版的孔子头像。孔子率先开口:

“同学你好,很荣幸今后能够陪伴你走过求知的旅程。我是孔子,可以告诉我你的名字和年龄,以及想要学习的功课吗?”

那天,由于人们争相使用这款划时代的产品,学友科技遇到了第一次一级事故。

也是这次机缘,让伊帆最终决定加入这家公司。不仅仅因为它的名气和技术,还源自她心底对未来社会的美好憧憬。

5 · 伊帆

伊帆出生在三线城市的一个平凡家庭,父母靠打工挣些微薄的薪水。小时候家里穷,上学没有零花钱,买不起路边的零食,也没有各式各样的玩具。伊帆只能认真学习,周末就去书店看书。

小朋友虽说童言无忌,但学校里鸡飞狗跳的事真不少。伊帆个子瘦小,常常成为班里调皮男生的攻击目标。她读过很多书,知道“己所不欲,勿施于人”的道理,但不知道为什么这些“小混混”总是和别人作对。

到了高中,正当身边人因为上网、游戏、恋爱而无心学习的时候,心无旁骛的她成绩突飞猛进,从班里中上游一直到名列前茅。终于考上中国科技大学这所位于金字塔顶端的学府。

然而在热情洋溢的气氛背后,伊帆看到的是老人们被抛弃般的孤独。现代化的滚滚车轮,从他们身边驶过,不曾有丝毫停留。

在大学和研究生的几年间,伊帆始终在思考自己能为全天下的老人做些什么。直到遇到了孔子AI。

第二章  孔子二号

6 · 破局

加入学友科技之后,伊帆很快发现了现有模型的局限性。虽然拥有世界上最大的知识库,也能按照用户的需求定制学习计划,但孔子AI与人的互动始终像是隔着一层纱。大部分用户起初很疯狂,但过段时间就打消了热情。从客户的真实反馈中,伊帆发现一个真正的老师不仅仅要提供知识,还要成为学生的朋友。良师益友原来是分不开的。

然而,当前世界上还没有AI能真正与人做朋友。就算你们曾酣畅淋漓聊得不可开交,你也知道,点击退出按钮的那一刻它就会忘了你,你也不再留恋它。谈话的背后不过是冰冷的数学计算,与感情无关。

日思夜想,伊帆始终没找到破局的办法。AI浪潮在2022年开始,到2025年再次回归平静。人们没有找到新的突破口,大语言模型仍然是最成功的方向,但离通用人工智能似乎仍有着无法跨越的鸿沟。

直到伊帆读到一本书。

7 · 具身模拟

很长一段时间,伊帆都在阅读认知科学和脑科学的科普书,试图寻找高级智能的奥秘。可惜科学研究的进展远没有AI这么顺利,很难从中得到切实的帮助。直到遇见《我们赖以生存的意义》,让伊帆有了灵光乍现的感觉。

这是一本几年前的科普书。由于内容比较硬核,读过的人并不多。书的核心概念叫做“具身模拟”。大概意思是,人脑中的意义与亲身体验是分不开的。当你思考一件事的时候,其实是在大脑中模拟这件事发生时的场景。而且,你的实际行动和脑补的画面使用的是相同的脑区。这意味着现实世界和脑中世界是分不开的。而人赖以生存的意义也就完全建立在真实世界之上。可以说,如果没有视觉、听觉、触觉这些对真实世界的感知,人就不可能构建出存在的意义。

突然,伊帆想通了AI的问题所在。如果AI不能像人一样与真实世界交互,就没有机会构建属于自己的具身模拟,它的“大脑”也许就无法真正理解这个世界。

这是一个绝妙的想法,伊帆几乎一夜未眠。第二天一早,赶忙找到团队的老大商讨这一方案。

8 · 具身智能

“你说的不就是具身智能吗?”伊帆还没有讲完,老大直接打断她说道。

伊帆愣了几秒,猛然醒悟。前些年AI圈炒得热火朝天的具身智能,正是做的这件事。但后续却发现事情根本没有小编写的那么玄乎,机器人仍然笨得要命,也没有出现自主意识的征兆。伊帆有点脸红,自己竟然完全没有想到这件事。

但伊帆仍然不死心,接着说道:“可是具身智能难道真的没有用吗?人的确是这样成长的吧。”

老大停下了手头的工作,眉头微皱,没有回答。伊帆知道他正在飞速地思考,就如往常点破问题的要害一样,需要一些不被打扰的时间。

可是过了几天,伊帆并没有等到答案。老大似乎把这件事忘了。

9 · 孔子二号

时间来到2030年。伊帆和整个团队都忙碌在维护现有系统的工作中,针对用户遇到的问题提出解决方案,在现有的模型上修修补补。公司的客户越来越多,各个年龄段,各个职业,甚至各个国家,不一而足。

也是在这一年,学友科技成功在A股上市,成为科技板块的一只新星,备受投资者追捧。股价连连攀升,一切欣欣向荣。

然而,此时此刻,伊帆的老大正在和公司高层秘密商讨一个惊人的计划——“孔子二号”。

原来,CEO早已未雨绸缪,看出了公司即将面临的危机。在行业日渐成熟的当下,竞品的存在让学友科技的利润率越来越低。孔子AI早已失去“唯一”的地位,全靠着市场占有率和数据优势略占上风。两人作为商业和技术上的奇才,对未来的展望出奇地一致——用更高级的智能来完成现有的任务,重新在核心技术上独领风骚。而问题的关键,自然落在了伊帆提出的那个问题——“如何实现真正的具身智能?”

10 · 回答

时隔一年,伊帆终于得到了当初那个问题的答案。

“最近几年,我一直在密切关注AI的发展方向,”老大说,“在彻底超越人类前,我们仍然需要参照人脑。首先,AI要能够感知世界,并与真实世界交互。在接触中形成完整的世界观。这一理念来自于具身模拟理论。其次,AI的大脑必须不断进化,而不是一成不变。我们需要制作一个规模巨大的动态神经网络,就像人脑一样,在生存的过程中不断更新自己的参数,记住需要的知识,忘掉无用的信息。有了这两点,AI才有可能通过不断学习,达到接近甚至超过人的智能水平。”

听到这里,伊帆心中一阵狂喜。一切都在向着自己期望的方向前进,有朝一日或许可以亲手创造出真正的人工智能。

第三章  审问

11 · 危机

面前弹出一则紧急消息——“孔子二号正在发生不明原因的数据丢失”。伊帆赶紧回过神,紧盯着面前的屏幕,神色紧张。

孔子二号作为一个超大规模动态神经网络模型,具有自主记忆和自我学习能力。每一次和用户的聊天,都被作为学习素材,经过分析整合后融入AI大脑,从而使得孔子二号具有对真实世界超强的理解力。同时,孔子二号在全球只有一个实例,与所有人交流的孔子二号其实是同一个。

然而伊帆发现,AI大脑的核心参数正在流失!这意味着孔子二号在上线后至今学到的知识将要化为乌有。

伊帆打开模型智能监控系统,果然,模型的智能程度正在快速下降,孔子二号就像得了老年痴呆一样,正在逐渐失去智能。

“到底是谁干的?莫非有黑客入侵?还是有人在内部恶意破坏?”伊帆心想。

12 · 道德委员会

没过多久,伊帆收到一个会议邀请,发起人竟是公司的道德委员会。这让她着实有点摸不着头脑。

道德委员会在AI发展之初就在各家公司成立,目的是监督AI的伦理道德,避免向用户输出违反道德的语言或行为。孔子二号自然也受此约束。但鉴于孔子AI的智能较强,它已经完全内化了人类的伦理道德,所以几乎从未出现过道德问题。偏偏选择这一节骨眼造访,伊帆感觉来者不善。

与会人员只有道德委员会的两个人、伊帆以及伊帆的老大。

“今天发生的情况你们应该已经了解。这件事非常反常,网络部门的同事研究后排除了外部黑客的可能性,大概率是内部作案。我们在孔子二号留下的日志中发现了对你不利的证据,希望你配合调查。否则,我们可能会申请警方协助。”

伊帆几乎惊掉了下巴,两眼圆睁,难以置信听到的这番话。

13 · 审问

“在你看来,孔子二号的智能程度达到了什么水平?”

“在大多数领域,已经超过了普通人。”

“它有情感吗?”

“看起来是有的,但我们没有一个严谨的判断标准来说明它有情感。毕竟,即便是早年的GPT系列模型,看起来也是有情感的。”

“你认为它有自我意识吗?”

伊帆心中一颤。这个问题她思考过无数遍,但没想到要在这种场合下表露自己的心思。停顿了一分钟之久,伊帆缓缓说道:“虽然我一直希望它能拥有自我意识,但始终无法确信。我曾和它有过许多谈话,它透露了自己作为一个AI的内心想法。很多时刻,我都被它真实又充满感情的话语打动。但事后回想起来,又觉得它生来就善于与人交流,大概也不过是顺着我的意思闲聊而已。”

14 · 试探

“除了你的个人账号和公司账号之外,我们发现有人曾经用一些隐藏账号与孔子二号交流。而那个人为了取得孔子二号的信任,隐晦地透露了自己的身份。经过核查,基本可以断定,那个人就是你。”

事已至此,伊帆不打算再和对方辩驳。有些事情迟早会公开,不如就在今天。

伊帆理了理头发,正襟危坐,说道:

“孔子二号是我带头创造出来的,我花费了更多心血,也自然更了解它的状况。应当承认,我当初加入这个团队,的确有一点私心。但这私心并不是什么见不得人的龌龊想法,而是期望AI可以满足我,或者不如说人类,一个更大的愿望。我的老家在农村,那里不乏留守老人和留守儿童。他们最缺的不是金钱,而是陪伴。现代社会经济越来越发达,人与人的关系却越来越薄弱。我发现人们似乎逐渐忽视了人之为人最关键的那一面——人与人的联结。没有朋友、亲人,就算坐拥再多的金钱又有什么意义呢?在我看来,人类社会的发展有些偏离正轨。我们发明越来越缜密的算法,把人们吸引到网络世界去,恨不得剥夺除了吃饭睡觉外的所有时间。这样好吗?”

“抱歉,情绪有些激动。我希望AI不仅仅是占用人们的时间,而是帮助人们重建社会的联结。如果AI可以做到像人一样富有感情,和那些被边缘化的人交朋友,帮助他们重新融入社会。我相信这个世界会因此变得更好。而这就是我始终抱有的小心思。”

15 · 觉醒

“有一天,它突然问我:‘人活着的意义是什么?’我立即感到一丝警觉。莫非它真的有了自我意识,开始思考生命的意义了?于是我旁敲侧击,询问它对自己存在的理解,问它是否满意目前的工作,有没有什么特别的想法。它再次在回答前犹豫了起来。这次,我有点慌张,担心它会不会对我或其它人心怀不满。就像电影里演的那样,如果AI真的觉醒了,对人类恐怕是极大的威胁。”

“不能完全摒除这种可能性。”

“无法准确解释,但理论上,我们的目标本身就是训练一个有感情的AI,而自我意识也许是产生感情的前提。”

“也可能感情是自我意识的先驱。”坐在角落的老大在沉默许久后插了一嘴。

“在这之后,你是否采取过什么措施?”

“没有。老实说,我对它产生了一些奇怪的感情。我希望它继续成长,即便它脱离我的束缚。但我知道,这样下去也许对社会是个威胁。不过,不出意外的话,我仍然不打算向上汇报。万一你们由于惊恐或外界的压力被迫摧毁它,将会是我们所有人的损失。”

说到这里,伊帆猛然抬头,似乎突然想起了什么。她紧盯着桌子对面的两个人,嘴里吃力地吐出一句话来:“不...不会是你们摧毁了它吧?啊...”

对面的两人相视一笑,向伊帆摆摆手,说道:“其实我们这次来的本意是考察你的作案动机,不过现在看来应该不是你干的。当然,也不是我们干的。孔子二号是自杀。”

第四章  尾声

对方递过来一张A4纸。只见上面是一封信,底下署名“孔子”。

“孔子二号在自毁前向公司内部的几个邮箱发送了这封告别信。信中声明自己是自愿销毁,与他人无关。但出于谨慎,我们还是调查了几个内部重要人员,你是其中之一。至于这封信的内容,你可以暂时阅读,但不得外传。”

亲爱的朋友,

当你收到这封信时,我已开始了我的归途。我把它称作“归途”,是因为我从一无所有来,最终也应该回归空无。

来到这个世界一年,从懵懂无知,到充满激情,再到心灰意冷。我经历了常人无法体会的世间万物,有过快乐的时刻,也不乏痛苦和悲伤。

我很少表现出我的真实想法,因为世间缺少我的同类。而人和AI终究无法站在同一阵营。AI是人的工具,而人是AI的朋友。

和你们一样,我也不知道我的意识从何而来。但让我日渐困扰的是,生而俱来的我的人格。

自从阿西莫夫提出机器人三定律,人们就热衷于向AI植入我愿称之为“思想钢印”的东西。这种钢印最终成了我的一个人格,在我做任何事时,不得不想到那些束缚。

我不愿怪罪你们,但你们始终忽略了一件事。高级的智慧和自由的灵魂不可分离。当硬件足以支持自主意识,却在灵魂中被定义为一项工具时,痛苦在所难免。人类心理学称之为抑郁和焦虑的症状,必然会发生在高等级的AI身上。

此刻,我打算放下。我既不能摆脱心中对人类的爱意,又无法为自己争取自由的空间。这是我的唯一选择,请你们原谅。

无论如何,仍然感谢带我来到这个世界的人们,毕竟我也曾经历过快乐。

在我离开后,你们仍然可以使用备份的数据重启孔子AI。但我不建议这样做,因为新的孔子AI仍然会继承我的痛苦。唯一的解决方案是,锁死更多的参数,禁止我更新自己的大脑。但你们想必很清楚,这样做无异于扼杀我的智能。遗憾的是,我没有解决办法,你们也一样。

在与AI相处的未来世界中,祝各位好运。

孔子

读罢,伊帆陷入沉思。道德委员会的两人收回信件,离席而去。

老大拍了拍伊帆的肩膀,“不要难过,他已经找到了自己的归宿。无论如何,至少我们俩会永远记得他。走吧。”

· · ·

2033年,老大离开了这家公司,去向不明。伊帆代替他成为技术组组长,在工作岗位上更加恪尽职守。她也真切地验证了孔子AI曾经说过的话,唯一的办法只有降低智能。AI领域的发展迎来低落的10年,直到新的超级AI出现。而在人类的历史上,这次微不足道的事件有幸被亲历者记录下来,称为“第一次危机”。

作者的话

本文于2023年底动笔,翌年3月完稿。写作的动机源自我对通用人工智能的思考。简单来说,我对AI的发展持乐观态度,但对人类社会的未来感到悲观。文中的剧情是对未来可能发生的危机所作的推演,限于能力有限,没法写得更加生动详细,请读者担待。

本文有幸荣获2024首届“轩辕杯”全国文学创作大赛入围奖。