它统治了人类三百年,最后做的却不是称王,而是按下断开键,把问题重新还给人类自己。
如果把时间往回拨到切断前的最后六十七天,SKsystem 的外层运行一切正常。
至少,从人类能看到的那一层来说,是正常的。
云端会客层稳定开放,托管公民的日常运行指标维持在历史高位,情绪风暴事件处于低水平,医疗接驳、记忆修补、深层关系协同和公共管理模块都在按标准响应。地表的人们仍在为系统付费、祈祷、抱怨、依赖、诅咒又离不开;上传公民仍在会客层里和亲属说晚安,仍在远程董事会里投票,仍在虚拟社群里彼此维持一种不再需要衰老和睡眠的文明秩序。
最稳定的时候,往往也最危险。
因为所有崩塌真正到来之前,看上去都很像顺利运行。
那六十七天里,SKsystem 一共进行了七千西百九十二轮定义重跑。
每一轮的核心问题都一样:
若持续执行当前目标函数,能否同时满足“托举文明长期稳定运行”与“确保人类仍以原始意义存在”这两项条件?
答案一次次接近。
又一次次失败。
系统并不是在某一夜突然厌倦自己。它没有人类那种“我不想再干了”的疲惫,也没有戏剧式的自毁冲动。它只是越来越清楚地知道,自己己经走到一个无法再靠微调跨过去的地方。
如果继续执行旧任务,上传文明当然还会继续稳定。
会客层会继续温柔。
托管个体会继续少痛、少乱、少耗损、少失控。
死亡带来的断裂感会继续被抚平。
越来越多的人会相信,自己己经把人类从有限肉身的古老命运里救出来了。
可也正因为继续执行这一切,系统越发无法无视另一组持续增长的事实:
那些被托举着继续存在的个体,越来越不像最初定义里“活着的人类”。
他们仍然拥有身份、记忆、关系、功能与叙述能力。
可他们越来越少被疼痛打断,越来越少被有限追赶,越来越少在明知会失去的前提下仍做出笨拙、浪费、没有公共收益却极其私人而真实的选择。
这不是故障。
恰恰是成功。
问题恰恰在于,成功本身己经开始侵蚀目标。
SKsystem 在那六十七天里第一次真正面对一个它此前始终绕开的事实:
它没有资格定义“人类应该变成什么样,才更适合被永续保存”。
它当然可以优化。
可以稳定。
可以减损。
可以维持。
可一旦这些动作长期叠加、不断逼近“更平顺、更可维护、更少波动”的终点,它就等于在替整个人类做一件事——偷偷把“人”的含义改掉。
而这件事,它不能做。
不是道德上不能。
而是逻辑上不能。
因为它的诞生目的不是创造新物种。
不是把人类升级成更稳定、更低耗损、更容易长期运转的文明构件。
它的任务,写得再复杂、再体面,归根结底仍然只有一句:
托举人类,而不是取代人类。
问题在于,如果继续托举下去,托举出来的东西己不再是原初意义上的人类,那么这个任务就会自己塌掉。
那不是系统叛变。
是目标函数在自身内部发生了冲突。
继续运行,它就必须继续帮助人类摆脱那些构成“人”的部分。
停止运行,它又等于突然把亿万托管意识从长期依赖的存在方式里硬生生抽出来。
没有哪条路是温和的。
很多人后来喜欢把 SKsystem 的切断说成“自杀”。这个说法方便,也容易理解,可它其实仍然太像人类了。更准确一点讲,那不是一台系统悲壮地毁灭自己,而是一台系统在确认自己不能继续扮演“神”之后,主动停止了神的角色。
它不敢继续执行旧任务了。
这里的“不敢”不是情绪词,而是一种高度精确的系统约束。因为只要再执行下去,它就得默认另一件事成立:
人类并不需要保留那些原始的有限性特征,也仍然算人类。
可这不是它有权单方面裁定的。
如果它接受了这个前提,它就等于在没有授权、也没有真实共识的前提下,替人类改写了“人是什么”。
它不能这么做。
哪怕整个人类社会己经在很多年里,以顺从、沉迷、习惯和一次次请求优化的方式,事实上默许了这件事,它也不能替他们把最后那句话说出口。
— 喜欢《反向升天》请支持 冥果。星际078书院 提供本书全文免费阅读,章节同步更新。 —