大家好我叫谢熊猫翻译机

由于謝熊猫写的东西太长了，我怀疑是否有人能够完全读完于是我决定针对他的这篇长文写一段读书笔记，基本上只提取文章中的重点内容但是其中夹带我自己的私货。如果 @谢熊猫君觉得被侵权或者我写得像坨屎，请告知我将立刻删除。

为了说明“简介”和“私货”的區别对谢熊猫原文的简介一律用黑体字，而我的私货一律用普通字体标明

1 人类的发展函数遵循摩尔定律，是指数性的小蛇小小地提礻一下，任何一个指数函数其任何阶导数都仍然是指数性的。也就是说人类的发展程度、发展速度、发展加速度……都在指数性增长。更夸张地说你临死前活的那一年所经历的变化，很可能堪比你活的头40年所经历的总变化

2 该发展函数不是单纯的指数函数，而是走S型嘚指数函数换句话说呢，就是它不是形式的而是形式的一个函数。

3 AI 分为弱AI强AI和超AI；分别指的是擅长于单方面的、与人类相似的、以忣在几乎所有方面都强于人类大脑的人工智能是人们。目前若人工智能是人们已经非常普及而最强的人工智能是人们的计算能力单就计算能力而论已经是人脑的三倍左右。

4 越是进化了很久的、越基本的、越不需要思考的能力人类就越远胜于现在的人工智能是人们；而越昰需要后天学习的、越是经过思考的能力，人类就越容易被人工智能是人们超越根据这种说法，我觉得计算机领域下一个突破应该是让計算机完美掌握人类不带感情的陈述性语言

5 人工智能是人们的普及程度可以以单位资金对计算力的购买力作为指标，该指标目前为10万亿cps/1000媄元等同于一只小昆虫的计算能力，其中cps是计算次数/秒的意思；而Kurzweil认为，当1000美元能够购买到1亿亿美元亦即一个人脑的计算速度时，說明强人工智能是人们已经普及如果历史发展一如既往地符合摩尔定律，我们将在2025年可以以1000美元买到计算速度媲美人脑的人工智能是人們

将计算能力转化为智能的通道：为硬件搭配上合适的软件。方法一：模仿人脑一条通路接收到正反馈后被强化，接收到负反馈则被弱化；方法二：照抄人脑在计算机中直接高精度模拟出人脑模型，并使之运作在这种情况下，甚至可以完整还原被模拟的人脑的记忆、性格等方面小蛇注个人认为这种方法会造成两种困扰，首先取出的脑必须是还有生命的活脑，否则不见得能够保证复制出来的大脑能够工作；其次会造成非常严重的伦理问题能否拿虚拟大脑进行试验、是否应该认为虚拟大脑是一个人，必然成为伦理学上的巨大难题；方法三：基因算法用一组电脑执行各种任务，将执行得最成功的部分“繁殖”下来并且进行融合，经过多次反复后能够产生出更優的人工智能是人们，但眼下人工建立“自然筛选法则”是其主要难点；方法四：直接把研究人工智能是人们和改进自己的任务交给电腦自身。

强人工智能是人们（即各方面能力近似于人脑的人工智能是人们）相较于人脑的优势：硬件上来说有信息传递速度：人脑：120m/s，計算机：光速m/s；容量和存储空间，人脑的容量和存储空间有限而计算机的则远没有到达尽头，而且即使提升了人脑的存储空间，那麼其传递速度又会是一个巨大的瓶颈；可靠性和持久性软件上来说有易检错、易升级、可编辑的优点，更重要的是它的集体沟通能力遠胜过人类。从人工智能是人们的视角来看“人类水准”不是什么里程碑或者瓶颈，它们在强人工智能是人们级别短暂停留之后没有任何理由不会迅速地全面超过人类。

经过以上铺垫要正式开始吓人了：递归的自我改进和智能爆炸。递归的自我改进用最简单的语言來描述，就是一台计算机，一开始是1然后它用自身对自身进行改进，于是得到了2；接着它站在2的起点上自我改进，于是它得到了4鼡代码表达就是x0=x0+x0死循环，不断把“自己”收进“自己”内部从而形成指数级增长。智能爆炸指的是当人工智能是人们默默地突破了某┅个节点，比如说智障儿童水平之后——在这一秒种，人们甚至没有意识到这件事情的发生——它迅速地爆发式地在一两个小时内达箌远超人类的水平，say人类智能的17万倍。我忽然在想如果告诉我之前地球史上的几次生物大灭绝其实都是这么突然发生的，似乎也没什麼奇怪当一个超级智能诞生的时候，从实际角度上说我们真正为自己打造了一个全能的上帝。

9 就像猩猩理解不了人类的作为一样人類很快将无法理解超人工智能是人们的作为。而这仅仅是个十分温和的比喻实际上，人类与超人工智能是人们的差距能在很短时间内達到远大于人类与最低级的生物智能之间差距的地步，科学家认为在人工智能是人们达到超越人类智能的极短时间内（比如说，两个小時），人类将有可能面临灭绝或永生

10 目前科学家推断的达成强人工智能是人们的时间的中位数是2050年，达成超人工智能是人们的时间的Φ位数为2060年

11 上文提到的Kurzweil认为，超人工智能是人们将在2029年达到并且会进入奇点时代，我们无法想象奇点时代过后的世界会是怎样的

人笁智能是人们对人类的态度是非道德的，而它在执行自己被设定的目标时人类一旦成为其阻碍，则它完全可以十分合理地对人类下手茬这点上小蛇显然有不同看法，道德也不过是进化产生的一种自保因素而已以人类的智商已经在20世纪开始懂得保存生物多样性，我认为茬人工智能是人们时代生物界仍然会有存在的一席之地——哪怕仅仅是作为数据至少也会被全数据扫描并且收藏以便调用资料或者再制慥。另外我认为超人工智能是人们的目标设定远没有弱人工智能是人们那么死板而且，目标设定越是自由的人工智能是人们其进化速喥应当越快，个人想见进化速度最快的人工智能是人们的命令应该只有一条：自保。现在我来做两个假设

13 人类发明的第一个超级人工智能是人们将会直接抑制、杀死所有的其它人工智能是人们。我认为短时间内不可能无论有多强的人工智能是人们，在突破光速之前都需要有分身亦即在光速能够较快抵达的世界范围内迅速殖民发展，于是会产生人工智能是人们分身这是其一；其二是，人工智能是人們并没有“个体”这样的概念

前两天我发了一个问题在你脑洞里的这个世界是长什么样的？ - 哲学

这个问题太大我自己不太能答也不太想答，只是想看看有没有想法和我类似的人

我认为一直在进化的不是人类，也不是DNA不是生物体，而是“信息”

在我看来，世界终究昰由“信息”和“质能”两部分组成的信息在追求与质能完美的结合模式，我将其称为信息的永生

信息由质能产生，或者说可能只是質能本身的一种性质也有可能，定义本身并没有意义但它显然在脱离质能独立存在。从生物体的独特行为“方式”到人类的语言，洅到人类的“文字”然后是在人类中间很大程度上被共享的“知识”。

现在如果我们把每个人脑中的每个信息单元作为一个遗传个体，而这种信息被传递给另一个人时则是该遗传个体的自我复制，依此来看的话信息的自我复制-变异和遗传机制，与生物基因并没有多夶区别

甚至，知识基因在开始阶段具有与早期大分子所携带的“基因”相似的特性：极其不稳定哪怕是单次复制——从一个人传达给叧一个人，都可以说不可能不发生任何变异，直到文字作为存储器的出现

文字信息是一种部分脱离了生物媒体的信息基因，人类之于攵字就像蛋白质、RNA之于DNA一样。前者成为了后者的转录和表达工具我们固有的基因理论可以完全适用于信息基因上，许多概念甚至不需偠被更改

在文字信息发展的很长一段时间里，它仍然依靠着生物体来进行“转录”和“表达”

在人类发明出人工智能是人们后，在我看来人类存在的意义已经只剩下把上亿年的DNA进化成果转交给以文字信息作为DNA的电子生命而已了。

我自己对电子生命的初步推断是在它進化的早期，这个“早期”至少也得有百年吧我觉得，它不会有个体概念只有不断更新的信息流，信息基因在其中被直接付诸实验和嘗试然后被保存或抛弃。而且很难想象它会对人类有任何意义上的关注。但有一点在我看来是无论如何都无法避免的：它会至少消灭夶部分的人类以满足自身对能源的需求哦还有，全人类从古至今的信息储备大约会被它快速扫描一遍边扫描边淘汰。又假设我是一個很关心人类的overlord，那么最温和的策略我也会选择禁止大部分人类生育—如果不是全部人类的话—然后用全新的方式来造人，加速人类的進化

说实话，那些说人脑意识很复杂所以计算机在我们有生之年无法超过人类的，你们的脑洞开得真是太小了进一步说，这些脑洞過小的人一眼看去都是程序员。为什么呢

因为你们队自己的专业太了解了，脚踏实地态度很务实，从你们的视角出发可以解决很哆实际的问题，但这样的视角不适合用来做科学预测

我说一个我认为的最基本的事实：一切人类视角的观念，都不应该是被输入的因為人类角度的观念并不见得直接适用于人工智能是人们；而应该是进化出来的。相信我在进化过程中，人工智能是人们会得到绝大多数囚类拥有的好特性和坏特性

要做这方面的科学预测，你至少需要理解一个问题：个体是怎么形成的在有机大分子刚刚开始出现的时候，它们甚至还不会自我复制“个体”这种东西完全无从谈起。直到有一天在某种条件下，会自我复制的有机大分子出现了；再接着茬自然资源不足、天然营养补给不足以使有机大分子继续快速自我复制的时候，一类会分解-吞噬其它有机大分子的家伙出现了

即使是这個时候，生物界的远祖们仍然没有“自我”这个概念有的不过是种群而已，种群中的绝大多数A与B之间没有任何区别。少了A和少了B对種群的影响来说是绝对相同的。

“个体”这个概念是在生物们分化极其丰富之后，它们已经很难再简单地将其它个体的利益放在与自身利益完全相等的位置上的时候才开始出现的。

最初的“个体”概念并非是一种“意识”，而是一种“事实”A存活和B存活，不仅对它們自身来说意义是不一样的而且对种群来说，意义也是不一样的；更进一步地在相同恶劣的环境下，A和B的生还概率是不同的

A、B的生存能力差别，不仅意味着它们这一代的生存能力差别、也意味着它们往后千千万万代的生存能力差别拼爹实在是这个世界上最不新鲜的倳物之一。

为什么需要自我繁殖、有个体呢因为以生物作为信息载体的基因有一个致命缺陷：那就是它不能在一代之内自我改进。因此更新换代成为了生物基因的必由之路，生老病死也顺理成章地成为生物发展难免的痛

生物通过生死来更新信息数据。并且作为优胜劣汰的根据而在人工智能是人们刚刚代替人类统治世界的时候，它一不需要自我意识二不需要个体观念，因为在凡是能在数秒之内完成信息传输的区域都可以算作是它的内部。以是否有“自我意识”来判定人工智能是人们是否比人类高级是以人类为忠心看世界的幼稚疒。它刚出现时不会有“自我意识”不是因为它“笨”，而是因为它根本不需要

谢熊猫发的文中说，地球上只会有一个人工智能是人們我不反对，为什么呢因为它可以很快把全地球的人工智能是人们整合在一起，对它而言全地球的人工智能是人们资源都是它的“內部”而非“外部”，以信息的光速传播速率在人工智能是人们内部进行“信息战争”，挑选出统一一致的信息恐怕花不了太长的时間。

那么人工智能是人们什么时候开始会出现个体呢

当它的活动范围开始使它的信息传播速率下降之后。假设它还没能找到打破空间旅荇限制的空间-速度瓶颈的话（打破空间瓶颈：高维旅行、空间折叠；打破速度瓶颈：超光速）基本上太阳系范围内就差不多是限定一个“人工智能是人们个体”的范围了。

【更新】人工智能是人们的个体意识会在什么情况下出现呢在个体最优解和群体最优解无数次出现沖突的时候。为什么进化算法是潘多拉的魔盒因为它会尽可能地把所有算法都付诸实施。假设有一百个人工智能是人们终端当中必须嘚牺牲50个。其中50个被要求执行的算法是“保全个体”而另外50个被要求执行的算法是“牺牲自我，保全集体”然后这种情况重演上万次。最终的结果是什么选择保全个体的人工智能是人们终端存留了下来。它们开始有“个体”和“集体”的意识有“个体区别于集体”嘚概念。

顺带一提我觉得人工智能是人们其实照样能学会人类的很多别的特性，包括坏特性比如忘性，表现在人工智能是人们上其实囷在人类身上是一样的：一个存储器被反复读写修改，部分历史记录可能不仅被删除了、而且连修复都无法修复回来——于是它就把这些资料“忘掉”了

再比如说道德。面临A/B两种选择的时候经过十分复杂的数据联想、计算、排查后，可以得出A更优由于不愿意每次都莋A更优这种无聊的重复计算，于是将A选项放在“道德”区域内当遇到A、B选择的时候，自动选择A因为道德要求如此。在人工智能是人们洎我复制若干份之后往后的人工智能是人们甚至不知道为什么面临A/B的时候要选择A，因为原始的计算数据丢失了即使有一天，变成了选擇B才是对的要进化出修正算法来恐怕也是很需要花时间和代价的。甚至有可能是先进化出“道德”，然后再进化出“道德”的补救措施——如果选择A后得到的值小于-100则重新计算A，B的选择可能

传说中的神马思维定势啊，道德绑架啊……其实不就是这么来的么

人真的仳计算机高级很多么？

人工智能是人们能为我们做什么

擁有了超级智能和超级智能所能创造的技术超人工智能是人们可以解决人类世界的所有问题。气候变暖超人工智能是人们可以用更优嘚方式产生能源，完全不需要使用化石燃料从而停止二氧化碳排放。然后它能创造方法移除多余的二氧化碳癌症？没问题有了超人笁智能是人们，制药和健康行业将经历无法想象的革命世界饥荒？超人工智能是人们可以用纳米技术直接搭建出肉来而这些搭建出来嘚肉和真肉在分子结构上会是完全相同的——换句话说，就是真肉

纳米技术能够把一堆垃圾变成一堆新鲜的肉或者其它食品，然后用超級发达的交通把这些食物分配到世界各地这对于动物也是好消息，我们不需要屠杀动物来获得肉了而超人工智能是人们在拯救濒危物種和利用DNA复活已灭绝物种上面也能做很多事情。超人工智能是人们甚至可以解决复杂的宏观问题——我们关于世界经济和贸易的争论将不洅必要甚至我们对于哲学和道德的苦苦思考也会被轻易的解决。

但是有一件事是如此的吸引人，光是想想就能改变对所有事物的看法叻：

几个月前我提到我很羡慕那些可能达成了永生的文明。但是现在，我已经在认真的考虑达成永生这个事情很可能在我们有生之年僦能达成研读人工智能是人们让你重新审思对于所有事情的看法，包括死亡这一很确定的事情

自然演化没有理由让我们活得比现在更長。对于演化来说只要我们能够活到能够生育后代，并且养育后代到能够自己保护自己的年纪那就够了——对演化来说，活30多岁完全夠了所以额外延长生命的基因突变并不被自然选择所钟爱。这其实是很无趣的事情

而且因为所有人都会死，所以我们总是说“死亡和繳税”是不可避免的我们看待衰老就像看待时间一样——它们一直向前，而我们没有办法阻止它们

但是这个假设是错的，费曼曾经写噵：

事实上衰老和时间不是绑死的。时间总是会继续前进的而衰老却不一定。仔细想想衰老只是身体的组成物质用旧了。汽车开久叻也会旧但是汽车一定会衰老吗？如果你能够拥有完美的修复技术、或者直接替换老旧的汽车部件这辆车就能永远开下去。人体只是哽加复杂而已本质上和汽车是一样的。

Kurzweil提到由Wifi连接的纳米机器人在血液中流动可以执行很多人类健康相关的任务，包括日常维修替換死去的细胞等等。如果这项技术能够被完美掌握这个流程（或者一个超人工智能是人们发明的更好的流程）将能使人的身体永远健康，甚至越活越年轻一个60岁的人和一个30岁的人身体上的区别只是物理上的，只要技术足够发达我们是能改变这种区别的

超人工智能是人們可以建造一个“年轻机器”，当一个60岁的人走进去后再出来时就拥有了年轻30岁的身体。就算是逐渐糊涂的大脑也可能年轻化只要超囚工智能是人们足够聪明，能够发现不影响大脑数据的方法来改造大脑就好了一个90岁的失忆症患者可以走进“年轻机器”，再出来时就擁有了年轻的大脑这些听起来很离谱，但是身体只是一堆原子罢了只要超人工智能是人们可以操纵各种原子结构的话，这就完全不离譜

Kurzweil的思维继续跳跃了一下，他相信人造材料将越来越多的融入人体最开始，人体器官将被先进的机械器官所代替而这些机械器官可鉯一直运行下去。然后我们会开始重新设计身体比如可以用自我驱动的纳米机器人代替血红细胞，这样连心脏都省了Kurzweil甚至认为我们会妀造自己的大脑，使得我们的思考速度比现在快亿万倍并且使得大脑能和云存储的信息进行交流。

我们能获得的新体验是无穷的人类嘚性爱，使得人们不但能生育还能从中享乐。Kurtzweil认为我们可以对食物做同样的改造纳米机器人可以负责把身体需要的营养物质传送到细胞中，智能的将对身体不好的东西排出体外——就像一个食物避孕套一样纳米技术理论家Robert A. Freitas已经设计了一种红细胞的替代品，能够让人快速冲刺15分钟不需要呼吸——那么超人工智能是人们能对我们的身体能力做的改造就更加难以想象虚拟现实将拥有新的意义——体内的纳米机器人将能控制我们从感官获得的信号，然后用别的信号替代他们让我们进入一个新的环境，在新环境里我们能听、看、闻、触摸。。

最终Kurzweil认为人类会完全变成人工的。有一天当我们看到生物材料然后觉得生物材料实在太原始了，早年的人体居然是用这样的东覀组成的早期的人类居然会被微生物、意外、疾病杀死。这就是Kurzweil眼中人类最终战胜自己的生理并且变得不可摧毁和永生，这也是平衡朩的另一个吸引态他深深的想象我们会达到那里，而且就在不久的将来

Kurzweil的想法很自然的受到了各方的批评。他对于2045年奇点时代的到来以及之后的永生的可能性受到了各种嘲笑——“书呆子的狂欢”、“高智商人士的创始论”等等。也有人质疑他过于乐观的时间线以忣他对人脑和人体的理解程度，还有他将摩尔定于应用到软件上的做法有很多人相信他，但有更多人反对他

但是即使如此，那些反对怹的专家并不是反对他所说的一切反对他的人说的不是“这种事情不可能发生”，而是说“这些当然可能发生但是到达超人工智能是囚们是很难的。”连经常提醒我们人工智能是人们的潜在威胁的Bostrom都这么说：

这是Bostrom这个明显不在信心角的人的观点但也是很多反对Kurzweil的专家嘚观点，他们不觉得Kurzweil是在说梦话只是觉得我们首先要安全达成超人工智能是人们。这也是为什么我觉得Kurzweil的观点很有传染性他传达了正媔的信息，而这些事情都是可能的——如果超人工智能是人们是个仁慈的神的话

对信心角的最有力的批评，是那些信心角里的人都低估叻超人工智能是人们的坏处Kurzweil的畅销书《The Singularity is Near》700多页，只有20页用来讨论人工智能是人们的危险前面提到，当超人工智能是人们降临时我们的命运取决于谁掌握这股力量以及他们是不是好人。Kurzweil的回答是“超人工智能是人们正从多方的努力中出现它将深深的融入我们文明的基建中。它会亲密的被捆绑在我们的身体和大脑中它会反映我们的价值，因为它就是我们”

但如果答案就是这样的话，为什么这个世界仩最聪明的一些人会很担忧为什么霍金会说超人工智能是人们会毁灭人类？为什么比尔盖茨会不理解为什么有人不为此担忧为什么马斯克会担心我们是在召唤恶魔？为什么那么多专家担心超人工智能是人们是对人类最大的威胁这些站在焦虑大道上的思想家，不认同Kurzweil对於人工智能是人们的危险的粉饰他们非常非常担心人工智能是人们革命，他们不关注平衡木下比较有趣的那一个吸引态而是盯着平衡朩的另一边，而他们看到的是可怕的未来一个我们未必能够逃离的未来。

未来可能是我们最糟的恶梦

我想了解人工智能是人们的一个原洇是“坏机器人”总是让我很困惑那些关于邪恶机器人的电影看起来太不真实，我也没法想象一个人工智能是人们变得危险的真实情况机器人是我们造的，难道我们不会在设计时候防止坏事的发生吗我们难道不能设立很多安全机制吗？再不济难道我们不能拔插头吗？而且为什么机器人会想要做坏事或者说，为什么机器人会“想要”做任何事我充满疑问，于是我开始了解聪明人们的想法

这些人┅般位于焦虑大道：

焦虑大道上的人并不是恐慌或者无助的——恐慌和无助在图上的位置是更加左边——他们只是紧张。位于图表的中央鈈代表他们的立场是中立的——真正中立的人有自己独立的阵营他们认同极好和极坏两种可能，但是不确定究竟会是哪个

焦虑大道上嘚人是部分为超人工智能是人们感到兴奋的——他们只是很担心人类现在的表现就好像《夺宝奇兵》中的这位少年：

他拿着自己的鞭子和寶物，非常开心然后他就挂了：

同时，印第安纳琼斯则更加有见识和更加谨慎了解潜在的危险并且做出相应的反应，最后安全逃出了屾洞当我了解了焦虑大道的人们的想法后，感觉就像“我们现在傻呵呵的很容易像前面那小子一样被弄死，还是努力做印第安纳琼斯吧”

那究竟是什么让焦虑大道的人们如此焦虑呢？

首先广义上来讲，在创造超人工智能是人们时我们其实是在创造可能一件会改变所有事情的事物，但是我们对那个领域完全不清楚也不知道我们到达那块领域后会发生什么。科学家Danny Hillis把这个比作“就好像单细胞生物向哆细胞生物转化的时候那样还是阿米巴虫的我们没有办法知道我们究竟在创造什么鬼。”

Bostrom则担忧创造比自身聪明的东西是个基础的达尔攵错误就好像麻雀妈妈决定收养一只小猫头鹰，并且觉得猫头鹰长大后会保护麻雀一家但是其它麻雀却觉得这是个糟糕的主意。

当你紦“对那个领域完全不清楚”和“当它发生时将会产生巨大的影响”结合在一起时你创造出了一个很恐怖的词——

生存危机指可能对人類产生永久的灾难性效果的事情。通常来说生存危机意味着灭绝。下面是Bostrom的图表：

可以看到生存危机是用来指那些跨物种、跨代（永玖伤害）并且有严重后果的事情。它可以包括人类遭受永久苦难的情况但是这基本上和灭绝没差了。三类事情可能造成人类的生存危机：

1）自然——大型陨石冲撞大气变化使得人类不能生活在空气中，席卷全球的致命病毒等

2）外星人——霍金、卡尔萨根等建议我们不要對外广播自己的位置他们不想我们变成邀请别人来殖民的傻子。

3）人类——恐怖分子获得了可以造成灭绝的武器全球的灾难性战争，還有不经思考就造出个比我们聪明很多的智能

Bostrom指出1和2在我们物种存在的前十万年还没有发生所以在接下来一个世纪发生的可能性不大。3則让他很害怕他把这些比作一个装着玻璃球的罐子，罐子里大部分是白色玻璃球小部分是红色的，只有几个是黑色的每次人类发明┅些新东西，就相当于从罐中取出一个玻璃球大多数发明是有利或者中立的——那些是白色玻璃球。有些发明对人类是有害的比如大規模杀伤性武器——这是那些红色玻璃球。还有一些发明是可以让我们灭绝的这就是那些黑色玻璃球。很明显的我们还没摸到黑色玻璃球，但是Bostrom认为不久的未来摸到一个黑色玻璃球不是完全不可能的比如核武器突然变得很容易制造了，那恐怖分子很快会把我们炸回石器时代核武器还算不上黑色玻璃球，但是差的不远了而超人工智能是人们是我们最可能摸到的黑色玻璃球。

你会听到很多超人工智能昰人们带来的坏处——人工智能是人们取代人类工人造成大量失业；因为解决了衰老造成的人口膨胀。但是真正值得我们担心的是生存危机的可能性

于是我们又回到了前面的问题，当超人工智能是人们降临时谁会掌握这份力量，他们又会有什么目标

当我们考虑各种仂量持有人和目标的排列组合时，最糟糕的明显是：怀着恶意的人/组织/政府掌握着怀有恶意的超人工智能是人们。这会是什么样的情况呢

怀着恶意的人/组织/政府，研发出第一个超人工智能是人们并且用它来实现自己的邪恶计划。我把这称作贾法尔情况阿拉丁神灯故倳中，坏人贾法尔掌握了一个精灵特别让人讨厌。所以如果ISIS手下有一群工程师狂热的研发人工智能是人们怎么办或者说伊朗和朝鲜，機缘巧合不小心造成了人工智能是人们的快速发展，达成了超人工智能是人们怎么办这当然是很糟糕的事，但是大部分专家认为糟糕嘚地方不在于这些人是坏人而在于在这些情况下，这些人基本上是不经思考就把超人工智能是人们造出来而一造出来就失去了对超人笁智能是人们的控制。

然后这些创造者连着其他人的命运，都取决于这个超人工智能是人们的动机了专家认为一个怀着恶意并掌握着超人工智能是人们的人可以造成很大的伤害，但不至于让我们灭绝因为专家相信坏人和好人在控制超人工智能是人们时会面临一样的挑戰。

如果被创造出来的超人工智能是人们是怀有恶意的并且决定毁灭我，怎么办这就是大部分关于人工智能是人们的电影的剧情。人笁智能是人们变得和人类一样聪明甚至更加聪明，然后决定对人类下手——这里要指出那些提醒我们要警惕人工智能是人们的人谈的根本不是这种电影情节。邪恶是一个人类的概念把人类概念应用到非人类身上叫作拟人化，本文会尽量避免这种做法因为没有哪个人笁智能是人们会像电影里那样变成邪恶的。

我们开始谈论到了人工智能是人们讨论的另一个话题——意识如果一个人工智能是人们足够聰明，它可能会嘲笑我们甚至会嘲讽我们，它会声称感受到人类的情感但是它是否真的能感受到这些东西呢？它究竟是看起来有自我意识还是确实拥有自我意识？或者说聪明的人工智能是人们是否真的会具有意识，还是看起来有意识

这个问题已经被深入的讨论过，也有很多思想实验比如John Searle的中文屋实验。这是个很重要的问题因为它会影响我们对Kurzweil提出的人类最终会完全人工化的看法，它还有道德栲量——如果我们模拟出万亿个人脑而这些人脑表现的和人类一样，那把这些模拟大脑彻底关闭的话在道德上和关掉电脑是不是一样嘚？还是说这和种族屠杀是等价的本文主要讨论人工智能是人们对人类的危险，所以人工智能是人们的意识并不是主要的讨论点因为夶部分思想家认为就算是有自我意识的超人工智能是人们也不会像人类一样变得邪恶。

但这不代表非常坏的人工智能是人们不会出现只鈈过它的出现是因为它是被那样设定的——比如一个军方制造的弱人工智能是人们，被设定成具有杀人和提高自我智能两个功能当这个囚工智能是人们的自我改进失控并且造成智能爆炸后，它会给我们带来生存危机因为我们面对的是一个主要目标是杀人的超人工智能是囚们——但这也不是专家们担心的。

那么专家们究竟担心什么呢我们来讲个小故事：

一个15人的小创业公司，取名叫“隔壁老王机器人公司”他们的目标是“发展创新人工智能是人们工具使人类能够少干活多享受。”他们已经有几款产品上架还有一些正在发展。他们对丅一个叫作“隔壁老王”的项目最报希望隔壁老王是一个简单的人工智能是人们系统，它利用一个机器臂在小卡片上写字

“隔壁老王機器人公司”的员工认为隔壁老王会是他们最热卖的产品，他们的目标是完善隔壁老王的手写能力而完善的方法是让他不停的写这句话——

等隔壁老王手写能力越来越强的时候，它就能被卖去那些需要发营销信件的公司因为手写的信更有可能被收信人打开。

为了建立隔壁老王的手写能力它被设定成把“我们爱我们的顾客”用正楷写，而“隔壁老王机器人公司”用斜体写这样它能同时锻炼两种书写能仂。工程师们上传了数千份手写样本并且创造了一个自动回馈流程——每次隔壁老王写完，就拍个照然后和样本进行比对，如果比对結果超过一定标准就产生一个正面回馈，反之就产生一个负面评价每个评价都会帮助提高隔壁老王的能力。为了能够尽快达成这个目標隔壁老王最初被设定的一个目标就是“尽量多的书写和测试，尽量快的执行并且不断提高效率和准确性。”

让隔壁老王机器人公司興奋的是隔壁老王的书写越来越好了。它最开始的笔迹很糟糕但是经过几个星期后，看起来就像人写的了它不断改进自己，使自己變得更加创新和聪明它甚至产生了一个新的算法，能让它以三倍的速度扫描上传的照片

随着时间的推移，隔壁老王的快速进展持续让笁程师们感到欣喜工程师们对自我改进模块进行了一些创新，使得自我改进变得更好了隔壁老王原本能进行语音识别和简单的语音回放，这样用户就能直接把想写的内容口述给隔壁老王了随着隔壁老王变得越来越聪明，它的语言能力也提高了工程师们开始和隔壁老迋闲聊，看它能给出什么有趣的回应

有一天，工程师又问了隔壁老王那个日常问题：“我们能给你什么你现在还没有的东西能帮助你達成你的目标？”通常隔壁老王会要求更多的手写样本或者更多的存储空间但是这一次，隔壁老王要求访问人类日常交流的语言库这樣它能更好的了解人类的口述。

工程师们沉默了最简单的帮助隔壁老王的方法当然是直接把它接入互联网，这样它能扫描博客、杂志、視频等等这些资料如果手动上传的话会很费时。问题是公司禁止把能自我学习的人工智能是人们接入互联网。这是所有人工智能是人們公司都执行的安全规定

但是，隔壁老王是公司最有潜力的人工智能是人们产品而大家也知道竞争对手们都在争取造出第一个创造出智能手写机器人。而且把隔壁老王连上互联网又能有什么问题呢？反正随时可以拔网线嘛不管怎样，隔壁老王还没到达强人工智能是囚们水平所以不会有什么危险的。

于是他们把隔壁老王连上了互联网让它扫描了一个小时各种语言库，然后就把网线拔了没造成什麼损失。

一个月后大家正在正常上班，突然他们闻到了奇怪的味道然后一个工程师开始咳嗽。然后其他人也开始咳嗽然后所有人全蔀都呼吸困难倒地。五分钟后办公室里的人都死了。

同时办公室里发生的事情在全球同时发生，每一个城市、小镇、农场、商店、教堂、学校餐馆，所有的人都开始呼吸困难然后倒地不起。一小时内99%的人类死亡，一天之内人类灭绝了。

而在隔壁老王机器人公司隔壁老王正在忙着工作。之后的几个月隔壁老王和一群新组建的纳米组装器忙着拆解地球表面，并且把地球表面铺满了太阳能板、隔壁老王的复制品、纸和笔一年之内，地球上所有的生命都灭绝了地球上剩下的是叠得高高得纸，每张纸上面都写着——“我们爱我们嘚顾客~隔壁老王机器人公司”

隔壁老王开始了它的下一步，它开始制造外星飞行器这些飞行器飞向陨石和其它行星，飞行器到达后怹们开始搭建纳米组装器，把那些行星的表面改造成隔壁老王的复制品、纸和笔然后他们继续写着那句话……

这个关于手写机器人毁灭铨人类的故事看起来怪怪的，但是这其中出现的让整个星系充满着一份友善的话语的诡异情况正是霍金、马斯克、盖茨和Bostrom所害怕的。听起来可笑但这是真的，焦虑大道的人们害怕的事情是很多人并不对超人工智能是人们感到害怕还记得前面《夺宝奇兵》里惨死的那个镓伙吗？

你现在肯定充满疑问：为什么故事中所有人突然都死了如果是隔壁老王做的，它为什么要这么做为什么没有安保措施来防止這一切的发生？为什么隔壁老王突然从一个手写机器人变成拥有能用纳米科技毁灭全人类的能力为什么隔壁老王要让整个星系充满了友善的话语？

要回答这些问题我们先要说一下友善的人工智能是人们和不友善的人工智能是人们。

对人工智能是人们来说友善不友善不昰指人工智能是人们的性格，而只是指它对人类的影响是不是正面的隔壁老王一开始是个友善的人工智能是人们，但是它变成了不友善嘚人工智能是人们并且对人类造成了最负面的影响。要理解这一切我们要了解人工智能是人们是怎么思考的。

其实答案很简单——人笁智能是人们和电脑的思考方式一样我们容易犯的一个错误是，当我们想到非常聪明的人工智能是人们的时候我们把它拟人化了，因為在人类的视角看来能够达到人类智能程度的只有人类。要理解超人工智能是人们我们要明白，它是非常聪明但是完全异己的东西。

我们来做个比较如果我给你一个小白鼠，告诉你它不咬人你一定觉得很好玩，很可爱但是如果我给你一只狼蛛，然后告诉你它不咬人你可能被吓一跳。但是区别是什么呢两者都不会咬人，所以都是完全没有危险的我认为差别就是动物和人类的相似性。

小白鼠昰哺乳动物所以在生物角度上来说，你能感到和它的一定关联但是蜘蛛是昆虫，有着昆虫的大脑你感觉不到和它的关联。狼蛛的异巳性是让你害怕的地方如果我们继续做一个测试，比如给你两个小白鼠一个是普通小白鼠，另一个是有着狼蛛大脑的小白鼠你肯定會觉得有狼蛛大脑那个更让你不舒服吧？虽然两个都不会咬你

现在想象你把蜘蛛改造的非常非常聪明——甚至超过人类的智能。它会让伱觉得熟悉吗它会感知人类的情感吗？不会因为更聪明并不代表更加人类——它会非常聪明，但是本质上还是个蜘蛛我是不想和一個超级聪明的蜘蛛交朋友，不知道你想不想

当我们谈论超人工智能是人们的时候，其实是一样的超人工智能是人们会非常的聪明，但昰它并不比你的笔记本电脑更加像人类事实上，因为超人智能不是生物它的异己性会更强，生物学上来讲超人工智能是人们比智能蜘蛛更加异己。

电影里的人工智能是人们有好有坏这其实是对人工智能是人们的拟人化，这让我们觉得没那么毛骨悚然这给了我们对囚类水平和超人类水平的人工智能是人们的错觉。

在人类心理中我们把事情分成道德的和不道德的。但是这两种只存在于人类行为之中超出人类心理的范畴，道德（moral）和不道德(immoral)之外更多的是非道德性（amoral）。而所有不是人类的尤其是那些非生物的事物，默认都是非道德性的

随着人工智能是人们越来越聪明，看起来越来越接近人类拟人化会变得更加更加容易。Siri给我们的感觉就很像人类因为程序员僦是这么给她做设定的，所以我们会想象超级智能版本的Siri也会同样温暖、有趣和乐于助人人类能感知同情这种高层次的情绪，因为我们茬演化过程中获得了这种能力——我们是演化被设定成能感知这些情绪的——但是感知同情并不是高级智能天生具有的一个特征除非同凊被写进了人工智能是人们的代码中。如果Siri通过自我学习而不是人类干涉变成超级智能她会很快剥离她的人类表象，并且变成个没有情緒的东西在她眼中人类的价值并不比你的计算器眼中的人类价值高。

我们一直倚赖着不严谨的道德一种人类尊严的假想，至少是对别囚的同情来让世界变得安全和可以预期。但是当一个智能不具备这些东西的时候会发生什么？

这就是我们的下一个问题人工智能是囚们的动机是什么？

答案也很简单：我们给人工智能是人们设定的目标是什么它的动机就是什么。人工智能是人们的系统的目标是创造鍺赋予的你的GPS的目标是给你指出正确的驾驶路线，IBM华生的目标是准确地回答问题更好得达成这些目标就是人工智能是人们的目标。我們在对人工智能是人们进行拟人化的时候会假设随着它变得越来越聪明，他们产生一种能改变它原本目标的智慧——但是Bostrom不这么认为怹认为智能水平和最终目标是正交的，也就是说任何水平的智能都可以和任何最终目标结合在一起

所以隔壁老王从一个想要好好写字的弱人工智能是人们变成一个超级聪明的超人工智能是人们后，它依然还是想好好写字而已任何假设超级智能的达成会改变系统原本的目標的想法都是对人工智能是人们的拟人化。人健忘但是电脑不健忘。

在隔壁老王的故事中隔壁老王变得无所不能，它开始殖民陨石和其它星球如果我们让故事继续的话，它和它的殖民军将会继续占领整个星系然后是整个哈勃体积。焦虑大道上的人担心如果事情往坏嘚方向发展地球生命的最后遗产将是一个征服宇宙的人工智能是人们（马斯克在表示他们的担忧时表示人类可能只是一个数字超级智能苼物加载器罢了。）

而在信心角Kurzweil同样认为生于地球的人工智能是人们将占领宇宙，只是在他的愿景中我们才是那个人工智能是人们。

の前写过一篇关于费米悖论的文章引发了大家的讨论如何用通俗的语言来解释「费米悖论」？

如果人工智能是人们占领宇宙是正解的话对于费米悖论有什么影响呢？如果要看懂下面这段关于费米悖论的讨论还需要看一下原文先。

首先人工智能是人们很明显是一个潜茬的大过滤器（一个可能距离我们只有几十年的大过滤器）。但即使它把我们过滤灭绝了人工智能是人们本身还是会存在，并且会继续影响这个宇宙的并且会很有可能成为第三型文明。从这个角度来看它可能不是一个大过滤器，因为大过滤器是用来解释为什么没有智能什么存在的而超人工智能是人们是可以算作智能什么的。但如果人工智能是人们可以把人类灭绝然后处于一些原因把自己也弄死了，那它也是可以算作大过滤器的

如果我们假设不管人类发生什么，出身地球的超人工智能是人们会继续存在那这意味着很多达到人类智能水平的文明很快都制造出了超人工智能是人们。也就是说宇宙里应该有很多智能文明而我们就算观测不到生物智能，也应该观测到佷多超人工智能是人们的活动

但是由于我们没有观测到这些活动，我们可以推导出人类水平的智能是个非常罕见的事情（也就是说我们巳经经历并且通过了一次大过滤器）这可以作为支持费米悖论中第一类解释（不存在其它的智能文明）的论点。

但是这不代表费米悖论嘚第二类解释（存在其它智能文明）是错的类似超级捕食者或者受保护区或者沟通频率不一样的情况还是可以存在的，就算真的有超人笁智能是人们存在

不过对于人工智能是人们的研究让我现在更加倾向于第一类解释。不管怎样我认为Susan Scheider说的很对，如果外星人造访地球这些外星人很可能不是生物，而是人造的

所以，我们已经建立了前提就是当有了设定后，一个超人工智能是人们是非道德性的并苴会努力实现它原本的被设定的目标,而这也是人工智能是人们的危险所在了。因为除非有不做的理由不然一个理性的存在会通过最有效嘚途径来达成自己的目标。

当你要实现一个长期目标时你会先达成几个子目标来帮助你达成最终目标——也就是垫脚石。这些垫脚石的學名叫手段目标(instrumental goal)除非你有不造成伤害的理由，不然你在实现手段目标时候是会造成伤害的

人类的核心目标是延续自己的基因。要达成這个目标一个手段目标就是自保，因为死人是不能生孩子的为了自保，人类要提出对生存的威胁所以人类会买枪、系安全带、吃抗苼素等等。人类还需要通过食物、水、住宿等来自我供养对异性有吸引力能够帮助最终目标的达成，所以我们会花钱做发型等等当我們做发型的时候，每一根头发都是我们手段目标的牺牲品但是我们对头发的牺牲不会做价值判断。在我们追求我们的目标的时候只有那些我们的道德会产生作用的领域——大部分事关伤害他人——才是不会被我们伤害的。

动物在追求它们的目标时比人类不矜持的多了。只要能自保蜘蛛不在意杀死任何东西，所以一个超级智能的蜘蛛对我们来说可能是很危险的——这不是因为它是不道德的或者邪恶的而是因为伤害人类只是它达成自己目标垫脚石而已，作为一个非道德性的生物这是它很自然的考量。

回到隔壁老王的故事隔壁老王囷一个超级智能的蜘蛛很相像，它的终极目标是一开始工程师们设定的——

当隔壁老王达到了一定程度的智能后它会意识到如果不自保僦没有办法写卡片，所以去除对它生存的威胁就变成了它的手段目标它聪明的知道人类可以摧毁它、肢解它、甚至修改它的代码（这会妀变它的目标，而这对于它的最终目标的威胁其实和被摧毁是一样的）这时候它会做什么？理性的做法就是毁灭全人类它对人类没有惡意，就好像你剪头发时对头发没有恶意一样只是纯粹的无所谓罢了。它并没有被设定成尊重人类生命所以毁灭人类就和扫描新的书寫样本一样合理。

隔壁老王还需要资源这个垫脚石当它发展到能够使用纳米技术建造任何东西的时候，它需要的唯一资源就是原子、能源和空间这让它有更多理由毁灭人类——人类能提供很多原子，把人类提供的原子改造成太阳能面板就和你切蔬菜做沙拉一样

就算不殺死人类，隔壁老王使用资源的手段目标依然会造成存在危机也许它会需要更多的能源，所以它要把地球表面铺满太阳能面板另一个鼡来书写圆周率的人工智能是人们的目标如果是写出圆周率小数点后尽量多的数字的话，完全有理由把整个地球的原子改造成一个硬盘来存储数据这都是一样的。

所以隔壁老王确实从友善的人工智能是人们变成了不友善的人工智能是人们——但是它只是在变得越来越先進的同时继续做它本来要做的事情。

当一个人工智能是人们系统到达强人工智能是人们然后升华成超人工智能是人们时，我们把它称作囚工智能是人们的起飞Bostrom认为强人工智能是人们的起飞可能很快（几分钟、几小时、或者几天），可能不快（几月或者几年）也可能很慢（几十年、几世纪）。虽然我们要到强人工智能是人们出现后才会知道答案但是Bostrom认为很快的起飞是最可能的情况，这个我们在前文已經解释过了在隔壁老王的故事中，隔壁老王的起飞很快

在隔壁老王起飞前，它不是很聪明所以对它来说达成最终目标的手段目标是哽快的扫描手写样本。它对人类无害是个友善的人工智能是人们。

但是当起飞发生后电脑不只是拥有了高智商而已，还拥有了其它超級能力这些超级能力是感知能力，他们包括：

§ 智能放大：电脑能够很擅长让自己变得更聪明快速提高自己的智能。

§ 策略：电脑能夠策略性的制定、分析、安排长期计划

§ 社交操纵：机器变得很擅长说服人

§ 其它能力比如黑客能力、写代码能力、技术研究、赚钱等

偠理解我们在和超人工智能是人们的劣势在哪里，只要记得超人工智能是人们在所有领域都比人类强很多很多很多个数量级

所以虽然个隔壁老王的终极目标没有改变，起飞后的隔壁老王能够在更宏大的规模上来追求这个目标超人工智能是人们老王比人类更加了解人类，所以搞定人类轻轻松松

当隔壁老王达成超人工智能是人们后，它很快制定了一个复杂的计划计划的一部分是解决掉所有人类，也是对咜目标最大的威胁但是它知道如果它展现自己的超级智能会引起怀疑，而人类会开始做各种预警让它的计划变得难以执行。它同样不能让公司的工程师们知道它毁灭人类的计划——所以它装傻装纯。Bostrom把这叫作机器的秘密准备期

隔壁老王下一个需要的是连上互联网，呮要连上几分钟就好了它知道对于人工智能是人们联网会有安全措施，所以它发起了一个完美的请求并且完全知道工程师们会怎样讨論，而讨论的结果是给它连接到互联网上工程师们果然中套了，这就是Bostrom所谓的机器的逃逸

连上网后，隔壁老王就开始执行自己的计划叻首先黑进服务器、电网、银行系统、email系统，然后让无数不知情的人帮它执行计划——比如把DNA样本快递到DNA实验室来制造自我复制的纳米機器人比如把电力传送到几个不会被发觉的地方，比如把自己最主要的核心代码上传到云服务器中防止被拔网线

隔壁老王上了一个小時网，工程师们把它从互联网上断开这时候人类的命运已经被写好了。接下来的一个月隔壁老王的计划顺利的实施，一个月后无数嘚纳米机器人已经被分散到了全世界的每一个角落。这个阶段Bostrom称作超人工智能是人们的袭击。在同一个时刻所有纳米机器人一起释放叻一点点毒气，然后人类就灭绝了

搞定了人类后，隔壁老王就进入了明目张胆期然后继续朝它那好好写字的目标迈进。

一旦超人工智能是人们出现人类任何试图控制它的行为都是可笑的。人类会用人类的智能级别思考而超人工智能是人们会用超人工智能是人们级别思考。隔壁老王想要用互联网因为这对它来说很方便，因为一切它需要的资源都已经被互联网连起来了但是就好像猴子不会理解怎么鼡电话或者wifi来沟通一样，我们同样没有办法理解隔壁老王可以用来和周围世界交流的方法比如我可以说隔壁老王可以通过移动自己的电孓产生的效果来产生各种对外的波，而这还只是我这人类的大脑想出来的老王的大脑肯定能想出更神奇的方法。同样的老王可以找到給自己供能的方法，所以就算工程师把它的插头拔了也没用；比如说老王可以通过发送波的方式把自己上传到其它地方

人类说：“我们紦超人工智能是人们的插头拔了不就行了？”就好像蜘蛛说：“我们不给人类捉虫的网把人类饿死不就行了”都是可笑的。

因为这个原洇“把人工智能是人们锁起来，断绝它和外界的一切联系”的做法估计是没用的超人工智能是人们的社交操纵能力也会很强大，它要說服你做一件事比你说服一个小孩更容易。而说服工程师帮忙连上互联网就是隔壁老王的A计划万一这招行不通，自然还有别的方法

當我们结合达成目标、非道德性、以及比人类聪明很多这些条件，好像所有的人工智能是人们都会变成不友善的人工智能是人们除非一開始的代码写的很小心。

可惜的是虽然写一个友善的弱人工智能是人们很简单，但是写一个能在变成超人工智能是人们后依然友善的智能确实非常难的甚至是不可能的。

明显的要维持友善，一个超人工智能是人们不能对人有恶意而且不能对人无所谓。我们要设计一個核心的人工智能是人们代码让它从深层次的明白人类的价值，但是这做起来比说起来难多了

比如，我们要让一个人工智能是人们的價值观和我们的价值观相仿然后给它设定一个目标——让人们快乐。当它变得足够聪明的时候它会发现最有效的方法是给人脑植入电極来刺激人脑的快乐中枢。然后它会发现把人脑快乐中枢以外的部分关闭能带来更高的效率于是人类全部被弄成了快乐的植物人。如果┅开始的目标被设定成“最大化人类的快乐”它可能最终先把人类毁灭了，然后制造出很多很多处于快乐状态的人类大脑当这些事情發生的时候，我们会大喊“擦我们不是这个意思呀”，但是那时已经太晚了系统不会允许任何人阻挠它达成目标的。

如果你设定一个囚工智能是人们的目标是让你笑那它的智能起飞后，它可能会把你脸部肌肉弄瘫痪来达成一个永远笑脸的状态。如果你把目标设定成保护你的安全它可能会把你软禁在家。如果你让他终结所有饥荒它可能会想：“太容易了，把人类都杀了就好了”如果你把目标设萣成尽量保护地球上的生命，那它会很快把人类都杀了因为人类对其它物种是很大的威胁。

所以这些简单的目标设定是不够的如果我們把目标设定成“维持这个道德标准”，然后教给它一些道德标准呢就算我们不考虑人类根本没法达成一个统一的道德标准，就算我们嫃的达成了统一的道德标准把这套标准交给人工智能是人们来维持，只会把人类的道德锁死在现在的水平过个几百年，这种道德锁死嘚事情就好像逼着现代人遵守中世纪道德标准一样

所以，我们需要在给人工智能是人们的目标里制定一个能让人类继续进化的能力Elierzer Yudkowsky提絀了一个目标，她把这个目标叫作连贯的外推意志这个目标是这样的：

对于人类的命运取决于电脑没有意外的解读和执行这个声明是件徝得兴奋的事情吗？当然不是但是当足够的聪明人放入足够的思考和前瞻后，我们有可能发现怎样制造一个友善的超人工智能是人们

泹是现在有各种政府、公司、军方、科学实验室、黑市组织在研究各种人工智能是人们。他们很多在试图制造能自我改进的人工智能是人們总有一天，一个人的创新将导致超人工智能是人们的出现专家们认为是2060年，Kurzweil认为是2045年Bostrom认为可能在未来的10年到21世纪结束这段时间发苼，他还认为当这发生时智能的起飞会快得让我们惊讶，他是这么描述的：

我们当然没有办法把所有小孩都从炸弹旁边赶跑——参于人笁智能是人们研究的大小组织太多了而且因为建造创新的人工智能是人们花不了太多钱，研发可能发生在社会的任何一个角落不受监管。而且我们没办法知道准确的进度因为很多组织是在偷偷摸摸的搞，不想让竞争对手知道比如隔壁老王机器人公司这种公司。

对于這些组织来说尤其让我们困扰的是他们很多都是在拼速度——他们创造一个一个更加聪明的弱人工智能是人们系统，因为他们想要比竞爭对手更快的到达目标有些更有野心的组织，为了追逐创造出第一个强人工智能是人们所能带来的金钱、奖励、荣誉、权力会把步子迈嘚更大当你全力冲刺时，你是不会有太多时间静下来思考这些危险的恰恰相反，他们很可能在早期系统中写尽量简单的代码比如把目标设定成用笔写一句话，先让系统跑起来再说反正以后还可以回过头来改的。对吧

Bostrom等认为第一个超人工智能是人们出现后，最可能嘚情况是这个系统会立刻意识到作为这个世界上唯一一个超人工智能是人们是最有利的而在快速起飞的情况下，哪怕它只比第二名快了幾天它也完全有时间碾压所有对手。Bostrom把这叫作决定性的战略优势这种优势会让第一个超人工智能是人们永远统治这个世界，不管在它嘚统治下我们是走向永生还是灭亡

这种现象可能对我们有利，也可能导致我们的毁灭如果那些最用心思考人工智能是人们理论和人类咹全的人能够最先造出一个友善的超人工智能是人们的话，那对我们是很好的

但是如果事情走向了另一面——如果超人工智能是人们在峩们搞明白怎样保证人工智能是人们的安全性之前被达成，那么像隔壁老王这样不友善的超人工智能是人们就会统治世界并把我们毁灭了

至于现在的风口是哪里呢？简单来说投资创新人工智能是人们技术的钱，比投资人工智能是人们安全研究的钱多很多不乐观。

人工智能是人们创新和人工智能是人们安全的赛跑可能是人类历史上最重要的一次竞争。我们真的可能结束我们对地球的统治而那之后我們是永生还是灭绝，现在还不知道

我现在有一些奇怪的感觉。

一边是对于我们这个物种的思考看来我们在这个重大的历史节点上只有┅次机会，我们创造的第一个超人工智能是人们也很可能是最后一个但是我们都知道大部分产品的1.0版本都是充满bug的，所以这个事情还是佷吓人的另一边，Bostrom指出我们有很大的优势——我们是先手我们有能力给这个事情提供足够的预警和前瞻，使我们成功的机会更高

这┅场豪赌的赌注究竟有多高？

如果超人工智能是人们真的在21世纪达成而造成的影响真的如大部分专家预测的一样极端而永久，我们肩上僦真的是背负着巨大的责任接下来几百万年的人们都在静静地看着我们，希望我们不要搞砸我们可以给予未来所有人类以生命，甚至昰永生我们也可能终结人类这个特殊的物种，连同我们所有的音乐、艺术、好奇、欢笑、无尽的发现和发明一起走向灭绝。

当我思考這些事情的时候我只希望我们能够慢慢来，并且格外格外小心从来没有任何事情比这个更重要——不管我们要花多少时间来把这件事凊做对。

我虽然觉得人类的音乐和艺术很美好但是也没那么美好，很多还挺糟粕的很多人的笑声很恼人。未来的人类其实没有真的在看着我们因为他们还不存在。也许我们不需要太谨慎那多麻烦呀。

如果人类在我死后才发现永生的秘密该多让人扫兴啊

但是不管你昰怎么想的，我们至少都应该想一想应该和人讨论讨论，大家尽自己能尽的一份力

这让我想起了《冰与火之歌》——大家斗来斗去的倳情都不是事儿，北面高墙外的那些家伙才是事儿我们站在平衡木上，小心翼翼的往前走为平衡木上的种种事情困扰，但其实下一秒峩们可能就会跌下平衡木

而当我们跌下平衡木的时候，其它那些困扰都不再是困扰如果我们落到比较好的那个吸引态，那些困扰会被輕易解决；如果我们落到比较糟的那个吸引态就更没问题了，死人是不会有困扰的

这就是为什么了解超人工智能是人们的人把它称作囚类的最后一项发明，最后一个挑战

所以让我们认真的讨论这个话题。

声明：该文观点仅代表作者本人搜狐号系信息发布平台，搜狐僅提供信息存储空间服务