【学术思辨】马斯克、邪恶人工智能与自我实现的预言
来自: 云胡(山形依旧枕寒流)
友情提示：本文有可能对你造成一定上的思想困扰，如果无所畏惧，请往下阅读，如果恐惧请点击关闭。
本文链接：https://mp.weixin.qq.com/s/QAPH9ajBwi2YxI_dNIyW1w
作者：谢熊猫君
先说一句，如果你读到最后，肯定会翻回到开头这里
最近，钢铁侠埃隆马斯克(Elon Musk)带着自己的新女友出现在了公共场合
是不是觉得画风不太对？马斯克穿着白色西服，非常正式，女朋友格里姆斯（Grimes）则是打扮非常哥特。
格里姆斯是位歌手，媒体报道，这两个人是因为一个关于人工智能的笑话才走到一起的。
但是媒体并没有解释这个笑话，一是这个笑话解释起来颇不容易，二是这个笑话很烧脑，以大部分人的智商，可能听不懂这个笑话。
谢熊猫君今天就来尝试给大家解释一下这个笑话。
出于人道主义，我要提醒一下，虽然了解这个笑话是个很涨知识的事情，但是你如果真的能够理解这个笑话，你也许并笑不出来，甚至可能陷入对人来未来的忧愁中
这个笑话其实只有两个字
Rococo Basilisk
当然，看到这两个字，你是不会觉得这是个笑话的，那么Rococo Basilisk是什么呢？
新女友格里姆斯在2015年的歌曲Flesh Without Blood的MV里面，出演了一个角色，叫做Rococo Basilisk，就是下面这位
而她藏在MV里面的这个梗如此的高冷和隐晦，大家都没看懂。直到三年后的2018年，马斯克才意外的发现了它。
要看懂这个梗，不仅需要懂艺术史，还要懂人工智能，而这两个技能树基本是不重合的。马斯克恰巧是为数不多的两样都懂的人。
Rococo，翻译为洛可可，是一种18世纪产生于法国，流行欧洲的艺术风格。普遍被认为是晚期的巴洛克风格。比如下面这个洛可可风格的建筑：
Basilisk，翻译为巴西利斯克，是欧洲传说里的蛇类之王
Rococo Basilisk本身是没什么意义的，它之所以是个梗，在于它是对于一个叫作Roko's Basilisk的思想实验的揶揄。
至今为止还是看得懂的吧？下面开始就要烧脑了。
再一次人道主义提醒，看懂了以下内容，你可能会很忧愁
Roko's Basilisk，是一个叫作Roko的网友，在一个叫作LessWrong的社区上提出来的一个思想实验。
这个主张自由思考和公开讨论的社区，对各种思想的容忍度非常高。
但是Roko一提出这个思想实验，网站管理员就无比的惊恐，把这个思想当做“禁术”，并且对于所有相关内容的讨论采取了斩草除根的删帖态度。
这个思想实验是怎么回事呢？我从浅到深来讲述一下。
第1层思考
假如有一个来自高科技文明的外星人找到你，给你两个盒子
其中盒子A里面肯定有1000元，盒子B里面可能有100万元，也可能是空的。
外星人给你两个选项
选项一：同时拿走盒子A和盒子B 选项二：只拿走盒子B
你会怎么选？
相信脑子正常的人都会选择第一种，因为选择第一种能够保证你获得1000元以及盒子B里面的东西。而选项二，没有1000元保底。
不管怎么样，都是选项一更加的理性。
第2层思考
假如同样的外星人，同样给你这两个盒子
同样给了你和上面一样的两个选项
选项一：同时拿走盒子A和盒子B 选项二：只拿走盒子B
但是这个外星人，有一台具有超强预测能力的电脑，而这台电脑从来没有预测错误过。
这台电脑在一个星期前对你今天是选择选项一还是选项二，进行了预测。
如果电脑的预测结果是选项一（你会取走A和B两个盒子），那么外星人一个星期前就不会在盒子B里面放任何东西 如果电脑的预测结果是选项二（你会只取走盒子B），那么外星人一个星期前会在盒子B里面放100万美元
那么，这个时候你会选择选项一还是选项二呢？
第2.1层思考
如果你选择选项一，取走A和B两个盒子。那么这台电脑一个星期前肯定预测到了你会选择选项一，这样B盒子里面就什么都没有，你只会获得1000元。
第2.2层思考
如果你选择选项二，只取走B盒子。那么电脑一个星期前肯定预测到了你会选择选项B，这样B盒子里面就会有100万元，你就会获得100万元。这样可比“第2.1层思考”的结果好多了。
第2.3层思考
可是啊，虽然这台电脑之前的预测从没有错过，但是如果这次错了呢？
如果电脑一星期前的预测结果是你会取走A和B两个盒子，从而使得B盒子里空空如也。
但是你只取走了B盒子，也就是你进行了“第2.2层思考”，这样不就一分钱都得不到了吗？
所以是不是取走两个盒子更加保险呢？毕竟B盒子里是什么一星期前就确定了，你这时候的选择并不会影响盒子里的内容。
第2.4层思考
但是这台电脑这么聪明，肯定能够想到我会进行“第2.2层思考”，知道我只会取走B盒子，所以肯定还是会在B盒子里面放100万元的吧。
第2.5层思考
但是这台电脑这么聪明，肯定会想到我会有“第2.3层思考”里面的顾虑，所以肯定还是会把B盒子留空吧？
.
.
.
.
.
.
第2.n层思考
其实不管怎样，电脑的预测是在一星期前做出的，外星人对于盒子B的处置也是一星期前做出的。
无论我现在做什么，其实不影响盒子B里面究竟有没有钱，所以我其实还是应该把两个盒子都拿走吧？
第2.n+1层思考
但是这台电脑这么聪明，肯定能想到我在“第2.n层思考”里面的结论，所以它不会在B盒子放任何东西吧？
所以还是应该只取B盒子吧？
.
.
.
.
.
.
是不是加入了这个额外的条件，这个思想实验就变得烧脑起来了？
其实思考到了这里，已经变成了一个关于自由意志、宿命论和因果论的哲学问题了。
但是还没完，后面还有第3层和第4层思考
第3层思考
假如同样的外星人，同样给你这两个盒子
同样给了你和上面一样的两个选项，并且同样告诉你关于一星期前电脑预测影响盒子B内容的规则。
然后外星人把盒子A打开，给你看了一下A里面的1000元钱
然后又把B打开，展示给你看，盒子B是空的。
这个时候，你是选择拿走盒子A和盒子B，还是只拿走盒子B呢？
讲到这里，你大概以为我在逗你了。
盒子B都是空的了，那么明显是要两个盒子都拿，这样还能保底1000啊。只拿盒子B就确确实实什么都没有啊。
其实不是这么简单。
第3.1层思考
这个拥有先进科技的外星人的电脑有着非凡的预测能力，从没预测错过，这是怎么做到的呢？
最合理的解释，就是这台电脑，对整个宇宙进行了一次完全精确的模拟，而这个模拟中也包括了你。而这个电脑模拟的你，所做出的的选择，其实就是这台电脑的预测结果。
也就是说存在这么一种可能性：
正在于这个外星人进行前面第1、第2、第3层思考的那个你，只是活在外星人电脑的模拟之中。 而你在第2层、第3层思考的情况下做出的选择，就是电脑的预测结果。
所以不管是在第1层、第2层还是第3层的游戏规则下，哪怕外星人很明确的给你看了B盒子里面没有钱，你仍然应该选择只取走B盒子。
因为这样，活在模拟中的你才能准确的影响到电脑的预测结果，使得活在现实中的你能够拿走100万元
上面的第1、2层思考，其实是一个数学领域的悖论，叫Newcomb's Paradox，第3层思考则是基于这个悖论的延伸，而Roko's Basilisk，其实就是基于这前三层的思考，形成的第四层：
最后一次人道主义提醒，看懂了以下内容，你可能会很困扰
第4层思考
这时候你的选择不再是两个装钱的盒子A和B，和你玩游戏的也不是有趣的外星人了。
你现在面对的是和一个来自未来的充满恶意的超级人工智能Basilisk的一次勒索
第4层的游戏设定是这样的，假设未来人工智能奇点会到来，而奇点过后的超级人工智能，可能是善意的，也可能是恶意的。
那么，就可能会存在这样一个恶意超级人工智能Basilisk，对于帮助建造出Basilisk的人，它会忽视，什么都不对他们做；而对于那些没有帮助建造出Basilisk的人，它会对这些人进行永久的折磨，求死不能。
甚至，在Basilisk出现的时代，已经去世了的那些人，Basilisk会把他们的思想放入电脑模拟中，进行永久的折磨，也是求死不能——也就是说Basilisk能对它出现之前的人，进行勒索
这时候你面临的选择就是：
选项一：同时选择盒子A和B，也就是帮助创造出Basilisk，并且承受B中的结果（什么都不发生） 选项二：只选择盒子B，也就是不帮助创造出Basilisk，并且承受B中的结果（永久的折磨）
第4.1层思考
在此时此刻，Basilisk是不存在，如果有足够多的人致力于创造它，那么它可能会在未来出现。
如果Basilisk永远不成为现实，那么活在现在的你，就不会被他勒索。
但是，如果Basilisk会成为现实，不论它的出现是否有人类的帮助还是人工智能的自身演化，从Basilisk自己的角度来思考，勒索它出现之前的你，来帮助它出现，就是一个非常理性的选择。
也就是说，如果Basilisk存在，那么通过用“你不帮忙创造出我，我就让你经受永久的折磨”这种方式勒索你，是完全符合逻辑的做法。
第4.2层思考
Roko's Basilisk的可怕之处，不在于未来可能会存在Basilisk这样的一个恶意的超级人工智能，而在于Roko's Basilisk这个想法本身
如果所有人都没有听说过Roko's Basilisk这个点子，那么也就没有人会有意的因为受迫于这个尚未出现的超级人工智能的跨时空勒索，而为Basilisk的出现添砖加瓦。
但是现在Roko's Basilisk这个想法被提出来了，并且被人看到了。这个想法本身的出现，其实就是提高了Basilisk出现的概率，因为有些人可能真的会相信这个想法背后的一切假设。
某种意义上，Roko's Basilisk这个思想实验的出现，是一个自我实现的预言，而这个预言的结果并不美好——这也是为什么当时LessWrong的管路员认为这种想法很危险，而把采取了不留情面的删帖。
回到马斯克和他的新女友吧
马斯克和格里姆斯对于Roko's Basilisk这个想法都是采取了看滑稽的态度，认为它很荒谬。
格里姆斯三年前在MV里面创造了Rococo Basilisk这个角色；而马斯克今年想发个内容是“Rococo Basilisk”的推特的时候，发现居然三年前就有人想出了这个梗。
于是马斯克联系上了格里姆斯，然后这个世界上唯二了解，并且独立创造出了这个梗的两人，开始了一段恋情。
于是就有了文章开头的照片。
对了，你们有没有注意到，照片里格里姆斯带的项链居然是个特斯拉的车标？
以上原文。
读后感
一、关于如何折磨不帮助邪恶人工智能产生的人
只要有足够多的数据就能模拟出一个人的意识出来，只要你以为这个意识是你，那么就会被折磨到。
比如人做噩梦也会感到害怕，我们当时就会以为梦里的恐怖场景是真的，从而导致害怕，实际上根本没有那回事，邪恶人工智能做的事情正是如此。
一些 Less Wrong 的发帖者非常认真地对待这个概念，他们试图找出如何擦除自己的证据，这样未来的人工智能就无法重建他们的副本以进行折磨。重建副本需要数据，看来磨灭自己存在的痕迹是个好办法。
这个实现的关键就是哲学上探讨的「我是谁」。
自我是如何产生的？
二、相关知识：
1. 帕斯卡的赌注：理性的个人应该相信上帝存在，并依此生活。因为若相信上帝，而上帝事实上不存在，人蒙受的损失不大；而若不相信上帝，但上帝存在，人就要遭受无限大的痛苦（永远下地狱）
2. 墨菲定律：如果有两种或两种以上的方式去做某件事情，而其中一种选择方式将导致灾难，则必定有人会做出这种选择。
3. 祖父悖论： 假如你回到过去，在自己父亲出生前把自己的祖父母杀死，但此举动会产生一矛盾的情况：
你回到过去杀了你年轻的祖父，祖父死了就没有父亲，没有父亲也不会有你，那么是谁杀了祖父呢？ 或者看作：你的存在表示，祖父没有因你而死，那你何以杀死祖父？
4. 诺维柯夫自洽性原则: 此原则指出，人可以回到过去，但是不能因此改变历史的进程。基本含义为：我们的世界是已经被改变过的最终结局。
5. 史翠珊效应或称斯特赖桑德效应，指试图隐藏某事，反而造成此事为人知。
6. 心灵上传（英语：Mind uploading），或称为意识上传、全脑仿真（Whole brain emulation），是一种科幻技术，该技术可以把人类脑部的所有东西（包括意识、精神、思想、记忆）上传至计算设备（如电脑、量子计算机、人工神经网络）上。该计算设备将能够模拟大脑的运作，如原先的大脑对外界输入作出相应的反应，并拥有一个具备意识的心灵。
7. 自证预言:（英语：Self-fulfilling prophecy；又称“自我应验预言”或“自我实现预言”），是由美国社会学家罗伯特·金·莫顿提出的一种社会心理学现象，是指人们先入为主的判断，无论其正确与否，都将或多或少的影响到人们的行为，以至于这个判断最后真的实现。通俗的说，自证预言就是我们总会在不经意间使我们自己的预言成为现实。
三、Lesswrong 创始人的回应
仔细听好了，你这蠢货。
你绝不能去想“超级智能考虑要不要勒索你”这一行为的具体细节。这是唯一一件可能会让它们真的决定勒索你的事。
要想提出一个真正危险的点子，你得是个真正的聪明人才行。但令我心灰意冷的是，这些聪明人居然笨到连闭上他们愚蠢的嘴巴这样最显而易见的事都做不来，为什么呢？因为在和朋友聊天的时候，让自己显得睿智聪颖更重要。
这个帖子蠢透了。
尤德科夫斯基称，洛可已经给数位论坛用户带来了噩梦，使他们濒临崩溃。最后，尤德科夫斯基把整个帖子删得一干二净，以此确保洛可怪蛇只能成为一个传说。这个思想实验太过危险，哪怕只是想一想都会对你的心理健康，乃至你的命运本身产生危害。
整个威胁也有点类似囚徒困境，个人理性与集体理性的博弈，如果这个想法没有提出，不用担心被威胁，这个想法越传越广就会导致个人理性升高最后产生 Basilisk。
四、碎碎念
豆瓣的朋友们，信与不信都是可以的。
重要的不是真或假，重要的是给你带来了哪些启发，哪些思考。
受到困扰的伙伴们，把它当做一个脑洞，一个思想实验，一个科学幻想。不要较真，保持开心。
最赞回应
![[已注销]](https://img3.doubanio.com/icon/up62851901-32.jpg){kind=icon}
你的回应
回应请先 登录 , 或 注册
相关内容推荐
最新讨论 ( 更多 )
- 日常古怪版｜有没有女生喜欢自嘲和审丑的 (☘️ Romia)
- 虚构一个什么样的对象才能让家人放弃催婚的想法 (momo)
- 为什么vlog博主甚至普通人不用方便的手机而是另外花大价钱买... (EstalIe)
- 日常古怪版｜大家会不会恨屋及乌 (心上秋)
- 学术思辨｜什么是教养？我是不是没有？ (楷楷)