只有曲别针的世界

“曲别针制造机”（Paperclip maximizer）是哲学家Nick Bostrom于2003年提出的一个思想实验。它描述了一个强人工智能，这个强人工智能的效用函数为制造尽可能多的曲别针。换而言之，它的终极目的是制造曲别针这个看似无害的目标，并且它对人类没有特殊的情感。但是，这样一个看上去无害的人工智能却很有可能对人类造成威胁。

这里的重点在于“强”人工智能，又称通用人工智能（Artificial general intelligence）。虽然只有一字之差，但它和普通的人工智能想必有质的飞跃——即使是现在风头正劲的AlphaGo与AlphaGo Zero也远谈不上强人工智能。根据定义，强人工智能是一种能在各个领域领先人脑的人工智能，特别是它必须有学习和改进自身的能力。

关于强人工智能，有一种理论叫做工具趋同（instrumental convergence）理论，它认为无论目的为何，强人工智能总是会选择相同的手段来更加有效地达成自己的目标：保证自身的存续，自我改进，以及攫取更多资源。于是我们提到的这个专做曲别针的强人工智能在老实做一段时间的曲别针之后，就会以指数级的速度用周围的资源增强自己，直到它将全宇宙的资源纳入自己的系统中，并将所有的资源全部做成曲别针为止。即使不考虑这种极端情况，曲别针制造机也很可能会把人类的生活必需品甚至人类都收集来做曲别针，从而威胁到人类的生存。

虽然这听起来不是什么人工智能，更像是人工愚蠢，但其本质是因为我们和强人工智能的价值观不同。一个负责制造曲别针的人类不会这么做，是因为人类有一些隐含的，更加基本的价值观：保证人类存续的优先度远大于制造曲别针。因此，Bostrom认为，我们对人工智能的设计，仅仅停留在“没有特殊情感”是不够的，程序员必须明确地给人工智能赋予人类的基本价值观。无论强人工智能是不是现实，人类都需要小心为上。

cite: https://wiki.lesswrong.com/wiki/Paperclip_maximizer

PS：关于强人工智能是否现实就是另一个问题了，这个问题的正反两方各有不少大牛站队，我就不细说了。但有一点是肯定的，如果强人工智能在现阶段尚不现实，那么过分关注其威胁程度反而会影响人工智能本身的发展。

PSPS：最近出了一个新的点击放置类游戏叫Universal Paperclips，就是以曲别针制造机为主题。游戏流程不长，在同类游戏中是相当有趣的一个作品，有兴趣的可以玩玩看。网址如下：www.decisionproblem.com/paperclips/index2.html

PSPSPS：那么我们目前所知的这个宇宙如果都做成曲别针，能做多少个呢？可以试着算一下，然后和上面提到的游戏结局中的数量对比一下。我算了一下，至少结果的数量级是差不多的~

霜降知天寒 赏星夜凉风流萤 全是曲别针

如果你喜欢这个系列的漫画，点个赞吧！欢迎把它推荐给你的朋友，也欢迎关注公众号TILcomic~（扫下面^_^）