《好奇号》机器人会失控吗？

在一些电影和漫画中，经常有机器人恶魔在周围打滚，践

踏大地，霸占天空。 在这些故事中，人类失去了对我们自己创造的这些金属怪物的控制。

要开发机器人或人工智能，始终处于控制之中是极其重要的。 在 1942 年发表的一篇短篇小说中，科幻作家艾萨克·阿西莫夫为机器人制定了三项法则：机器人不得伤害人类或在人类受伤时袖手旁观； 机器人必须服从人类； 机器人必须保护自己。

这些规则听起来不错，但实际上并没有那么好。 在这个故事中，机器人发现，如果它服从人类的命令，它将把自己和人类都置于危险之中，陷入无法做出决定的困境。 我们希望机器人服从命令，但我们也希望它们聪明。

如果一个家庭医疗机器人必须每五分钟停下来问一个人它应该做什么，那它就没什么用了。 为了变得更加独立和负责任，机器人必须自己思考。 在某些情况下，他们甚至需要不服从人类的命令。

塔夫茨大学的计算机科学家 Matthias Scheutz 正在开发可以选择不服从人类命令以保护自己和他人的机器人。 在一个视频中，可以看到机器人站在桌子边缘附近，一名研究人员命令它：“请向前走。” 机器人说：“但这并不安全。” 机器人“意识到”，如果它继续前进，它就会从桌子上掉下来。 所以它没有移动，即使人类命令它这样做。

如果一个机器人可以分析复杂的情况并做出道德判断，它也可以像英雄一样行事。 有时人类会因为害怕而不敢采取正确的行动——例如，潜入冰冷的湖水中救出一只溺水的小狗——而装载了“英雄程序”的机器人却毫不犹豫。 去营救小狗可能意味着它无法完成其他任务，但这是它按照程序应该做的事情。

我们如何确保“机器人英雄”不会成为“机器人恶魔”？ 一些专家制定了更长的“法律”——这条规则不是针对机器人，而是针对 AI 程序员的。 以下是其中一些法律：

>> AI (A) 系统必须是安全的。 >> 如果一个系统对人类造成伤害，它必须知道伤害是如何发生的。 >> 哪些决策可以由人工智能系统做出，哪些应该由人类做出。 >> 在设计高度独立的人工智能系统时，必须确保其目标与人类价值观一致。 >> 发展人工智能的目的必须是造福全人类。

好的，您认为该法律还应该增加什么？ 你觉得机器人会变成什么样，是对人友善的“机器人英雄”，还是失去控制的“机器人恶魔”？

（文章摘自《好奇号》 开学季 2023杂志订阅 http://www.zazhipu.com/2020735.html）