机器人变聪明不可怕，可怕的是它们又蠢又跳脱

编者按：自从机器人诞生以来，人类社会生产效率有了很大的提高。各种人工智能的进步令人惊奇又振奋，但也有人提出警告，担心AI的进步、机器人的发展会是人类的末日，曾为我们服务的机器将反客为主，甚至对人类进行“大清洗”，这类题材的科幻小说电影层出不穷，也正反映了人类潜意识中的恐惧。目前人工智能的发展仍未超出人类掌控，机器人还“不那么聪明”。但万一有一天，这些“不那么聪明”的机器人凑一块儿了，会发生什么呢？在跟人类开战之前，可能机器人之间就开始内斗了。本文编译自Fast Company的原题为“Don’t Fear Super-Intelligent Robots. Fear Dumb, Unpredictable Ones”的文章。

Elon Musk：人工智能是我们目前面临的最大威胁。

“人类发展人工智能，就像在召唤恶魔。我们以为有五角星和圣水就可以抵御恶魔。才不是呢。”

特斯拉CEO Elon Musk曾多次警告人工智能对人类的潜在威胁。但是他错了。简单的AI程序系统，尽管个别的机器人表现不错。但有些机器人“傻”的程度令人震惊，比如傻乎乎的维基百科机器人。

世界人工智能一百强公司的领导们经常提心吊胆，担心人工智能发展迅速，我们将面临“杀手机器人”的威胁。这些AI公司的头目们，包括特斯拉的Elon Musk和谷歌旗下DeepMind的创始人，甚至给联合国写了封公开信。他们警告说，自动武器技术如果落入恐怖分子和独裁者之手，或者是被黑客入侵，后果不堪设想。

苹果联合创始人Wozniak说，“我们建造设备来把自己的活儿都干了，早晚有一天他们思考速度会超过我们。那时他们就会将反应‘迟钝’的人都淘汰掉，来提高效率。”

然而，我们实际面临的威胁其实比想象中的更大。运行过程中，不仅可能人类行为不当，机器本身也有可能出问题。研究显示，复杂系统的行为可能比个别系统行为的加和更难预测。某种程度上，这也意味着人类社会总体的表现也可能与其中个人的表现非常不同。这一点同样适用于科技领域――简单的AI机器人单独行动时可能运行良好，但一个由这些简单AI机器人构成的生态系统，能傻到让你瞠目结舌。

经济市场和全球天气这种复杂系统中，单独元素之间一般都不是简单线性关系。所以这些系统很难建模，很难理解。例如，气象学的研究虽然已经进行了很多年，我们还是不能做出准确的长期天气预测。这一类系统对细微变化非常敏感，其中的反馈回路有时是爆炸性的。同时，想要准确地知道这类系统在任何特定时刻处于什么状态也异常困难。这种由一大群单独行动的个体组成的复杂系统，不管是人类社会还是简单AI机器人生态系统，本身就是难以预测的。

复杂系统受到许多因素影响，因此很难预测

最近，我和我的同事研究了一种复杂系统。系统由自动编辑维基百科文章的AI机器人构成。维基百科可靠的真人编辑设计了这些机器人并将它们投入使用。机器人软件的源代码是开放的，可供任何人学习使用。这些机器人单独运作时都表现良好，可以优化维基百科。但他们同时运作时，却表现得效率低下。

这些维基百科机器人是基于一系列既定的规则和习惯来运行的。但由于维基百科网站没有中央管理系统，运作不同机器人的人不能进行有效的协调。于是，我们发现了好几对“针锋相对”的机器人，他们不停地取消对方的编辑，最后徒劳无功。然而就这么过了好几年，根本没人发现这个bug。也因为机器人之间不能相互识别，它们自己也没发现在做无用功。

维基百科机器人设计的用意是加速编辑的过程，但由于机器人在设计时有细微的差别，同时，不同人使用习惯可能也有不同，就导致大量资源浪费，进入编辑“拉锯战”――你改过来，我改回去。如果由人力编辑，反而比机器人要更快解决问题。

我们还发现维基百科不同语言版本之间，机器人的表现不同。虽然规则大同小异、目标一致、技术相仿，但就机器人合作效率而言，德语维基百科中远超过葡语维基百科。这只能用其中的人类因素来解释，或许在不同环境下运行这些机器人的人类编辑的表现有差异。

?

指数式增长的混乱 数量一大就变野蛮

维基百科机器人的自主性很低，由于不同机器人有不同目标和功能，系统本身的操作就有大有不同。但是维基媒体基金会正计划着使用新的AI，给机器人更多自主权。而这会导致系统的行为更变幻莫测。

还有一个例子大家或许听说过。聊天机器人是一个用来模拟人类对话或聊天的程序。苹果的Siri就是一例。这些能给出的回答的智能助手我们早已经司空见惯。但当两个聊天机器人开始聊天时，会擦碰出怎样的火花呢？把几个聊天机器人放在一块，他们就开始有各种奇怪表现，开始吵架，甚至是互相辱骂。

聊天机器人对话情景 ?“你这可悲的程序。” “你就是个笑话。” 两机器人进入吵架模式，针锋相对。

系统规模越大，机器人的自主性就越高，而系统整体的表现就会更复杂，更难以预料。维基百科的系统就是一个这样的例子，有数量庞大、个体相对简单的机器人组成。而聊天机器人的例子中，机器人数量较小、相对复杂、更具创意。两个例子都出现了我们未曾预料的冲突。如果我们往系统里加入越来越多的机器人，系统的复杂性就呈指数爆发式增长，其未来的行为也就变得更难预测。所以，未来系统如果由大量异常复杂的机器人组成，那系统给我们带来的“惊吓”可能超乎想象。

无人驾驶的疯狂 道路安全无处安放？

很多人看好无人驾驶汽车，觉得无人驾驶能够提高道路交通的效率和安全。但是，倘若我们真的有了完全自主的汽车，路上就出现了一个巨大的自动汽车形成的系统。一个规模巨大的系统，表现可能跟人为控制环境下一组数量较小的汽车个体的表现大相径庭。另外，因为其中的无人驾驶汽车还是由不同环境中的不同人“训练”出来的。那么它们开始互动时，这个大系统的行为很难预测。

人类可以很快适应新规则，培养新习惯，然而在不同系统间“切换”的时候还是会有困难。而适应新规则和新习惯对于人工智能而言会难上加难。假如按德国规则运行的车辆到了意大利，面对着其他意大利无人车，面对意大利成文规则和不成文的文化习惯时，德国无人车会作何反应，会如何应对，我们心里也没谱。这时，像经过十字路口这样的简单任务都有可能带来致命风险，因为我们不知道这时无人车在其他规则的环境中会按自己的规则运作，还是做出完全不同的举动。

现在再回头想想Elon Musk和他的伙伴们所担心的潜在灾难，我们会发现，一个杀手机器人个体落入“敌手”着实很危险。但加入我们面对的是一大群杀手机器人组成的无法预测的系统呢？我连想都不要想。