不是杀人那么简单 人工智能如果带来威胁

国外媒体报道，经过几十年发展，人工智能已经从科幻小说里的一个概念，变成了当今科技发展的主流。苹果的语音控制系统Siri、亚马逊的智能助手Alexa、IBM的沃森超级电脑、谷歌大脑等等，能够理解这个世界并且给出高效反馈的智能机器似乎就在眼前

国外媒体报道，经过几十年发展，人工智能已经从科幻小说里的一个概念，变成了当今科技发展的主流。苹果的语音控制系统Siri、亚马逊的智能助手Alexa、IBM的沃森超级电脑、谷歌大脑等等，能够理解这个世界并且给出高效反馈的智能机器似乎就在眼前。

强大的互联网接入和计算机运算法则让机器在理解人类语音、视频信息的方面取得了飞跃性的进步，也逐渐向真正的人工智能迈进。AI(Artificial Intelligence)，可实现自动响应的人工智能产品距离我们还远吗？如何让他们保持不断自我更新升级但是依然保持人类可控范围内？

这个问题给人们带来普遍的担心和焦虑。“我认为人工智能的发展最终会导致人类族群的灭绝，”物理学家斯蒂芬・霍金接受BBC的采访给出了这样的观点。特斯拉的创始人埃隆・马斯克把AI称为“人类最大的潜在威胁”。微软前总裁比尔・盖茨也表示过类似的担忧。

有多少担忧是必要的？问题有多紧迫？我们聚集了多位工业、科研、政策决策领域的专家，一起评估人工智能的发展风险。参加此次话题讨论的包括Skype创始人之一、人类未来发展潜在风险研究院的智库成员――Jaan Tallinn，IBM的沃森超级电脑研究院负责电脑认知研究的专家――Guruduth S. Banavar，帕多瓦大学计算机系教授、哈佛大学拉德克利夫高级研究所研究院和聚集最多AI研究者的国际人工智能研究协会主席――Francesca Ross。

以下是经过编辑整理的专家谈话内容。

危险究竟是什么？

记者：人工智能会对人类造成哪些威胁？

Banavar：受科幻小说、电影的影响，人工智能带来的威胁主要是人类与机器之间的矛盾冲突，这个观点其实是错误的。人工智能在某些领域能够比人类更出色地解决问题，比如大数据筛选。然而，某些人类擅长的领域里，机器的表现非常糟糕。比如常识推理、提出精彩的问题以及“跳出来”想问题。人类和机器的结合体，既我们研究的计算机认知能力的基础，是对解决各个领域的复杂问题的革命性的设想。

以人工智能为基础的系统已经在很多方面为我们的生活提供了便利：股票自动交易系统、自动飞行控制系统、工业流水作业机器人、错误检测和搜索引擎...在过去的5-10年间，计算机运算法则和先进的计算机架构让我们开发出了很多新应用。

然而需要认识到，计算机运算法则已经被运用到极致。要实现更大的进步，则需要引入更多复杂的符号系统――这是个很高的要求。今天我们的神经科学和认知科学研究，对于人类智能的研究也只是掌握到皮毛。

我个人的观点是，能够达到人类水平，实现一般感知、推测的人工智能机器只是个娱乐话题。

TALLINN：今天的人工智能不可能对人类构成威胁。如果我们要讨论人工智能的长远影响，（也就是人工智能能够比人类更好地完成策略、科学、人工智能研究的时候。）我们就要涉及到控制超级智能的问题。

记者：什么是超级智能控制问题？

TALLINN：现在最先进的机器人也存在一个能够让人类实现完全控制的“关机键”。然而，“关机键”发挥作用的前提是它在机器人的工作领域之外。举个例子，一个会下棋的电脑工作领域仅限于与人对弈，它并不会觉察到它的人类对手可以拔掉它的电源终止游戏。

然而，超级智能机器，经过有意或者无意的程序设定，能够全面的了解周围世界并且对于有人可以动他们的“关机键”的后果作出预测，人类就很难再控制它。

记者：这个问题有多严重？

TALLINN:目前这还只是理论上的推测。但是需要谨慎的认识到，超级智能机器可能会仅仅受控于物理学定律和人们给早期智能机器人设定的程序。

早期的程序是基于我们十分有限的物理学知识设计的。想象一下，如果面对一个智能机器人，我们给出的指令是“为人类创建更伟大的未来”时，我们最好能够十分确定它会做出怎样的反应。

ROSSI：在很多具体的领域，人工智能的表现已经超越人类，其中就包括一些涉及精确判断的领域。目前，人工智能并未威胁到人类，但是人类已经受到机器判断的影响，如线上自动交易系统，健康检查系统以及很快就将普及的无人驾驶汽车和无人操控武器。

我们需要明确了解分析人工智能在具体领域内存在的潜在威胁，既让它们发挥作用，又要确保它们能够安全、友好、按照人类价值观运转。这并不是个简单的课题，因为即使是人类，在大多数时间里都无法遵照自己设定的原则行动。

给日常生活带来的影响

记者：人工智在具体领域会给人类带来怎样的威胁？

ROSSI: 比如自动交易系统，机器给出的一个错误的决策会给很多人带来经济损失。无人驾驶汽车的失误也会给人类带来生命安全的威胁。

记者：应该怎么看待这些风险？

BANAVAR: 任何风险都有两面性：做这件事的风险和不做这件事的风险。我们已经有很多基于信息不完全、专业人士的不专业做出的错误决定，造成数千人死亡，上百万美金损失以及在诸如医疗等核心领域缓慢的发展状况。基于IBM沃森超级电脑在很多领域的应用经验，我认为，在具体领域上，人工智能能够有效的降低风险。

然而对于全面人工智能领域，我持有谨慎的观点。我认为我们一直低估了这个问题的复杂性。我们有太多未知未知了。

记者：IBM采取哪些措施来降低人工智能技术风险？

BANAVAR: IBM的计算机认知系统，和其他现代计算机系统一样，是基于云计算结构，运算法则和大量数据构建的。为了防止违规现象出现，这些系统的运转是可以被记录、追踪和审查的。这些认知系统不是自主运转，所以他们的指令、数据、结构需要我们采取一定保护措施来防止人为的外部攻击。任何接入、更新系统的人都是可控的。

我们主要通过复杂的加密和数字签名来保护数据，通过漏洞扫描和其他技术手段保护运算代码，通过隔离等手段保护计算机结构。

这些支持人工智能安全运行的政策是基于对风险的深度分析设计的。这些政策需要经过安全和交易委任,管理销售和公共安全提供的委员会(SEC)、食品及药物管理局(FDA)以及美国国家标准技术研究院(NIST）这些各自领域内负责设定安全标准的机构审查。

记者：沃森超级电脑正在帮助医生解决医疗难题。它能够对自身失误造成的医疗伤害负责吗？

BANAVAR: 沃森超级电脑不会给出诊断意见。它通过处理大量患者医疗数据为医生提供多种处理建议。医生会考虑沃森提出的建议并综合分析其它因素做出最终的治疗判断。

ROSSI: 医生也在一直犯错，主要原因在于他们无法完全掌握关于某种疾病的全部信息。像沃森电脑这样的系统，能够帮助他们减少失误。

TALLINN: 曾经一项研究把医生和医疗自动诊断系统作比较。结论是，大多数医生输给了电脑。

BANAVAR：我认为，沃森电脑提供更加完备的医疗建议是十分有益的。我很希望有机会让它为我做诊断。

对人类的影响

记者：有些专家认为人工智能以及抢了一些人类的饭碗，你们同意吗？

TALLINN: 科技进步确实会让一些工作岗位消失。有一位Uber司机曾经兴奋地向我介绍他是如何把目的地输入到平板电脑上，得到行程路线的。我告诉他，几年之后，可能来是这些科技小物件把我送到目的地。司机高兴地说，到时候他就更省事了，坐在驾驶座上享受就可以了。坐在后排的我却不住摇头。我认为，无人驾驶汽车给人类带来的最大影响不是便利，而是消失的工作岗位。

长远看来，除了工作以外，还应该设想一下，我们的社会还可以围绕什么运转。

BANAVAR: 有史以来，我们一直通过打造工具来帮助我们完成我们做不到的事情。每一代工具的产生都会引发我们关于自然和工作方式的思考。生产力提高，工作被重新定义，新的职业诞生，一些职业消失。电脑认知系统拓展了人类的思维力，替代性潜力更强。

问题的关键是应该建立一个机构，快速培养专业人士，让他们能够开发电脑认知系统作为助手辅助他们各自的工作。这些技能能够加强人类的专业性，为“专家”设定一个全新的标准。

记者：我们该为人工智能社会做怎样准备？

TALLINN: 全面人工智能何时实现甚至是否能够实现都存在很大不确定性。（虽然作为一名物理学家，我觉得一切皆有可能！）但是不确定性并不是我们不去思考控制问题的借口。针对如何控制的问题，有针对性的研究刚刚开始，可能需要几十年才能有结果。

ROSSI: 我相信，我们完全可以把应用在具体领域的人工智能对人类的不良影响控制到最小的程度。我们需要为机器设定人类的价值标准，设定工作原则和优先级，如与人类相符的冲突解决能力。具体领域的人工智能设计工作完成好，就能够为设计出不危害人类的全面人工智能做好准备。

BANAVAR: 上个世纪90年代初期，计算机走进医疗领域的时候，多国社会运动分子为维护病人权利奔走呼吁。10年之后，医疗信息保密协议诞生。同样，在具体领域的人工智能也面临一个严肃问题，哪些权利不容侵犯，侵犯之后要承担哪些责任？

ROSSI：现在销售普通汽车要通过一系列安全测试，未来销售无人驾驶汽车，也需要有新的安全测试标准。需要仔细检测的不仅是汽车运行程序，也包括以人类伦理、道德原则为基础设计的突发情况判断程序。

BANAVAR: 驾驶员、乘客、行人在无人驾驶汽车世界各自的权利是什么？消费者可以不向投资顾问和智能助手提供全部信息吗？谁该为投资建议负责？是投资顾问、投资服务组织者、智能助手设计者还是数据监管人？未来有智能机器的人类社会需要面临、解决的问题依然很多。