370余专家再次联名警告AI“灭绝风险”，签名中国学者曾毅：公开信不是阻碍而是探索_焦点速递

南方财经全媒体见习记者马嘉璐  南沙报道

“减轻被人工智能灭绝的风险，应该与流行病和核战争等其他大规模社会性风险一样，成为全球优先解决的事项。”当地时间5月30日，一份仅有一句话内容的《AI风险声明》获得包括OpenAI首席执行官Sam Altman、图灵奖获得者“深度学习之父”Yoshua Bengio和Geoffrey Hinton超370位AI领域权威专家联合签名发布。中国科学院自动化研究所研究员曾毅、清华大学教授张亚勤、助理教授詹仙园等中国学者也位列其中。

【资料图】

曾毅透露，在这份新声明正式对媒体发布前，他就收到了发起人人工智能安全中心主任Dan Hendrycks的邀请。出于对在AI风险认知观点上的接近，他签署了这份联合声明。

作为中国科学院自动化研究所人工智能伦理与治理研究中心主任、国家新一代人工智能治理专委会委员、联合国教科文组织人工智能伦理实施高层专家组成员，曾毅长期专注于类脑智能及人工智能伦理与治理研究。他告诉南方财经全媒体记者，公开信的目的不是阻碍人工智能的发展，而“恰恰是在探索人工智能稳健发展的途径。”他提出，探索“可持续发展的人工智能”或许是一个有益的选择，而逐步提升人工智能真正意义上的智能水平，才能使人工智能技术真正实现可持续发展。

非营利组织人工智能安全中心（Center for AI Safety）官网发布《AI风险声明》

AI潜在风险关乎全人类利益

这种对AI风险的高调表态并非首次。今年 3 月 22 日，生命未来研究所（Future of Life）向全社会发布《暂停人工智能巨模型实验》公开信，呼吁所有人工智能实验室立即暂停比 GPT-4 更强大的人工智能系统的训练，暂停时间至少为 6 个月。这封公开信获得了马斯克、约书亚·本希奥、苹果联合创始人 Steve Wozniak等上千名研究者和科学家的公开签名。

曾毅表示，《AI风险声明》在动机上显然与《暂停人工智能巨模型实验》很相关，两者都是意识到了目前人工智能发展过程中的风险和失控的可能性。不过，二者的应对方式有显著的差别。《暂停人工智能巨模型实验》号召通过暂停能力超越GPT-4的人工智能巨模型的研究，优先为人工智能设计并实现安全框架。而这次新的《AI风险声明》更深度和直接地表达了签名者对人工智能给人类带来潜在生存风险的担忧和应采取的行动。

《AI风险声明》将人工智能可能带来的风险提高到堪比大流行病和核战争的程度。曾毅分析，大流行病、核战争与人工智能可能给人类带来的潜在生存风险的共性是波及范围广，关乎全人类的利益，甚至是致命性的。

曾毅指出，关于人工智能对人类造成生存风险，有至少两种可能：一种是对远期人工智能的担忧，另一种是对近期人工智能的担忧。针对远期而言，当通用人工智能和超级智能到来时，由于智力水平可能远超过人类，超级智能视人类如同人类视蚂蚁，很多人据此认为超级智能将与人类争夺资源，甚至危及到人类的生存。针对近期而言，由于当代人工智能只是看似智能的信息处理工具，没有真正的理解能力，也不是真正的智能，因此会以人类难以预期的方式犯下人类不会犯的错误。人工智能既不理解什么是人类，什么是生死，也不理解什么是生存风险，只会机械地执行某种操作。如果被人恶意利用、误用和滥用，风险将几乎难以预期和控制。“远期人工智能的挑战我们如果从现在开始研究如何规避其风险尚有可能应对，近期人工智能的这种风险则显得更为紧迫。”

部分签名者经历态度“大转弯”

ChatGPT的“横空出世”引发新一轮人工智能“技术竞赛”，另一方面，也有越来越多的声音警告强人工智能会给人类带来生存风险。

OpenAI首席执行官Sam Altman也在《AI风险声明》签名。今年5月，他在美国国会听证会上坦言，自己最担心的是 AI 最终会“对世界造成重大伤害”，并表示“如果这项技术出了问题，后果可能会非常严重。”不过，在听证会上，他并没有提出放慢或者暂停推出 AI 产品。

签署了两份公开信的“深度学习之父”Bengio表示自己投身人工智能研究，但如今的状况却让他感到迷茫。他开始旗帜鲜明地反对人工智能的快速发展，并对大语言模型在社会上的广泛可及性表示担忧，强调目前缺乏对这项技术的审查。“应用GPT-4 的技术竞赛创造了一个有害的循环。”

另一位“深度学习之父”Hinton对人工智能的态度同样经历了“大转弯”。他此前在谷歌效力近十年，于今年2月离开谷歌“以便更自由地谈论人工智能的危险”。离职前，他担任谷歌副总裁兼工程研究员。谈及转变想法的原因，Hinton表示，人工智能系统从大量数据中学到意想不到的行为，可以变得比人更聪明，“我以为还有30到50年甚至更长的时间。显然，我不再这么认为了。”

近期人工智能风险更为紧迫

有批评者提出，讨论“想象中的风险”会转移人们对算法偏见、预测性监管等现实问题的注意力。作家兼未来学家Daniel Jeffries认为，“存在人工智能风险是一种目前不存在的幻想，试图解决明天的想象问题完全是浪费时间。解决今天的问题，明天的问题就会解决。”

曾毅认为，恰恰是针对近期人工智能的担忧，才是更紧迫、更需要人类关心的。特别是近期的人工智能进展使得人工智能系统能够利用互联网规模的数据与信息，生成式人工智能产生的合成虚假信息极大降低了社会信任，网络通信又已使万物互联，使相关风险在呈世界规模地放大。这种情况就极有可能威胁到人类的生存。如果人工智能可以利用人类的弱点对人类的生存造成致命危机，例如利用和加剧人类之间的敌对和仇视、偏见和误解，致命性自主人工智能武器对人类脆弱生命的威胁，甚至不需要达到通用人工智能的阶段就有可能对人类造成生存风险。

“（两份声明的）目的都不是阻碍人工智能的发展，恰恰是在探索人工智能稳健发展的途径。”曾毅认为，重视和管控人工智能的安全风险不是阻碍人工智能的发展与应用，而是确保人工智能技术稳健发展。人工智能无疑是社会进步的推进器，然而这并不意味着人工智能没有潜在风险或者是由于最大化人工智能益处的需求，就可以忽略人工智能的潜在风险。绝大多数人发展人工智能的愿景是用人工智能造福人类，而并非是给人类带来风险甚至是生存风险，因此，绝大多数人有权利知道人工智能的潜在风险。

人工智能技术应实现可持续发展

面对浪潮，该从哪里落脚？

曾毅表示，《AI风险声明》首先应引起共鸣的是人工智能的研发者，通过研制和发布人工智能安全解决方案解决尽可能多的安全风险隐患。其次，最大限度地提升人工智能所有利益相关方对人工智能安全隐患的意识，包括但不限于研发者、使用与部署者、政府与公众、媒体等，让人工智能的所有利益相关方都成为给人工智能稳健发展保驾护航的参与者。再次，对于人工智能给人类造成生存风险的各种可能，要开展充分的研究、极限与压力测试，以最大限度地降低这种风险。解决人工智能给人类带来的生存风险问题，人工智能伦理安全的问题需要建立全球协作机制，共享人工智能红利的同时，需要全球共护安全。

“少数人很难改变趋势，但少数人首先站出来提升公众的意识，最终参与改变现状的就会是多数人。”曾毅提醒到，人工智能的研发者有义务确保人工智能不给人类带来生存风险，至少要通过人工智能的各种利益相关方最小化这种风险的可能性。

曾毅此前曾在多个场合提出，“可持续发展的人工智能”或许是一个有益的选择。他解释，“可持续发展的人工智能”一方面意味着应当使人工智能作为赋能技术促进全球可持续发展目标的实现，另一方面意味着应当确保人工智能技术的可持续性。他观察到，目前这方面的努力主要聚焦于高利润高回报的领域如教育和健康，但保护生物多样性、减缓气候变暖、促进公平公正等真正关乎人类未来的议题领域，受到人工智能技术的关注仍然较少。

曾毅还提醒，并不是人工智能应用于可持续发展目标的方向就是真正在推动可持续目标的实现，因为技术还有可能在这些领域带来负面影响。例如，在教育领域需要注意人工智能的应用应尊重学生隐私，并确保不对学生的身心产生负面影响。

曾毅认为，逐步提升人工智能真正意义的智能水平，才能使人工智能技术真正实现可持续发展。“人工智能不应停留在‘看似智能的信息处理’的阶段，不应当满足于‘绝大多数情况比人好’，否则很多时候会犯人类不犯的错误。”

关键词