Sam Altman问答张宏江：模型开源是正确发展路径，应小心前行_环球时讯

21世纪经济报道 记者郭美婷 实习生林婉娜 广州报道

在过去四周里，OpenAI联合创始人Sam Altman已经走过五个大洲的近 20 个国家，与学生、开发人员和国家元首会面，他希望推进人工智能在全球范围内的合作。

(资料图片)

6月10日，在2023北京智源大会-AI安全与对齐论坛上，Sam Altman与智源研究院理事长张宏江进行了视频问答。

人工智能发展已势不可挡，而保障安全势在必行。Sam Altman提出在加大对AI系统对齐性能的研究外，亟需设计出公平的、有代表性和包容性的系统。此外，当被问及未来是否将重新开放GPT的源代码时，Sam Altman表示，公司目前开源了一部分模型，其他模型则不开源，但随着时间的推移，他期待在保证安全的前提下，有更多的开源模型出现。

我们离安全的AGI有多远？

Sam Altman认为，很难预测实现安全的AGI的确切时间，但他表示，在未来十年内，人类很可能拥有非常强大的人工智能，并且应该为此做好准备。

Sam Altman表示，目前业界存在关于模型数量与安全性相关性的不同看法，然而拥有少量模型或大量模型都不能让我们更安全。

更重要的整体架构的搭建，“是否有一种机制，确保任何柯林斯模型都需要经过足够的安全测试？是否有一个框架，让那些创建了完备柯林斯模型的人具备足够的资源和责任心，确保他们创造的东西是安全可靠的？”

我们离安全的AGI有多远仍没有确凿回答，然而Sam Altman对此报有高度激情。“对我而言，没有比安全性工作更令人兴奋、活力四溢、充实且重要的事情了。我坚信，如果您个人对一项重要的倡议非常认可，您将会有无穷的力量去解决它。”

Sam Altman表示，没人能阻挡人工智能的发展，而安全性工作作为其中的一部分，即使艰难也是必须进行。

如何推进全球合作？

Sam Altman的环球之旅已经进行到第四周，在此期间，他已经去到五个大洲的近 20 个国家，与学生、开发人员和国家元首会面。他试图推进全球合作。

Sam Altman认为，进一步完善人工智能安全性需要了解不同国家和不同背景下用户的偏好，因此需要吸纳多元观念。同时，他表示，鉴于解决先进人工智能系统的困难，需要世界各地的优秀人才共同努力。

Sam Altman认为推进全球合作中一个重要进展是人们开始对如何安全开发先进AI系统的国际标准感到兴奋。

“过去6个月里，关于AGI的风险和讨论取得了很大的进展，人们似乎致力于制定一个框架，让AI造福人类。”Sam Altman表示。

在推进全球合作的过程中，Sam Altman主要有三种计划，一是在训练广泛模型并在其部署之前，思考应该进行什么样的测试；二是就构建反映人们目标、价值观和实践的数据库进行了新的讨论，三是利用数据库来使他们的系统与之对齐，并探讨了开展共享AI安全性研究的形式问题

Sam Altman表示，“虽然全球合作总是很困难，但是我认为这既是机会也是威胁，它将世界团结在一起。”

如何通过技术解决安全问题？

张宏江提到，在过去几年中，许多AI系统都付出了很多努力来优化其对齐性能。但仅通过对齐性的研究也许并不能完全解决AGI的安全性问题。

Sam Altman认为，“对齐”的研究还在不断演变之中，从传统意义上讲，让模型按照用户意图进行沟通的对齐仅是其中的一部分，还会有其他方面的问题，例如，如何验证系统正在按照我们的意愿行事，以及将系统与哪些价值观对齐等，最重要的是全面考虑如何获得安全的AGI。

“在技术之外，我们必须设计出公平的、有代表性和包容性的系统。我们不仅需要考虑AI模型本身的安全性，还需要考虑整个系统的安全性。因此，我们需要构建安全的分类器和检测器，以监测符合用户政策的情况。”Sam Altman表示。

此外，他认为很难预测和预先解决任何技术可能出现的问题。因此，从实际使用中学习并快速部署数据，观察在一个国家中会发生什么，并给人们提供时间来学习、更新和思考这些模型将如何影响他们的生活，这也非常重要。

被问及是否将重新开放GPT的源代码，就像在ChatGPT3.0之前一样时，Sam Altman表示，公司开源了一部分模型，其他模型则不开源，但随着时间的推移，他期待有更多的开源模型出现。“目前我没有具体的模型或时间表，但这是我们正在努力的事情。”

据了解，Sam Altman主持了一个开源机构，将采用一种算法来开发模型，并引入新的Python模型和A-15模型。

开源是否会引发安全问题？Sam Altman以A-15模型为例说明，该模型提供了额外的安全控制，能够阻止某些用户、某些类型的微调。

“这是一个重要的回归点。就目前模型的规模而言，我对此并不太担心，但随着模型变得越来越大，确保正确性的代价可能会变得昂贵。我认为开源一切可能不是最优的路径，尽管这确实是正确的路径。我认为我们只需小心地朝着这些节点前进。”Sam Altman表示。

关键词