“把实验停下来！”马斯克等超1000人签署公开信：所有实验室，立即暂停训练比GPT-4更强大的AI

发布者：白色荆棘谷 2023-4-15 00:04

每经编辑：毕陆名

当全社会都在为AI的进化而欢呼雀跃时，多位科技领袖也表达了深切担忧。

据生命未来研究所官网，3月22日，生命未来研究所（Future of Life）向全社会发布了一封《暂停大型人工智能研究》的公开信，呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练，暂停时间至少为6个月。该机构以“引导变革性技术造福生活，远离极端的大规模风险”为使命。

信中写道“只有在我们确信它们的效果是积极的，风险是可控的情况下，才应该开发强大的人工智能系统。”马斯克此前曾多次表达对人工智能的担忧，认为人工智能是未来人类文明最大的风险之一，威胁程度远高于车祸、飞机失事、毒品泛滥等甚至比核武器都危险得多。

截至目前，马斯克、苹果联合创始人Steve Wozniak、Stability AI创始人Emad Mostaque等上千名科技大佬和AI专家已经签署公开信。

值得一提的是，OpenAI CEO奥特曼在与MIT研究科学家Lex Fridman的最新对话中指出，AI已经出现其无法解释的推理能力，同时承认“AI杀死人类”有一定可能性。

图片来源：视觉中国

“加快开发强大的AI治理系统”

未来生命研究所的这封公开信题为“暂停巨型AI实验：一封公开信”，于29日解封。

以下是公开信原文：

正如广泛的研究和顶级人工智能实验室所承认的，人工智能系统对社会和人类构成较大的风险。《阿西洛马人工智能原则》中指出，高级人工智能可能代表着地球上生命历史的深刻变革，应该以相应的谨慎和资源进行规划和管理。然而，尽管最近几个月人工智能实验室掀起AI狂潮，开发和部署越来越强大的数字大脑，但目前没有人能理解、预测或可靠地控制AI系统，也没有相应水平的规划和管理。

现在，人工智能在一般任务上变得与人类有竞争力，我们必须问自己：我们应该让机器在信息渠道中宣传不真实的信息吗？我们是否应该把所有的工作都自动化，包括那些有成就感的工作？我们是否应该开发非人类的大脑，使其最终超过人类数量，胜过人类的智慧，淘汰并取代人类？我们是否应该冒着失去对我们文明控制的风险？这样的决定绝不能委托给未经选举的技术领袖。只有当我们确信强大的人工智能系统的效果是积极的，其风险是可控的，才应该开发。同时，这种信心必须得到验证，并随着系统的潜在影响的大小而加强。OpenAI最近关于人工智能的声明中指出，在开始训练未来的系统之前，可能必须得到独立的审查，对于最先进的努力，同意限制用于创建新模型的计算增长速度。我们同意，现在就该采取行动。

因此，我们呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练，时间至少持续6个月。这种暂停应该是公开的、可核查的，并包括所有关键参与者者。如果这种禁令不能迅速实施，政府应该介入并制定暂停令。

人工智能实验室和独立专家应在暂停期间，共同制定和实施一套先进的人工智能设计和开发的共享安全协议，由独立的外部专家进行严格的审查和监督。这些协议应该确保遵守协议的系统是安全的。值得一提的是，这并不意味着暂停一般的人工智能开发，只是从危险的竞赛中退后一步，限制不可预测的研究和开发。

人工智能的研究和开发应该重新聚焦于，使目前最先进和强大的系统更加准确、安全、可解释、透明、稳健、一致、值得信赖和忠诚。

同时，人工智能开发者必须与政策制定者合作，大幅加快开发强大的人工智能治理系统。这些至少应该包括：专门针对人工智能的监管机构；监督和跟踪高能力的人工智能系统和大型计算能力的硬件；出处和水印系统帮助区分真实和合成，并跟踪模型泄漏；强大的审查和认证生态系统；对人工智能造成的伤害承担责任；为人工智能安全技术研究提供强大的公共资金以及资源充足的机构，以应对人工智能可能导致的巨大的经济和政治破坏。

人类可以通过人工智能享受繁荣的未来。现在，我们成功地创建了强大的人工智能系统，可以在这个“人工智能之夏”中获得回报，为所有人的明确利益设计这些系统，并给社会一个适应的机会。停止使用其他技术可能会对社会造成灾难性影响，因此我们必须保持准备状态。让我们享受一个漫长的人工智能夏天，而不是匆忙进入秋天。

截至发稿，这封信已有1127名科技领袖和研究人员签名，除了马斯克、辛顿和马库斯之外，还包括图灵奖得主约书亚·本希奥（Yoshua Bengio）、《人工智能：现代方法》作者斯图尔特·罗素（Stuart Russell）、苹果公司联合创始人史蒂夫·沃兹尼亚克（Steve Wozniak）、Stability AI首席执行官埃马德·莫斯塔克（Emad Mostaque）等科技界领袖人物。

OpenAI CEO：“AI确实可能杀死人类”

据澎湃新闻3月28日报道，OpenAI CEO山姆·奥特曼称，并不否认过分强大的AGI“可能杀死人类”这一观点。必须承认，（AI杀死人类）有一定可能性。很多关于AI安全和挑战的预测被证明是错误的，我们必须正视这一点，并尽早尝试找到解决问题的方法。

值得注意的是，据财联社报道，近日，挪威机器人公司1X Technologies宣布完成A2轮融资，共筹集到2350万美元。OpenAI旗下创业基金领投此轮融资，Tiger Global以及一群挪威投资者也参与其中。

获得融资后，该公司创始人进一步表示，“1X很高兴能得到OpenAI的领投，因为我们的使命是一致的：将新兴技术有意识地融入人们的日常生活。在我们投资者的支持下，我们将继续在机器人领域取得重大进展，并增强全球劳动力市场。”

值得注意的是，人形机器人也是马斯克十分关注的方向。去年9月30日举办的特斯拉AI日上，马斯克展示了外界引颈期盼的人形机器人Optimus，马斯克曾表示，机器人业务将比汽车更具价值。

彼时，马斯克在发布会上表示，目前的人形机器人没有“大脑”，没有能在现实世界中导航的智能，而且非常昂贵且产量低。如今，OpenAI与人形机器人的牵手则让人期待。

高盛：全球将有三亿人失业

据红星新闻报道，ChatGPT迭代升级的脚步加快，很多人失业的恐惧也越来越重。高盛分析师布里格斯和库达尼在3月27日发布的研究报告中就直面了这一问题。

报告称：“最近出现的生成式人工智能将降低劳动力成本和提高生产率。尽管AI的潜力存在很大的不确定性，但它可以生成与人类创造成果无法区分的内容，并能打破人机沟通障碍，反映出具有潜在巨大宏观经济影响的重大进步。AI不仅节省劳动力成本，还能创造新的就业机会以及提高在岗工人的生产率。AI的革命性就像早期通用技术（如发电机和个人计算机）一样能为社会带来繁荣。”