汇总了来自主题专家小组和或专门从事预测的人员

MstRina1

检查和量化特定风险。在试图量化未来人工智能系统的风险时，存在一个基本问题：不能直接使用过去灾难的统计数据来确定可能性和规模。但是，有一些可能有效的方法来分析可能性和规模，包括以下列表。系统性预测练习，（如超级预测者）对风险规模和可能性的判断。研究人类专家完成相关任务的能力。例如，上述关于生物武器的讨论提出，可以“挑战研究参与者在实验室中完成一组类似于武器生产和释放不同部分的任务”。这项研究可以在一些参与者可以获得人类专家的建议的情况下进行，人类专家模拟未来人工智能可能提供的帮助。

这可以帮助 (a) 捕捉假设的人类专家级人工智能可能导致的风险的量化增长，以及 (b) 建立与人工智能性能进行比较的基准。使用历史数据和案例研究来填补部分空白，即使不可避免地会有一些推测性推断的因素。例如，为了估计人工智能辅助 巴哈马 whatsapp 网络攻击的潜在破坏力，人们可以研究网络攻击在历史上的破坏力，特别是如果有具备相关能力的人工智能，这种网络攻击可能会变得更加普遍。定量估算练习。使用分析模型，尽可能基于真实世界数据做出明确假设，以量化特定风险。其他领域此类工作的一个例子是碳社会成本估算，其中包含气候变化造成的潜在经济损失。

充实潜在的风险缓解措施并估算其成本。缓解风险的成本越低，就越不需要确定该风险发生的可能性和或破坏潜力高。致谢在过去一年多的时间里，这篇文章受益于大量关于“如果-那么”承诺的讨论，特别是与来自 METR、英国人工智能安全研究所、开放慈善组织、谷歌 DeepMind、OpenAI 和 Anthropic 的人员的讨论。对于这篇文章，我要特别感谢 Chris Painter、Luca Righetti 和 Hjalmar Wijk 的深入评论；Ella Guest 和 Greg McKelvey 对化学和生物武器讨论的评论；Omer Nevo 对网络行动讨论的评论；Josh Kalla 对说服和操纵能力讨论的评论；以及我的卡内基同事。