AI正在成为全球安全议题。
当地时间9月23日，联合国安理会围绕“人工智能与国际安全”举行高级别会议。OpenAI CEO萨姆·奥特曼(Sam Altman)和Anthropic CEO达里奥·阿莫代伊(Dario Amodei)分别向安理会发表讲话，讨论快速发展的前沿AI可能带来的机遇与风险。这也是人工智能进一步进入联合国核心安全议程的一个重要节点。
两位AI公司掌门人的发言并非单纯“唱衰AI”，相反，他们都强调了AI在科学研究、医疗、教育和生产力方面的巨大潜力。但与此同时，两人也罕见地共同将一个问题摆到了全球治理层面：当AI能力提升的速度开始快于人类的理解、评估和监管能力时，谁来确保未来仍然掌握在人类手中？
奥特曼：AI未来不能只由旧金山的实验室决定
在安理会现场，奥特曼将AI描述为一项“可能带来巨大生产力提升的技术”，他同时强调，AI的发展正在进入一个关键阶段。
奥特曼表示，AI未来可能成为推动创造力和科学发现的新工具，也可能带来社会层面的剧烈冲击。真正需要避免的并不是技术进步本身，而是AI能力发展的速度超过人类制度建设和安全能力的速度。
OpenAI首席执行官萨姆·奥特曼(Sam Altman)
奥特曼特别提到了前沿模型越来越多地参与AI自身研发的问题，也就是所谓“递归自我改进”。在他的表述中，一旦AI能够进一步帮助人类开发更强大的AI，技术迭代速度可能进一步加快，人类理解和控制系统行为的难度也会同步提升。
因此他在发言中强调，AI系统必须继续保持在人类控制之下，同时也不能让最关键的决策长期掌握在少数技术公司手中。他表示，如果AI真正属于一个民主社会，那么关于AI未来的重大决定，就应该通过政府和更广泛的公共治理机制来形成，而不能只由旧金山的几家实验室决定。
值得注意的是，奥特曼并没有主张彻底停止AI发展，他所支持的更像是一条“中间道路”：既不能对AI风险视而不见，也不能因为对未来的悲观预测而放弃技术进步。
阿莫代伊：需要给安全研究留出时间
相比奥特曼，阿莫代伊对“放缓AI发展速度”的立场更加明确。
9月12日，阿莫代伊已经公开发表长文《We Must Pace the Frontier》，提出应该适当放慢前沿AI能力提升的速度，为安全研究、外部评估和治理机制争取时间。他同时特别强调，“放缓”并不意味着停止技术进步，而是避免能力增长明显跑在安全措施前面。
Anthropic CEO达里奥·阿莫代伊通过远程方式发言
此次在联合国安理会发言时阿莫代伊再次指出，AI的风险主要来自两个方向，一方面是恶意使用，例如利用AI协助制造生物武器;另一方面则是AI自身能力快速提升，最终出现开发者也难以理解和控制的系统。
他提出的解决思路更加具体，包括建立国际统一的模型风险测试标准、引入新的评估与核验机制，并建立重大AI安全事件的跨国通报体系。此外，他还建议通过国际协议，明确禁止利用AI研发或制造生物武器。
阿莫代伊还给出了一个颇具冲击力的判断：按照目前的发展速度，再过一两年，AI有可能接近“一座数据中心里生活着一整个天才国家”的状态。与此同时，他仍然认为AI可能在医学、科学研究等领域带来重大突破，因此需要解决的并不是“要不要AI”，而是如何在技术继续前进的情况下建立足够可靠的安全边界。
AI进入全球治理阶段
这场会议之所以受到关注，一个重要原因在于讨论AI的主体发生了变化。
过去，AI安全更多是科技公司、研究机构和监管部门之间的技术问题，而如今，联合国安理会已经开始从国际和平与安全的角度讨论人工智能。联合国此前在2023年首次就AI风险召开安理会会议，此后相关议题不断升温。
联合国秘书长古特雷斯在首次人工智能治理全球对话开幕式上讲话
在今年的联合国大会高级别周期间，AI已经成为重要议题。联合国秘书长古特雷斯在首次人工智能治理全球对话开幕式上的讲话中警告，AI正在以让其创造者都难以跟上的速度快速发展，呼吁建立更强的国际治理和安全机制。联合国独立国际科学专家组近期也提出，在充分理解所有风险之前，就应先建立必要的安全护栏。
更值得注意的是，OpenAI就在9月21日公开呼吁建立面向前沿AI的国际技术标准，并提出统一评估方法和重大事件报告机制，将“递归自我改进”列为需要重点关注的领域。
从产业角度看，这意味着AI竞争的重点正在发生变化。过去比的是模型参数、算力和产品迭代速度，接下来还要比谁能够建立更成熟的评估、监控和治理体系。而当奥特曼和阿莫代伊这两家头部AI公司的负责人同时坐到联合国安理会的会议桌前，实际上是正在向全球释放明确的信号：AI仍然要继续向前，但“跑多快”已经不能只由技术进步本身决定——让AI等一等人类是必要的做法。