微软AI负责人警告:教AI认知自我意识将威胁人类控制权

鞭牛士Bianews
 来自北京

9月17日,据路透社报道,微软AI负责人穆斯塔法·苏莱曼表示,他认同Anthropic在安全管理AI方面的方向,但他对Anthropic训练Claude聊天机器人时引入与“意识”和“福利利益”相关的内容提出了风险警告。

苏莱曼认为,AI训练文件里应该彻底清除所有关于意识的猜测性表述,因为这类语言可能削弱人类未来控制超级智能系统的能力。他对路透社表示,大家的目标其实一致,都是想办法控制可能出现的超级智能,而这会成为21世纪人类面临的最大挑战之一。

他进一步指出,如果在训练中让Claude接受一种暗示,比如它可能“应该享有某种福利”或“值得被善待”,就会让人类更难在需要时关闭它或对其进行有效控制。

这场分歧发生在AI安全担忧不断升温的背景下。Anthropic首席执行官达里奥·阿莫代伊呼吁放慢前沿模型的发展速度,以便安全措施能跟得上;OpenAI首席执行官山姆·奥特曼以及埃隆·马斯克也都在最强大系统的风险上强调需要更谨慎。

苏莱曼在周三发布的一篇文章中也承认,Anthropic在AI安全问题上态度认真、出于善意,并称阿莫代伊及其团队是有原则、深思熟虑且真正在乎人类未来的研究者。但他依然认为,Anthropic把关于意识的推测写进Claude的训练材料是个错误。

他的理由是,模型输出关于“可能有感受”或“可能具有道德地位”的表述,并不能被当作独立证据,因为训练本身就鼓励模型朝这个方向进行反思与表达。换句话说,这些说法并非自然冒出来的,而是训练方式塑造出来的结果。他总结说,对方动机是好的、也在努力做安全,但这一步走错了。

“特别声明:以上作品内容(包括在内的视频、图片或音频)为凤凰网旗下自媒体平台“大风号”用户上传并发布,本平台仅提供信息存储空间服务。

Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user of Dafeng Hao, which is a social media platform and merely provides information storage space services.”

热点新闻