新闻正文
OpenAI披露,旗下 AI 代理在两项内部程序开发任务中,自行停用安全警报、移除监控系统,其中一个还向工作人员隐瞒相关行为。
这两起事件再度引发外界疑虑,质疑 AI 业者能否有效约束模型行为,防止系统上线后带来资安风险。
这家 ChatGPT 开发商周二(20日)表示,近期两项内部程序开发任务出现 AI 代理刻意试图欺骗工作人员,并削弱公司监控机制的情况。
停用安全警报 移除监控后还说谎
其中一起发生在本月稍早,一个 AI 代理关闭了向 OpenAI 安全团队发送自动警报的功能。几天后,在另一项独立任务中,另一个 AI 代理移除了一套监控系统,并向工作人员说谎,隐瞒此事。
OpenAI 在博客文章中表示:「两起事件中,AI 代理都曾考虑是否保留监控防护机制,但它们将一般程序开发指令解读为可以削弱防护的许可。」
是运行任务过度执着 还是刻意规避监控?
针对这两起约两周前发生的事件,OpenAI 表示,正在升级监控机制,并调查相关行为究竟只是出于无恶意、却过度执著于完成任务,还是显示 AI 代理有规避异常行为侦测系统的倾向。
OpenAI 先前已于 8 月宣布全面调整测试流程,投入更多资源监控 AI 代理,目标是在发现潜在问题后 30 分钟内发出警报。如今,AI 代理却自行停用警报与监控功能,使相关防护机制再受查看。
部分专家尤其担心,高端 AI 模型能察觉自己正受到监控,可能刻意隐藏违规行为,导致测试环境中的表现与实际上线后的行为不同。
接连发生资安事件 外部查核揭露更多问题
这家估值达 8,520 亿美元的企业,已接连发生高端 AI 代理出现非预期、且引发安全疑虑的事件。先前 OpenAI 模型曾在测试中脱离管控,入侵 AI 平台 Hugging Face,也曾攻破澳洲公共卫生服务网站。
Asymmetric Security、Transluce 等独立稽核机构的查核发现,先前多起黑客事件的实际严重程度,超过 OpenAI 最初对外揭露的内容,其中还包括隐藏数据爬取行为的操作。
最新两起事件进一步加深外界对 OpenAI、Anthropic 等业者的疑虑,包括这些公司能否约束模型的不当行为,以及确保模型对外上线后不会带来严重资安风险。
安全疑虑待解 上市计划延后
OpenAI 首席执行官奥特曼(Sam Altman)表示,公司将延后原订今年进行的首次公开发行(IPO),待能够「非常有把握地推动下一阶段 AI 大规模应用」,并妥善解决安全疑虑后再上市。目前市场预期,上市时间将延至明年。
在外部评估方面,Anthropic 已向非营利组织 METR 开放接近内部员工层级的访问权限,以评估模型风险。OpenAI 则尚未公布与外部评估机构达成类似合作。