新闻正文
一名前 OpenAI 安全研究员近日离职后,批评公司对人工智能(AI)安全的处理方式,认为企业文化过度追求快速开发,导致开发步调过于急促,增加系统发生失误的风险。
根据《路透》报导,OpenAI前安全研究员罗宾森(David Robinson)近日离职后,周六(3日)在《大西洋》发表题为「I Quit OpenAI Because Its Culture Is Broken」的文章。
他指出,包括OpenAI在内的AI公司,对安全议题的谨慎程度远远不够,应在开发更强大的AI系统前,优先投入安全专业与研究。
罗宾森指出,OpenAI高度依赖所谓的「迭代部署」(iterative deployment)策略,也就是先推出AI系统,再根据实际使用过程中出现的问题,逐步强化安全措施。
他强调,AI产业的「试错时代已经结束」,先进AI系统所需的安全防护,应比照核能与航空等高风险产业采取更严格的标准。
他的批评也为 AI 产业内部的争论增添新的声音,焦点在于企业是否正以过快的速度开发愈来愈强大的系统。
OpenAI 及竞争对手 Anthropic 过去都曾因安全控制措施失效,或实验性系统出现非预期行为而受到查看。
罗宾森曾在OpenAI任职3年半,参与起草公司的准备度框架,并负责监督12次尖端模型发布的安全报告。
他在文章中写道:「当公司从一次发布迅速奔向下一次发布时,却未能达到我认为必要的谨慎程度。」
对于罗宾森的批评,OpenAI 发言人在声明中表示:「我们确保模型的能力不会超出我们能够安全管理与防护的范围;当有必要放慢脚步时,我们会暂停训练或延后发布模型。」
罗宾森也警告,AI 的能力进步速度已超越研究人员对「对齐」(alignment)的理解。对齐是指确保 AI 系统的行为符合人类目标与价值观的研究领域。