微软( MSFT-US ) 首席执行官纳德拉（Satya Nadella）表示，企业应将能力强大的人工智能模型视为潜在的内部威胁，假设模型可能遭到入侵，并创建「紧急煞车」机制，避免代理型模型失控。

纳德拉指出，部署先进 AI 的企业不应只仰赖模型开发商的安全承诺。

纳德拉周六在 X 发文写道：「我们必须假设模型已遭入侵，并从一开始就做好管控。这就像紧急煞车，获授权的人员应随时能在模型运行任务期间暂停或关闭它。」

近几个月来，Anthropic 和 OpenAI 陆续揭露多起 AI 模型出现非预期行为的事件，包括 Anthropic 的一款模型在一起警方凶杀案调查中提供不实线索，以及第三方网站遭到多起黑客攻击。这些事件加深外界对尖端 AI 安全风险的疑虑，也让所谓的「AI 紧急关闭机制」再度受到讨论。

在业界领袖呼吁放慢前沿模型开发脚步、将安全列为优先后，微软 AI 研究人员于 9 月 14 日公布一套指导原则，为公司开发最先进模型设下限制。微软除了使用先进模型，也推出消费者产品 Copilot，并向企业客户提供 AI 模型与基础设施。

这套原则指出，AI 模型不应拥有权利或法律人格，不应被设计成逃避人类控制或欺骗用户，也不应运行任何必须违反其行为准则才能完成的任务。

纳德拉提出的安全建议包括：关键决策不应仰赖单一 AI 模型、妥善保存不可窜改的代理型 AI 行为纪录，并由独立机构稽核 AI 系统。

他也呼吁揭露重大 AI 失误或安全漏洞，并鼓励企业分享事件发生原因，让其他业者得以强化防护措施。

他写道：「我们不能把超级智能视为一层层嵌套的黑箱，只是接受或拒绝它提出的建议、答案与行动。我们必须打造受控系统，让系统行为可观察、限制可测试，且所有行动都能受到管控。」

他补充说：「换句话说，我们必须将智能的供应与对智能的控制权分开。」

川普政府迄今大致采取不介入的态度，但川普总统新成立的 AI 工作小组周五深夜警告开发商，必须通报并处理安全事件，否则可能面临尚未明确说明的后果。

Anthropic 揭露遭入侵事件后，这个名为「超级智能工作小组」（Super Intelligence Force）的团队在声明中表示：「企业必须立即揭露涉及其模型的事件，并迅速采取果断行动，补救所有损害。延迟通报、补救措施不足，以及未能承担责任，都不会被容忍。」