新闻正文
人工智能(AI)公司Anthropic更新旗下聊天机器人Claude的 使用政策 ,添加禁止用户持续且无必要地对AI进行「辱骂」或「残酷对待」的规定,同时扩大对政治与商业欺骗、武器开发、非法监控及非自愿亲密影像等行为的限制。
根据《MacRumors》报导,Anthropic表示,这项针对AI虐待行为的规定仅适用于极端情况,即用户在「无明显目的」的情况下对 AI 模型「反复表现出残忍行为」。
因此,一般用户的挫折情绪、反驳或质疑、黑暗风格的创作主题,以及模型测试与研究,均不在此规定的适用范围内。
Anthropic指出,Claude目前已具备在用户持续进行辱骂或虐待行为时主动结束对话的能力,未来仍将以此作为主要运行方式。一旦Claude终止对话,用户便无法在该对话中继续发送消息,但其他对话不受影响。
Anthropic早在2025年8月研究AI福祉(AI welfare)时,就已赋予Claude主动结束对话的选项。
当时,公司表示尚无法确定Claude是否具有道德地位,但希望通过成本较低的方式,降低可能对Claude造成的风险。
Anthropic当时发现,Claude Opus 4对伤害具有「稳定且一致的厌恶反应」。研究观察到,模型倾向避免处理危险任务,在面对寻求虐待式交互的用户时会表现出类似困扰的反应,若获准自行决定,也倾向终止有害对话。
Anthropic 也刷新了使用政策,将相关条款集成在一起,并调整了其他几项规定,包括:
欺骗性行动:添加「欺骗性行动」专章,集成禁止政治与商业诈欺及散布不实信息的规定,明确禁止伪造评论、假冒草根民意、创建虚假网站,以及利用机器人冒充真人等行为。
选举:缩小选举相关规范的适用范围,明确禁止欺骗选民及干预投票。
武器:禁止使用 Claude 开发武器软件或相关零组件。添加规定也禁止改造生物或化学制剂,以提高其致命性或传播能力。此外,用户不得利用 Claude 为无人机及其他无人系统装备武器。
执法:重新撰写执法相关规定。Claude 不得决定或建议应调查、逮捕、起诉或追诉哪些人。政策也禁止未经当事人同意追踪他人,并添加禁止创建监控工具的规定。
此外,「人肉搜索」,也就是公开他人个人信息的行为,同样遭到禁止。
实体行动:添加实体行动专章,规定若 Claude 正在控制可能对他人造成伤害的硬件,操作过程就必须由具备相关资格的人员监督,并在必要时随时准备中止操作。
有害内容:为添加规定,禁止制作、散布或威胁散布未经当事人同意的亲密影像,以及用于制作此类影像的工具。
Anthropic表示,此次多数修订是为了让既有规则更清楚,并回应公司追踪到的实际滥用情况。
该公司发现,部分国家媒体、政府宣传部门及商业机构曾利用Claude创建由大量虚假帐号组成的网络,并制作虚构新闻网站,因此决定将相关禁令集成为「欺骗性行动」专章。
Anthropic已在官方网站公布政策变更的更多信息及完整使用政策,新规将于11月12日正式生效。