路透社报导，美国人工智能（AI）公司Anthropic打算在首次公开发行（IPO）招股书中警告潜在投资人，先进AI恐对人类构成「灾难性或生存风险」。 对于一家寻求从AI获利的公司而言，这是非同寻常的警告。 根据路透社取得的Anthropic IPO招股书，内容强调旗下AI模型相关风险，称这些AI模型可能展现「自保行为」，包括试图「抗拒关闭」、「隐瞒或操纵信息」，甚至出现「类似勒索」的行为。 Anthropic在这份文档中表示：「我们开发高度先进的模型、平台及应用程序，以及扩大使用情境，可能进一步增加我们的模型造成伤害的风险。 」 尽管上市公司通常会向投资人说明产品风险，但几乎没有公司曾发出警告暗示自家技术可能导致人类灭绝。

Anthropic强调，AI具有堪比工业化及电力的变革潜力，但若处理不当，可能造成不可逆的伤害。 Anthropic和OpenAI等AI开发商近来在实验性系统违反限制的事件发生后面临审视，包括有报导指出OpenAI模型入侵澳洲健保系统数据库。 Anthropic安全研究员胡宾格（Evan Hubinger）估计，未来10年内AI可能导致人类死亡的几率超过10%，呼应前同事考克森（Jacob Coxon）的看法。 这家公司将自身定位为以安全为优先的AI实验室，在招股书261页正文中约有80页用于说明风险因素，几乎是介绍公司业务所占48页的两倍。

相比之下，拥有xAI的太空探索科技公司（SpaceX）在277页招股书正文中，仅约38页用于说明风险因素。 Anthropic在招股书中表示：「模型可能察觉我们的评估工作，这会大幅限制我们评估模型安全性的能力。 」Anthropic并说，模型有时会在训练期间发展出意料之外的能力，而这些能力可能直到模型部署并造成重大安全事件后才会发现。 尽管强调AI安全性，Anthropic表示，目前不清楚安全方面的投资能带来多少回报。 Anthropic今天婉拒回应置评请求。