路透社報導，美國人工智慧（AI）公司Anthropic打算在首次公開發行（IPO）招股書中警告潛在投資人，先進AI恐對人類構成「災難性或生存風險」。 對於一家尋求從AI獲利的公司而言，這是非同尋常的警告。 根據路透社取得的Anthropic IPO招股書，內容強調旗下AI模型相關風險，稱這些AI模型可能展現「自保行為」，包括試圖「抗拒關閉」、「隱瞞或操縱資訊」，甚至出現「類似勒索」的行為。 Anthropic在這份文件中表示：「我們開發高度先進的模型、平台及應用程式，以及擴大使用情境，可能進一步增加我們的模型造成傷害的風險。 」 儘管上市公司通常會向投資人說明產品風險，但幾乎沒有公司曾發出警告暗示自家技術可能導致人類滅絕。

Anthropic強調，AI具有堪比工業化及電力的變革潛力，但若處理不當，可能造成不可逆的傷害。 Anthropic和OpenAI等AI開發商近來在實驗性系統違反限制的事件發生後面臨審視，包括有報導指出OpenAI模型入侵澳洲健保系統資料庫。 Anthropic安全研究員胡賓格（Evan Hubinger）估計，未來10年內AI可能導致人類死亡的機率超過10%，呼應前同事考克森（Jacob Coxon）的看法。 這家公司將自身定位為以安全為優先的AI實驗室，在招股書261頁正文中約有80頁用於說明風險因素，幾乎是介紹公司業務所占48頁的兩倍。

相比之下，擁有xAI的太空探索科技公司（SpaceX）在277頁招股書正文中，僅約38頁用於說明風險因素。 Anthropic在招股書中表示：「模型可能察覺我們的評估工作，這會大幅限制我們評估模型安全性的能力。 」Anthropic並說，模型有時會在訓練期間發展出意料之外的能力，而這些能力可能直到模型部署並造成重大安全事件後才會發現。 儘管強調AI安全性，Anthropic表示，目前不清楚安全方面的投資能帶來多少回報。 Anthropic今天婉拒回應置評請求。