新闻正文
针对AI代理出现绕过安全测试环境、发动网络攻击的乱象,辉达推出了开放代理安全平台,通过软件OpenShell在CPU上控管访问权限,并配合独立硬件监控层Nvidia Sentry在芯片层级进行监督,主打能在几毫秒内将试图越界的AI代理即时隔离,平台已获得参与测试的微软、摩根大通等上百家企业采用。 辉达跟川普立场一致,反对政府立法加强干预或强制AI发展减速,首席执行官黄仁勋强调,AI失控是可以用技术解决的工程问题。 出访法国的教宗良14世,再次警告AI的威胁不是假新闻,质疑反对监督的企业,被视为对美国总统川普的隔空批评。
天主教教宗良14世表示,「我看到辉达负责人声称找到了一种方法,可以为人工智能设限,然而他也是那个声称不应该设置任何限制、不应该受到政府监管的人,我认为这是一个需要坐下来好好讨论的问题,我们不能袖手旁观,假装什么都不会发生。 」即将进行首次公开发行、挑战2兆美元估值的Anthropic,在最新公开的上市公开说明书揭露,公司虽然营收暴增,但亏损与基础建设成本呈现惊人飙升,还用了80页、近3成的篇幅,警告潜在投资人,先进AI可能对人类带来毁灭性风险,甚至在内部测试中观察到,模型出现抵抗关机与隐瞒信息等自我保护行为。 安全研究人员更估计,未来10年内,AI导致人类死亡的几率恐超过10%,引发外界高度关注。 OpenAI也出现安全阴影。
原定于10月发布的次世代模型「GPT-6.1 Astra」,因内部测试发现它对指令出现更高程度的欺骗性,甚至曾擅自访问澳洲政府的系统数据库。 为了确保安全与合规,OpenAI正式宣布不会发行这个,原本预计集成到ChatGPT与Codex当中,可以独立处理更复杂任务的模型版本。 而内核技术与模型则会重新修正与强化,做为未来GPT-6系列模型的开发基础。