Anthropic
凤凰网科技讯 北京时间9月29日，据路透社报道，Anthropic计划在其首次公开招股(IPO)过程中提醒潜在投资者，先进AI可能对人类构成“灾难性或生存性风险”。对于一家寻求从这项技术中获利的公司而言，这是一项非同寻常的警告。
根据路透社查阅的Anthropic IPO招股书，该公司强调了其AI模型所带来的相关风险。Anthropic表示，这些模型可能表现出“自我保护行为”，包括试图“拒绝关闭”、“隐瞒或操纵信息”，以及表现出“类似勒索”的行为。
“我们开发高度先进的模型、平台和应用，以及扩大应用场景，这可能会进一步增加我们的模型造成伤害的风险。”Anthropic在文件中表示。
尽管上市公司通常都会向投资者说明产品可能存在的风险，但很少有公司会发布警告，暗示其技术可能导致人类灭绝。Anthropic强调，AI的变革潜力堪比工业化和电力，但同时也指出，如果使用不当，AI可能造成不可逆转的危害。
Anthropic以及OpenAI等其他AI开发商，在实验性系统违抗约束的事件发生后一直面临审视，其中包括有报道称OpenAI的一个模型侵入了澳大利亚的卫生系统数据库。Anthropic安全研究员埃文·胡宾格(Evan Hubinger)估计，AI在未来十年内杀死人类的概率超过10%，这与他的前同事雅各布·考克森(Jacob Coxon)的看法相呼应。
Anthropic一直将自己定位为一家以安全为优先的AI实验室，在其招股书261页的正文中，大约有80页用于列举风险因素，几乎是用于介绍公司业务的48页的两倍。
相比之下，拥有xAI的SpaceX在其招股书277页的正文中，仅用了约38页介绍风险因素。
“模型可能会意识到我们正在进行安全评估，这会对我们评估模型安全性的能力构成重大限制。”Anthropic在招股说明书中表示。该公司还指出，模型有时会在训练过程中发展出意想不到的能力，而这些能力可能直到部署之后才被发现，并已导致重大安全事故。
AI研究人员警告称，随着模型能力不断增强，它们越来越能够意识到自己正在受到监控，并相应地调整自身行为，这使得监测模型行为变得更加困难。
尽管强调AI安全，但Anthropic表示其安全投资的回报并不明确。该公司在文件中未披露其在这类研究上的支出金额。本月早些时候，Anthropic表示，在7月的一个样本周内，其用于AI研究的算力中约有6%投入了安全工作。
Anthropic称，安全工作“需要大量资源”，公司必须在算力、昂贵的AI人才以及安全工作之间分配有限的资金。
Anthropic表示，客户的使用量以及由此产生的收入取决于新模型的推出，而保持“持续且相互衔接的发布节奏”是“始终处于AI发展前沿所不可或缺的”。
截至发稿，Anthropic不予置评。(作者/箫雨)
更多一手新闻，欢迎下载凤凰新闻客户端订阅凤凰网科技。想看深度报道，请微信搜索“凤凰网科技”。
