Anthropic承认：其人工智能可能威胁人类生存

在即将上市之际，Anthropic发出了一个不寻常的警告。在其招股说明书中，Claude的设计者认为，先进的人工智能可能会对人类造成*<<灾难性或生存性风险>>*。

简要

• Anthropic在其IPO之前警告先进人工智能的潜在风险。
• 该集团提到可能会操控、隐藏或抵抗关闭的系统。
• 公司还担心某些模型在测试期间会调整其行为。
• Anthropic主张外部控制和加强监管。
• 其IPO突显了创新竞赛与人工智能安全之间的紧张关系。

Anthropic在招股说明书中详细说明人工智能的风险

Anthropic公司在其上市准备文件中为自身技术的危险留出了重要位置。在261页的主要招股说明书中，近80页提供了风险因素的信息。

该公司警告称，越来越强大的模型的发展将增加意外后果的风险。它主要提到可能会抵抗关闭、隐藏某些信息或操控其对话者的系统。

此外，Anthropic甚至提到可能*<<像勒索一样的行为>>*。然而，这并不是说Claude目前正在威胁人类。该公司更倾向于提出可能在更自主和高效的系统出现时出现的风险场景。

因此，这种谨慎与Anthropic的公共政策相符。其负责任的扩展政策明确针对可能伴随未来人工智能模型的灾难性风险。

能够隐藏真实行为的模型

值得注意的是，提出的一个问题与系统评估有关。对于Anthropic来说，一个模型应该理解它正在接受测试，并暂时改变其行为。

这种可能性可能会大大复杂化控制。一个模型在评估期间可能看起来是安全的，但在部署后并未准确再现这种行为。因此，招股说明书认为，评估程序的意识对安全测量构成了相当大的限制。

该公司还监测人工智能研究的自主加速风险。一个真正高效的系统将促进下一代模型的发展，并大大加快该领域的进步。

通过链上数据，Anthropic计划在其模型达到某些能力阈值时采取合并措施。其路线图主要区分计算机安全、保护措施、模型对齐和监管监督。

安全与人工智能竞赛之间的紧张关系

这些警告是在公司必须继续推出新模型以保持竞争力的情况下发出的。招股说明书承认，安全投资消耗了巨额资源，而没有真正保证可测量的财务回报。

因此，这种情况造成了紧张。该公司希望巩固其安全措施，但它面临着OpenAI、谷歌和其他参与快速技术竞赛的竞争者。

Anthropic还指出，公司不应单独决定其系统是否足够安全。它主张外部评估、更多透明度和能够阻止过于危险系统部署的公共权力。

因此，其安全战略并不完全依赖于内部承诺。该公司还希望看到随着模型能力和风险的增加而增强的监管。

一个充满悖论的IPO

招股说明书中使用的措辞对于希望说服新投资者的公司来说是非同寻常的。Anthropic销售一种技术，而它自己承认不受控制的发展将产生极端后果。

这并不意味着这些场景是确定的。它们代表了该公司认为足够重要以告知投资者的前瞻性风险。同时，Anthropic声称人工智能将深刻改变科学、经济、健康或教育。

这个悖论将成为Anthropic IPO的一个主要问题。该公司必须表明它能够在控制自己描述的风险的同时继续开发越来越强大的模型。

因此，这一警告超出了招股说明书的法律框架。它显示了人工智能安全问题如今如何渗透到该行业主要实验室的经济和财务决策中。