人工智能的历史已经进入一个旧有比喻不再适用的阶段。它不再只是一个聪明的聊天机器人，不再只是数字化参考工具，也不再只是生成图片和文本的玩具。我们面前正在形成一种新的技术基础设施，它正在逐步接管编程、数据分析、网络行动、科学建模、商业流程管理，甚至下一代人工智能系统的研发。
正因如此，安索公司近期发出的警告听起来并不像又一份普通的企业新闻稿，而更像是来自产业内部的警报。这家创建克洛德系列模型的公司表示，先进人工智能系统的发展可能不仅需要新的规则，而且在风险开始失控时，可能需要全球范围内放缓甚至暂时停止竞赛。其担忧的核心，是递归式自我改进现象，也就是人工智能系统开始在创造更强大人工智能系统的过程中发挥关键作用。
这已经不是哲学幻想。根据安索公司自己的数据，到二零二六年五月，进入其内部代码库的代码中，超过百分之八十由克洛德编写。在二零二五年二月克洛德代码以研究模式推出之前，这一比例还处在较低的个位数水平。换言之，在一年半时间里，人工智能已经从程序员助手变成了完整的生产环节，世界领先实验室之一的大部分工程工作都要经过这一环节。
也正是在这里，最核心的问题出现了。如果人工智能已经在为创造人工智能的公司编写代码，那么工具在何处结束，自主技术循环又从何处开始？目前，人类仍在提出任务、检查结果、作出架构决策并承担责任。但趋势本身已经十分清楚：模型不仅变得更强大，而且在那些能够加速其自身进一步发展的领域变得更有用，例如编程、测试、查找错误、优化基础设施、生成合成数据、自动化实验以及开发智能代理。
递归式自我改进：恐怖故事，还是工程现实？
“递归式自我改进”这个概念常常听起来像科幻小说情节。机器改进自身，新版本再改进下一个版本，随后过程加速，而人类逐渐失去理解、控制和限制系统的能力。在公共写作中，这很容易被描绘成“机器叛乱”。但真正的问题更加细微，也更加危险。
没有人说今天的模型拥有意志、意识或政治意图。它们的危险不在于它们会“想要”毁灭人类。危险在于另一点：它们可能成为极其高效的优化、自动化和规模化工具，以至于人类制度 - 法律、国家、劳动力市场、安全体系、科学伦理 - 来不及完成重构。
这里的递归性并不意味着神秘的自我进化，而是一个现实的生产循环。人工智能帮助编写代码。代码改善人工智能基础设施。改善后的基础设施使训练更强模型成为可能。更强模型又能更好地编写代码，更好地设计实验，更好地自动化研究流程。在每一个阶段，人类仍然处在链条之中，但人类所占的比例可能不断缩小。到了某个时刻，控制不再是直接管理，而变成了事后审计，而被审计的系统运行速度已经超过了人类检查它的速度。
这正是当前阶段与以往技术革命的根本区别。蒸汽机不会设计下一代蒸汽机。电网不会为更强大的电网编写工程规范。互联网不会以自主实验的方式自行创造新的大规模影响协议。而现代人工智能系统已经参与制造自己的工具、自己的应用、自己的界面以及自己的扩展机制。
刹车踏板：为什么产业善于加速，却几乎不会停止
安索公司的核心判断非常简单：人工智能产业有油门，却没有刹车。油门是什么？是风险投资、数据中心、图形加速器、云基础设施、模型竞赛、企业合同、军事兴趣、证券市场预期、美国与中国的竞争、投资者压力，以及硅谷内部对速度的崇拜。
刹车则完全不同。刹车意味着独立验证、强制性发布前测试、计算集群管控、训练运行报告、模型说明文件、红队测试、模型权重的网络安全、拒绝执行机制、对智能代理自主行为的法律责任、国际检查机制、前沿人工智能标准，以及政治上准备说出这样一句话：在可控性得到证明之前，不能继续向前。
问题在于，刹车与竞赛经济相冲突。如果一家公司自愿放慢速度，而竞争对手继续训练新模型，市场会惩罚谨慎者。如果一个国家实施严格限制，而另一个国家保持最大加速模式，战略不平等就会出现。如果封闭实验室同意暂停，而开放组织或国家机构继续在暗处实验，那么暂停只会变成送给不负责任玩家的礼物。
正因如此，安索公司谈论的不是浪漫化的“让我们全都停下来”，而是协调一致、可以核查的机制。没有核查，任何暂停都毫无意义。但人工智能领域的核查比核领域更困难。导弹井很难隐藏。铀浓缩工厂会留下物理痕迹。而模型训练可以分散到云计算能力之中，可以隐藏在商业任务背后，可以拆分为不同阶段，可以伪装成研究计算，也可以转移到监管最少的司法辖区。
最大的危险不是“邪恶人工智能”，而是掌握强大人工智能的人
关于人工智能的流行讨论中，最薄弱的部分就是沉迷于“机器起义”的形象。现实中，最早、也最可能出现的风险，并不是科幻式场景，而是非常现实的人类滥用。
人工智能已经在强化网络侦察、自动化钓鱼攻击、漏洞搜索、恶意代码生成、个性化宣传、政治影响行动、合成内容的大规模生产、专家形象伪装、社会群体操纵以及官僚控制自动化。人工智能代理越自主，执行复杂行动所需的人类就越少。过去，一场大规模虚假信息行动需要一支团队：分析师、撰稿人、译者、设计师、定向投放人员、网络管理员。现在，这条流水线中的相当大一部分可以被自动化。
特别危险的是“模型加工具”的组合。只要语言模型只是在聊天窗口中回答问题，它的风险还受到界面限制。但当它获得浏览器、终端、企业数据库、电子邮件、支付系统、客户关系管理系统、云基础设施、代码库以及外部服务应用程序编程接口的访问权限时，它就变成了代理。这样的代理不再只是写文字。它开始行动。
从工程角度看，这意味着从生成式人工智能转向代理式人工智能。模型获得目标，规划步骤，调用工具，检查中间结果，修正错误，然后继续循环。关于克洛德代码架构的研究显示，现代代理系统围绕一个反复循环建立：模型分析状态，选择工具，执行动作，再把结果送回上下文。在这个核心周围，又出现了权限系统、安全分类器、上下文管理、工作环境隔离以及日志记录机制。
这不是“意识”。这是行动自动化。但对安全世界而言，这一区别有时并没有那么重要。如果一个系统能够独立发现漏洞、编写攻击代码、启动命令、修改文件并掩盖后果，那么它是否拥有“内心世界”就是次要问题。关键在于：是谁启动了它，它拥有哪些访问权限，谁承担责任，以及是否能够停止它。
经济正在承压：人工智能不会立即消灭劳动，它会改变能力的价格
另一个风险层面是劳动力市场。公共话语中通常提出的问题是：“人工智能会取代人类吗？”这个问题太粗糙。更准确的表述应当是：哪些人类劳动会失去独特性，哪些会变得更廉价，哪些会变得更强大，哪些会变成对自动化系统的监督？
安索经济指数基于对四百多万次克洛德对话的分析显示，人工智能的使用尤其集中在编程和写作任务中，这两类合计几乎占全部记录活动的一半。同时，约百分之三十六的职业已经至少在四分之一相关任务中使用人工智能。在百分之五十七的情况下，人工智能用于增强人类活动；在百分之四十三的情况下，它用于以最低限度的人类参与自动完成任务。
这是一个重要数字。它说明，人工智能不只是“提供帮助”。它已经作为重新分配生产率的机制进入经济体系。优秀专家借助人工智能会变得更快。普通专家借助人工智能可能完成过去需要一个团队才能完成的工作。拥有人工智能的公司可能会减少初级岗位招聘。新人进入职业领域会变得更困难，因为过去初级员工用来学习的常规任务正在被自动化。
在编程领域，情况尤其剧烈。基于二零二五年至二零二六年代码托管平台数据的克洛德代码应用研究显示，人工智能工具出现后，开发者活动有所上升：每月代码提交次数增加，代码库数量扩大，所使用编程语言的多样性提升。这并不能在所有情况下构成最终的因果证明，但信号已经很明显：人工智能正在改变开发者行为，并降低进入新技术领域的门槛。
下一轮冲击不会只落在程序员身上。分析师、译者、编辑、初级律师、顾问、营销人员、客服人员、会计助理、项目协调员、内容经理、合规专员都将面临压力。但消失的不会是完整职业，而是职业内部的某些任务。正因如此，胜出的不会是那些“会使用一个程序”的人，而是那些能够提出任务、检查结果、理解专业领域、看清战略背景，并且不会把漂亮回答误认为可靠结论的人。
为什么人工智能系统比石油、银行或核能更难监管
主张严格控制的人喜欢使用历史类比：核武器、航空、制药、金融、石油工业。所有这些领域都经历过灾难、危机和政治压力，之后才形成了监管框架。但人工智能在多个方面都不同于它们。
第一，人工智能是一种通用技术。它并不局限于某一个行业。同一个模型可以编写代码、分析医学数据、辅助司法实践、创作广告文本、模拟蛋白质、生成网络钓鱼邮件、控制机器人，并与客户进行谈判。
第二，人工智能以数字方式扩展。一架飞机上的错误，仍然只是一架飞机上的错误。而一个大规模部署模型中的错误，可能瞬间出现在数百万次用户会话之中。
第三，研究、产品和基础设施之间的边界已经变得模糊。实验室可以把模型称为研究项目，初创企业可以把它称为商业产品，国家可以把它称为战略工具，用户可以把它称为日常应用。但其技术基础可能是同一个系统。
第四，许多风险不是局部性的，而是系统性的。一个较弱模型如果掌握在百万用户手中，造成的危害可能超过一个封闭环境中的强大模型。反过来，一个超强模型如果被用于军事或情报系统，即使没有大众访问权限，也可能成为战略不稳定因素。
第五，人工智能的检验不能简化为一次测试。模型可能通过标准基准测试，却在真实环境中失败。它可能在实验室条件下表现安全，但在复杂提示注入、长上下文、工具访问或与其他智能代理互动时表现完全不同。
正因如此，现代标准越来越少谈论“安全证书”，而更多谈论风险管理生命周期：威胁建模、红队测试、评估体系、事故报告、持续监测、回滚机制、访问控制、模型权重安全、安全部署、人在回路、审计日志。美国国家标准与技术研究院在其生成式人工智能风险管理框架中，明确把这类系统描述为需要持续评估和管理的对象，而不是发布前一次性检查的对象。
欧洲已经开始建立法律框架。美国仍在加速与控制之间保持平衡
欧盟率先试图把人工智能治理转化为一套大规模法律体系。欧盟人工智能法已经开始分阶段引入义务：被禁止的实践和人工智能素养要求自二零二五年二月二日起开始适用；通用人工智能模型规则自二零二五年八月二日起开始适用；部分高风险系统要求将在稍后适用，并设有延续至二零二八年的过渡期。
这并不是一种完美模式。欧洲路径因复杂、官僚负担沉重以及可能抑制创新而受到批评。但它的优势在于，它至少承认一点：人工智能不只是应用程序市场，而是权力、安全和人权的基础设施。通用模型需要特殊制度，因为它们可以被嵌入成千上万个下游应用，而原始开发者已经无法控制每一种具体使用形式。
美国采取的是另一种方式。美国模式传统上更依赖自愿标准、国家与实验室之间的合作、国家安全逻辑以及竞争逻辑。美国国家标准与技术研究院提出风险管理框架，但这些框架在很大程度上仍属自愿性质。与此同时，华盛顿不能允许本国企业受到过度拖慢，因为人工智能已经成为与中国战略竞争的一部分。
中国则把人工智能视为工业跃升、国家治理、军事现代化和意识形态控制的工具。因此，全球暂停的想法会撞上严酷的地缘政治现实：没有一个大国愿意在某一天醒来时发现，竞争对手已经率先获得一种能够加速科学、情报、网络能力、机器人技术和国防规划的技术。
自愿暂停几乎不可能。但可控放缓是必要的
最天真的设想，是认为领先实验室会简单地达成协议，决定“更加谨慎”。这不会奏效。赌注太大了。人工智能市场已经与数千亿美元估值、未来上市、政府合同、云计算巨头、芯片制造商以及证券市场预期紧密相连。太多参与者都希望继续加速。
根据《二零二六年国际人工智能安全报告》的数据，到二零二五年，已有十二家公司发布或更新了自己的前沿人工智能安全框架。这总比什么都没有要好。但此类举措大多仍然是自愿性的。自愿安全在安全尚未妨碍竞争优势之前是有效的；一旦安全开始影响竞争优势，它就会面临真正考验。
因此，问题不应是浪漫化地停止进步，而应是建立严格的风险等级体系。
第一等级，是没有关键工具访问权限的普通模型。
第二等级，是具备智能代理功能、但运行在受限环境中的模型。
第三等级，是能够自主编写并运行代码、与外部系统协作、进行网络分析的模型。
第四等级，是具备危险能力迹象的模型：辅助生物设计、自主网络行动、绕过防护机制、战略规划、可规模化影响行动。
第五等级，是能够显著加速下一代模型研发，并降低人在研究周期中作用的模型。
每一个等级都应有不同要求：从简单文档到强制外部审计，从计算训练许可到模型权重访问控制，从化学、生物、放射性和核风险审查，到自主行为测试、网络安全评估以及紧急停止机制。