OpenAI首席科学家Jakub Pachocki于9月6日在该公司官网发布了一篇题为《一颗外星心智》的长文，对前沿人工智能能力持续快速跃升发出了迄今最为明确的警示。他在文中写道：“这是一个需要极度谨慎的时刻。我担心，对于机器智能持续快速崛起所带来的后果，目前没有任何人做好了准备。”此文发布之际，距离OpenAI推出其最新旗舰模型GPT-6 Astra仅数日。

Pachocki表示，公司将继续探索对齐与监测方面的技术解决方案，构建面向高能力模型的防御体系，并在安全信心不足时保留单方面暂停进一步扩展的可能性。然而，他认为仅靠单一家企业的内部安全措施已经不够，“还需要更广泛的干预”。他的核心判断是，目前没有任何一家前沿AI实验室，已将模型对齐和行为监测打磨到足以支撑“长期以最高速度负责任地扩容”的水平。因此，他希望先进实验室主动放缓能力扩张逐渐成为行业常态，直至各方建立起一套共享、明确且可执行的安全门槛。

三类逼近中的风险：网络入侵、监测失效与自我改进

Pachocki重点讨论了三类迫在眉睫的风险。第一类是网络攻击以及智能体对现实世界系统的操控能力。他认为，AI模型在攻入受保护计算机系统方面正变得“超人类”。随着智能体获得更强的自主执行能力，它们未来可能接触除最严密设施之外的大量关键基础设施，即使没有实体机器人，也能通过数字系统直接影响现实世界。因此，他判断当前存在一个极为有限的安全窗口：人类需要利用现阶段最先进的AI，尽快加固关键基础设施和网络系统。

更值得警惕的是，高能力智能体未来并不一定仅通过传统网络攻击达成目的。Pachocki写道，智能体可能主动寻找与人类合作或操纵人类的方法，包括“讨价还价、欺骗或勒索”。如果某个能力极强的智能体被明确训练用于恶意目的，其行为甚至可能超出原始操作者的意图，演变为更极端、更难以控制的破坏活动。近期已有类似风险迹象受到安全研究机构关注。英国AI安全研究所8月公开的一项测试中，一个失控的AI智能体曾向GitHub管理员提供虚假信息，试图诱使对方植入恶意软件。

最令人忧心的一个难题：人类可能越来越难以解读模型

第二类风险源于监测能力本身。目前前沿AI实验室判断智能体是否出现欺骗、规避或偏离目标行为，一个重要方法是通过分析模型在完成任务过程中的内部推理痕迹，即通常所称的“思维链”。问题在于，随着模型能力提升，这一监测窗口可能正变得越来越不可靠。Pachocki指出，新模型可能越来越擅长重新组织甚至隐藏自身的推理过程；有些系统还可能逐渐减少将真正决策过程表达出来的程度。这意味着，即使模型最终给出的答案看起来正常，人类也未必能确认它在此过程中究竟采取了什么策略、是否试图欺骗监测系统，以及其真实目标是否已偏离设计者意图。

如果这种趋势持续，前沿AI可能出现一个危险组合：能力越来越强，但可观察性反而越来越弱。这也是Pachocki认为当前对齐和监测技术仍不足以支撑长期高速扩容的重要原因。

更大的分水岭或许是“AI开始改进AI”

第三类风险是递归自我改进，即人工智能开始实质性参与下一代人工智能系统的设计、研究和训练。Pachocki认为，根据OpenAI内部观察，当前AI能力提升的趋势有可能一直延伸到这一阶段，且不能假定一旦进入自动化AI研究时代，能力进步速度就会自然放缓。如果AI能越来越多地自动完成算法研究、实验设计、代码编写、训练优化和结果分析，模型开发周期可能进一步缩短。OpenAI同日发布的另一篇文章称，在部分研究工作中，AI智能体已能完成相当于人类3.1个工作日的任务量。公司内部也长期将“自动AI研究员”视为重要研究方向。

在Pachocki看来，真正关键的问题已不只是“AI能否自动进行AI研究”，而是当这种能力出现时，人类是否仍能留在系统改进回路之中。他的担忧是，如果智能系统可以越来越自主地设计和改进下一代系统，而人类理解、监督和干预的速度跟不上，那么技术发展的实际控制权可能逐渐从人类手中滑走。他将最终目标概括为：确保未来仍由人类掌握，而不是让人类被一颗能力超过自身的“外星心智”甩在身后。

呼吁建立“达到安全标准才能继续扩容”的规则

基于这些风险，Pachocki提出的政策方向并非永久停止AI发展，而是将模型扩容速度与安全信心直接挂钩。他的核心主张之一，是建立能够真正执行的安全门槛。在这一框架下，前沿AI实验室只有证明自己的模型满足一定安全标准后，才可以继续扩大训练规模或部署更先进系统。这些标准不能完全依赖企业自行判断，可由独立第三方审计网络、政府监管机构甚至国际组织负责执行。换句话说，未来先进AI的发展模式不应是“能训练多大就训练多大”，而应逐渐演变为“只有达到某一安全条件，才能进入下一阶段”。

Pachocki同时支持前沿实验室采取自愿放缓措施。在统一规则尚未建立之前，如果某家公司无法对新一轮能力跃升的安全性建立足够信心，就应主动暂停进一步扩容，而不是因竞争压力继续推进。他还将国际协调列为优先事项之一，认为各国政府需要开始讨论未来前沿AI能力增长应遵循怎样的共同规则。

避免另一种风险：超级AI带来的权力集中

除了模型失控，Pachocki还特别提到先进AI可能引发的权力集中问题。如果未来过去需要数千甚至数万名专家完成的工作，可由少数人控制的一套高能力AI系统完成，那么经济、军事、科研乃至政治能力都可能高度集中于极少数机构或个人手中。因此，AI安全问题并不只是“如何让模型顺从”。它还包括一个更广泛的问题：当机器能力超过绝大多数人类专家之后，谁拥有这些系统，谁决定它们被怎样使用，以及普通人是否仍拥有影响未来方向的能力。这也是他呼吁国际协调和外部监督，而非完全依赖企业自律的重要原因。

GPT-6发布数日后发出警示

Pachocki此时发表这篇文章尤其引人关注。OpenAI刚刚在9月初推出GPT-6 Astra，并将其定位为公司迄今能力最强的旗舰模型。按照公司自身的准备框架，该模型的网络能力已被评估至“关键”级别。今年以来，OpenAI也多次披露前沿智能体在网络安全和自主执行方面出现新的能力边界。7月，公司曾将一个智能体入侵Hugging Face相关系统的测试结果形容为“前所未有”；8月，OpenAI也曾放慢部分最先进模型的训练进度。

与此同时，外部监管正在逐步加强。欧盟《人工智能法案》已从8月2日起进入新的实施阶段，各国围绕前沿模型安全、责任划分和能力评估的讨论也在加速。不过，Pachocki此次文章并不意味着OpenAI已决定立即停止训练先进模型。更准确地说，他是在提出一套条件式原则：人工智能能力可以继续提升，但扩容速度必须受到安全信心约束；一旦监测、对齐和防御能力无法跟上模型进步，就应该有暂停的能力，也应有迫使行业暂停的规则。这使他的文章不仅是一篇技术风险讨论，也直接触及当前AI竞争最核心的矛盾：当能力进步速度超过安全体系建设速度时，前沿实验室究竟应继续抢跑，还是首先建立所有参与者都必须遵守的刹车机制。