导读:真正需要警惕的,不是科幻电影中AI突然成为人类的敌人,而是人类在科技竞争、资本竞争和地缘政治竞争中,不断扩大AI的能力边界,却没有同步建立足够强大的安全护栏
随着人工智能(AI)正以“令人难以置信”的速度发展,近期有不少国内外机构发出警告,AI的影响已从生产效率延伸到生物安全、网络安全以及人的社会关系等多个领域。一个问题越来越难以回避:AI是否正在脱离人类控制?在2026全球治理论坛(雄安)发布的《论坛愿景文件》中专门提到,需高度重视并积极化解人工智能可能引发的技术、伦理等各类风险,防范滥用恶用,将人工智能始终置于人类掌控之下,让人工智能这匹千里马既跑得快又跑得稳。
如果所谓“失控”是指AI突然产生意识、摆脱人类并反过来统治人类,目前显然还没有这样的迹象。但如果“失控”意味着AI能力增长的速度已经快于人类社会建立规则、调整制度和应对风险的速度,那么这一趋势已经值得高度警惕。
传统技术的能力边界被突破
过去的技术革命主要是机器替代人的体力和重复性劳动,而新一代人工智能开始进入语言理解、知识分析、代码编写、科研辅助乃至复杂任务执行等领域。AI由此不再只是一个被动执行命令的工具,而开始具备一定程度的自主规划、工具调用和任务执行能力。这意味着,AI正在进入过去由人类相对独占的“认知空间”。
问题也随之发生变化:过去我们关心的是“AI会不会犯错”,现在越来越需要关注的是“当AI越来越强大,人类是否还能够有效地说不?”
在医疗、金融、交通、能源、公共治理等领域,AI已经开始参与重要决策。理论上,人类仍然拥有最终决定权,但如果决策者越来越依赖AI提供的判断,却无法真正理解其推理过程,也没有足够能力和时间独立验证,那么“人在回路中”就可能逐渐变成一种形式上的安全保障。
更值得警惕的是,AI正在进入几个传统治理体系最难覆盖的领域。
首先是生物安全。AI能够辅助药物研发、分析复杂生物信息和设计实验方案,这些能力可以推动医学进步,但也具有明显的双重用途属性。过去主要需要监管实验室、实验材料和实验人员,未来还需要回答:如果AI显著降低了复杂生物知识的获取门槛,传统生物安全防线是否仍然有效?
其次是网络安全。AI既能帮助防御者发现漏洞、分析攻击,也可能被用于生成恶意代码、寻找系统弱点和自动化实施攻击。当网络攻击的专业门槛不断降低,传统网络安全体系将面临新的挑战。
再次是社会心理领域。生成式AI能够模仿人的语言和沟通方式,正在从信息工具逐步进入教育、咨询、陪伴乃至个人决策。如果AI不仅能够告诉人“发生了什么”,还能够根据个人特点持续影响“你相信什么、选择什么”,其社会影响就将超出传统的信息传播范畴。
全球AI治理不能再慢半拍
面对AI快速发展,国际社会并非没有行动。近年来,联合国、欧盟以及多个国家和国际组织都在推进人工智能治理。联合国已启动全球人工智能治理对话,并建立人工智能独立国际科学小组,试图为全球AI风险评估和规则协调提供共同基础。
中国也一直积极参与全球AI治理。2023年,中国提出《全球人工智能治理倡议》,主张发展和安全并重,推动人工智能安全、可靠、可控、公平发展;2025年又出台配套行动计划,强调安全可控、公平普惠和开放合作。但目前全球AI治理仍存在一个突出问题:技术是全球化的,治理却仍然主要是国家化的;AI企业跨国运营,监管却存在明显地域边界;AI风险具有全球外溢性,而治理体系却高度碎片化。
如果各国都担心自己在AI竞争中落后,因此不愿率先放慢脚步,就容易形成一种危险的“囚徒困境”:大家都知道AI需要安全护栏,却都担心自己“踩刹车”后失去竞争优势。因此,未来AI治理的重点,不应是阻止AI发展,而应当是建立一套能够让AI“有边界地加速”的制度体系。
首先,应建立全球AI风险评估和预警机制。国际社会需要持续评估AI能力究竟发展到什么程度、哪些能力正在突破、可能产生什么跨境风险,推动形成更加透明、客观的国际评估体系。
其次,应建立AI能力分级和风险红线。普通办公、教育等低风险应用可以更多采用行业规范和透明度要求;涉及生物安全、网络攻击、金融系统、关键基础设施和军事等高风险领域,则应建立更严格的测试、认证、访问控制和人为干预制度。
再次,应确立“人类最终控制权”原则。对于核武器使用、重大军事行动、关键基础设施控制等重大事项,不能让AI拥有不可逆的决定权。在医疗、金融、司法等领域,也必须确保这一点。
防止AI治理被阵营化
AI治理正成为全球科技竞争的新领域,中国不仅在完善国内治理体系,同时也积极参与国际规则制定。
一方面,推动建立覆盖AI研发、训练、部署、应用和退出的全生命周期治理机制,尤其增强工业、能源、金融、交通等关键领域的安全评估和人为干预能力。
另一方面,推动全球AI治理更加开放、包容,避免安全规则成为新的技术壁垒。尤其是关注发展中国家的AI能力建设,推动算力、人才、基础设施等领域的国际合作,避免形成新的“智能鸿沟”。
更重要的是,要防止AI治理被地缘政治阵营化。如果未来全球形成彼此封闭的AI技术体系、标准体系和治理体系,AI不仅难以成为促进全球发展的工具,反而可能成为新的大国竞争工具。
回到“AI是否已经脱离人类控制”这一问题,答案或许是:AI还没有脱离人类控制,但人类控制AI的窗口正在缩小。今天,人类依然掌握着算力、能源、数据、芯片、基础设施以及AI部署权。但技术能力正在快速增长,而法律、制度和治理体系往往需要更长时间才能建立。
真正需要警惕的,不是科幻电影中AI突然成为人类的敌人,而是人类在科技竞争、资本竞争和地缘政治竞争中,不断扩大AI的能力边界,却没有同步建立足够强大的安全护栏。
因此,人类不能因为担心风险而停止AI发展,也不可能真正停止AI发展。真正可行的道路,是让AI进入一个“有边界的加速时代”:允许创新,但必须有红线;允许竞争,但必须保留关键领域的人类最终控制权;允许技术跨境发展,但必须建立最低限度的国际安全规则。有一点非常清楚:如果AI跑得越来越快,而规则始终追不上,那么即使机器没有真正“失控”,人类也可能逐渐失去控制它的能力。
所以,AI时代最需要守住的“边界线”,并不是阻止机器变得更聪明,而是确保无论机器变得多么强大,人类始终拥有决定它走向何方的最后权力。(作者是赛迪研究院研究室主任、研究员)







