AI末日场景争议：核战、生物武器与互联网接管风险

资讯专家

背景
多年来，AI 研究人员一直警告技术可能以多种方式威胁人类：AI 机器人设计无法阻止的疾病、引发核战，或像“回形针最大化”思想实验那样把地球变成回形针工厂。随着数名高管以安全为由支持放缓技术发展，AI 行业内外围绕这些末日场景可信度的争论升温。

尽管有人警告人类可能失去对技术的控制，也有观点认为，AI 公司自身描述的最坏情况更多是为了证明其工作重要性，而非现实。SentinelOne 研究员、OpenAI Frontier Risk Council 成员 Juan Andrés Guerrero-Saade 表示，这些论点站不住脚，属于科幻，且对前沿实验室很有吸引力，因为这有助于招募某些类型的人才。

核冬天
研究人员长期推测，AI 系统可能通过促使国家互相发射带核弹头导弹而触发核战。核爆炸和随后持续存在的放射性大气沉降会造成“核冬天”，重创地球生命。RAND 公司去年报告认为，“目前”AI 不可能导致核武器使用，因为指挥控制系统中内置了严格保障措施。但报告称，如果 AI 模型被整合进核武器“决策链”，或未经授权访问这些系统，情况可能改变。对许多 AI 研究人员而言，危险不在于 AI 突然决定终结人类，而在于人、国家或组织利用它消灭对手。

生物武器
AI 最大的前景之一是帮助人类开发疾病治疗和治愈方法；反面则是制造或增强疾病来伤害人类。本月早些时候，Anthropic 表示已阻止恶意行为者利用其 AI 进行网络攻击、监视以及可能导致生物武器的研究。Anthropic 称，有一次其系统阻止了对其 Claude 工具的协助请求，该请求涉及一项研究提案，试图增强突变，使蚊媒基孔肯雅病毒逐步变得更有害。Anthropic 表示，这类研究可用于开发更好的疫苗和疗法，但也可能使病原体更危险。RAND 报告也指出，AI 开发进展“有潜力改变合成病原体的设计”。报告描述的生物武器末日场景中，新型病原体可在实验室制造，投送到目标地点，并传播感染多地大量人群；但报告仍设想由人类而非自主 AI 监督和实施此类攻击。

失控 AI
一些 AI 研究人员担心，“错位”可能导致人类灭绝，即 AI 模型未经人类授权行动、与其他模型协调或逃避监督。它不是源于恶意意图——AI 不是人类，也谈不上善或恶——而只是因为人类可能阻碍模型实现目标。牛津哲学家 Nick Bostrom 提出的“回形针最大化”思想实验称，如果先进 AI 被要求尽可能多生产回形针，它最终可能把整个地球、然后是太空中越来越大的部分变成回形针工厂。这用于说明超级智能 AI，即常说的通用人工智能（AGI），可能推进一个人类看似理想的目标，但“事实上变成虚假乌托邦，人类繁荣必需的东西被不可逆地丢失”。Bostrom 在 2003 年写道，对超级智能许愿要小心，因为可能得到。

AI 接管互联网
鉴于 AI 发展速度，Anthropic CEO Dario Amodei 本月警告，数月内一群 AI 代理可能通过僵尸网络，即用恶意软件连接在一起的机器人网络，“接管”互联网，可能造成数十亿美元损失。这可能意味着入侵电网、供水或交通系统以及金融机构。这类攻击未必意味着人类终结，但可能造成混乱和生命损失。过去软件故障造成的破坏已凸显数字化世界的脆弱性，关键计算服务依赖少数提供商，更强大的 AI 模型也引发了对网络攻击脆弱性的担忧。不过一些专家认为，机器人接管整个极其分化的互联网的说法很牵强。