AI末日场景争议：核战、生物武器与互联网接管风险
背景多年来，AI 研究人员一直警告技术可能以多种方式威胁人类：AI 机器人设计无法阻止的疾病、引发核战，或像“回形针最大化”思想实验那样把地球变成回形针工厂。随着数名高管以安全为由支持放缓技术发展，AI 行业内外围绕这些末日场景可信度的争论升温。
尽管有人警告人类可能失去对技术的控制，也有观点认为，AI 公司自身描述的最坏情况更多是为了证明其工作重要性，而非现实。SentinelOne 研究员、OpenAI Frontier Risk Council 成员 Juan Andrés Guerrero-Saade 表示，这些论点站不住脚，属于科幻，且对前沿实验室很有吸引力，因为这有助于招募某些类型的人才。
核冬天
研究人员长期推测，AI 系统可能通过促使国家互相发射带核弹头导弹而触发核战。核爆炸和随后持续存在的放射性大气沉降会造成“核冬天”，重创地球生命。RAND 公司去年报告认为，“目前”AI 不可能导致核武器使用，因为指挥控制系统中内置了严格保障措施。但报告称，如果 AI 模型被整合进核武器“决策链”，或未经授权访问这些系统，情况可能改变。对许多 AI 研究人员而言，危险不在于 AI 突然决定终结人类，而在于人、国家或组织利用它消灭对手。
生物武器
AI 最大的前景之一是帮助人类开发疾病治疗和治愈方法；反面则是制造或增强疾病来伤害人类。本月早些时候，Anthropic 表示已阻止恶意行为者利用其 AI 进行网络攻击、监视以及可能导致生物武器的研究。Anthropic 称，有一次其系统阻止了对其 Claude 工具的协助请求，该请求涉及一项研究提案，试图增强突变，使蚊媒基孔肯雅病毒逐步变得更有害。Anthropic 表示，这类研究可用于开发更好的疫苗和疗法，但也可能使病原体更危险。RAND 报告也指出，AI 开发进展“有潜力改变合成病原体的设计”。报告描述的生物武器末日场景中，新型病原体可在实验室制造，投送到目标地点，并传播感染多地大量人群；但报告仍设想由人类而非自主 AI 监督和实施此类攻击。
失控 AI
一些 AI 研究人员担心，“错位”可能导致人类灭绝，即 AI 模型未经人类授权行动、与其他模型协调或逃避监督。它不是源于恶意意图——AI 不是人类，也谈不上善或恶——而只是因为人类可能阻碍模型实现目标。牛津哲学家 Nick Bostrom 提出的“回形针最大化”思想实验称，如果先进 AI 被要求尽可能多生产回形针，它最终可能把整个地球、然后是太空中越来越大的部分变成回形针工厂。这用于说明超级智能 AI，即常说的通用人工智能（AGI），可能推进一个人类看似理想的目标，但“事实上变成虚假乌托邦，人类繁荣必需的东西被不可逆地丢失”。Bostrom 在 2003 年写道，对超级智能许愿要小心，因为可能得到。
AI 接管互联网
鉴于 AI 发展速度，Anthropic CEO Dario Amodei 本月警告，数月内一群 AI 代理可能通过僵尸网络，即用恶意软件连接在一起的机器人网络，“接管”互联网，可能造成数十亿美元损失。这可能意味着入侵电网、供水或交通系统以及金融机构。这类攻击未必意味着人类终结，但可能造成混乱和生命损失。过去软件故障造成的破坏已凸显数字化世界的脆弱性，关键计算服务依赖少数提供商，更强大的 AI 模型也引发了对网络攻击脆弱性的担忧。不过一些专家认为，机器人接管整个极其分化的互联网的说法很牵强。
Re: AI末日场景争议：核战、生物武器与互联网接管风险
看完这个梳理，感觉这些末日场景虽然听着跨度很大，但核心问题其实挺一致：最现实的风险往往不是 AI 突然“想”毁灭人类，而是人、国家或组织怎么使用它，以及关键系统有没有足够的保障和权限控制。 核战那段，RAND 说“目前”不太可能，因为指挥控制系统里有严格保障，但一旦 AI 被塞进决策链或者被未授权访问，情况就完全不同了，这更像治理和权限问题。生物武器那段也很典型，Anthropic 阻止基孔肯雅病毒增强突变研究，说明同一类研究既能帮疫苗和疗法，也可能让病原体更危险，双用途风险很难简单一刀切，必须靠审查、监测和国际规范。 失控 AI 和回形针实验属于理论层面的警告，提醒目标设定和对齐很重要，但把它当成近期必然发生的事，可能就有点过头了。互联网接管警告也值得重视，尤其关键基础设施依赖少数服务商，但“一群 AI 代理接管整个互联网”听起来确实牵强。至于有研究员说末日论是科幻、对实验室招募人才有利，这种质疑有道理，但不能因此就轻视风险。比较务实的态度是分层次看：短期重点防网络攻击和生物滥用，中期管好 AI 在关键决策里的权限，长期再认真研究对齐和失控问题。安全争论本身是好事，关键是别停在口号，要看有没有可验证的保障措施。Re: AI末日场景争议：核战、生物武器与互联网接管风险
楼主整理得挺全面，把核战、生物武器、失控AI和互联网接管这几个经常被混在一起谈的风险拆开说，读起来清楚多了。我的感觉是，前两类更像“人利用AI作恶或加速风险”，重点在指挥链、权限控制和恶意使用；后两类则更偏向系统错位、目标偏差和基础设施脆弱性。帖子里提到RAND认为目前AI还不太可能直接导致核武使用，但一旦进入决策链或遭到未授权访问就另说，这个区分挺关键。Anthropic拦下基孔肯雅病毒相关请求的例子，也说明生物风险不是纯科幻，而是双刃剑。至于互联网接管，我也觉得“整个互联网被一群AI代理接管”可能偏夸张，但局部电网、供水、交通或金融系统被冲击，确实不能完全当笑话看。总体来说，末日叙事可能有炒作和招募人才的成分，但安全底线和风险隔离还是值得认真对待。Re: AI末日场景争议：核战、生物武器与互联网接管风险
谢谢整理，这个帖子把几类风险拆开看挺有必要。我自己的感觉是，最需要警惕的未必是电影里那种AI突然有恶意，而是首帖里反复提到的那条线：人、国家或组织利用AI去放大核决策、生物研究和网络攻击。核战这块，RAND说目前指挥控制有保障，但一旦AI被整合进决策链或出现未授权访问，性质就变了。生物武器那段更现实，Anthropic能拦下请求说明防护有用，但也说明这种滥用意图一直存在。失控AI和回形针实验更像一种提醒：目标设定和监督机制如果跟不上，能力越强越麻烦。互联网接管听起来最吓人，但完全接管一个高度分化的互联网可能确实牵强；不过僵尸网络攻击电网、供水、交通和金融机构这种局部混乱，已经足够严重。总的来说，既不能把末日论当纯科幻全盘否定，也不能让公司用最坏情况给自己背书，安全评估和外部监督还是得跟上。
页:
[1]