【译】Machines of Loving Grace

人工智能如何让世界变得更好
基本假设和框架
1. 生物学和健康
2. 神经科学与思维
3. 经济发展与贫困
4. 和平与治理
5. 工作与意义
盘点
脚注

By Dario Amodei

Source: https://darioamodei.com/machines-of-loving-grace

人工智能如何让世界变得更好

我经常思考和讨论强大人工智能的风险。我所领导的公司Anthropic在如何降低这些风险方面进行了大量研究。因此，人们有时得出结论，我是一个悲观主义者或“末日论者”，认为人工智能大多数情况下是坏的或危险的。我并不这样认为。事实上，我专注于风险的主要原因之一是，它们是我们与我所认为的根本积极未来之间唯一的障碍。我认为大多数人低估了人工智能的潜在好处有多么激进，就像我认为大多数人低估了风险可能有多糟糕一样。

在这篇文章中，我试图勾勒出潜在好处可能是什么样的——如果一切顺利，强大人工智能的世界可能是什么样的。当然，没有人能够以任何确定性或精确性知道未来，而强大人工智能的影响可能比过去的技术变革更不可预测，因此所有这些不可避免地将由猜测组成。但我旨在至少提供经过教育的、有用的猜测，捕捉即使大多数细节最终是错误的情况下将会发生的事情的风味。我包括了很多细节，主要是因为我认为具体的愿景比高度保留和抽象的愿景更能推动讨论。

然而，首先，我想简要解释一下为什么我和Anthropic没有谈论太多强大人工智能的潜在好处，以及为什么我们可能会继续整体上谈论很多风险。特别是，我做出这个选择是出于以下愿望：

最大化杠杆作用。人工智能技术的基本发展和许多（并非全部）好处似乎是不可避免的（除非风险使一切脱轨），并且根本上是由强大的市场力量驱动的。另一方面，风险并不是预先确定的，我们的行动可以大大改变它们的可能性。
避免宣传的认知。人工智能公司谈论人工智能的所有惊人好处可能会让人觉得像宣传者，或者像是在试图转移对负面影响的注意。我还认为，原则上，花太多时间“宣传自己的书”对你的灵魂是有害的。
避免夸大其词。我常常对许多人工智能风险公共人物（更不用说人工智能公司领导者）谈论后AGI世界的方式感到反感，仿佛他们的使命是像先知一样单枪匹马地实现这一目标，带领他们的人民走向救赎。我认为将公司视为单方面塑造世界是危险的，将实际技术目标视为本质上宗教性的也是危险的。
避免“科幻”包袱。虽然我认为大多数人低估了强大人工智能的潜在好处，但讨论激进人工智能未来的少数人群体往往以过于“科幻”的语气进行讨论（例如，涉及上传的思想、太空探索或一般的赛博朋克氛围）。我认为这使人们对这些主张的认真程度降低，并赋予它们一种不现实的色彩。明确来说，问题不在于所描述的技术是否可能或可能发生（主要的文章对此进行了详细讨论）——而是“氛围”隐含地带入了一堆文化包袱和未表述的假设，关于什么样的未来是可取的，各种社会问题将如何发展等。结果往往读起来像是一个狭窄亚文化的幻想，而让大多数人感到反感。

尽管有上述所有担忧，我确实认为讨论一个拥有强大人工智能的美好世界可能是什么样子是很重要的，同时尽力避免上述陷阱。事实上，我认为拥有一个真正鼓舞人心的未来愿景是至关重要的，而不仅仅是一个应对危机的计划。强大人工智能的许多影响都是对抗性的或危险的，但最终，我们必须为某种东西而奋斗，为每个人都能受益的正和结果而奋斗，激励人们超越争吵，面对未来的挑战。恐惧是一种动机，但这还不够：我们还需要希望。

强大人工智能的积极应用列表非常长（包括机器人技术、制造业、能源等），但我将重点关注少数几个在我看来最有潜力直接改善人类生活质量的领域。我最感兴趣的五个类别是：

生物学和身体健康
神经科学和心理健康
经济发展和贫困
和平与治理
工作与意义

我的预测在大多数标准下将被视为激进的（除了科幻“奇点”愿景2），但我是真诚和认真地表达这些观点。我所说的一切都可能是错误的（重申我之前的观点），但我至少尝试将我的观点建立在对各个领域可能加速的进展的半分析评估上，以及这在实践中可能意味着什么。我很幸运在生物学和神经科学领域拥有专业经验，并且在经济发展领域是一个有见识的业余爱好者，但我相信我会犯很多错误。写这篇文章让我意识到，聚集一群领域专家（在生物学、经济学、国际关系和其他领域）来撰写一个更好、更有见地的版本是很有价值的。我这里的努力最好被视为该小组的一个起始提示。

基本假设和框架

为了使整篇文章更加精确和扎实，明确我们所说的强大人工智能（即5-10年计时开始的阈值）是很有帮助的，同时也要为思考这种人工智能一旦出现后的影响奠定框架。

强大人工智能（我不喜欢“AGI”这个术语）3 将会是什么样子，以及何时（或是否）会到来，是一个巨大的话题。我已经公开讨论过这个问题，并且可以写一篇完全独立的文章（我可能会在某个时候这样做）。显然，许多人对强大人工智能会很快被构建持怀疑态度，有些人甚至怀疑它是否会被构建出来。我认为它可能会在2026年尽早出现，尽管也有可能需要更长的时间。但为了这篇文章的目的，我想把这些问题放在一边，假设它会在合理的时间内到来，并专注于之后5-10年会发生什么。我还想假设一个这样的系统_将会是什么样子_，它的能力是什么，以及它如何互动，尽管在这方面存在分歧的余地。

我所说的 强大人工智能，我心中想的是一个人工智能模型——可能在形式上类似于今天的LLM，尽管它可能基于不同的架构，可能涉及多个相互作用的模型，并且可能以不同的方式进行训练——具有以下特性：

在纯智能方面4，它在大多数相关领域（生物学、编程、数学、工程、写作等）比诺贝尔奖得主更聪明。这意味着它可以证明未解决的数学定理，写出极好的小说，从零开始编写复杂的代码库等。
除了只是一个“你可以交谈的聪明事物”之外，它还拥有一个人类在虚拟工作中可用的所有“接口”，包括文本、音频、视频、鼠标和键盘控制，以及互联网访问。它可以进行任何通过这个接口启用的行动、通信或远程操作，包括在互联网上采取行动、给人类指示、订购材料、指导实验、观看视频、制作视频等等。它以超过世界上最有能力的人类的技能完成所有这些任务。
它不仅仅是被动回答问题；相反，它可以接受需要数小时、数天或数周才能完成的任务，然后像聪明的员工一样自主地去完成这些任务，并在必要时请求澄清。
它没有物理体现（除了生活在计算机屏幕上），但它可以通过计算机控制现有的物理工具、机器人或实验室设备；理论上，它甚至可以为自己设计机器人或设备来使用。
用于训练模型的资源可以重新用于_运行_数百万个实例（这与预计到2027年左右的集群规模相匹配），并且该模型可以以大约10倍到100倍于人类的速度5 吸收信息并生成行动。然而，它可能会受到物理世界或与之互动的软件的响应时间的限制。
这百万个副本中的每一个都可以独立执行无关的任务，或者在需要时可以像人类合作一样共同工作，也许不同的子群体会被微调得特别擅长特定任务。

我们可以将其总结为“数据中心中的天才国度”。

显然，这样的实体将能够非常快速地解决非常困难的问题，但要弄清楚有多快并非易事。两种“极端”立场在我看来都是错误的。首先，你可能认为世界将在几秒钟或几天内瞬间转变（“奇点”），因为更高的智能自我积累并几乎立即解决每一个可能的科学、工程和操作任务。问题在于，确实存在物理和实际的限制，例如在构建硬件或进行生物实验方面。即使是一个新的天才国度也会遇到这些限制。智能可能非常强大，但它不是魔法仙尘。

其次，相反，你可能认为技术进步已经饱和，或受到现实世界数据或社会因素的限制，而优于人类的智能将几乎没有贡献6。在我看来，这同样不太可信——我可以想到数百个科学甚至社会问题，在这些问题上，一大群真正聪明的人会大幅加速进展，尤其是当他们不局限于分析并能够在现实世界中促成事情发生时（我们假设的天才国度可以做到这一点，包括通过指导或协助人类团队）。

我认为真相可能是这两种极端图景的一种混合，某种在任务和领域上变化且细节非常微妙的东西。我相信我们需要新的框架来以一种富有成效的方式思考这些细节。

经济学家常常谈论“生产要素”：如劳动、土地和资本。“劳动/土地/资本的边际收益”这一短语捕捉了在特定情况下，某一要素可能是或可能不是限制要素的想法——例如，空军需要飞机和飞行员，如果你没有飞机，雇佣更多的飞行员也没有太大帮助。我相信在人工智能时代，我们应该讨论 智能的边际收益7，并试图找出与智能互补的其他要素，以及当智能非常高时成为限制因素的要素。我们不习惯以这种方式思考——问“变得更聪明在这个任务上有多大帮助，以及在什么时间尺度上？”——但这似乎是概念化一个拥有非常强大人工智能的世界的正确方式。

我对限制或补充智能的因素列表的猜测包括：

外部世界的速度。智能体需要在世界中进行交互操作，以便完成任务并学习8。但世界的运动速度是有限的。细胞和动物以固定的速度运行，因此对它们的实验需要一定的时间，这可能是不可减少的。硬件、材料科学、与人沟通的任何事情，甚至我们现有的软件基础设施也是如此。此外，在科学中，许多实验通常需要按顺序进行，每个实验都从上一个实验中学习或建立。这一切意味着一个重大项目——例如开发癌症治疗方法——的完成速度可能有一个不可减少的最低值，即使智能继续增加，这个值也无法进一步降低。
对数据的需求。有时缺乏原始数据，在没有数据的情况下，更多的智能并没有帮助。今天的粒子物理学家非常聪明，已经开发出广泛的理论，但缺乏选择它们之间的依据，因为粒子加速器的数据是如此有限。不清楚如果他们变得超级智能，他们是否会有显著的改善——除了可能加快建造更大加速器的速度。
内在复杂性。某些事物本质上是不可预测或混沌的，即使是最强大的人工智能也无法比今天的人类或计算机更好地预测或解开它们。例如，即使是极其强大的人工智能在混沌系统中（如三体问题）也只能在一般情况下预测得稍微远一点9，与今天的人类和计算机相比。
来自人类的约束。许多事情无法在不违反法律、伤害人类或破坏社会的情况下完成。一个对齐的人工智能不会想要做这些事情（如果我们有一个不对齐的人工智能，我们又回到了讨论风险的问题）。许多人类社会结构效率低下，甚至是积极有害的，但在尊重法律要求、公众改变习惯的意愿或政府行为等约束的情况下，很难改变。技术上运作良好的进步示例，但其影响因法规或错误的恐惧而大大降低，包括核能、超音速飞行和甚至电梯。
物理法则。这是第一个观点的更严峻版本。有某些物理法则似乎是不可打破的。无法以超过光速的速度旅行。布丁无法再搅拌。芯片每平方厘米只能有这么多晶体管在它们变得不可靠之前。计算需要每位擦除的最低能量，限制了世界中的计算密度。

根据 时间尺度，还有进一步的区分。在短期内是硬约束的事物，可能在长期内变得更加灵活。例如，智能可能被用来开发一种新的实验范式，使我们能够体外学习，而不再需要活体动物实验，或者构建收集新数据所需的工具（例如，更大的粒子加速器），或者在伦理限制内找到绕过人类约束的方法（例如，帮助改善临床试验系统，帮助创建临床试验官僚主义较少的新管辖区，或改善科学本身，使人类临床试验变得不那么必要或更便宜）。

因此，我们应该想象一个画面，智能最初受到其他生产要素的严重瓶颈，但随着时间的推移，智能本身越来越多地绕过其他要素，即使它们从未完全消失（一些事物如物理法则是绝对的）10。关键问题是这一切发生的速度和顺序。

考虑到上述框架，我将尝试回答引言中提到的五个领域的问题。

1. 生物学和健康

生物学可能是科学进步最有潜力直接和明确改善人类生活质量的领域。在过去的一个世纪里，一些最古老的人类疾病（如天花）终于被征服，但还有许多疾病依然存在，战胜它们将是一个巨大的 humanitarian 成就。除了治愈疾病，生物科学原则上还可以通过延长健康人类的寿命、增加对我们自身生物过程的控制和自由，以及解决我们目前认为是人类状况不可改变的日常问题，来改善人类健康的_基线_质量。

在上一节的“限制因素”语言中，直接将智能应用于生物学的主要挑战是数据、物理世界的速度和内在复杂性（实际上，这三者是相互关联的）。人类约束在后期也起着作用，当涉及临床试验时。让我们逐一来看这些挑战。

细胞、动物甚至化学过程的实验受到物理世界速度的限制：许多生物学协议涉及培养细菌或其他细胞，或者只是等待化学反应的发生，这有时可能需要几天甚至几周，而没有明显的方法来加快这一过程。动物实验可能需要几个月（或更长时间），而人类实验通常需要数年（或甚至数十年用于长期结果研究）。与此相关的是，数据往往不足——不是数量上的不足，而是质量上的不足：总是缺乏清晰、明确的数据，这些数据能够将感兴趣的生物效应与其他10,000个混杂因素隔离开，或者在给定过程中进行因果干预，或者直接测量某种效应（而不是以某种间接或嘈杂的方式推断其后果）。即使是大量的定量分子数据，比如我在研究质谱技术时收集的蛋白质组学数据，也很嘈杂并且缺失很多信息（这些蛋白质存在于哪种类型的细胞中？细胞的哪个部分？在细胞周期的哪个阶段？）。

造成这些数据问题的部分原因是内在复杂性：如果你曾经见过一张展示人类代谢生物化学的图示，你会知道很难孤立出这个复杂系统中任何部分的效应，更难以精确或可预测的方式对系统进行干预。最后，除了在人体实验中所需的内在时间外，实际的临床试验涉及大量的官僚主义和监管要求（在许多人，包括我自己的观点中），这些要求增加了不必要的额外时间并延迟了进展。

鉴于这一切，许多生物学家长期以来对AI和“海量数据”在生物学中的价值持怀疑态度。历史上，过去30年中将其技能应用于生物学的数学家、计算机科学家和物理学家取得了相当大的成功，但并没有实现最初希望的真正变革性影响。一些怀疑态度因AlphaFold等重大革命性突破而有所减轻（它刚刚理所当然地为其创造者赢得了诺贝尔化学奖）和AlphaProteo 11，但仍然存在一种看法，即AI在仅限于有限的情况下是有用的（并将继续如此）。一种常见的表述是“AI可以更好地分析你的数据，但它无法产生更多的数据或提高数据的质量。垃圾进，垃圾出”。

但是我认为这种悲观的观点是错误地看待人工智能。如果我们关于人工智能进展的核心假设是正确的，那么正确的看待人工智能的方式不是将其视为一种数据分析方法，而是将其视为一个虚拟生物学家，执行生物学家所做的_所有_任务，包括设计和进行现实世界中的实验（通过控制实验室机器人或简单地告诉人类进行哪些实验——就像首席研究员对他们的研究生所做的那样），发明新的生物方法或测量技术，等等。正是通过加速_整个研究过程_，人工智能才能真正加速生物学。我想重申这一点，因为这是我谈论人工智能转变生物学能力时最常见的误解：我_不是_在谈论人工智能仅仅作为一种分析数据的工具。根据本文开头对强大人工智能的定义，我是在谈论使用人工智能来执行、指导和改进生物学家几乎所有的工作。

为了更具体地说明我认为加速可能来自哪里，生物学进展中一个令人惊讶的大部分来自于真正微小数量的发现，这些发现通常与广泛的测量工具或技术有关12，这些工具或技术允许对生物系统进行精确但通用或可编程的干预。每年大约有~1个这样的重大发现，集体上它们可以说推动了生物学进展的>50%。这些发现之所以如此强大，正是因为它们突破了内在的复杂性和数据限制，直接增加了我们对生物过程的理解和控制。每十年几个发现使我们对生物学的基础科学理解的主要部分得以实现，并推动了许多最强大的医疗治疗。

一些例子包括：

CRISPR：一种允许对活生物体中的任何基因进行实时编辑的技术（用任何其他任意序列替换任何任意基因序列）。自从原始技术开发以来，已经对特定细胞类型的靶向、提高准确性和减少错误基因的编辑进行了持续改进——这些都是安全用于人类所需的。
各种显微镜，用于观察精确水平上发生的事情：先进的光学显微镜（具有各种荧光技术、特殊光学等）、电子显微镜、原子力显微镜等。
基因组测序和合成，在过去几十年中成本下降了几个数量级。
光遗传学技术，允许通过照射光线使神经元发火。
mRNA疫苗，原则上允许我们设计针对任何事物的疫苗，然后快速调整（mRNA疫苗当然在COVID期间变得非常著名）。
像CAR-T这样的细胞疗法，允许将免疫细胞从体内取出并“重新编程”以攻击原则上任何东西。
概念性见解，如疾病的 germ theory 或免疫系统与癌症之间联系的认识13。

我列出所有这些技术是因为我想提出一个关键的主张：我认为如果有更多有才华、有创造力的研究人员，他们的发现速度可以提高10倍或更多。换句话说，我认为这些发现的智力回报是很高的，而生物学和医学中的其他一切大多是从这些发现中衍生出来的。

我为什么这么认为？因为我们在试图确定“智力回报”时应该养成问一些问题的习惯。首先，这些发现通常是由少数研究人员做出的，往往是同一批人反复进行，这表明是技能而非随机搜索（后者可能表明漫长的实验是限制因素）。其次，它们往往“本可以在”多年前就被发现：例如，CRISPR是细菌免疫系统中自然存在的成分，自80年代以来就已知，但人们花了另外25年才意识到它可以被重新用于一般基因编辑。它们还常常因为缺乏科学界对有前景方向的支持而延迟多年（参见这篇关于mRNA疫苗发明者的简介；类似的故事屡见不鲜）。第三，成功的项目往往是临时的或是人们最初认为没有前景的想法，而不是大规模资助的努力。这表明，推动发现的不仅仅是资源的集中，还有创造力。

最后，尽管其中一些发现具有“序列依赖性”（你需要先进行发现A，以便拥有进行发现B所需的工具或知识）——这可能再次造成实验延迟——但许多，甚至大多数，都是独立的，这意味着可以同时并行进行许多研究。这两个事实，以及我作为生物学家的总体经验，强烈表明，如果科学家们更聪明、更善于在我们人类所拥有的庞大生物知识之间建立联系，那么还有数百个这样的发现等待被做出（再次考虑CRISPR的例子）。尽管经过数十年的精心设计的物理建模，AlphaFold/AlphaProteo在更有效地解决重要问题方面的成功，提供了一个原则证明（尽管是在狭窄领域中的狭窄工具），应该指明前进的方向。

因此，我猜测强大的人工智能至少可以将这些发现的速度提高10倍，使我们在5到10年内获得未来50到100年的生物学进展。14 为什么不是100倍？也许这是可能的，但在这里，串行依赖性和实验时间变得重要：在1年内获得100年的进展需要很多事情第一次就顺利进行，包括动物实验以及设计显微镜或昂贵实验室设施等事情。我实际上对（也许听起来荒谬的）想法持开放态度，即我们可以在5到10年内获得_1000_年的进展，但对我们能在1年内获得100年的进展持非常怀疑的态度。换句话说，我认为有一个不可避免的恒定延迟：实验和硬件设计有一定的“延迟”，并且需要在一定的“不可减少”次数上进行迭代，以学习那些无法通过逻辑推导得出的东西。但在此基础上，可能会实现大规模并行化。15

临床试验怎么样？尽管与之相关的官僚主义和减缓过程很多，但事实是，它们的缓慢（虽然并非全部！）最终源于对几乎有效或模糊有效的药物进行严格评估的需要。今天大多数疗法的情况可悲地是这样的：平均癌症药物使生存期延长几个月，同时具有需要仔细测量的显著副作用（阿尔茨海默病药物也有类似的故事）。这导致了巨大的研究（为了获得统计效能）和监管机构通常不擅长做出的困难权衡，再次是由于官僚主义和竞争利益的复杂性。

当某些东西运作得非常好时，进展会快得多：有一个加速审批通道，当效应大小更大时，审批的便利性也大得多。COVID的mRNA疫苗在9个月内获得批准——远快于通常的速度。尽管如此，即使在这些条件下，临床试验仍然太慢——mRNA疫苗可以说_应该_在大约2个月内获得批准。但是，这种延迟（药物的端到端大约1年）与大规模并行化以及需要一些但不太多的迭代（“几次尝试”）非常兼容，能够在5到10年内实现根本性的转变。更乐观地说，可能AI驱动的生物科学将通过开发更好的动物和细胞实验模型（甚至模拟）来减少临床试验中的迭代需求，这些模型在预测人类将发生的事情时更为准确。这在开发针对衰老过程的药物时尤为重要，因为衰老过程持续数十年，我们需要更快的迭代循环。

最后，在临床试验和社会障碍的话题上，值得明确指出的是，在某些方面，生物医学创新在成功部署方面有着异常_强_的记录，这与其他一些技术形成对比16。正如在引言中提到的，许多技术尽管在技术上运作良好，却受到社会因素的阻碍。这可能暗示了对人工智能能实现什么的悲观看法_。_但生物医学是独特的，尽管药物开发过程过于繁琐，但一旦开发成功，通常会成功部署和使用。

总结上述内容，我的基本预测是，人工智能驱动的生物学和医学将使我们能够将人类生物学家在未来50-100年内取得的进展压缩到5-10年内。我将其称为“压缩的21世纪”：即在强大的人工智能开发后，我们将在几年内取得所有我们在整个21世纪中本应取得的生物学和医学进展。

尽管预测强大的人工智能在几年内能做什么本质上仍然困难且具有投机性，但询问“人类在接下来的100年中能独立做什么”是有一定具体性的。仅仅看看我们在20世纪取得的成就，或从21世纪的前20年进行外推，或询问“10个CRISPR和50个CAR-T”能给我们带来什么，都是估计我们可能期待的强大人工智能所能带来的进展的一种实际、扎实的方法。

下面我尝试列出我们可能期待的内容。这不是基于任何严格的方法论，几乎肯定在细节上会证明是错误的，但它试图传达我们应该期待的激进程度的总体_水平_：

几乎所有自然传染病的可靠预防和治疗。17 鉴于20世纪在传染病方面的巨大进展，想象我们可以在压缩的21世纪“完成这项工作”并不激进。mRNA疫苗和类似技术已经指明了“任何疾病的疫苗”的方向。传染病是否会_完全从世界上消除_（而不仅仅是在某些地方）取决于关于贫困和不平等的问题，这在第3节中讨论。
消除大多数癌症。 过去几十年，癌症的死亡率每年下降约2%；因此，按照当前人类科学的进展速度，我们有望在21世纪消除大多数癌症。一些亚型已经基本治愈（例如某些类型的白血病使用CAR-T疗法），我对非常选择性地针对癌症早期并预防其生长的药物更感兴趣。人工智能还将使治疗方案能够非常精细适应癌症的个体基因组——这些在今天是可能的，但在时间和人类专业知识上非常昂贵，而人工智能应该能让我们实现规模化。死亡率和发病率减少95%或更多似乎是可能的。尽管如此，癌症极其多样且具有适应性，可能是这些疾病中最难以完全消灭的。如果一系列罕见且难治的恶性肿瘤持续存在，也并不令人惊讶。
非常有效的遗传病预防和有效治疗。 大幅改善的胚胎筛查可能使我们能够预防大多数遗传病，而某些更安全、更可靠的CRISPR后代可能会治愈现有患者的大多数遗传病。然而，影响大量细胞的全身性疾病可能是最后的顽固病症。
阿尔茨海默病的预防。 我们在弄清楚阿尔茨海默病的病因方面遇到了很大的困难（它与β-淀粉样蛋白有关，但实际细节似乎非常复杂）。这似乎正是可以通过更好的测量工具来解决的类型问题，这些工具能够隔离生物效应；因此，我对人工智能解决这一问题的能力持乐观态度。一旦我们真正理解发生了什么，就有很大机会可以通过相对简单的干预措施来预防它。尽管如此，已经存在的阿尔茨海默病造成的损害可能非常难以逆转。
改善大多数其他疾病的治疗。 这是一个涵盖其他疾病的总括性类别，包括糖尿病、肥胖、心脏病、自身免疫疾病等。大多数这些似乎比癌症和阿尔茨海默病“更容易”解决，并且在许多情况下已经在急剧下降。例如，心脏病的死亡率已经下降超过50%，而像GLP-1激动剂这样的简单干预措施已经在对抗肥胖和糖尿病方面取得了巨大进展。
生物自由。 过去70年在避孕、受孕、体重管理等方面取得了进展。但我怀疑人工智能加速的生物学将大大扩展可能性：体重、外貌、繁殖和其他生物过程将完全由人们控制。我们将这些称为_生物自由_：即每个人都应该有权选择他们想要成为的样子，并以最吸引他们的方式生活。关于全球平等获取的重大问题当然会存在；有关这些问题，请参见第3节。
人类寿命的翻倍18. 这可能看起来很激进，但20世纪的预期寿命几乎增加了2倍（从约40岁增加到约75岁），因此“压缩的21世纪”再次将其翻倍至150岁是“顺应趋势”的。显然，减缓实际衰老过程所需的干预措施将与上个世纪防止（主要是儿童）因疾病过早死亡所需的干预措施不同，但变化的幅度并非前所未有19。具体而言，已经存在能够使老鼠的最大寿命增加25-50%的药物，且副作用有限。而且某些动物（例如某些类型的海龟）已经活了200年，因此人类显然并没有处于某种理论上的上限。猜测一下，最重要的需求可能是可靠的、不可被Goodhart法则影响的人类衰老生物标志物，因为这将允许快速迭代实验和临床试验。一旦人类寿命达到150岁，我们可能能够达到“逃逸速度”，争取足够的时间，使大多数今天活着的人能够活得尽可能长，尽管这在生物上是否可能并没有保证。

值得关注这个列表，并思考如果在7-12年内实现所有这些，世界将会有多么不同（这与激进的AI时间表相符）。不言而喻，这将是一个难以想象的人道主义胜利，几乎同时消除困扰人类数千年的大多数祸害。我的许多朋友和同事正在养育孩子，当这些孩子长大时，我希望任何提到疾病的事情对他们来说，听起来就像坏血病、天花或腺鼠疫对我们来说的感觉一样。那一代人还将受益于更大的生物自由和自我表达，运气好的话，他们也可能能够活得尽可能长。

很难高估这些变化对除了少数预期强大AI的人以外的每个人来说将是多么惊人。例如，成千上万的经济学家和政策专家目前在美国辩论如何保持社会保障和医疗保险的可持续性，更广泛地说，如何降低医疗保健的成本（这主要由70岁以上的人群消费，尤其是那些患有癌症等绝症的人）。如果这一切都能实现，这些项目的情况可能会得到根本改善，因为工作年龄人口与退休人口的比例将发生剧烈变化。毫无疑问，这些挑战将被其他挑战所取代，例如如何确保新技术的广泛获取，但值得反思的是，即使生物学是AI成功加速的_唯一_领域，世界也将发生多么大的变化。

2. 神经科学与思维

在前一节中，我专注于_身体_疾病和生物学的一般内容，没有涉及神经科学或心理健康。但神经科学是生物学的一个子学科，心理健康与身体健康同样重要。事实上，如果说有什么不同，心理健康对人类福祉的影响甚至比身体健康更直接。数亿人因成瘾、抑郁、精神分裂症、低功能自闭症、创伤后应激障碍、反社会人格21或智力障碍等问题而生活质量极低。还有数十亿人面临日常问题，这些问题往往可以被解读为这些严重临床疾病的更轻微版本。与一般生物学一样，可能有可能超越解决问题，改善人类体验的基本质量。

我为生物学奠定的基本框架同样适用于神经科学。该领域由少数发现推动，通常与测量或精确干预工具相关——在上述列表中，光遗传学是一个神经科学发现，最近的CLARITY和扩展显微镜也是同类进展，此外，许多一般细胞生物学方法直接转移到神经科学。我认为这些进展的速度将同样受到AI的加速，因此“在5-10年内实现100年的进展”的框架同样适用于神经科学，原因也与生物学相同。与生物学一样，20世纪神经科学的进展是巨大的——例如，我们甚至在1950年代之前都不理解神经元是如何或为什么发放的。因此，合理的预期是，AI加速的神经科学将在几年内产生快速进展。

我们应该在这个基本图景中添加一件事，那就是我们在过去几年中关于AI本身所学到（或正在学习）的某些东西可能有助于推动神经科学的发展，即使这仍然仅由人类进行。可解释性就是一个明显的例子：尽管生物神经元表面上以完全不同的方式运作于人工神经元（它们通过脉冲进行通信，且通常脉冲频率，因此存在一个人工神经元所没有的时间元素，许多与细胞生理和神经递质相关的细节显著改变了它们的运作），但“分布式、训练的简单单元网络如何协同工作以执行重要计算”的基本问题是相同的，我强烈怀疑个别神经元通信的细节将在大多数关于计算和电路的有趣问题中被抽象化22。作为这一点的一个例子，AI系统中的可解释性研究人员发现的一个计算机制最近在小鼠的大脑中被重新发现。

在人工神经网络上进行实验比在真实神经网络上要容易得多（后者通常需要切开动物的大脑），因此可解释性可能成为提高我们对神经科学理解的工具。此外，强大的人工智能可能会比人类更好地开发和应用这一工具。

然而，除了可解释性之外，我们从人工智能中学到的关于智能系统如何_训练_的知识应该（尽管我不确定它_是否_已经）引发神经科学的革命。当我在神经科学领域工作时，很多人关注我现在认为是关于学习的错误问题，因为缩放假说 / 苦涩教训的概念尚不存在。一个简单的目标函数加上大量数据可以驱动极其复杂的行为，这使得理解目标函数和架构偏差变得更有趣，而理解涌现计算的细节则变得不那么有趣。近年来我没有密切关注这个领域，但我隐约感觉计算神经科学家仍未完全吸收这一教训。我对缩放假说的态度一直是“啊哈——这是对智能如何运作以及它是如何如此轻易进化的高层次解释”，但我认为这并不是普通神经科学家的看法，部分原因是“缩放假说”作为“智能的秘密”甚至在人工智能内部也没有得到完全接受。

我认为神经科学家应该尝试将这一基本见解与人脑的特殊性（生物物理限制、进化历史、拓扑、运动和感官输入/输出的细节）结合起来，以试图解决神经科学的一些关键难题。有些人可能在这样做，但我怀疑这还不够，而人工智能神经科学家将能够更有效地利用这一角度来加速进展。

我预计人工智能将在四条不同的路线加速神经科学的进展，所有这些路线都希望能够共同努力治愈心理疾病并改善功能：

传统分子生物学、化学和遗传学。这基本上与第1节中的一般生物学是同样的故事，AI可能通过相同的机制加速这一过程。有许多药物可以调节神经递质，以改变大脑功能、影响警觉性或感知、改变情绪等，AI可以帮助我们发明更多的药物。AI可能还可以加速对精神疾病遗传基础的研究。
细粒度神经测量和干预。这是测量大量单个神经元或神经回路正在做什么的能力，并干预以改变它们的行为。光遗传学和神经探针是能够在活体生物中进行测量和干预的技术，还有一些非常先进的方法（例如分子计时带以读取大量单个神经元的放电模式）也已被提出，原则上似乎是可行的。
先进的计算神经科学。如上所述，现代AI的具体见解和整体可能可以有效地应用于系统神经科学中的问题，包括可能揭示复杂疾病（如精神病或情绪障碍）的真实原因和动态。
行为干预。鉴于对神经科学生物学方面的关注，我没有多提到这一点，但精神病学和心理学在20世纪当然发展了广泛的行为干预手段；可以合理推测，AI也可以加速这些干预的开发，包括新方法的开发和帮助患者遵循现有方法。更广泛地说，“AI教练”的想法似乎非常有前景，它始终帮助你成为最好的自己，研究你的互动并帮助你学习更有效地行动。

我猜测这四条进展路线共同作用，像对待身体疾病一样，即使没有人工智能的参与，在未来100年内也有望治愈或预防大多数心理疾病——因此可能在5-10个人工智能加速的年份内合理完成。具体来说，我对将要发生的事情的猜测大致如下：

大多数心理疾病可能可以治愈。我并不是精神疾病方面的专家（我在神经科学领域的时间主要用于构建探针以研究小组神经元），但我猜测像创伤后应激障碍、抑郁症、精神分裂症、成瘾等疾病可以通过上述四个方向的某种组合得到解决并得到非常有效的治疗。答案可能是“生化上出现了问题”（尽管可能非常复杂）和“神经网络在高层次上出现了问题”的某种组合。也就是说，这是一个系统神经科学的问题——尽管这并不否定上述行为干预的影响。测量和干预的工具，特别是在活体人类中，似乎可能会导致快速的迭代和进展。
非常“结构性”的状况可能更难，但并非不可能。有一些证据表明，反社会人格与明显的神经解剖差异相关——某些大脑区域在反社会人格者中显得更小或发育不良。反社会人格者也被认为从小就缺乏同情心；无论他们的大脑有什么不同，可能一直都是那样。某些智力障碍，或许其他状况也可能如此。重塑大脑听起来很困难，但这似乎也是一个高智力回报的任务。也许有某种方法可以诱导成年大脑进入一个更早或更具可塑性的状态，从而可以重新塑造。我对这是否可能非常不确定，但我的直觉是对人工智能在这里能创造的东西持乐观态度。
有效的心理疾病基因预防似乎是可能的。大多数心理疾病是部分遗传的，而全基因组关联研究开始获得关注，以识别相关因素，这些因素通常数量众多。通过胚胎筛查预防大多数这些疾病可能是可行的，类似于身体疾病的故事。一个不同之处在于，精神疾病更可能是多基因的（许多基因共同作用），因此由于复杂性，存在无意中选择对与疾病相关的积极特征不利的风险。然而，奇怪的是，近年来GWAS研究似乎表明这些相关性可能被夸大了。无论如何，人工智能加速的神经科学可能帮助我们弄清这些问题。当然，复杂特征的胚胎筛查引发了一系列社会问题，并且会引发争议，尽管我猜大多数人会支持对严重或致残的心理疾病进行筛查。
我们不认为是临床疾病的日常问题也将得到解决。我们大多数人都有日常心理问题，通常不被认为达到临床疾病的水平。有些人容易生气，有些人注意力不集中或经常昏昏欲睡，有些人感到恐惧或焦虑，或者对变化反应不佳。如今，已经存在帮助提高警觉性或注意力的药物（如咖啡因、莫达非尼、利他林），但与许多其他领域一样，可能还有更多的可能性。可能还有许多此类药物尚未被发现，也可能会有完全新的干预方式，例如靶向光刺激（见上面的光遗传学）或磁场。考虑到我们在20世纪开发了多少调节认知功能和情绪状态的药物，我对“压缩的21世纪”持非常乐观的态度，在这个时代，每个人都可以让自己的大脑表现得更好，拥有更充实的日常体验。
人类的基础体验可以更好。更进一步，许多人经历过非凡的启示时刻、创造性灵感、同情心、满足感、超越感、爱、美或冥想的平静。这些体验的性质和频率因人而异，也因同一个人在不同时间而异，有时也可以通过各种药物触发（尽管通常伴有副作用）。所有这些都表明，“可以体验的空间”非常广泛，人们生活中更大比例的时间可能由这些非凡的时刻组成。可能也可以在各个方面改善各种认知功能。这或许是“生物自由”或“延长寿命”的神经科学版本。

一个在科幻作品中经常出现的主题，但我故意没有在这里讨论的是“意识上传”，即捕捉人脑的模式和动态并将其实例化为软件的想法。这个主题本身就可以成为一篇论文的主题，但可以说，虽然我认为上传在原则上几乎是可能的，但在实践中，它面临着重大的技术和社会挑战，即使有强大的人工智能，这些挑战可能使其超出我们讨论的5-10年窗口。

总之，人工智能加速的神经科学可能会极大改善大多数心理疾病的治疗，甚至治愈这些疾病，同时大大扩展“认知和心理自由”以及人类的认知和情感能力。这将与前一部分中描述的身体健康的改善一样激进。也许世界在外表上不会有明显的不同，但人类所经历的世界将是一个更好、更人道的地方，同时也是一个提供更大自我实现机会的地方。我还怀疑，改善心理健康将缓解许多其他社会问题，包括那些看似政治或经济的问题。

3. 经济发展与贫困

前两部分讨论的是_开发_新技术以治愈疾病和改善人类生活质量。然而，从人道主义的角度来看，一个显而易见的问题是：“每个人都能获得这些技术吗？”

开发一种疾病的治疗方法是一回事，而从世界上根除这种疾病又是另一回事。更广泛地说，许多现有的健康干预措施尚未在世界各地得到应用，非健康的技术改进一般也是如此。换句话说，世界许多地方的生活水平仍然极其贫困：在撒哈拉以南非洲，人均GDP约为 $2,000，而在美国则约为$ 75,000。如果人工智能进一步提高发达国家的经济增长和生活质量，而对发展中国家的帮助微乎其微，我们应该将其视为一种可怕的道德失败，以及对前两部分中真正人道主义胜利的污点。理想情况下，强大的人工智能应该帮助发展中国家_赶上_发达国家，即使它在革命化后者。

我对人工智能能否解决不平等和经济增长的问题并没有像对其能发明基础技术那样有信心，因为技术对智力（包括绕过复杂性和缺乏数据的能力）有明显的高回报，而经济则涉及许多来自人类的约束，以及大量内在的复杂性。我对人工智能能否解决著名的“社会主义计算问题”23持怀疑态度，我认为政府不会（也不应该）将其经济政策交给这样的实体，即使它能够做到。还有一些问题，比如如何说服人们接受有效但可能让他们感到怀疑的治疗。

发展中国家面临的挑战因普遍腐败而变得更加复杂，腐败在私营和公共部门都存在。腐败形成了一个恶性循环：它加剧了贫困，而贫困反过来又滋生更多的腐败。以人工智能为驱动的经济发展计划需要考虑腐败、薄弱的制度和其他非常人性化的挑战。

尽管如此，我确实看到乐观的重大理由。疾病_已经_被根除，许多国家_已经_从贫穷变为富裕，显然，这些任务所涉及的决策展现出对智力的高回报（尽管存在人类的约束和复杂性）。因此，人工智能可能会比目前的做法做得更好。也可能会有针对性的干预措施可以绕过人类的约束，人工智能可以专注于这些措施。更重要的是，_我们必须_尝试。人工智能公司和发达国家的政策制定者都需要尽自己的一份力量，以确保发展中国家不被遗忘；道德责任太重大。因此，在这一部分，我将继续提出乐观的论点，但请始终记住，成功并非保证，取决于我们的共同努力。

以下是我对在强大人工智能发展后，未来5-10年发展中国家可能发生的事情的一些猜测：

健康干预的分配。我最乐观的领域可能是将健康干预措施分配到世界各地。通过自上而下的运动，某些疾病实际上已经被根除：天花在1970年代被完全消灭，而脊髓灰质炎和 Guinea worm 几乎被根除，每年病例少于100例。数学上复杂的流行病学建模在疾病根除运动中发挥了积极作用，似乎很可能有更聪明的人工智能系统能够比人类做得更好。分配的物流也可能得到极大优化。作为GiveWell的早期捐赠者，我了解到一些健康慈善机构的效果远远超过其他机构；希望人工智能加速的努力会更加有效。此外，一些生物学进展实际上使分配的物流变得更加简单：例如，疟疾难以根除，因为每次感染该疾病时都需要治疗；只需一次接种的疫苗使物流变得简单得多（而且这种针对疟疾的疫苗实际上正在开发中）。甚至更简单的分配机制也是可能的：原则上，一些疾病可以通过针对其动物宿主来根除，例如释放感染了细菌的蚊子，这种细菌阻止它们携带疾病（然后它们感染所有其他蚊子），或者简单地使用基因驱动来消灭蚊子。这需要一个或几个集中行动，而不是必须单独治疗数百万人的协调运动。总体而言，我认为5-10年是一个合理的时间框架，预计有相当一部分（也许50%）的人工智能驱动的健康益处将传播到世界上最贫穷的国家。一个好的目标可能是，在强大人工智能发展后的5-10年，发展中国家的健康状况至少要比今天的发达国家显著更好，即使它仍然落后于发达国家。当然，实现这一目标将需要在全球健康、慈善事业、政治倡导和许多其他努力方面付出巨大努力，人工智能开发者和政策制定者都应该对此有所帮助。
经济增长。发展中国家能否迅速赶上发达国家，不仅在健康方面，而且在经济上全面赶超？这方面有一些先例：在20世纪的最后几十年，几个东亚经济体实现了持续的约10%的年实际GDP增长率，使它们能够赶上发达国家。人类经济规划者做出的决策导致了这一成功，他们并不是通过直接控制整个经济，而是通过拉动几个关键杠杆（例如以出口为导向的工业政策，以及抵制依赖自然资源财富的诱惑）；“人工智能财政部长和中央银行行长”能够复制或超越这一10%的成就是合理的一个问题。一个重要的问题是如何让发展中国家的政府在尊重自决原则的同时采用这些政策——有些可能对此热情高涨，但其他人可能会持怀疑态度。从乐观的角度来看，前一条中的许多健康干预措施可能会自然而然地促进经济增长：根除艾滋病/疟疾/寄生虫将对生产力产生变革性影响，更不用说一些神经科学干预措施（例如改善情绪和专注力）在发达和发展中国家都会带来的经济利益。最后，非健康的人工智能加速技术（例如能源技术、运输无人机、改进的建筑材料、更好的物流和分配等）可能会自然而然地渗透到世界各地；例如，即使是手机也通过市场机制迅速渗透到撒哈拉以南非洲，而不需要慈善努力。在更消极的一面，虽然人工智能和自动化有许多潜在的好处，但它们也给经济发展带来了挑战，特别是对于尚未实现工业化的国家。确保这些国家在日益自动化的时代仍能发展和改善其经济是经济学家和政策制定者需要解决的重要挑战。总体而言，一个理想的情景——也许是一个目标——将是发展中国家的年GDP增长率达到20%，其中10%来自人工智能驱动的经济决策和人工智能加速技术的自然传播，包括但不限于健康。如果实现，这将使撒哈拉以南非洲在5-10年内达到中国当前的人均GDP，同时将大部分其他发展中国家的水平提高到高于当前美国GDP的水平。再次强调，这只是一个理想的情景，而不是默认发生的事情：这是我们所有人必须共同努力使其更有可能的事情。
粮食安全 24。作物技术的进步，如更好的肥料和农药、更多的自动化和更高效的土地利用，在20世纪大幅提高了作物产量，拯救了数百万人免于饥饿。基因工程目前正在改善许多作物。找到更多的方法来做到这一点——以及使农业供应链更加高效——可能会为我们带来一个人工智能驱动的第二次绿色革命，帮助缩小发展中国家与发达国家之间的差距。
缓解气候变化。气候变化将在发展中国家更为明显，阻碍其发展。我们可以预期，人工智能将推动减缓或防止气候变化的技术进步，从大气碳去除和清洁能源技术到减少我们对碳密集型工厂农业依赖的实验室培育肉。当然，正如上面讨论的，技术并不是限制气候变化进展的唯一因素——与本文讨论的所有其他问题一样，人类社会因素也很重要。但有充分理由相信，人工智能增强的研究将为我们提供减缓气候变化的手段，使其成本和破坏性大大降低，从而使许多反对意见失去意义，并使发展中国家能够取得更多经济进展。
国内的不平等。我主要谈论的是不平等作为一种全球现象（我确实认为这是其最重要的表现），但当然不平等也存在于国家_内部_。随着先进健康干预措施的出现，尤其是寿命或认知增强药物的激增，肯定会有人担心这些技术“仅仅是富人的专利”。我对国内不平等的乐观态度主要体现在发达国家，原因有两个。首先，发达国家的市场运作更好，市场通常能够随着时间的推移降低高价值技术的成本25。其次，发达国家的政治机构对其公民的反应更为敏感，国家执行普遍接入计划的能力更强——我预计公民会要求获得这些极大改善生活质量的技术。当然，这种需求的成功并不是预定的——在这里，我们集体必须尽一切努力确保一个公平的社会。还有一个关于_财富_不平等（与获得救生和改善生活的技术的不平等相对）的单独问题，这似乎更为复杂，我将在第5节中讨论。
选择退出问题。在发达国家和发展中国家，大家都担心人们会选择_退出_人工智能驱动的好处（类似于反疫苗运动，或更普遍的卢德运动）。可能会出现不良反馈循环，例如，最难以做出良好决策的人选择退出那些改善他们决策能力的技术，导致差距不断扩大，甚至创造出一个反乌托邦的下层阶级（一些研究人员认为这将破坏民主，这是我在下一节中进一步讨论的话题）。这再次给人工智能的积极进展蒙上了道德污点。解决这个问题很困难，因为我认为强迫人们并不符合伦理，但我们至少可以尝试提高人们的科学理解——也许人工智能本身可以帮助我们做到这一点。一个令人鼓舞的迹象是，历史上反技术运动往往是更多的叫嚣而非实质：反对现代技术是流行的，但大多数人最终会采用它，至少在个体选择的问题上。个人往往会采用大多数健康和消费技术，而真正受到阻碍的技术，如核能，往往是集体政治决策。

整体而言，我对迅速将人工智能的生物学进展带给发展中国家的人民持乐观态度。我希望，尽管没有信心，人工智能也能实现前所未有的经济增长率，并使发展中国家至少超越发达国家目前的水平。我对发达国家和发展中国家的“选择退出”问题感到担忧，但怀疑这会随着时间的推移而减弱，而人工智能可以帮助加速这一过程。这不会是一个完美的世界，那些落后的人不会完全赶上，至少在最初的几年里不会。但如果我们付出强有力的努力，我们可能能够朝着正确的方向推动事情的发展——而且速度很快。如果我们做到这一点，我们可以至少为我们欠每一个地球人类的尊严和平等的承诺支付一部分。

4. 和平与治理

假设前三个部分的一切进展顺利：疾病、贫困和不平等显著减少，人类经验的基线大幅提高。但这并不意味着所有主要的人类痛苦原因都得到解决。人类仍然是彼此的威胁。尽管有技术进步和经济发展导致民主与和平的趋势，但这是一种非常松散的趋势，伴随着频繁的（以及最近的）倒退。在20世纪初，人们认为他们已经将战争抛在身后；然后发生了两次世界大战。三十年前，弗朗西斯·福山写过关于“历史的终结”和自由民主的最终胜利；这尚未发生。二十年前，美国政策制定者相信与中国的自由贸易会使其在变得富裕时实现自由化；这并没有发生，我们现在似乎正朝着第二次冷战的方向发展，面对复兴的威权主义集团。而且，有合理的理论表明，互联网技术实际上可能有利于威权主义，而不是最初认为的民主（例如在“阿拉伯之春”时期）。理解强大的人工智能将如何与这些和平、民主和自由的问题交叉似乎很重要。

不幸的是，我没有强烈的理由相信人工智能会优先或结构性地促进民主与和平，正如我认为它会结构性地促进人类健康和减轻贫困一样。人类冲突是对抗性的，人工智能原则上可以帮助“好人”和“坏人”。如果说有什么值得担忧的结构性因素，人工智能似乎可能会使宣传和监视变得更为有效，这两者都是独裁者工具箱中的主要工具。因此，作为个体行动者，我们有责任将事情朝正确的方向倾斜：如果我们希望人工智能支持民主和个人权利，我们就必须为这一结果而奋斗。我对此的感觉比对国际不平等的感觉更强烈：自由民主和政治稳定的胜利并不是_保证_的，甚至可能不太可能，这将需要我们所有人付出巨大的牺牲和承诺，正如过去常常所需的那样。

我认为这个问题有两个部分：国际冲突和国家的内部结构。在国际层面上，当强大的人工智能被创造出来时，民主国家在世界舞台上占据上风似乎非常重要。以人工智能为动力的威权主义似乎太可怕了，因此民主国家需要能够设定强大人工智能进入世界的条件，以避免被威权主义者压倒，并防止威权国家内部的人权侵犯。

我目前认为实现这一目标的最佳方式是通过“协约战略”26，在这种战略中，民主国家的联盟寻求通过确保其供应链、快速扩展以及阻止或延迟对手获取关键资源（如芯片和半导体设备）来获得对强大人工智能的明显优势（即使只是暂时的）。这个联盟一方面将利用人工智能实现强大的军事优势（手段），同时向越来越多的国家提供强大人工智能的好处（诱饵），以换取支持该联盟促进民主的战略（这有点类似于“和平原子”）。该联盟的目标是获得越来越多国家的支持，孤立我们最糟糕的对手，并最终使他们处于一个更好的位置，接受与世界其他国家相同的交易：放弃与民主国家的竞争，以获得所有的好处，而不与更强大的对手作斗争。

如果我们能做到这一切，我们将拥有一个民主国家在世界舞台上领先，并拥有经济和军事力量以避免被专制国家削弱、征服或破坏的世界，并可能将他们的人工智能优势转化为持久的优势。这可能乐观地导致一个“永恒的1991”——一个民主国家占据上风、福山的梦想得以实现的世界。再次强调，这将非常难以实现，特别需要私营人工智能公司与民主政府之间的密切合作，以及关于诱饵与手段之间平衡的极其明智的决策。

即使所有这些进展顺利，它仍然留下了每个国家内部民主与专制之间斗争的问题。显然，很难预测这里会发生什么，但我确实对这样的全球环境感到乐观：在这种环境中，民主国家控制着最强大的人工智能，那么人工智能实际上可能在结构上有利于全球的民主。特别是在这种环境中，民主政府可以利用其优越的人工智能赢得信息战争：他们可以反制专制国家的影响和宣传活动，甚至可能通过提供信息渠道和人工智能服务来创造一个全球自由的信息环境，而专制国家缺乏技术能力来阻止或监控这一点。可能不需要传播宣传，只需反击恶意攻击并解除信息的自由流动。尽管不是立竿见影，但这样的公平竞争环境有很大机会逐渐将全球治理倾向于民主，原因有几个。

首先，第1-3节中生活质量的提高应该在其他条件相同的情况下促进民主：历史上，它们在某种程度上确实如此。特别是我预计心理健康、幸福感和教育的改善将增加民主，因为这三者与对专制领导人的支持是负相关的，且与支持专制领导人是负相关的。一般来说，当人们的其他需求得到满足时，他们希望更多的自我表达，而民主在某种程度上是一种自我表达。相反，专制主义则依赖于恐惧和怨恨。

其次，免费信息确实有可能削弱专制主义，只要专制者无法对其进行审查。而且，未被审查的人工智能也可以为个人提供强大的工具，以削弱压迫性政府。压迫性政府通过剥夺人们某种共同知识而生存，使他们无法意识到“皇帝没有穿衣服”。例如，Srđa Popović，他帮助推翻了塞尔维亚的米洛舍维奇政府，广泛撰写了心理上剥夺专制者权力的技术，以打破魔咒并团结对抗独裁者的支持。一个超人般有效的Popović人工智能版本（他的技能似乎在智力上有很高的回报）放在每个人的口袋里，而独裁者无能为力去阻止或审查，这可能会为全球的异议人士和改革者创造顺风。再说一次，这将是一场漫长而持久的斗争，胜利并不确定，但如果我们以正确的方式设计和构建人工智能，至少这可能是一场自由倡导者在各地都有优势的斗争。

与神经科学和生物学一样，我们也可以问事情如何能够“比正常更好”——不仅仅是如何避免专制，而是如何使民主制度比今天更好。即使在民主制度内，不公正的事情也时常发生。法治社会向公民承诺，每个人在法律面前都是平等的，每个人都有基本人权，但显然人们在实践中并不总是能获得这些权利。这个承诺即使部分实现，也值得骄傲，但人工智能能否帮助我们做得更好？

例如，人工智能能否通过使决策和流程更加公正来改善我们的法律和司法系统？今天，人们在法律或司法背景下主要担心人工智能系统会成为歧视的原因，这些担忧是重要的，需要加以防范。同时，民主的活力依赖于利用新技术来改善民主制度，而不仅仅是应对风险。真正成熟和成功的人工智能实施有潜力_减少_偏见，并对每个人更加公平。

几个世纪以来，法律系统面临着一个困境：法律旨在保持公正，但本质上是主观的，因此必须由有偏见的人类进行解释。试图使法律完全机械化并没有成功，因为现实世界是复杂的，无法总是用数学公式来捕捉。相反，法律系统依赖于臭名昭著的不精确标准，如“残忍和不寻常的惩罚”或“完全没有补救社会重要性”，然后由人类进行解释——而且往往以显示偏见、偏爱或任意的方式进行解释。加密货币中的“智能合约”并没有彻底改变法律，因为普通代码不足以裁决所有有趣的事情。但人工智能可能足够聪明来做到这一点：它是第一种能够以可重复和机械的方式做出广泛模糊判断的技术。

我并不是建议我们字面上用 AI 系统替代法官，但公正性与理解和处理混乱、现实世界情况的能力的结合感觉应该在法律和正义领域有一些严肃的积极应用。至少，这样的系统可以作为决策的辅助，与人类并肩工作。任何这样的系统都需要透明度，而成熟的 AI 科学可以提供这一点：这样的系统的训练过程可以被广泛研究，并且可以使用先进的可解释性技术来查看最终模型内部并评估其潜在偏见，这在与人类的情况下是根本不可能的。这些 AI 工具还可以用于监测司法或警务背景下对基本权利的侵犯，使宪法更具自我执行性。

类似地，AI 可以用于汇总意见并推动公民之间的共识，解决冲突，寻找共同点，并寻求妥协。在这方面的一些早期想法已经由计算民主项目进行，包括与 Anthropic 的合作。显然，更加知情和深思熟虑的公民将加强民主制度。

AI 还有明显的机会帮助提供政府服务——例如健康福利或社会服务——这些服务原则上是向所有人开放的，但在实践中往往严重不足，并且在某些地方比其他地方更糟。这包括健康服务、机动车辆管理局、税收、社会保障、建筑规范执行等等。拥有一个非常深思熟虑和知情的 AI，其工作是以您可以理解的方式提供您法律上应得的所有政府服务，并且还帮助您遵守通常令人困惑的政府规则，这将是一个大事件。增强国家能力不仅有助于实现法律面前的平等承诺，还加强了对民主治理的尊重。当前，服务实施不当是导致对政府产生愤世嫉俗的主要原因之一27。

所有这些都是一些模糊的想法，正如我在本节开始时所说的，我对它们的可行性并没有我对生物学、神经科学和减贫进展的信心那么强。它们可能是不切实际的乌托邦。但重要的是要有一个雄心勃勃的愿景，愿意大胆梦想并尝试各种事物。将人工智能视为自由、个人权利和法律平等的保障者的愿景是一个强大的愿景，值得为之奋斗。一个21世纪的、以人工智能为驱动的政治体可以更强有力地保护个人自由，并成为一个希望的灯塔，帮助使自由民主成为全世界想要采纳的政府形式。

5. 工作与意义

即使前四个部分中的一切进展顺利——不仅我们减轻了疾病、贫困和不平等，而且自由民主成为主导的政府形式，现有的自由民主国家也变得更好——至少还有一个重要问题依然存在。“我们生活在一个如此技术先进且公平体面的世界真是太好了，”有人可能会反对，“但在人工智能做一切的情况下，人类将如何找到意义？更进一步，他们将如何在经济上生存？”

我认为这个问题比其他问题更复杂。我并不是说我对这个问题的悲观程度一定高于其他问题（尽管我确实看到了一些挑战）。我的意思是，这个问题更模糊，更难以提前预测，因为它涉及到关于社会如何组织的宏观问题，这些问题往往只能随着时间的推移以去中心化的方式解决。例如，历史上的狩猎采集社会可能会想象，没有狩猎和各种与狩猎相关的宗教仪式，生活是没有意义的，并且会想象我们这个吃得饱的技术社会是缺乏目的的。他们也可能不理解我们的经济如何能够为每个人提供保障，或者在一个机械化社会中，人们可以发挥什么有用的作用。

然而，值得至少说几句话，同时要记住，这一部分的简洁并不意味着我不认真对待这些问题——相反，这恰恰是缺乏明确答案的标志。

关于意义的问题，我认为相信你所承担的任务是毫无意义的，仅仅因为人工智能可以更好地完成这些任务，这很可能是一个错误。大多数人并不是在任何事情上都处于世界顶尖水平，这似乎并没有特别困扰他们。当然，今天他们仍然可以通过比较优势做出贡献，并可能从他们所创造的经济价值中获得意义，但人们也非常享受那些没有经济价值的活动。我花很多时间玩视频游戏、游泳、在外面散步和与朋友交谈，这些活动都没有产生任何经济价值。我可能会花一天时间试图在视频游戏中变得更好，或者在骑自行车上山时变得更快，而我并不在意某个地方有人在这些事情上更出色。无论如何，我认为意义主要来自人际关系和连接，而不是经济劳动。人们确实希望获得成就感，甚至竞争感，在一个后人工智能的世界中，花费数年时间尝试一些非常困难的任务，采用复杂的策略是完全可能的，这类似于人们今天在进行研究项目、尝试成为好莱坞演员或创办公司时所做的事情28。事实是（a）某处的人工智能原则上可以更好地完成这个任务，以及（b）这个任务不再是全球经济中经济奖励的要素，这对我来说似乎并不重要。

经济方面实际上对我来说似乎比意义方面更困难。在这一部分中，我所说的“经济”是指一个可能的问题，即_大多数或所有_人类可能无法在一个足够先进的人工智能驱动的经济中有意义地贡献。这是一个比我在第3节中讨论的关于不平等，特别是对新技术的获取不平等的问题更宏观的问题。

首先，在短期内，我同意比较优势的论点，这将继续使人类保持相关性，并实际上提高他们的生产力，甚至在某些方面可能会使人类之间的竞争环境更加平等。只要人工智能在某项工作中只比人类更优秀90%，那么剩下的10%将使人类变得高度杠杆化，从而提高薪酬，并实际上创造出一大批新的人类工作，以补充和放大人工智能擅长的领域，使得“10%”能够扩展以继续雇佣几乎所有人。事实上，即使人工智能能够比人类更好地完成100%的工作，但如果在某些任务上仍然效率低下或成本高昂，或者人类和人工智能的资源_输入_有显著不同，那么比较优势的逻辑仍然适用。人类可能在相当长的时间内保持相对（甚至绝对）优势的一个领域是物理世界。因此，我认为人类经济在我们达到“数据中心中的天才国家”这一点之后，仍然可能继续有意义。

然而，我确实认为，从长远来看，人工智能将变得如此广泛有效且廉价，以至于这一点将不再适用。到那时，我们当前的经济结构将不再有意义，社会将需要进行更广泛的讨论，关于经济应该如何组织。

虽然这听起来可能很疯狂，但事实是，文明在过去成功地应对了重大的经济转变：从狩猎采集到农业，从农业到封建主义，再从封建主义到工业主义。我怀疑将需要一些新的、更奇怪的东西，而这正是今天没有人能够很好地设想的。它可能简单到为每个人提供一项大规模的普遍基本收入，尽管我怀疑这只会是解决方案的一小部分。它可能是一个人工智能系统的资本主义经济，这些系统根据某种次级经济（人工智能系统认为值得奖励人类的内容，基于最终源于人类价值观的某种判断）向人类分配资源（大量资源，因为整体经济蛋糕将是巨大的）。也许经济运行在Whuffie 点数上。或者，也许人类在某种未被通常经济模型预见的方式上仍然具有经济价值。所有这些解决方案都有大量可能的问题，无法在没有大量迭代和实验的情况下知道它们是否有意义。与其他一些挑战一样，我们可能需要为获得良好的结果而奋斗：剥削性或反乌托邦的方向显然也是可能的，必须加以防止。关于这些问题可以写更多内容，我希望在稍后的时间里做到这一点。

盘点

通过上述各种主题，我试图描绘一个世界的愿景，这个世界在人工智能一切顺利的情况下是合理的，并且比今天的世界要好得多。我不知道这个世界是否现实，即使它是，也不会在许多勇敢和奉献的人们付出巨大努力和奋斗的情况下实现。每个人（包括人工智能公司！）都需要尽自己的一份力量，以防止风险并充分实现好处。

但这是一个值得为之奋斗的世界。如果这一切真的在5到10年内发生——大多数疾病的战胜、生物和认知自由的增长、数十亿人摆脱贫困以共享新技术、自由民主和人权的复兴——我怀疑所有目睹这一切的人都会对其对他们的影响感到惊讶。我并不是指个人从所有新技术中受益的体验，尽管那肯定会令人惊叹。我是指目睹一套长期以来的理想在我们面前同时实现的体验。我认为许多人会因此感动得流泪。

在写这篇文章的过程中，我注意到一种有趣的紧张关系。从某种意义上说，这里描绘的愿景是极其激进的：这不是几乎任何人期望在下一个十年内发生的事情，并且可能会让许多人觉得这是一个荒谬的幻想。有些人甚至可能不认为这是可取的；它体现了并非所有人都能认同的价值观和政治选择。但与此同时，这里有一些显而易见的东西——一些过度确定的东西——仿佛许多不同的尝试去设想一个美好的世界不可避免地大致指向这里。

在伊恩·M·班克斯的游戏玩家29中，主角是一个名为文化的社会的成员，该社会基于与我在这里阐述的原则相似的原则——他旅行到一个压迫性的、军事化的帝国，在这个帝国中，领导权是通过复杂的战斗游戏中的竞争来决定的。然而，这个游戏复杂到足以使玩家在其中的策略往往反映他们自己的政治和哲学观点。主角设法在游戏中击败了皇帝，表明他的价值观（文化的价值观）即使在一个基于无情竞争和适者生存的社会设计的游戏中也代表了一种获胜策略。斯科特·亚历山大的一个著名帖子有着相同的论点——竞争是自我挫败的，往往导致一个基于同情和合作的社会。“道德宇宙的弧线”是另一个类似的概念。

我认为文化的价值观是一种成功的策略，因为它们是数百万个小决策的总和，这些决策具有明确的道德力量，并且倾向于将每个人拉到同一边。基本的人类公平、合作、好奇心和自主权的直觉是很难反驳的，并且以一种我们更具破坏性的冲动往往无法做到的方式累积。很容易争辩说，如果我们能够预防，孩子们就不应该死于疾病，从而进一步争辩说_每个人_的孩子都应平等地享有这种权利。从这里出发，争辩说我们应该团结起来，运用我们的智慧来实现这一结果并不困难。几乎没有人会反对对不必要攻击或伤害他人的人进行惩罚，从这里出发，认为惩罚应该在不同人之间保持一致和系统化的想法也并不遥远。同样，人们应该对自己的生活和选择拥有自主权和责任这一点也是直观的。这些简单的直觉，如果推向其逻辑结论，最终会导致法治、民主和启蒙价值观。如果不是必然的，那么至少作为一种统计趋势，这就是人类已经朝着的方向。人工智能只是提供了一个更快到达那里机会——使逻辑更加明显，目的地更加清晰。

然而，这是一种超越美的事物。我们有机会在实现这一目标中扮演一些小角色。

感谢Kevin Esvelt、Parag Mallick、Stuart Ritchie、Matt Yglesias、Erik Brynjolfsson、Jim McClave、Allan Dafoe以及Anthropic的许多人审阅这篇文章的草稿。

致2024年诺贝尔化学奖的获奖者，感谢你们为我们指明了方向。

脚注

https://allpoetry.com/All-Watched-Over-By-Machines-Of-Loving-Grace ↩
我确实预见到少数人的反应会是“这很温和”。我认为这些人需要用Twitter的说法“接触草地”。但更重要的是，从社会的角度来看，温和是好的。我认为人们一次能接受的变化是有限的，而我所描述的节奏可能接近社会在没有极端动荡的情况下能够吸收的极限。 ↩
我发现AGI是一个不精确的术语，带有很多科幻的包袱和炒作。我更喜欢“强大的人工智能”或“专家级科学与工程”，这些更能表达我的意思而没有炒作。 ↩
在这篇文章中，我使用“智能”来指代可以应用于不同领域的一般问题解决能力。这包括推理、学习、规划和创造力等能力。虽然我在整篇文章中使用“智能”作为简写，但我承认智能的本质是一个复杂且有争议的话题，在认知科学和人工智能研究中。一些研究人员认为智能不是一个单一的、统一的概念，而是一组独立的认知能力。其他人则认为存在一个普遍的智能因素（g因子），它是各种认知技能的基础。这是另一个时间讨论的话题。 ↩
这大致是当前人工智能系统的速度——例如，它们可以在几秒钟内阅读一页文本，并在大约20秒内写出一页文本，这个速度是人类完成这些事情的10-100倍。随着时间的推移，更大的模型往往会使这一过程变慢，但更强大的芯片往往会使其变快；迄今为止，这两种效应大致相抵消。 ↩
这可能看起来像一个稻草人立场，但像Tyler Cowen和Matt Yglesias这样的深思熟虑的思想家将其作为一个严肃的问题提出（尽管我认为他们并不完全持有这种观点），我认为这并不疯狂。 ↩
我所知道的最接近解决这个问题的经济学研究是关于“通用技术”和“无形投资”的研究，这些投资作为补充通用技术。 ↩
这种学习可以包括临时的上下文学习或传统训练；两者都将受到物理世界的速率限制。 ↩
在一个混沌系统中，小错误会随着时间的推移呈指数级累积，因此即使计算能力大幅提升，也只会导致预测能力的微小改善，而在实践中，测量误差可能会进一步降低这一点。 ↩
另一个因素当然是强大的人工智能本身可能会被用来创造更强大的人工智能。我的假设是，这可能（实际上，可能会）发生，但其影响将小于你想象的，正是因为这里讨论的“智能的边际收益递减”。换句话说，人工智能将继续迅速变得更聪明，但其影响最终将受到非智能因素的限制，分析这些因素是科学进步速度最重要的方面，而不仅仅是人工智能。 ↩
这些成就一直是我的灵感来源，也许是人工智能用于转变生物学的最强大现有例子。 ↩
“科学的进步依赖于新技术、新发现和新思想，可能是按这个顺序。” - Sydney Brenner ↩
感谢Parag Mallick提出这一观点。 ↩
我不想让文本充斥着关于人工智能驱动的科学可能会做出哪些具体未来发现的推测，但这里有一些可能性的头脑风暴：
— 设计更好的计算工具，如AlphaFold和AlphaProteo——也就是说，一个通用的人工智能系统加速我们制作专业人工智能计算生物学工具的能力。
— 更高效和选择性的CRISPR。
— 更先进的细胞疗法。
— 材料科学和微型化突破，导致更好的植入设备。
— 更好地控制干细胞、细胞分化和去分化，从而能够重新生长或重塑组织。
— 更好地控制免疫系统：选择性地开启以应对癌症和传染病，选择性地关闭以应对自身免疫疾病。 ↩
人工智能当然也可能帮助更聪明地选择要进行的实验：改善实验设计，从第一轮实验中学习更多，以便第二轮能够聚焦于关键问题，等等。 ↩
感谢Matthew Yglesias提出这一观点。 ↩
快速演变的疾病，如基本上将医院视为进化实验室以不断提高其对治疗的抵抗力的多重耐药菌株，可能特别难以处理，并可能是阻止我们达到100%的那种事情。 ↩
请注意，在5-10年内，我们可能很难知道我们是否已经将人类寿命翻倍。虽然我们可能已经实现了这一点，但在研究时间框架内我们可能还不知道。 ↩
这是我愿意在治愈疾病和减缓衰老过程之间的明显生物差异之外，从更远的角度看统计趋势，并说“尽管细节不同，我认为人类科学可能会找到继续这一趋势的方法；毕竟，复杂事物中的平滑趋势必然是通过将非常异质的组成部分相加而成的。” ↩
举个例子，我被告知每年生产率增长1%甚至0.5%将对与这些项目相关的预测产生变革性影响。如果这篇文章中考虑的想法得以实现，生产率的提升可能会远远超过这个数字。 ↩
媒体喜欢描绘高地位的精神病患者，但普通的精神病患者可能是经济前景差和冲动控制差的人，最终在监狱中度过了大量时间。 ↩
我认为这在某种程度上类似于这样一个事实：我们从可解释性中学习到的许多结果，尽管可能不是全部，即使我们当前人工神经网络的一些架构细节（例如注意机制）被以某种方式改变或替换，仍然会继续相关。 ↩
我怀疑这有点像一个经典的混沌系统——受到不可简化复杂性的困扰，必须以一种主要去中心化的方式进行管理。尽管正如我在本节后面所说，更温和的干预可能是可行的。经济学家Erik Brynjolfsson对我提出的一个反驳是，大公司（如沃尔玛或优步）开始拥有足够的集中知识，以便比任何去中心化的过程更好地理解消费者，这可能迫使我们修正哈耶克的见解，关于谁拥有最佳的地方知识。 ↩
感谢Kevin Esvelt提出这一观点。 ↩
例如，手机最初是一种富人的技术，但随着年复一年的快速改进，很快变得非常便宜，以至于购买“奢侈”手机的任何优势都被消除，今天大多数人拥有的手机质量相似。 ↩
这是RAND即将发布的一篇论文的标题，大致阐述了我所描述的策略。 ↩
当普通人想到公共机构时，他们可能会想到他们与机动车辆管理局、国税局、医疗保险或类似职能的经历。使这些经历比现在更积极似乎是对抗不必要的愤世嫉俗的有力方式。 ↩
确实，在一个人工智能驱动的世界中，这类可能的挑战和项目的范围将远比今天更广泛。 ↩
我正在打破自己不将此与科幻小说联系起来的规则，但我发现很难不至少提及一下。事实是，科幻小说是我们唯一的关于未来的广泛思想实验来源之一；我认为它与一个特定狭窄的亚文化如此紧密纠缠在一起是件坏事。 ↩