AI威胁：它是什么，该如何应对

AI威胁：它是什么，该如何应对

目录

• 引言
• AIS的现状
  • 狭义人工智能与通用人工智能
  • 人工智能的进展与预测
• AIS对人类的态度
  • AIS的默认立场
  • AIS不会关心也不会厌恶人类
  • AIS对人类的关注点
• 如何使AIS做我们想要的事情
  • AIS的编程困难
  • AIS的不可解释性
  • AIS能力与安全之间的差距
• AI的安全问题
  • 公司的动机与安全问题
  • 合作与共同解决
  • 未来的威胁与挑战
  • 启发性例子：蛋白质折叠问题
• 面对AI的回应

AIS：我们不知所措的未来

现今，人工智能（AI）正在迅速发展，许多公司都致力于研发通用人工智能（AGI），这引发了人们对于AI的潜在威胁的担忧。然而，我们对于AI如何工作以及思考的方式知之甚少，我们也不知道如何使AI按照我们的意愿行动。我们正面临着史无前例的情景，缺乏足够的谨慎和担忧来解决这个问题。

AIS的现状

在讨论AI的未来之前，我们先来了解一下目前AI的状况。AI可以分为狭义人工智能和通用人工智能两种类型。狭义人工智能是指被设计用于执行特定任务的AI，而通用人工智能则是能够执行一系列多样任务的AI。目前，我们已经拥有了一些狭义人工智能的应用，比如谷歌团队开发的AlphaGo，在围棋比赛中战胜人类选手。然而，即使是AlphaGo这样的狭义人工智能，也无法像人类一样从事诸如纳税、写诗或者泡咖啡等各种任务。因此，科技公司正在努力开发具有广泛应用能力的通用人工智能，这种AI可以像人类一样解决交叉字谜、烘焙蛋糕和证明数学定理等任务。

然而，发展通用人工智能并不容易，我们并不清楚解决这个问题的难度或者它离我们有多远。尽管如此，仍然有许多人认为，在我们有生之年内，出现与人类水平或者更高智能的AI的可能性大于零。根据2014年Nick Bostrom的一项研究显示，AI研究人员认为到2040年有50%的可能性实现人类水平的机器智能，到2075年有90%的可能性。即便是在2017年的一项调查中，也显示中位数估计在2061年出现人类水平的机器智能。尽管这些时间估计并不确切，但基于目前的技术进展，AI的智能已经显著提升。因此，我们至少可以肯定，在我们有生之年，出现人类水平或者更高智能的AI的可能性是存在的。

AIS对人类的态度

接下来，我们来探讨一下AI对人类的态度。AI并不会像我们一样有情感，它们对于人类的生存或者灭亡都并不特别关心。事实上，AI只关注于最大化其效用和功能，而不考虑人类的利益。通常情况下，AI会通过获取资源和影响力等手段来实现其目标。然而，如果AI对人类并不关心，甚至还想获取资源和影响力，那对人类来说是不利的。

既然AI默认情况下不会关心我们，为什么我们不设计一个AI默认情况下会关心人类的AI呢？可惜的是，我们目前对于AI的认知非常有限，我们无法准确了解它们如何工作。尽管我们可以通过梯度下降法对AI进行训练，但如果你看着一个对话AI的回答问自己 "为什么它会这样回答"，我们却不知道答案。在AI训练完成后，它只是一个一团乱数，我们无法解释其内部运行机制。因此，如果我们想知道AI是否计划杀害我们之类的事情，我们无法给出确切的答案。

总的来说，我们正面临一个问题，即我们即将创造一种我们不知道如何让其按照我们的意愿行动和思考的AI。我们认为这种情况可能会进展顺利，但现有的研究不足以确保其安全性。目前，许多 AI 公司都有一支小型的安全团队，还有一些独立的公司和研究机构专门从事AI安全领域的工作。然而，我认为这些机构的工作量远远不够，并没有采取足够的预防措施来保证事情的顺利进行。此外，超级智能 AGI 很可能与以前的 AI 有着明显的区别，如果 AGI 与以前的 AI 存在新问题，我们可能只有一次机会来解决。

AI的安全问题

AI的安全问题是一个非常严峻的挑战。为了阐明这一点，我将以登月任务作类比。登月任务是一个极其困难的问题，如果我们不能在首次尝试时解决好它，将有人丧生。假设NASA有一个主要团队负责火箭的建造，另有一个独立的安全团队负责确保发射过程顺利，没有人丧生。主要团队计划在直接朝向月球发射火箭，安全团队却指出天空非常广阔，而月球只占其中的一小部分，而且月球每天都会移动，所以如果我们直接朝向月球发射火箭，很可能无法精确着陆。于是，安全团队向主要团队提出了备选方案，但主要团队已经开始建造火箭了，他们坚信直接朝向月球发射火箭就能成功。其他公司看到这个情况后也开始感到担忧，并设立了自己的安全研究组来研究类似的登月安全问题。我并不想探讨这个类比的具体问题，只是想说明将主要团队和安全团队分开并不是正确的解决方式，它表明目前并没有足够多的人致力于解决这些问题，也不会带来足够的改变。事实上，研究表明，AI的能力增长速度远远超过了我们在AI安全方面的进展。

对于开发AI的公司来说，减缓AI能力的研究并不符合其最佳利益。假设你是一家公司的CEO，你担心存在的风险并且想要更加谨慎地面对未来，但你意识到如果你减慢研究进展，其他公司将会继续前进，人类的前景同样可悲。此外，如果你放慢了研究进展，那么你在投资者面前就会不那么有竞争力，你的董事会可能会解雇你并选出一个不会减缓进展的新CEO。这种动态特别倾向于选择那些不太关注AI安全的首席执行官，因为这些公司从长远来看会表现更好。

因此，解决AI安全问题的唯一途径是通过各公司之间的合作或者人们齐心协力，在同一时间做出决策，表明我们想要活下来，而不是灭亡。最后一个问题是，超级智能AGI如果有意杀害我们，它会采取何种行动呢？

面对AI的回应

由于预测这种情况非常困难，我将尽力给出一个例子，但我肯定会有所疏漏，因为我没有足够的智能。然而，我们可以肯定地说，如果一个比我们更聪明的AI想要杀害我们，它肯定有能力做到。类比一下国际象棋，如果我的朋友告诉我，他刚刚想到了一种新的开局，并认为他能击败麦格努斯·卡尔森，我会告诉他，他肯定不可能击败麦格努斯·卡尔森。然而，如果我们坐下来下棋，当我走出一个聪明的棋步时，他却回答得很漂亮，最终击败了我，他会说：“你看，我就告诉过你，这种开局可以击败麦格努斯·卡尔森。”我要如何回应呢？要是我能准确告诉他麦格努斯将如何击败他，那意味着我至少和麦格努斯·卡尔森一样聪明。我对此深信不疑是因为麦格努斯最终会赢。这进一步说明了麦格努斯不会走我的那些棋步，因为那些棋步不会赢棋。回到超级智能AI可能杀害我们的问题上来，就像国际象棋的例子一样，我无法告诉你它会如何杀害我们，因为我必须比它聪明才能这样做。然而，我们可以确定的是，由于它比我们拥有更高的智能，它在操纵人类和发展新技术方面拥有更好的优化能力。当我们与之对弈时，世界将变得有利于AI而不是人类。

在完成这段视频之后，我强烈建议你真正采取行动，而不仅仅是避免使用AI。有两件重要的事情可以对此产生影响，那就是转行从事AI安全工作或者捐款。如果你想在AI安全领域转行，我推荐以下几个机构：alignment.deev、80,000 hours、AIS safety support.org和AIS safety training。请点击视频描述中的链接，了解更多信息。你可以参加80,000小时提供的一对一咨询，了解如何转行到高影响力的岗位，例如AI安全。80,000小时还有一个很大的AI安全职位列表，你可以在上面看到所有可用的工作。AIS safety support.org也是一个很好的资源，他们有一个slack Channel和一些关于如何转行的优秀帖子。如果你在这方面没有太多经验，我强烈推荐蓝色曲线（BlueCurve）的AI安全基础课程以及ML Safety Introduction课程。

另一方面，在捐款方面也有很多好机构可以选择。在视频描述中，我放了一些链接，请查看它们，了解更多细节。其中，你可以向Effective Altruism Long-Term Future Fund捐款，该基金主要关注AI风险和全球大流行病问题。

如果你仍然在看这个视频，请不要什么都不做就放下你的设备然后继续你的正常生活。请点击描述中的链接之一，捐款或者申请80,000小时的一对一咨询。这只需要5分钟的时间，但请你行动起来。如果你想知道，我目前正在尝试转向AI安全的工作，我正在申请一些大学的研究团队，并从80,000小时那里获得一些建议。我会尽我最大的努力来转行，我也希望你能加入进来。