人工智能（AI）系统因其在各种任务中的卓越表现而备受赞誉。然而，许多成功背后隐藏着一个普遍问题：AI常常走捷径。它并非真正学会如何完成任务，而可能只是注意到所给示例中的简单模式。例如，一个识别照片中动物的AI可能会依赖背景而非动物本身进行判断。这类捷径有时会导致严重错误，比如根据医院标识而非患者数据做出诊断。即使在经过数百万示例训练的高级系统中，这类错误依然会出现。理解AI为何走捷径，能帮助研究者设计更好的训练方法，避免潜在失误。要让AI更安全可靠，我们必须帮助它真正理解任务本质——而非仅根据既往有效的模式进行猜测。

捷径并非总是管用！

我们都听过“人生没有捷径”这句谚语。要真正成功完成一项任务，必须努力坚持，仅靠取巧缩短路径是不够的。人工智能在学习执行各种任务时，似乎有时也会走捷径，这可能引发惊人甚至危险的后果。确保AI系统真正学会解决问题，而不被“诱惑”去走危险的捷径，是我们面临的重大挑战之一。

展开剩余84%

什么迷惑了人工智能？

让我们从一个简单问题开始： 图1A中的图片里你看到了什么？

图1- 沙漠与草地背景下的骆驼和马匹图像

你很可能回答右图是骆驼，左图是马。多年来，计算机科学家一直试图编写能回答类似问题的程序，但仅取得部分成功。过去十年间，AI表现取得显著进步，如今计算机已能以极高精度描述图像。众多网站宣称能通过AI描述任何图像。当我们将这两张图片上传至某个优秀的图像描述网站时，它正确识别出右图为骆驼，左图为马。

现在来看稍难的问题。图1B底部图片中你看到了什么？

你大概看到一匹马和一头骆驼，它们处于不同背景中。猜猜AI提供了什么描述？令人惊讶的是，它将右图描述为两匹马，左图描述为两头骆驼！但我们清楚地看到每张图片中都只有一匹马和一头骆驼——两幅图中是完全相同的动物。这暴露了现有AI工具的一个缺陷：虽然它们常给出正确答案（我们使用的网站在全球拥有数万用户，且用户对其表现满意），但有时会因不明原因犯下尴尬的错误。在后文，我们将阐释AI工具的一个根本错误来源：它们倾向于学习捷径（shortcuts）。

什么是AI中的捷径？为何会产生？

几乎所有AI工具都基于名为“机器学习（machine learning）”的技术。机器学习通过学习例子来创造AI。为帮助理解，我们将使用小学数学课可能见过的练习题（图2A）。

图2 - (A)每道数学题包含两个算式。 需判断哪边数值更大。(B)标红正确答案的示例，可用于训练AI

每道题有两个算术表达式，需要写出左侧结果大于(>)还是小于(<)右侧结果。若要求程序员编写解题程序，他们可能会编写分别计算左右表达式再比较的代码。这就是约20年前程序的工作方式——工程师构思解决方案，然后为AI编写实现代码。

现代方法则是直接向AI提供大量例题及其正确答案，让它自行寻找决策规则（decision rule）。一旦学会规则，AI就能将其应用于未知答案的新例题。这种机器学习方法推动了近年来AI性能的飞跃发展，但该方法存在缺陷，我们将通过算术题演示。

观察图2B。假设我们给AI四道带正确答案（标红）的练习题。如前所述，AI正试图从训练题中推断规则。规则会呈现为“若满足特定条件，答案为>；否则为<”的形式。请花几分钟思考：从这些计算训练图中能推断出什么简单决策规则，使其能给出正确答案？

如果考虑以下规则：若左边有三个数字，则左侧总是更小(<)，否则正确答案是>。这对人类和AI都是直截了当的规则。它无疑比计算所有表达式结果更简单。但即使该规则对图2B所有训练图都适用，也必然会在其他许多例子中出错。这就是捷径——一种基于表面解法而非真正理解的解决方案。

回到骆驼与马的问题。假设我们向AI展示训练图像（training images）——大量带描述的图片如图3所示。你能想出什么捷径来正确将每个示例描述为马或骆驼吗？

图3 - 训练示例。六张马匹照片与六张骆驼照片，均附有动物名称。

您可能想到了以下捷径：若背景是沙漠，则照片中是骆驼；若背景是草地，则图片中是马匹。这条捷径能完美解决所有训练图像，但显然无法正确判断其他示例。我们在引言中使用的网络AI工具，很可能就学会了类似捷径，因此在背景更换的图片上出现误判。

事实证明，许多成功的图像描述AI模型都倾向于学习类似捷径。2022年发表的一项研究评估了多款前沿图像描述AI工具[1]。研究发现，当要求描述网络任意图像时，这些工具正确率超过80%。但当物体被移至不同背景时，准确率骤降至35%。显然，基于背景识别图像物体的捷径具有极强诱惑力！

AI捷径的问题

2024年发表的文章检测了14款医疗诊断AI工具，发现它们普遍使用捷径[3]。这些工具在多项任务中接受测试，包括从X光片中识别冠状病毒感染或心脏肥大、通过听诊器诊断心脏疾病等。研究者假设AI不会专注医疗信息，而是学会利用每个病例的特殊测量条件来走捷径。例如若医生怀疑患者感染冠状病毒，可能会使用与健康患者不同的X光设备（比如出于医护人员安全考虑）。AI能识别设备差异，仅凭设备类型判断健康状况而无须分析影像本身。研究发现所有14款工具都采用了这种基于设备特征而非医疗信息的捷径。当在新医院进行测试时，由于捷径失效，AI表现急剧下降。这无疑是AI融入现实医疗环境时的严重隐患。

如何改进未来AI?

AI研究者正在开发能规避捷径的更有效机器学习方法。其一是通过增加训练样本量。回到数学题的讨论：若向AI提供整本数学教材而非仅四道例题，先前发现的捷径便会失效，AI将被迫寻找新解法。但即便样本量巨大，仍无法保证AI不会找到其他捷径。前述图像描述研究发现，即使经过上亿张图像训练的AI仍会使用背景判断动物类型[1]。

若提前预知可能出现的捷径，我们可在训练阶段进行防范。例如若不想让AI通过背景识别动物，可在训练中展示随机背景的动物图像（如雪地中的骆驼）。随着此类样本增加，通过背景识别动物的捷径自会失效。但问题在于：这种方法仅针对已知捷径。即便规避了当前捷径，仍无法阻止其他未知捷径（如依赖光照条件）。

人类与其他生物（非人工智能）同样倾向学习捷径。例如许多学生通过刷历年试题备考数学考试，有时会放弃理解知识本身。20世纪初，名为"聪明汉斯"的马因貌似能解数学题而闻名。当被问及9+5时，它会跺蹄14次。心理学家奥斯卡·普丰斯特研究发现，这匹马通过捷径"解题"：它会持续跺蹄直至提问者的肢体语言（在无意识状态下）暗示已达到正确数字。一旦阻断人马眼神接触，捷径立即失效，聪明汉斯的答案几乎全错。

尽管存在上述问题，我们不应丧失信心。近年来我们已见证AI在多领域超越非AI：击败国际象棋世界冠军、在律师资格考试中超越大多数人类。如今AI更协助师生完成从信息检索到文本总结的各项任务。AI研究者持续开发能显著降低捷径依赖的机器学习方法。或许有天，它们在这方面也会超越我们。

作者：Yair Weiss、Daniella Har-Shalom、Ofir Shifman

来源：脑与心智毕生发展研究中心

发布于：北京市