ACM通信

BLOG@CACM

新的研究为Fodor和Pylyshyn辩护:没有“结构化语义”就没有可解释的AI

瓦利德·s·萨巴著
2022年9月14日
评论(1)

可辩解的AI(新品)

随着深度神经网络(DNNs)被应用于贷款批准、工作申请、批准法院保释或做出生死攸关的决定(如在高速公路上突然停车)的应用程序中，仅凭预测评分来解释这些决定就变得至关重要。

可解释人工智能(XAI)的研究最近集中在反事实例子的概念上。这个想法从直觉上看很简单:首先制作产生一些预期输出的反事实输入;读出隐藏的单元，大概可以解释为什么网络产生了其他的输出。更正式,

“分数p返回，因为变量V有值(v1，v2、……)与他们有关。如果V有值(v1,v’2，…)，所有其他变量保持不变，得分p’就会被退回去。”

下面是一个具体的例子(参见Wachter等人的文章)在这里)：

“你被拒绝贷款，因为你的年收入是3万英镑。如果你的收入是4.5万英镑，你会得到一笔贷款。”

一个优秀的纸(Browne和Swift, 2020年以后的B&W)最近表明，反事实的例子只是稍微更有意义敌对的例子，这些例子是通过对输入执行小而不可观察的扰动而产生的，导致网络以非常高的置信度对它们进行错误分类(参见这而且这更多关于对抗性攻击的信息)．此外，反事实的例子“解释”了得到正确预测的一些特征应该是什么，但“没有打开黑盒子”，也就是说，没有解释算法是如何工作的。B&W继续认为反事实的例子并不能为可解释性提供解决方案没有语义就没有解释(强调原文)。事实上，B&W提出了更强烈的建议

1. “我们要么找到一种方法来提取假定存在于网络隐藏层中的语义，”要么
2. “我们认输。”

我们的建议是承认失败(就像我们以前说的那样)在这里而且在这里)，因为(1)无法实现。下面，我们来解释原因。

佛多和皮利辛的幽灵

虽然我们完全同意B&W的观点没有语义就没有解释，我们认为，他们希望通过找到“解释深度神经网络中隐藏层表示的语义”的方法，以某种方式“为深度学习系统产生令人满意的解释”，这一希望无法实现，而且正是由于30多年前在福多与皮利辛(1988)．

在我们解释问题所在之前，我们在这里注意到，纯粹的扩展模型，如神经网络，不能建模系统性和组合性，因为它们不承认具有生产语法和相应语义的符号结构。因此，nn中的表示并不是与任何可解释的东西对应的真正的“符号”，而是分布的、相关的和连续的数值，它们本身并不意味着任何可以在概念上解释的东西。用更简单的术语来说，神经网络中的次符号表示本身并不指任何人类在概念上可以理解的东西(一个隐藏的单位本身不能表示任何在形而上学上有意义的对象)。相反，它是一个隐藏单元的集合，通常一起代表一些显著的特征(例如，猫的胡须)。但这正是为什么网络中的可解释性无法实现，即因为几个隐藏特征的组合是不可确定的——一旦组合完成(通过一些线性组合函数)，单个单元就会丢失(我们将在下面展示)。

换句话说，可解释性——顺便说一下，这在人工智能很早就被解决了，在深度学习之前几十年——本质上是某种形式的“反向推理——这是一个追溯我们的步骤以“证明”最终决定的过程。但是，如果网络的构成是不可逆的，那么可解释性就永远无法实现。就是这么简单!

可解释性是“反向推理”，dnn不能还原其推理

在之前的文章中(上面提供了链接)，我们讨论了为什么Fodor和Pylyshyn得出结论说nn不能为系统的(因此可以解释的)推论建模。在符号系统中，有定义明确的成分语义函数，它计算化合物的意义作为其成分意义的函数。但是这个组合是可逆的。，one can always get at the components that produced that output, and precisely because in symbolic systems one has access to the "syntactic structure" that has a map of how the components were assembled. None of this is true in NNs. Once vectors (tensors) are composed in a NN, their decomposition is undecidable (the number of ways a vector—including a scalar, can be decomposed is infinite!)

为了说明为什么这是问题的核心，让我们考虑一下B&W提出的建议，即提取dnn中的语义以实现可解释性。B&W的建议是:

输入图像被标记为“建筑”，因为隐藏的神经元41435(通常为轮毂盖激活)的激活值为0.32。如果隐藏神经元41435的激活值为0.87，则输入图像将被标记为“汽车”。

要了解为什么这不能解释，我们需要注意的是，要求神经元41435的激活值为0.87是不够的。为了简单起见，假设神经元41435只有两个输入，x1和x2。我们现在的情况如下图1所示:

图1．单个神经元有两个输入，输出为0.87

现在假设我们的激活函数f是流行的ReLU函数，那么输出可以产生为z= 0.87。这意味着可以得到输出0.87的值x₁，x₂，w₁,w₂如下表所示。

看一下上面的表格，很容易看出有无穷多的线性组合x₁，x₂，w₁,w₂这将产生0.87的输出。这里的要点是，神经网络中的组合性是不可逆转的，因此无法从任何神经元或任何神经元集合中捕获有意义的语义。与B&W的口号保持一致没有语义就没有解释，“我们声明，任何解释都不能从网络记者那里得到。简而言之，没有组合性就没有语义，没有语义就没有解释，dnn不能对组合性进行建模。这可以形式化如下:

1.没有语义就没有解释(Browne和Swift, 2020)

2.没有可逆的组合性就没有语义(Fodor & Pylyshyn, 1988)

3.dnn的组成是不可逆的(Fodor & Pylyshyn, 1988)
dnn是无法解释的(没有XAI)

QED．

顺便说一句，dnn中的组合性是不可逆的，除了无法产生可解释的预测之外，还有其他的后果，特别是在需要更高层次推理的领域，如自然语言理解(NLU)。特别是，这样的系统不能解释一个孩子如何学习如何从一个模板(<人类> <喜欢> <实体>)来解释无限多的句子，因为“约翰”，“邻家女孩”，“总是穿着AC/DC t恤来这里的男孩”等都是<人类>的可能实例，而“经典摇滚”，“名声”，“玛丽的奶奶”，“在海滩上跑步”等都是<实体>的可能实例。因为这样的系统没有“记忆”，也因为它们的组成不能颠倒，理论上，它们需要无数个例子来学习这个简单的结构。

最后，我们想指出的是，30多年前Fodor和Pylyshyn(1988)提出的对网络神经网络作为一种认知架构的批评——他们展示了为什么网络神经网络不能模拟系统性、生产力和合成性，所有这些都是谈论任何“语义”所必需的——是一种令人信服的批评，但从未得到回答。随着解决人工智能的可解释性问题变得至关重要，我们必须重新审视那篇经典论文，该论文显示了将统计模式识别与人工智能的进步等同起来的局限性。

瓦利德萨巴是高级研究科学家东北大学体验式人工智能研究所．他发表了超过45篇关于人工智能和NLP的文章，包括一篇在KI-2008获奖的论文。

---

评论

---

显示1评论