ACM通信
新闻
Neurosymbolic人工智能
信贷:他在Rybin
人工智能(AI)领域正在进行的革命——包括图像识别、自然语言处理和翻译等等——一直是由神经网络驱动的，特别是被称为深度学习的多层版本。这些系统有众所周知的弱点，但它们的能力在不断增长，即使它们需要更多的数据和能源。与此同时，其他关键应用需要的不仅仅是强大的模式识别，而深度学习并不能提供计算机科学中常用的那种性能保证。
为了解决这些问题，一些研究人员倾向于将神经网络与旧的人工智能工具结合起来。特别是，神经符号AI结合了长期研究的对象及其关系的符号表示。一个组合可以用许多不同的方式组装，但到目前为止，没有一个单一的视角占主导地位。
这类系统的互补能力经常被比作心理学家丹尼尔·卡尼曼(Daniel Kahneman)提出的人类“系统1”和更严格、更有条理的“系统2”，前者像神经网络一样，能做出快速、启发式的决定。德克萨斯大学奥斯汀分校的Swarat Chaudhuri说:“这个领域发展得非常快，有很多令人兴奋的事情。”他说，尽管“神经网络将变得无处不在，甚至比现在更加无处不在，”“但并不是所有的计算机科学都将被深度学习所取代。”
很长的历史
在人工智能的早期，研究人员对符号规则寄予厚望，例如简单的if-then规则和高阶逻辑语句。尽管Cycorp的道格•莱纳特(Doug Lenat)等一些专家仍对这种策略抱有希望，希望它能向人工智能传授常识，但人们普遍认为所需规则的集合太大了。“如果你试图手动编码所有人类知识，我们知道这是不可能的。我们尝试过，但都失败了，”IBM神经符号人工智能项目主管阿西姆·穆纳瓦(Asim Munawar)说。
神经网络在20世纪80年代和90年代也没有达到他们的期望，人工智能进入了一个兴趣和资金减少的漫长“冬天”。然而，这种情况在十年前发生了变化，这主要是因为可供训练的大量数据集和强大的计算机能力。最近的架构创新，特别是注意力和转换器，推动了进一步的进步，例如OpenAI的大型语言模型GPT-3所产生的不可思议的可信文本。
深度学习在泛化方面做得出奇的好，原因我们只了解了一部分。然而，尽管这些系统在平均水平上取得了令人印象深刻的成功，但当遇到不符合它们从训练数据中推断出的模式的新例子时，它们仍然会犯一些奇怪的错误。使用恶意修改的数据也会产生错误，有时以人们基本上察觉不到的方式产生错误。
此外，训练数据中的种族、性别和其他偏见可能会被神经网络无意中隐藏起来。因此，出于伦理和安全方面的考虑，用户通常希望得到一个解释，说明网络是如何在医疗、金融、法律和军事应用方面得出结论的。
尽管存在广泛的担忧，但这些问题实际上并不是“深度学习系统的局限性”，人工智能首席科学家、Meta公司副总裁扬·勒昆(Yann LeCun)在谈到广泛使用的监督学习范式时表示。他分享了2018年ACM A.M.和深度学习的先驱Geoffrey Hinton和Yoshua Bengio一起获得了图灵奖，他认为，如果用户采用“自我监督学习，即不针对给定任务进行训练，而是进行泛型训练的事物，那么很多问题将从本质上消失。”(LeCun认为可解释性“无关紧要”。)
被忽视的领域
尽管如此，LeCun表示，神经网络的训练算法“基本上要求系统中的所有模块都是可微的”(在微积分意义上)，这样输出误差就可以反向传播，以更新早期的参数。“在这些网络中，我们是否需要一种特定的符号操作机制?绝对不是!我一点也不相信这些，”他说。人类“没有离散的符号。我们有神经元的活动模式。”
尽管如此，“我确实相信我们应该找到让深度学习系统推理的架构，”LeCun说，这可能是一种约束满足的形式。“如果你愿意，你可以称之为神经符号。我不这么认为，但如果你这么认为，没问题。”
Chaudhuri说，尽管有些人认为深度学习可以解决一切问题，“他们想象的一切仍然是一个相当狭窄的集合”，而且可能不包括具有长期相互依赖性的复杂问题。例如，大型语言模型最近被成功地应用于程序合成。然而，“神经网络倾向于犯表面上看起来很小的错误，”Chaudhuri说，“但对于代码来说，这是一个巨大的问题。”同样地，他说，“我认为即使是最乐观的深度学习乐天派也不会认为操作系统会在近期或永远不会用语言模型来设计。”
企业家、纽约大学名誉教授加里•马库斯(Gary Marcus)是深度学习的直言不讳(有时也受到批评)的批评者。例如，他是这本书的合著者重新启动人工智能和他的前同事欧内斯特·戴维斯一起为《科学》杂志投稿鹦鹉螺（https://nautil.us/)，并在2019年与本吉奥就AI的最佳发展方向进行了一场著名的辩论。除了像图像识别这样的模式识别任务，Marcus还有一长串的其他目标，比如故事理解，在这方面神经网络和其他方法都没有取得太大成功。马库斯说:“人们在他们建造的街灯下工作，但有很多东西并不是真的在街灯下。”他说，这些被忽视的任务包括“任何形式的长期理解，任何长期的科学理解”，并补充说，他不指望深度学习能够自己解决这些问题。
“我认为，即使是最乐观的深度学习乐天派也不会认为操作系统会在短时间内——或者永远不会用语言模型来设计。”
正如麻省理工学院的Chaudhuri等人在最近对神经符号编程的调查中所描述的那样，随着对神经符号人工智能兴趣的增长，各种各样的策略正在被探索。在一种策略中，由熟悉符号组成的顶层可能有助于提供更容易理解的解释。这种设计还促进了“组合性”，它允许系统地从较小的组件创建模块，这是纯神经网络经常难以做到的。
另外，神经网络也可以建立在提供输入的传统控制电路之上。尽管神经网络仍然提供了更灵活的响应，但电路就像一个正则化器，限制了神经网络的搜索问题。Chaudhuri说，他的团队已经实现了比单独的控制电路“更可靠的学习和更高的样本效率”。
穆纳瓦尔说，在不同的神经系统和符号系统之间进行通信的混合系统“不是正确的方法”。例如，IBM专注于一种被称为逻辑神经网络的体系结构，在这种体系结构中，“神经部分和符号部分没有区别，”Munawar说，并将这一特性比作“波粒二象性”。他说，“你可以训练它，让它学习以前不知道的新规则，而不是使用预设的规则。”
严格的基础
符号表示还可以对神经网络探索的任何可能解决方案的硬约束进行编码，例如，从一个账户中取出的钱总是出现在另一个账户中。Chaudhuri说:“我仍然希望我的银行交易满足我过去想要的不变条件，即使它有神经网络。”“建立有保障的系统，这是我们需要探索神经符号组合的地方。”
Luís巴西里约热内卢Grande do Sul联邦大学的Lamb补充道:“我们需要像开发编程语言语义学一样，开发机器学习或深度学习。”计算机科学家很久以前就建立了形式化语义，“以一种非常精确的数学方式来理解程序的实际含义”。
兰姆是这本书的合著者Neural-Symbolic认知推理2009年，在深度学习革命之前，他强调了表示高阶逻辑的重要性，例如，包括断言的证据程度。类似地，“时间逻辑和时间推理在计算中至关重要，在人工智能、软件工程、硬件设计、硬件验证和模型检查等方面都有很多应用，”Lamb说。“计算机正被应用到人类知识的各个领域，使用这个工具需要承担很大的责任。”
新技术还可以帮助控制深度学习对更多数据和更多能量的需求。“他们已经在消耗所有可以获得的数据。现在不可能有更多的数据。”“如果你看到模型大小和计算需求呈指数级增长，很容易预测这是不可持续的。”
符号表示通常要求较低，它们可以使强大的工具更广泛地使用。Chaudhuri说:“不是所有人都能运行大型语言模型，更不用说训练它们了。”“用更少的计算和更少的数据做更多的事情，这应该是人工智能的首要和核心目标。”
“我们需要像开发编程语言语义学一样，开发机器学习或深度学习。”
符号系统和神经系统的集成“可以为计算机科学的发展做出很大贡献，因此，可以开发出有助于改善我们生活的技术和创新，”兰姆说，尽管它经常受到关于符号是什么的分歧的阻碍。“有时，争论过于集中在术语上，过于集中在捍卫自己的方法上，而不是捍卫科学的进步。”
进一步的阅读
乔杜里，S.，埃利斯，K.，波洛佐夫，O.，辛格，R.， Solar-Lezama, A.， Yisong, Y.。
Neurosymbolic编程,编程语言的基础和趋势， 7: pp 158-243(2021)。http://dx.doi.org/10.1561/2500000049
加塞兹，A，兰姆，L.C.
神经符号人工智能:第三波，2020年12月https://arxiv.org/abs/2012.05876
IBM神经符号人工智能研讨会2022https://researcher.watson.ibm.com/researcher/view_group.php?id=10897
马库斯,G。
深度学习正在碰壁，鹦鹉螺, 2022年3月https://nautil.us/deep-learning-is-hitting-a-wall-14467/
AI辩论:Yoshua Bengio | Gary Marcus，蒙特利尔。人工智能,2019,https://bit.ly/3kBihmY
©2022 0001 - 0782/22/10 ACM
允许为个人或课堂使用部分或全部作品制作数字或硬拷贝，但不得为盈利或商业利益而复制或分发，且副本在首页上附有本通知和完整的引用。除ACM外，本作品的其他组件的版权必须受到尊重。允许有信用的文摘。以其他方式复制、重新发布、在服务器上发布或重新分发到列表，都需要事先获得特定的许可和/或费用。请求发布的权限permissions@acm.org传真(212)869-0481。
数字图书馆是由计算机协会出版的。版权所有©2022 ACM, Inc.
评论
Sathyanaraya Raghavachary
不错的文章。以下是我对如何获得高智商的一些想法。
神经网络被比作System1思维是不正确的——System1不仅仅是关于“快”的方面。我们做System1，从System2开始，然后内部化显式步骤，能够“跳过”他们，由于重复(例如。玩一种乐器，通勤上班，在DoorDash上订外卖，还有成千上万件我们死记硬背的事情)。让我们这么做的，是销售代表提供的亲身体验。神经网络没有这种能力——快速给事物贴上标签和走认知捷径是不一样的。
对世界的理解(包括科学理解)不太可能来自纯粹的数据，甚至不太可能来自将其与符号推理相结合的数据，如果符号的结果是我们建立它们的结果(例如。通过使用知识图表，或常识规则等)。这是因为，系统仍然缺乏真正的理解(知识图肯定会扩展仅仅的标签，但组合仍然有局限性，例如。超越ANN+KG组合的框架问题依然存在)。
对于一个真正智能化的系统来说，它需要直接与环境进行协商，并且能够直接表示环境。
显示1评论