ACM通信
新闻
神经网络的价值
信贷:亚历山大·伯格
1972年，当杰弗里·辛顿(Geoffrey Hinton)开始在爱丁堡大学(University of Edinburgh)从事人工智能研究生研究时，利用模仿人脑的神经网络实现人工智能的想法声名狼藉。计算机科学家马文·明斯基(Marvin Minsky)和西摩·佩珀特(Seymour Papert)在1969年出版了一本关于感知机(Perceptrons)的书，这是建立神经网络的早期尝试，它给该领域的人们留下了这样的印象:这种设备是胡说八道。
欣顿说:“它实际上并没有这么说，但这就是社区对这本书的解释。”欣顿和约书亚·本吉奥和扬·勒昆将获得2018年ACM A.M.他们的工作使深度神经网络成为当今计算的重要组成部分。“人们认为我研究神经网络是完全疯了。”
即使在20世纪80年代，当本吉奥和勒昆进入研究生院时，神经网络也不被看好。许多人认为，建立一个跨多层的随机连接的网络，给它一些数据，让它知道如何得到正确的答案，这是要求太多了。辛顿是多伦多大学(University of Toronto)的荣誉退休教授，现在是谷歌的工程研究员。他说:“人们对只从数据中学习的想法非常怀疑。”
LeCun读了Hinton的工作，他说，包括一篇用编码语言写的论文，以绕开关于神经网络的禁忌。“我知道了杰夫的存在，意识到这就是我需要见的人，”他说。LeCun在Hinton的实验室做博士后，然后去了Bell实验室。他现在是纽约大学(New York University)的教授，也是Facebook人工智能研究的主管。
上世纪90年代初，本吉奥也来到了贝尔实验室，在那里他和勒昆一起工作。本吉奥回忆说:“真正吸引我的是，通过研究神经网络，我正在研究一些关于智能的普遍概念，这将解释我们的智能，并允许我们制造智能机器。”如今，他是蒙特利尔大学的教授，Mila(蒙特利尔学习算法研究所)的科学主任，以及微软的顾问。
数字从左至右分别是加拿大多伦多矢量人工智能研究所的Yoshua Bengio、Geoffrey Hinton和Yann LeCun。
2012年，在Hinton和两名学生利用深度神经网络赢得ImageNet挑战之后，他们的工作获得了广泛的主流认可，他们在一组照片中识别物体的速度远远优于任何竞争对手。自那以后，该领域开始拥抱这项技术，该技术在语音识别和自然语言处理方面也取得了突破，并有助于使自动驾驶汽车更可靠。
LeCun说，关于为什么神经网络不能工作的理论是，训练算法会陷入数学函数的极值，即所谓的“局部极小值”，这与现实经验相矛盾。“最后，人们被说服的不是定理;它们是实验结果，”他说。尽管存在局部最小值，但糟糕到让优化算法陷入困境的情况相对较少。事实证明，如果神经网络足够大，足以解决它们试图解决的问题，它们可能会被卡住，但如果它们更大，它们在优化方面会变得更高效。LeCun说:“你让这些网络越来越大，它们运行得越来越好。”
他们三人共同或独立地工作，对神经网络做出了重要的贡献。在他们的几个发现中，Hinton帮助开发了反向传播(backpropagation)，这是一种算法，可以计算网络输出的误差，并将结果反向传播到输入，从而提高机器的准确性。LeCun开发了卷积神经网络，可以跨空间复制特征检测器，更有效地进行图像和语音识别。
另一个帮助系统更有效学习的发展包括在大约一半的时间里随机关闭一些神经元，向网络中引入一些噪声。本吉奥说，有噪声和随机的方式在生活的神经元峰值，这使系统更好地处理输入模式的变化，这是使系统有用的关键。Hinton说:“你想要擅长做那些你还没有见过的事情，那些可能与训练数据有些不同的事情。”
“机器仍然非常、非常愚蠢，”LeCun说。“如今最聪明的人工智能系统的常识都比不上一只家猫。”
本吉奥提出了单词嵌入，神经元激活的模式代表单词符号，从而成倍地扩展了系统表达意义的能力，使处理文本并将其从一种语言翻译成另一种语言成为可能。Hinton解释说，嵌入使系统更容易通过类比进行推理，而不是遵循一套逻辑规则;他认为这更像是人类大脑的运作方式。他认为，大脑进化到使用神经活动的模式来进行感知和运动，这使得它更适合通过类比而不是逻辑进行推理。
事实上，与人类智能相比，人工智能仍然有限。“机器仍然非常、非常愚蠢，”LeCun说。“如今最聪明的人工智能系统的常识都比不上一只家猫。”虽然神经网络擅长识别模式，但它们不知道世界是如何运作的，计算机科学家也还没有弄清楚如何将知识传授给它们。人类学会从非常少量的样本中进行归纳，而神经网络需要大量的训练数据集。Hinton说，事实上，正是可用数据集的增长，以及更快的处理器，导致了“相移”从神经网络的好奇心变成了一种实用的方法。
Hinton说，神经网络只要利用其现有的模式识别能力，就可以完成数百项有用的任务，从预测地震余震到根据数十万个例子提供更好的医疗诊断。但本吉奥说，要让机器拥有更通用的智能，能够解决不同类型的问题或完成多项任务，需要科学家提出关于学习如何工作的新概念。他说:“要达到人类水平的人工智能可能还需要很长时间。”
与此同时，社会应该对如何合理使用人工智能进行更多的讨论。例如，辛顿担心自主智能武器系统可能会被滥用。LeCun表示，如果没有足够的政治和法律保护，政府可能会使用这些系统来跟踪人们，并试图控制他们的行为，或者企业可能会依赖人工智能做出决定，但忽略算法中的偏见。
为了解决这些担忧，本吉奥参加了一个组织，该组织去年12月发布了《人工智能负责任发展蒙特利尔宣言》(Montreal Declaration for a Responsible Development of Artificial Intelligence)，该宣言概述了他们认为应该用于推动该技术向前发展的原则。“我们正在以科学为前提，建设越来越强大的技术，但社会组织和集体智慧跟不上。解决方案可能不会出现在一些新的定理或新的算法中，”他说。
辛顿说，考虑到这些问题，他将把自己获得的100万美元图灵奖奖金中的一部分捐给多伦多大学的人文学科。他说:“如果我们有科学而没有人文学科来帮助指导政治进程，那么我们都将陷入困境。”勒昆说他可能会给纽约大学捐款，本吉奥说他正在考虑一些环境方面的原因。
他们以自己作为学术异端、后来被证明是正确的经验为基础，劝告年轻的计算机科学家们坚持自己的信念。“如果有人告诉你，你的直觉是错误的，有两种可能，”辛顿说。“一种是你有糟糕的直觉，在这种情况下，你做什么都无所谓;另一种是你有良好的直觉，在这种情况下，你应该遵循它们。”
©2019 0001 - 0782/19/06 ACM
如果您不是为了盈利或商业利益而制作或分发本作品的部分或全部，并在第一页注明本通知和完整引用，则允许您免费制作本作品的部分或全部数字或纸质副本，供个人或课堂使用。本作品的组成部分必须由ACM以外的其他人享有版权。信用文摘是允许的。以其他方式复制、重新发布、在服务器上发布或重新分发到列表，需要事先获得特定的许可和/或费用。请求发布的权限permissions@acm.org或传真(212)869-0481。
数字图书馆是由计算机协会出版的。版权所有©2019 ACM股份有限公司
没有发现记录