2019 年 3 月 27 日,ACM 宣布,深度学习三位大牛 Yoshua Bengio、Yann LeCun、Geoffrey Hinton 因“在概念和工程方面使深度神经网络成为计算的关键组成部分的突破”获得了 2018 年的图灵奖。近年来,深度学习方法一直是计算机视觉、语音识别、自然语言处理和机器人技术以及其他应用中惊人突破的原因。在 ACM 的公告中是这样写道的:虽然在 20 世纪 80 年代引入了人工神经网络作为帮助计算机识别模式和模拟人类智能的工具,但到了 21 世纪初,LeCun、Hinton 和 Bengio 仍坚持这种方法的小团体。虽然他们重新点燃人工智能社区对神经网络兴趣的努力在最初曾遭到怀疑,但其想法引发了重大的技术进步,其方法现在已成为该领域的主导范例。此前他们在深度学习领域的地位早已是无人不知,尽管三人走向了不同的方向,但他们仍然是多年的合作伙伴和挚友。让我们先来看看三位所作出的主要贡献:
杰弗里·辛顿(Geoffery Hinton)
**反向传播(Back Propagation)**:在 1986 年与 David Rumelhart 和 Ronald Williams 共同撰写的 “Learning Internal Representations by Error Propagation” 一文中,Hinton 证明了反向传播算法允许神经网络发现自己的数据内部表示,这使得使用神经网络成为可能网络解决以前被认为超出其范围的问题。如今,反向传播算法是大多数神经网络的标准。
**玻尔兹曼机(Boltzmann Machines)**:1983 年,Hinton 与 Terrence Sejnowski 一起,发明了玻尔兹曼机,这是第一个能够学习不属于输入或输出的神经元内部表示的神经网络之一。
**对卷积神经网络的改进(Improvement of Convolutional Neural Network)**:2012 年,Hinton 和他的学生 Alex Krizhevsky 以及 Ilya Sutskever 通过 Rectified Linear Neurons 和 Dropout Regularization 改进了卷积神经网络,并在著名的 ImageNet 评测中将对象识别的错误率减半,在计算机视觉领域掀起一场革命。
约书亚·本吉奥(Yoshua Bengio)
**序列的概率模型(Probabilistic models of sequences)**:在 20 世纪 90 年代,Bengio 将神经网络与序列的概率模型相结合,例如隐马尔可夫模型。这些想法被纳入 AT&T / NCR 用于阅读手写支票中,被认为是 20 世纪 90 年代神经网络研究的巅峰之作。现代深度学习语音识别系统也是这些概念的扩展。
**高维词向量嵌入和注意力(High-dimensional word embeddings and attention)**:2000 年,Bengio 撰写了具有里程碑意义的论文“A Neural Probabilistic Language Model”,它引入了高维词向量作为词义的表示。Bengio 的见解对自然语言处理任务产生了巨大而持久的影响,包括语言翻译、问答和视觉问答。他的团队还引入了注意力机制,这种机制促使了机器翻译的突破,并构成了深度学习的序列处理的关键组成部分。
**生成式对抗网络(Generative Adversarial Networks)**:自 2010 年以来,Bengio 关于生成性深度学习的论文,特别是与 Ian Goodfellow 共同开发的生成性对抗网络(GAN),引发了计算机视觉和计算机图形学的革命。
杨立昆(Yann LeCun)
**卷积神经网络(Convolutional Neural Networks)**:在 20 世纪 80 年代,LeCun 开发了卷积神经网络,现已成为该领域的基本理论基础。除了其他优点之外,它还具有使深度学习更有效的必要性。在 20 世纪 80 年代后期,多伦多大学和贝尔实验室工作期间,LeCun 是第一个在手写数字图像上训练卷积神经网络系统的人。如今,卷积神经网络是计算机视觉以及语音识别、语音合成、图像合成和自然语言处理的行业标准。它们用于各种应用,包括自动驾驶、医学图像分析、语音激活助手和信息过滤。
**改进反向传播算法(Improved Back Propagation Algorithms)**:LeCun 提出了一个早期的反向传播算法 backprop,并根据变分原理对其进行了简洁的推导。他的工作让加快了反向传播算,包括描述两种加速学习时间的简单方法。
**拓宽神经网络的范围(Widening the Range of Neural Networks)**:LeCun 还将神经网络作为可以完成更为广泛任务的计算模型,其早期工作现已成为 AI 的基础概念。例如,在图像识别领域,他研究了如何在神经网络中学习分层特征表示,这个理念现在通常用于许多识别任务中。与 LéonBottou 一起,他还提出了学习系统可以构建为复杂的模块网络,其中通过自动区分来执行反向传播,目前在每个现代深度学习软件中得到使用。他们还提出了可以操作结构化数据的深度学习架构,如图形。 在《连线》杂志的报道中,Geoffery Hinton 被问及获得图领奖的意义时,他表示十分惊讶,“我猜神经网络现在是受人尊敬的计算机科学”,因为在他看来图灵将是计算机科学中最值得尊敬的学科了。 据了解,图灵奖由 ACM 于 1966 年设置,每年颁发一次,设立目的之一是纪念著名的计算机科学先驱艾伦 • 图灵(Alan Turing),他在 20 世纪 30 年代、40 年代和 50 年代奠定了计算和人工智能的早期基础。 图灵奖是计算机科学领域的最高奖。获奖者必须在计算机领域具有持久重大的先进性技术贡献。人工智能领域的先驱马文 • 明斯基(Marvin Lee Minsky)、约翰 • 麦卡锡(John McCarthy)、艾伦 • 纽厄尔(Allen Newell)和司马贺(Herbert Alexander Simon)等人都曾经获奖。华人科学家姚期智 2000 年因为伪随机数生成等计算领域的重要贡献获奖。