【nature】深度学习巨头看人工智能界人才迁徙

Turing Award 其实很奇葩，一个领域发了图灵奖，就代表这个领域基本上已经死了，没什么好做的了。比如密码学，自动机，分布式计算，与模型检测。 而且这个奖特别喜欢发给做理论的。我呢，恰恰相反，认为这世界上的绝大多数事情人类是不可能找到严格理论的。

这么看来，不发给deep learning，也许反而是好事。

不过让我惊讶的是Hinton, Lecun居然连ACM Fellow都不是。可见这个领域有多黑。

这些年所谓深度学习(Deep Learning)，其实是指多层的Neural Network(NN)、单层或多层的Restricted Boltzmann Machine(RBM)、Convolutional Neural Network(CNN)等，CNN其实是在NN的基础上引入共享权重，pooling等技巧，是NN的简单变种，而RBM是一种generative版本的NN。

不可否认上面三位对Deep Learning有重大贡献，基本上奠定了NN的重新崛起(其中Hinton长年在NN上的坚持尤为重要)。但是，这三位要拿到图灵奖有两方面困难：

一是NN本身难以获奖，NN属于机器学习方向的内容，机器学习相关方面是有得过图灵奖的，比如Leslie G. Valiant和Judea Pearl，Leslie Valiant的PAC理论是可学性方面的基础理论，奠定了机器学习的基础，而NN作为众多的classification、regression工具之一，其地位与各种机器学习模型不相上下，比如SVM，Adaboost(boosting方面有诸多模型，Adaboost仅仅作为代表列出)，Random Forest，并且这些模型还有相应的泛化性保证(NN没有)，然而这些各种机器学习模型从学术角度看还不够基础，地位不如这两位图灵奖获得者的基础性工作，从价值上看很难获得图灵奖。

二是即使NN能够获奖，恐怕不会是这三位之一，NN的工作50年代就有，Frank Rosenblatt提出了感知机(wiki上提到的NN历史比这个更早https://en.wikipedia.org/wiki/Artificial_neural_network#History)，Deep Learning毕竟就是NN，模型上没有太多贡献，总之，最早提出NN的并非这三位Deep Learning大佬。NN提出之初没有足够好的算法用于求解多层的NN，后来出现了Back-Propagation(BP)算法求解多层的NN，三位大佬中Hinton资历最老，对BP算法在NN中的应用有贡献，而在他之前Paul Werbos才是最早提出BP算法的人，假设NN方面的工作能够获得图灵奖，Hinton由于竞争对手较强，获奖有点困难。而Yann Lecun和Yoshua Bengio虽然是ML界大神，在NN方面贡献比不上前面提到的诸位，较难有机会因为NN获得图灵奖。
对于这三位杰出的scientist，他们真正的贡献应该更多的是在practical层面，是他们不懈的努力，让很多现实中原先很难解决的问题（比如语音识别，图像识别等等），被NN或者说deep NN很好的解决了。就好比诺贝尔奖不会给爱迪生，但爱迪生改变了人类的生活一样，图灵奖和这三位之间或许完全不用互相奢求吧。

我个人很喜欢带bound的paper，前提是这个bound可以给人启发。我觉得对于证bound这个事见人见智，bound本身是个优美而严格的东西，但是为了证bound而最后给出一个丑的不行的下界从中得不到任何启发，我觉得并没有什么卵用，每年icml这么多bound paper，不少都是在做数学游戏，照着凸问题狂搞，较少人敢碰非凸问题的bound，大家一边喷神经网络没理论没bound，一边又都不敢碰，这就有点怂了。不过最近越来越多的人开始重新进军NN的bound问题，jordan组最近出了几篇不错基于pac learning 关于nn的可学习性的paper，那里面的bound还是挺精彩的。题主可以一睹。

再补充一点，我曾经当面问过他为什么不证bound，其实他早年搞过svm的时候也搞过bound，只是这事到神经网络的上面的时候太难了，能给出的bound都没有意义，有意义的bound又很难证。这不是他数学不好的问题，而是在之前一段时间整个机器学习界都很少有人敢碰这个问题，因为给不出有意义的bound。

所以不是“他数学太弱，连个像样的bound都证不出来。”（题主某评论，貌似已经删掉），其实他早年玩bound的玩的不知道高到哪里去了。而是他认为“有些bound即使证明出来了，也没有任何价值。” 请题主自行感受一下。

这几位教授在国际上对他们的评价基本都是“深度学习的活跃研究者”，“三巨头”这个说法是中国特色，基本类似于“四大金刚”，“十八罗汉”或者“葫芦娃七兄弟”的感觉，国人发现他们几个总是搞在一起谋划大事，而最新的成果又很多来源于他们三个，所以干脆一拍脑门起个狂霸酷炫的组合名字“深度学习三巨头”好了，这个称呼看看就好，认真你就输了。
若论资排辈，自然是hinton>lecun>bengio。
首先年龄上bengio就最小。
hinton不用多说，经典工作堆成山，门下徒子徒孙遍地，lecun是hinton的postdoc，当年michael jordan想去hinton门下读postdoc都被婉拒，而bengio又是jordan的postdoc。
虽说lecun不是cnn的发明人，但是他是第一个把bp用在cnn上并且完善cnn使得它可以在real application上work的人，也是自98年之后近20年的cnn第一推动者。
说回bengio，bengio当年在att lab工作时，组长就是lecun，lecun的经典文章bengio是三作，那片文章的4个作者如今都是大牛。（题外话，当时vapnik也在att lab，可想当时有多热闹）
所以资历上看很明显，bengio资历最浅。

但是这不妨碍bengio成为dl的几大贡献者，bengio的主要贡献在于：1.他对rnn的一系列推动包括经典的neural language model，gradient vanishing 的细致讨论，word2vec的雏形，以及现在的machine translation；2.他是神经网络复兴的主要的三个发起人之一（这一点他们三个人都承认，之前他们一直在谋划大事，正是他们三个人的坚持才有了现在的神经网络复兴，这点最高票答案说的很对）包括了pre－training的问题，如何initialize参数的问题，以denoising atuencoder为代表的各种各样的autoencoder结构，generative model等等。
3.symbolic computional graph思想的theano。这个库启发了后来的多个库的开发（直接基于它的库就不提了比如keras），包括国内很火的MXnet，google的tensorflow以及berkeley的cgt等等，可以说这个工具以及所涵盖的思想可以算同类型库的鼻祖。4.ICLR的推动者，个人认为ICLR是一种崭新的会议形式，包容开放，也正符合bengio本人的思想。5.其他paper。

说到除了bengio之外的人，不得不提的一个名字是：Jürgen Schmidhuber。
他是LSTM的发明人，gradient vanishing的贡献人，也是reccurent 结构的狂热推动者，手下得意门生比如alex grave等。Schmidhuber本人由于地处欧洲，和北美学术圈交流较少，而他本人性格稍显内敛，所以跟另外三位交集没那么大，喜欢自己闷头搞研究，此外他个人也是强ai的fans。但不得不说他对dl的贡献也是非常大。如果要我说dl贡献最大的几个人，我会把Schmidhuber也算进去。
他的主页：Juergen Schmidhuber’s home page -Universal Artificial Intelligence

综上，bengio的贡献足以让他进入最新一次神经网络复兴的前四名研究者了。

从古希腊神话中皮格马利翁的伽拉忒亚到中世纪巫术和达芬奇机器人再到Google的AlphaGo，人类从未停止对人工智能的幻想和探索。人工智能作为一门学科诞生至今已有60多年的历史，期间经历了2次高潮和低谷。今天我们即将迎来人工智能发展的第三次浪潮，可以想象，将会有一大批创业公司将诞生于新一波浪潮中。

1，人工智能面临爆发

根据CB Insights的数据，近年来社交媒体上人工智能的关注持续攀升。特别是从去年开始，人工智能更是迎来了爆发性的发展。人们早已被各种科幻电影进行了初步的科普，即使不理解人工智能的内涵也可以就相关的话题发表一些自己的看法。另一方面，全球范围内对人工智能的投资近几年也有大幅增长，2015年共有397起投资事件、23.88亿美元被投入到这一领域，与2011年相比投资额增长了近9倍。另有数据显示，其中近一半的融资发生在种子轮和天使轮，由此可见人工智能是一个非常火热的创业方向。投资者们正不断涌入这个领域，科技巨头们也大肆收购初创公司。

2，人工智能爆发的原因

从外部因素来说，首先，我们所处的信息环境和网络基础设施已经极大的改变。在现代社会，互联网、移动互联网、传感器、可穿戴设备等基础设施已经非常完善，我们生活在遍布世界的信息网络之中。可以预见，随着物联网的进一步发展，将有更多的设备终端被接入网络从而产生更大量的数据，人工将成为基础性社会资源。其次，社会对人工智能的需求大爆发。人工智能可以显著的提高行业效率进而提升社会的总体效率，医疗、交通、物流等各行业都迫切需要人工智能的发展。第三，人工智能的目标和理念有了重大改变，现在的人工智能更多的在研究人和机器如何融合，而以前的人工智能实际上是用计算机模拟人的行为。

人工智能听起来很高大上，其实分解开来只有数据、算法和计算能力三个核心要素。从人工智能的内部因素来看，也正是这三个要素的发展促进了人工智能新一轮的爆发。

数据是人工智能的基础，人工智能诞生至今一直没有发展起来的一个原因就是数据量不足，而今天在互联网和移动互联网上已经积累了海量的数据，并且每天产生的数据量依然在指数型增长。以微信为例，用户每天在朋友圈上传的图片达到10亿张，有了大量的数据才能为模型的训练提供原材料。

另外一个因素就是算法的发展，特别是深度学习的应用。大部分人工智能的算法早就被发明出来，但是效果并不突出，而深度学习的横空出世几乎垄断了目前人工智能所有领域。与大部分传统算法相比，深度学习的效果随着数据量的增大有显著的提升，因而更大量的数据可以提高算法的表现，而传统的算法很难做到这一点。机器学习的算法需要人手工选取特征值，这很大程度上取决于经验和运气，因而算法的效果容易遇到瓶颈。而深度学习则通过计算机自动地学习一些特征，只要有更大量的数据就会有更好的特征被提取出来。利用深度学习，20到30层的神经网络已经很常见，更深层的网络具有更强的抽象能力从而产生更好的结果。

深度学习增加了神经网络的层数，因此网络才有了更强大的特征挖掘能力，但同时模型的参数也随之大量的增加所以对计算机的运算能力有极高的要求。云计算和大规模GPU并行计算的发展为深度学习的应用提供了计算基础。当人们把原本用于游戏中处理高质量画面的GPU拿来运行深度学习算法后，计算机可以几百倍地加快模型的训练速度。目前来看计算能力还是一个瓶颈，离真正实现人工智能差距还很大，但是已经有了很大的进步，例如AlphaGo的计算能力是IBM深蓝的近3万倍。未来随着速度更快的芯片乃至量子计算的发展，运算速度会进一步提高，成本也会大幅降低。

3，巨头的布局

人工智能领域的玩家目前主要是中美两国的互联网巨头们。在美国，以谷歌、微软、Intel为首的大公司已经在这个领域进行了深度布局，除了自身的研发投入之外，他们还通过并购和投资进一步探索人工智能的应用。从2013年下半年开始，并购市场开始升温。据CB Insights的统计，从2011年至今AI领域发生了31起重大并购，其中谷歌以8起收购案遥遥领先，另外Yahoo、Intel、Twitter等也在并购市场大笔投入。

另一条路径是对创业公司的风险投资。从2011年至今，在风投领域，Intel是最活跃的机构投资者。在Intel Capital的投资组合中有医疗健康领域的Lumiata, 机器学习平台DataRobot以及图片视频公司Perfant等等。谷歌也在AI领域投资了10家公司，包括Building Robotics, Clarifai,Kensho等等。谷歌在人工智能领域无疑是领先者，通过进一步分析我们可以发现在并购市场上谷歌主要收购的对象是人工智能的底层技术，而在风投市场主要投资的是人工智能在特定场景下的应用。同时，在谷歌内部，深度学习也被广泛应用。谷歌的许多产品如Android、Gmail、地图、翻译、YouTube等都有深度学习在背后支撑。

除了在资本市场上频频出手，大公司和一些大学纷纷开源自己核心的算法，如谷歌TensorFlow、微软DMTK、Facebook的Torch以及CMU的Petuum和伯克利的Caffe等，这些开源的成熟的算法模块大幅降低了人工智能方向的创业门槛。而大公司将自己的核心算法开发出来主要目的是为了争夺下一个生态。

在国内，BAT三家中百度对人工智能的布局最彻底。百度从基础层的运算平台和海量数据资源到技术层的核心算法再到应用层的无人驾驶和度秘全线发力，在商业化上主要通过百度数据工厂和百度大脑开放数据处理能力和技术服务。在具体的应用层面，百度在现有的产品上加入了语音搜索、图像识别、翻译等功能。在百度外卖、糯米等O2O业务中也加入了人工智能对订餐、配送等数据进行分析从而提高运营效率。百度在新兴技术产业，特别是无人驾驶汽车上也进行了长期系统性的投入。与百度不同，阿里在人工智能上更偏重基础层。一是与电商业务的融合，例如协助商家决策、智能客服等。另外就是与传统企业结合为B端提供数据和云计算的支持，典型的模式就是与上汽的合作。

4，创业公司

根据IT桔子的数据，人工智能领域共发生融资事件186起，其中大部分处于天使轮和A轮之间，由此可以看出目前这个领域的创业公司大多处于早期而跑出来的不多。

从行业来看，人工智能在各个行业都有应用，涉及到硬件、企业服务、工具软件、教育、医疗、金融等。随着技术和基础设施的发展，人工智能将会像互联网一样与各个行业紧密结合。可以想象，未来人工智能将会成为一种基础设施极大的提高各行各业的整体效率。在行业细分中，硬件和企业服务是两个最大的方向，进一步分析我们发现硬件领域中机器人占了很大一部分比例，而企业服务中基于数据的行业解决方案和IT基础设施是两个最热的领域。在技术层面，计算机视觉和语音是相对比较成熟的技术，相关领域的创业公司也占了很大比例。

5，创业公司如何切入

在人工智能领域，中美之间差距不是很大。中国在计算机视觉、语音识别等领域甚至处于国际领先的地位。百度、科大讯飞的语音识别准确率已经突破95%，视觉领域也有多个团队突破了99%。从全球范围来看，互联网巨头基本上都在中美两国，只有中国和美国有健全的互联网基础设施，包括计算能力和海量的数据等，因而未来国内人工智能领域一定大有可为。

人工智能的核心还是数据、算法和计算能力，在这几方面巨头们天然地具有优势，因而大公司一般都是从基础层开始发力。在技术层面，科大讯飞、旷世科技等已经在语音、视觉等细分领域占据领先地位，后进入者如果没有非常领先的技术优势很难实现大的突破。所以创业公司想要进入人工智能这个领域最好的切入点在应用层面，人工智能作为一种技术手段可以与很多行业结合从而极大提高效率。我们看好的方向主要是基于行业数据的场景化应用，举例来说有以下几个方面：

· 金融：身份认证、智能投顾、大数据征信、贷款、风控、保险、资产配置、财经信息分析

· 医疗：临床诊断、病患历史数据整合、最优治疗方案；虚拟医疗助手、健康大数据；监测院内感染、药物作用预测、移动药店、远程问诊等。

· 企业服务：虚拟客服机器人、产品开发、供应链管理、品牌管理。

· 教育：自动批改作业、个性化学习、智能辅导系统、互动学习环境、教学体系反馈和评估

· 安防：反恐、安保机器人、人脸识别、智慧城市监控、不良图片监控、客流统计。

另外，在关键技术节点上我们认为也是有机会的，包括图像、语音、人机交互等。在硬件领域，相关的核心部件还有待突破，如传感器、激光雷达等，这个方向也是有机会的。

人工智能的创业项目对团队要求非常高。这些要求首先体现在技术上，团队需要在模型的搭建、参数的选择和调试等有很深的积累。另外需要注意的一点是很多创业团队都是科研出身，如何从科学研究转到商业实战对团队特别是CEO是一个很大的挑战。第二点在于数据，数据是实现人工智能的基础，也是唯一能构成壁垒的因素。所以对创业团队来说，能否拿到大量的数据是一个非常重要的点。第三，团队在业务层面也需要有很深的理解，技术需要与行业需求紧密结合而不能脱离业务实际，团队中需要有熟悉行业的成员。