傅盛:深度学习是什么?企业核心竞争力正在从算法转变为数据

上一篇,我讲了为什么坚信人工智能。今天已成历史。

人工智能,就好像第四次工业革命,正从学术界的私藏,转变为一种能够改变世界的力量。尤其,以深度学习取得的进步为显著标志。

它让匍匐前进60年的人工智能一鸣惊人。

傅盛:深度学习是什么?企业核心竞争力正在从算法转变为数据

我们正降落到一片新大陆。深度学习带来的这场重大技术革命,有可能颠覆过去20年互联网对技术的认知,实现技术体验的跨越式发展。

那么,深度学习到底是什么?怎么理解它的重要性?

我们先从概念和现象入手。

我总结了一句话,学术上看未必严谨,但从我的理解角度看——深度学习是基于多层神经网络的,海量数据为输入的,规则自学习方法。

这里包含了几个关键词:

第一个关键词叫多层神经网络。

深度学习所基于的多层神经网络并非新鲜事物,甚至在80年代被认为没前途。但近年来,科学家们对多层神经网络的不断算法优化,使它出现了突破性的进展。

以往很多算法是线性的。而这世界上大多数事情的特征是复杂非线性的。比如猫的图像中,就包含了颜色、形态、五官、光线等各种信息。深度学习的关键就是通过多层非线性映射将这些因素成功分开。

那为什么要深呢?多层神经网络比浅层的好处在哪儿呢?

简单说,就是可以减少参数。因为它重复利用中间层的计算单元。我们还是以认猫为例好了。它可以学习猫的分层特征:最底层从原始像素开始学习,刻画局部的边缘和纹;中层把各种边缘进行组合,描述不同类型的猫的器官;最高层描述的是整个猫的全局特征。

它需要超强的计算能力,同时还不断有海量数据的输入。特别是在信息表示和特征设计方面,过去大量依赖人工,严重影响有效性和通用性。深度学习则彻底颠覆了“人造特征”的范式,开启了数据驱动的“表示学习”范式——由数据自提取特征,计算机自己发现规则,进行自学习。

你可以理解为——过去,人们对经验的利用,靠人类自己完成。在深度学习呢?经验,以数据形式存在。因此,深度学习,就是关于在计算机上从数据中产生模型的算法,即深度学习算法。

问题来了,几年前讲大数据,以及各种算法,与深度学习有什么区别呢?

过去的算法模式,数学上叫线性,x和y的关系是对应的,它是一种函数体现的映射。但这种算法在海量数据面前遇到了瓶颈。国际上著名的ImagineNet图像分类大赛,用传统算法,识别错误率一直降不下去,上深度学习后,错误率大幅降低。在2010年,获胜的系统只能正确标记72%的图片;到2012年,多伦多大学的 Geoff Hiton利用深度学习的新技术,带领团队实现了85%的准确率。2015年的ImagineNet竞赛上,一个深度学习系统以96%的准确率第一次超过了人类(人类平均有95%的准确率)。

计算机认图的能力,已经超过了人。尤其图像和语音等复杂应用,深度学习技术取得了优越的性能。为什么呢?其实就是思路的革新。

举几个脑洞大开的例子。

(1)

先说计算机认猫。

我们通常能用很多属性描述一个事物。其中有些属性可能很关键,很有用,另一些属性可能没什么用。我们就将属性被称为特征。特征辨识,就是一个数据处理的过程。

传统算法认猫,也是标注各种特征去认。就是大眼睛,有胡子,有花纹。但这种特征写着写着,有的猫和老虎就分不出来,狗和猫也分不出来。这种方法叫——人制定规则,机器学习这种规则。

深度学习方法怎么办呢?直接给你百万张图片,说这里有猫,再给你上百万张图,说这里没猫。然后再训练一个深度网络,通过深度学习自己去学猫的特征,计算机就知道了,谁是猫。

(2)

第二个例子是谷歌训练机械手抓取。

传统方法肯定是看到那里有个机械手,就写好函数,move到xyz标注的空间点,利用程序实现一次抓取。

而谷歌现在用机器人训练一个深度神经网络,帮助机器人根据摄像头输入和电机命令,预测抓取的结果。简单说,就是训练机器人的手眼协调。机器人会观测自己的机械臂,实时纠正抓取运动。

所有行为都从学习中自然浮现,而不是依靠传统的系统程序。

为了加快学习进程,谷歌用了14个机械手同时工作,在将近3000小时的训练,相当于80万次抓取尝试后,开始看到智能反应行为的出现。据公开资料,没有训练的机械手,前30次抓取失败率为34%,而训练后,失败率降低到18%。

这就是一个自我学习的过程。

(3)

有人问了,深度学习,能学习写文章吗?

来看这个例子。斯坦福大学的计算机博士andrej kapathy曾用托尔斯泰的小说《战争与和平》来训练神经网络。每训练100个回合,就叫它写文章。100个回合后,机器知道要空格,但仍然有乱码。500个回合后,能正确拼写一些短单词。1200个回合后,有标点符号和长单词。2000个回合后,已经可以正确拼写更复杂的语句。

整个演化过程是个什么情况呢?

以前我们写文章,只要告诉主谓宾。而以上过程,完全没人告诉机器语法规则。甚至,连标点和字母区别都不用告诉它。不告诉机器任何程序。只是不停将原始数据进行训练,一层一层训练,最后输出结果——就是一个个看得懂的语句。

一切看起来都很有趣。人工智能与深度学习的美妙之处,也正在于此。

(4)

我还去硅谷看过一家公司——完全颠覆以往的算法,利用深度学习实现图像深度信息的采集。

众所周知,市面上已经有无人机,可实现人的跟踪。它的方法是什么呢?一个人,在图像系统里,一堆色块的组合。通过人工的方式进行特征选择,比如颜色特征,梯度特征。拿简单的颜色特征举例:比如你穿着绿色衣服,突然走进草丛,就可能跟丢。或,他脱了件衣服,几个人很相近,也容易跟丢。

此时,若想在这个基础上继续优化,将颜色特征进行某些调整,是非常困难的。而且调整后,还会存在对过去某些状况不适用的问题。

总之,这样的算法需要不停迭代,迭代又会影响前面的效果。

而硅谷这个团队,利用深度学习,把所有人脑袋做出来,只区分好前景和背景。区分之后,背景全部用数学方式随意填充,再不断生产大量背景数据,进行自学习。只要把前景学习出来就行。

据我所知,很多传统方法,还在采用双目视觉。用计算机去做局部匹配,再根据双目测出的两个匹配的差距,去推算空间另一个点和它的三角位置,从而判断离你多远。

可想而知,深度学习的出现,使得很多公司辛苦积累的软件算法直接作废了。

“算法为核心竞争力”,正在转变为,“数据为核心竞争力”。

技术人员必须进入新的起跑线。

(5)

最后再举个例子。

大家都做过胃镜。尤其胃痛,很痛苦。肠胃镜要分开做,而且小肠看不见。

有一家公司出了一种胶囊摄像头。吃进去后,在你的消化道,每5秒拍一幅图,连续摄像,此后再排出胶囊。所有关于肠道胃部的问题,全部完整记录。但医生光把那个图看完,就需要五个小时。原本的机器主动检测漏检率高,要医生复查。

后来,他们采用深度学习。采集8000多例图片数据灌进去,用机器不断学,不仅提高诊断精确率,减少了医生的漏诊,以及对稀缺好医生的经验依赖。只需要靠机器自己去学习规则。

深度学习算法,可以帮助医生作出决策。

了解完深度学习,接着思考一个问题——20世纪70年代末80年代初,个人电脑突飞猛进时,人工智能的商业化却步履维艰。乔布斯曾这样定义个人计算机的价值——“它是我们思维的自行车”。那么,今天的人工智能呢?深度学习呢?它给我们真正带来的东西是什么?未来,对行业和社会有什么影响?中国公司的机会在哪?

下一篇,我们接着聊。

【文/傅盛  盛盛GO(微信号:fstalk)】

氧分子网(www.yangfenzi.com)是关注互联网生态圈的科技新媒体

·氧分子网(http://www.yangfenzi.com)延伸阅读:

➤ Facebook开源深度学习框架Torchnet与谷歌TensorFlow有何不同

➤ 地平线机器人李星宇:复杂的中国驾驶场景,正是深度学习的优势

➤ 百度吴恩达谈深度学习局限:AI经济价值目前仅来自监督学习

➤ Facebook深度学习专家:未来的人工智能是怎样

➤ 张佳晨:头条号的这个小动作,暴露了今日头条算法分发的短板

➤ 卡耐基梅隆大学邢波:为人工智能装上引擎—忆格拉丹东登山之旅

➤ 电子科技大学互联网科学中心主任周涛:你也可以成为数据魔法师

您可能还喜欢…

6 Responses

  1. YingxiangEmpire说道:

    个人认为在大数据还没有完全成熟的基础上,深度学习还停留在理论完善的基础上。英国脱欧的预测抛去政治等外在因素的影响,足以说明真正大数据时代还在萌芽阶段,深度学习的实践是无数分散的大数据处理的集合,等到大数据成熟后,深度学习才能破土而出(从理论到实践证伪)

  2. 白鸽说道:

    分析很深奥傅总,要多多引导我们啊。想学没个好方向。傅总给我们普及下…..对深度学习有了更进步的了解和认识 感谢啊!这么晚了还在✏️,榜样的力量!人工智能和传统行业的结合才是未来。。。。。深度学习是一种基于大数据的混沌科学吗。。。。。线性到非线性是一个飞跃,看到即所得,也是对人类认知局限的承认。简而言之,深度学习就是夜已经很“深”了,盛盛go还在学习

  3. 抚汝思动吾情说道:

    深度学习是否也是另外一种思维方式?如此依赖大数据和重复实验高频率的深度学习又有什么是我们人类可以学习与借鉴的呢?深度学习无论是理论基础还是算法实现都是开源的,难度是有一些,但是中级基础的软件工程师是有条件进行学习的!很多学问也是需要极大的勇气才敢去研究的,我希望勇敢的人越来越多,这样我们就能缩短与国外的差距,变得越来越强!

  4. xinxi说道:

    大数据是我们现在经常听到的一个词,在互联网时代迅速发展的今天,大数据的应用范围越来越广,但是深度学习这个词对于很多人来说是比较陌生的,深度学习是什么,是一种要求还是一种技术,这种技术与我们日常可能听到的词例

  5. mkk说道:

    大数据是我们现在经常听到的一个词,在互联网时代迅速发展的今天,大数据的应用范围越来越广,但是深度学习这个词对于很多人来说是比较陌生的,深度学习是什么,是一种要求还是一种技术,这种技术与我们日常可能听到的词例

  6. 在被算法取代前,程序员或将因为物理学家而更早消失说道:

    你可能不知道,设计最早的计算机 ENIAC 的 John Mauchly 是物理学家,发明 C 语言的 Dennis Ritchie 也是物理学家。相比没有太多新挑战的物理学领域,计算机科学似乎是更适合物理学家们伸展拳脚的地方。现在,物理学家正在侵入硅谷的技术公司当起软件工程师,抢起了计算机科学博士的饭碗。

    这不是成为物理学家的好时机。

    上面这句话是 Oscar Boykin 说的。他曾在乔治亚理工学院学习物理学,2002年在加州大学洛杉矶分校完成物理学博士学位。四年前,瑞士大型强子对撞机(LHC)的物理学家们探测到希格斯玻色子(Higgs boson),这是20世纪60年代首次提出的亚原子粒子。正如 Boykin 所指出的,每个物理学家都渴望发现它。但是,希格斯玻色子的发现并没有扰乱宇宙的理论模型。它没有改变任何东西,也没有给物理学家带来任何新的努力方向。“当物理学中出现了什么问题时,物理学家们会很兴奋;但现在的情况是,物理学中没有太多问题了。”Boykin 说,“对物理学家来说,这是个令人泄气的领域。”再加上,物理学家的薪资也不高。

    Boykin 不再当物理学家了。他现在是硅谷的一名软件工程师。这是成为软件工程师的好时机。

    Boykin 在 Stripe 公司工作,这是一家估值超过90亿美元的创业公司,主要业务是帮助企业接受在线支付。Boykin 帮助构建了公司的软件系统,该系统从公司提供的服务中收集数据。Boykin 的工作任务是对这些服务未来可能发生的状况进行预测,包括预测何时、何地、以何种方式将可能发生欺诈性交易。作为一名物理学家,Boykin 非常适合这项工作,它需要非常多的数学知识和很好的抽象思维能力。不像物理学家,Boykin 现在工作的领域是一个能提供无限挑战和可能性的领域。而且,薪资也非常可观。

    如果物理学和软件工程是亚原子粒子,那么硅谷就是它们发生碰撞的地方。除了 Boykin 之外,Stripe 的其他三位工程师也是物理学家出身。去年12月,通用电气收购机器学习创业公司 Wise.io 时,首席执行官 Jeff Immelt 自豪地说他得到了一家全是物理学家的公司,其中最著名的是加州大学天体物理学家 Joshua Bloom。开源机器学习平台 H20,其用户有来自世界各地的70000名数据科学家,是在曾在 SLAC 国家加速器实验室工作的瑞士物理学家 Arno Candel 的帮助下建立的。微软的数据科学主管 Vijay Narayanan 是一名天体物理学家,他手下的几名研究员也都是物理学家。

    这不是偶发事件。Stripe 总裁兼联合创始人 John Collison 说:“我们并不是特意跑到大学,然后找来一群物理学家。事情只是自然而然地变成这样了。”而且,这是发生在硅谷的变化。因为不管在结构上还是技术上,互联网公司所做的事情越来越适合物理学家所拥有的技能。

    物理学家进入计算机领域是非常自然的

    当然了,物理学家从很早以来就在计算机技术方面发挥了重要的作用,就像他们在其他许多领域也有着重要作用一样。帮助设计了最早的计算机之一的 ENIAC 的 John Mauchly 是物理学家。发明 C 语言的 Dennis Ritchie 也是物理学家。

    但是对打算进入计算机科学领域的物理学家来说,现在是一个特别成熟的时机。这是由于机器学习的兴起,机器需要通过分析大量数据来学习任务,这种新兴的数据科学和 AI 正是最适合物理学家的方向。

    此外,业界已经开始广泛采纳神经网络技术,这是模仿人类大脑结构的数学模型或计算模型。但这些神经网络其实是大规模的数学,主要是线性代数和概率论。计算机科学家不一定擅长这些数学领域,但物理学家相反。“对物理学家来说唯一需要从头开始的是学习如何优化这些神经网络,以及训练它们,但这是相对简单的。”Boykin 说。方法之一是“牛顿法”(Newton’s method),此牛顿是指物理学家的牛顿。

    微软剑桥研究实验室主管 Chris Bishop 早在30年前就感受到了同样的风气,当时神经网络刚刚开始在学术界显示出效果。这也是他从物理学转到机器学习的原因,他说:“物理学家进入机器学习领域是非常自然的,比计算机科学家更加自然。”

    挑战的空间

    Boykin 说,十年前,他的许多物理学家朋友纷纷投身金融界。同样,物理学家的数学才能在华尔街也非常吃香,数学是预测市场价值的方式之一。一种关键的方法是 Black-Scholes 模型,这是一种判断金融衍生物价值的方法。但 Black-Scholes 模型也是助长了2008年的金融危机的因素之一。Boykin 以及其他物理学家说,现在,他们的物理学家同事们更多地进入了数据科学以及其他类型的计算机技术领域。

    大约十年前,许多物理学家进入顶尖的科技公司,协助建立所谓的大数据软件,这些系统在数百甚至数千台机器上处理数据。在 Twitter 公司,Boykin 主导设计了一个名为 Summingbird 的这样的系统;在另一家名为 Cloudant 的创业公司,三名认识于 MIT 物理系的研究者也创建了类似的软件。物理学家们知道如何处理数据。在 MIT,Cloudant 的创始人就在处理来自大型强子对撞机的大量数据集,而构建这些非常复杂的系统需要有很强的抽象思维。然后,一旦这些系统建立起来,许多物理学家就能直接利用这些数据。

    在 Google 的早期,在机房中为公司构建大规模分布式系统的关键人物之一是 Yonatan Zunger,他拥有斯坦福大学弦理论(string theory)博士学位。Kevin Scott 加入 Google 的广告团队时,他的职责是从 Google 的各业务中获取数据,并利用这些数据预测投放哪些广告能获得最多的点击量。为此,他聘请了无数的物理学家。不像许多计算机科学家,物理学家们非常适合机器学习的实验性质。现任 LinkedIn 首席技术官的 Scott 说,“这(机器学习)简直就像一门实验科学。”

    现在大数据软件已经很常见了——Stripe 使用的是 Boykin 在 Twitter 时设计的 Summingbird 的开源版本,该框架也帮助机器学习模型驱动了许多其他公司的预测。这为物理学家们提供了进入硅谷的更广阔的道路。在 Stripe,Boykin 的团队还包括 Roban Kramer(物理学博士,哥伦比亚大学),Christian Anderson(物理学硕士,哈佛大学)和 Kelley Rivoire(物理学学士,麻省理工学院)。他们来科技公司,因为他们适合这样的工作。当然,也因为钱。正如 Boykin 说的:“科技公司的工资高得荒谬!”但他们来,还因为有很多困难的问题亟待他们解决。

    Anderson 在获得博士学位之前就离开了哈佛,因为他对物理学这个领域的看法和 Boykin 如出一辙——是一种回报率递减的知识追求。但互联网不是这样。互联网的机会更多,有待解决的问题更多,挑战的空间也更大。

    未来

    今天,物理学家正在侵入硅谷的公司。但在往后几年,类似的现象会进一步蔓延。机器学习不仅将在世界范围里改变分析数据的方式,而且将改变构建软件的方式。神经网络已经重塑了图像识别、语音识别、机器翻译以及软件接口的本质。正如微软的 Chris Bishop 所说,软件工程正在从基于逻辑的人工编码转向基于概率和不确定性的机器学习模型。Google、Facebook 这样的公司纷纷开始用这种新的思维方式培训他们的工程师。最终,计算行业的其他公司也将跟上。

    换句话说,物理学家们涌入硅谷当工程师是一个更大的变化的迹象。不久,硅谷的工程师们又将涌回当物理学家。

发表评论

邮箱地址不会被公开。 必填项已用*标注

您可以使用这些HTML标签和属性: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>