卡耐基梅隆大学邢波:为人工智能装上引擎—忆格拉丹东登山之旅

AlphaGo与李世乭人机大战余波未平,卡耐基梅隆大学计算机科学学院教授邢波便为《理解未来》系列讲座带来了《为人工智能装上引擎》。

邢波的演讲从另一场人机对决开始。1930年8月28日,在美国巴尔的摩,火车和马车站在了同一起跑线上。随着蒸汽机的胜利,民众陷入对这个钢铁怪物的恐慌——虽然现在我们已经把坐火车当成很平常的事了。

在前不久的围棋世纪之战中,机器同样以大比分战胜了人类。针对舆论界形成的“惊恐甚至是疯狂”,邢波针对人工智能与人类的关系及人工智能的未来阐述了自己的观点。在演讲过程中,邢波多次以登山和音乐来比喻自己的研究过程和人工智能的发展历程。而这次演讲本身也正如同他挚爱的梅纽因演奏的帕格尼尼小提琴协奏曲,曲终而余韵绕梁,为我们留下了深深的思考。

1、人工智能之始

人工智能起源于人们对于智能机器的梦想。人工智能成为一门显性的、严格的、系统的、可实现的科学和工程领域,得益于上个世纪逻辑科学、计算机科学、信息论、控制论及很多学科的发展的交汇。它基于一个很基本的假设,即认为人的思维活动可以用机械的方式替代和完成。上世纪初,英国哲学家罗素写了一本很有名的著作——《数学原理》,对数学的基本原则做了形式化的描述。后期

哥德尔、图灵等人的工作都是向人们展示,可以用一种简单的、只会做二元运算的机器来模拟所有的数学逻辑。图灵当时提出一个大胆的见解,即“图灵机”的概念。“他认为有可能制造这么一台机器,通过某一种电子媒介或其他的媒介跟人进行交流。如果人在跟这台机器交流过程中并不能判断它到底是不是人,我们也许就可以下结论说这个机器获得了跟人一样的智能。这个概念极大影响了人工智能对于功能的定义。”

60年前,在美国达特茅斯大学召开了一次会议,希望通过交流来确定人工智能作为一门科学的任务和整个路径。同时他们也宣称,学习以及人类智能的任何一个其他特征都可以被精准地描述。一旦精准描述成立以后,我们就可以用机器来模拟和实现它。此次会议被普遍认为标志着人工智能正式诞生

2、第一个冬天

在人工智能诞生后的几年里,整个学界弥漫着乐观的气氛,认为也许人工智能在不久的将来真的可以代替人类。然而,前途并非如此顺利。人们发现逻辑证明器、感知器、增强学习、证应用题的各种各样的东西只不过是玩具而已,它们只能做很简单的、非常专门的任务,稍微超出它们所预期的范围就没有办法对付。

卡耐基梅隆大学邢波:为人工智能装上引擎

这体现了两个方面的局限——一方面是当时人工智能所运用的数学模型和数学手段被发现是有理论缺陷的,另一个局限出现在算法上。这些缺陷,使得人工智能在很早期发展过程中遇到难以克服的瓶颈,不可能去实现一开始所保证的目标,比如接近人类甚至超过人类。“人工智能的第一个冬天”来临了。

3、夏天的来临

天才的科学家们没有泄气,仍继续向前行进。一个标志性事件是80年代卡耐基梅隆大学为DEC公司制造了一个叫“专家系统”的东西。这个“专家系统”可帮助这个公司每年节约4000万美元左右的费用,还可以在决策方面提供更有价值的内容。受到这种成功的鼓励,很多国家包括日本、美国都再次投入了很多资金,开发被称作“人工智能计算机”的第五代计算机。多层神经网络、霍普菲尔德网络都是在那个时候产生的。

同时也有一批人员从事算法研究,比如现在常听到的反向传播算法也是那个时候发明的。通过艰苦尝试,涌现出了不少令人印象深刻的成果。比如自动识别信封上的邮政编码就是通过很精妙的人工神经网络来实现的,精度达到99%以上,已经超过普通人可以达到的水平。乐观形势又一次产生。

4、严冬又至

不幸的是,寒冬又一次来了。这次是由于公众和政府兴趣的转移,甚至包括一些竞争对手的出现。大众的热情开始冷却,政府经费开始下降。这些严重的困境使人们开始思考人工智能到底往何处走。此时,研究者面临着严肃的问题:我们要实现什么样的人工智能什么叫智能?对此,邢波的回答是:“有两种可能性:一种是向人学习、向生物学习、向自然学习,用一种仿生的反向工程的手段制造跟人脑结构原理尽可能相像的机器。这个途径是非常困难的。另一种方法是从人和动物界获得一些启发,做足够的简化,使得我们能够部署简单明确的数学模型和强大的计算引擎,使得优化的途径变得比较容易。另一方面,也可以直接利用人类工程领域的很多成果,比如电子计算机,使用一种类似暴力堆砌、资源堆砌的手段,实现弯道超车式的效果,使机器在一种不同路径上超过人。”

卡耐基梅隆大学邢波:为人工智能装上引擎

大约在同一年代,人工智能整个研究也开始重新确定自己的方向。邢波评价道:

“我们做了一个选择,决定要做一个实用型、功能型的人工智能,因为这样至少我们知道我们在做什么,而且我们对结果会有一个比较严格的判断。这就导致了一个新的人工智能的路径。5新的繁荣期

对人工智能任务的明确和简化带来了一次新的繁荣。数学工具上找到很多新的方法,包括原来已经存在于数学或者其他学科文献中的方法被重新发掘出来,用到计算机或者人工智能研究中。另一方面,由于这些数学模型对自然世界的简化,使理论分析和证明变得可能。研究者开始分析到底需要多少数据、计算量才能够获得预期的结果,这样的理论洞见对开发系统大有裨益。第三方面,邢波认为更重要的,是人们终于把人工智能跟人类其他工程技术方面上的成就做了紧密连接。摩尔定律的实现使得计算能力越来越强大。人工智能被定义为数学上的解题过程,这样就可以把很多计算能力转移过来提高人工智能的效果。

这么一系列突破将人工智能引入一个新的繁荣期,产生了很多惊人的突破。早期的结果包括1997年的时候IBM深蓝和卡斯帕罗夫的象棋大赛,最终结果是机器人获胜。在更加通用的功能比如回答智力竞赛或是识别图片的比赛中,机器也可以达到或者超过人类的标准。机器人也因此有了很大的进步。

“我们不是具体写出控制指令。实际上我们写的程序是一套学习算法,让这些算法在模拟器上不断地走路、开车,让它们自己学到一种策略来完成不同环境,状态下的行动,这是人工智能和以前控制论最核心不同地方。

邢波解释道。

卡耐基梅隆大学邢波:为人工智能装上引擎

在这样的背景下,我们似乎有理由对今后的前景重拾乐观情绪。人工智能真的有希望接近人类了吗?事实上人工智能领域又遇到了困难。

6、Facebook及新挑战

2011年,邢波迎来了做教授以来的第一次学术休假。当时他选择去了一个很年轻的公司,就是Facebook。“当时我是Facebook第一个访问教授,就像今天的讲座一样,感觉压力还是特别大的。其中一个任务就是通过社交网络里用户跟别人连接的方式,把他们投射到一个社交空间中,这样可以做一个社群的检测。把他们来分组、特征化。这个任务实际上在统计学和人工智能里并不是很陌生的任务。但这个工作有一个问题:它的计算复杂度是平方型的,也就是当你的人从10个人增加到100个人的时候,你的计算量就会增加到1万;再平方一次,那这样的话就会产生瓶颈。当你网络特别大的时候,我们就没有办法去克服计算的障碍。这是当时让我们头大的问题。”

但是同时,这让作为人工智能学者的邢波很兴奋。“我们不怕这个东西,我们很擅长研究算法、模型、特征,看看能不能做加速。实际上我们也的确做了很好的工作,比如我们把社交网络抽取比‘边’更强大的特征叫做‘三角特征’,我们把模型也做了升级,从混合区块模型到混合三角模型。在算法上也做了一两次非常显著的革新。从蒙特卡罗算法和随机变分算法,每一次突破都产生良好的效果,以致于我们可以在比较大的网络里面,产生了实际上的结果,而且比原来结果在速度上提升两到三个数量级。”

尽管有了一定的突破,实际上的任务却远不止如此。“我们的任务不是100万个用户,而是1亿个用户或者是大于1亿个用户,这里还是差了两个数量级。当然我们也有理由说我们的确还有潜力,因为我们只用一台笔记本电脑。但是在Facebook机房里躺着1000台Hadoop机器,可以运转分布式程序;所以我们做了一个简单的计算,任务大了100倍,但是资源大了1000倍。也许我可以在原来6分钟基础上继续减,可以在0.6分钟把这个问题搞定。这是当时的愿景,我们写了Hadoop程序,把我们的算法做了并行化。可惜最后的结果非常不理想,我们等了一个多星期还是没有得到结果,而不是0.6分钟。”

这里就产生了本质性的问题,并行运算并不是人们理想中这样简单倍增的结果,而是有其内在的复杂性。“当你把大任务分割在不同机器上让它们分开跑,又同时在共同执行同一个全局任务的时候,它们是需要做这样一件事情的:首先,它们各自得做自己局部的运算,但因为是在完成一个共同的任务,它们需要做一个握手,能够达成一致性,所以需要来一次通讯,那么这个通讯是必须发生在每台机器把它们的子任务完成以后才能通讯。所以每次我们都可以想象需要有一个等待的时间,让所有机器都完成它们的任务。在一个大的集群里面,总有拖后腿的。因为在实际的计算机环境里,总还有其他用户,别人也在跑程序,或者是机房里的温度不均匀。反正机器搞得不一样,而且每次还是随机性的不一样。所以,最后每一次迭代循环的时间都是由最慢机器决定的,这就产生了Hadoop这种模式下并行计算机的瓶颈,你很难实现把它加速。这个困难相当严重,以致于我当时做访问教授结束的时候还是没有解决,所以我当时觉得非常的尴尬,卡耐基梅隆大学人工智能教授搞不定1000台机器,也没有产生什么功能,当时走的时候还是比较沮丧的。”

卡耐基梅隆大学邢波:为人工智能装上引擎

正如爬山时遇到暴风雪甚至雪崩,各种各样的挫折使得研究者们离他们的目标似乎越来越远了。

邢波在这个时候重新陷入了思考:我们的目标究竟是什么?我们到底需要什么来达成这样一个目标?“从人工智能角度来讲,我们需要完成大型的任务,而且我们需要用一个严格的数学上圆满的或者严格的方法来实现这么一个目标。很显然,光是有一个好的模型或者好的算法显然是不够的,我们还需要对于人工智能计算部分的强力的引擎支持,而且这个引擎支持有可能跟原来不一样。因为人工智能计算有它的独特性,它是用迭代的、反复读取数据和刷新模型的方法来实现解决方案的。好的模型设计其实是不够的,必须要有助推器把它驱动起来,我想这就是当时人工智能发展中遇到的一个瓶颈。”

7、重新思考

那么,到底要如何从失败的经验中找到一个更加快速、但同时又数学上正确的方法来运行一个并行人工智能程序?带着这样的问题,邢波离开Facebook,回到卡耐基梅隆大学,进行了一系列新的思考。

“我们发现人工智能运算和传统计算非常不一样。人工智能也是一个程序,但是这里执行指令集只是一个过程而不是目的,它的目的是解一个优化方程。就像爬座山一样,你固然可以沿着设置好的路径一步一步爬,但是如果哪一步走歪了,只要大致靠谱,知道目标且能判断好坏,还是可以爬到山顶,只不过是稍微慢了一点,但是总比每次走错了以后再走回原点重新爬要快很多。这就体现了人工智能作为一个迭代渐进算法跟传统的一次性的扫描算法所不一样的地方。因为这样一种认知,我们终于迎来了新的理论突破。

2012年,邢波和几位同事设计了一种叫做参数服务器的新型系统模型。他们为它设计了新的理论基础,给出了严格的数学证明,同时也搭出了框架原型。在这个框架下,核心概念就是把一个并行人工智能程序当成是一个在执行救火任务的机群,即小的错误是可以容纳的,但总体的目标是不可改变的。基于这样的目标,邢波和同事们设计了一个新的桥接模型,称为有限异步模型。“我们用有限异步并行的桥接原理去构架了参数服务器的编程界面,它拥有一个共享内存大规模编程界面,使并行程序的编写容易度,运行速度和精度都有巨大的提高。这个系统并不是为某一个特定人工智能计算来设计的,它更像是平台通用模型。它的设计考虑了整个人工智能程序家族的普遍共享的一些特征,给他们提供比较优质的通讯上的服务。所以在我们软件包里包括不同其他的算法。这个系统也有非常灵活的容错或者通讯管理的机制,所以使得随机的资源空档或者小错误也会获得关注,最后的结果是整个系统的工效获得巨大的提升。”

卡耐基梅隆大学邢波:为人工智能装上引擎

同时,邢波和同事们还实现了另外一个突破。当训练巨大模型时,需要有一个协调装置。为此,他们设计了名为动态调度器的系统,可以实时监控子模型或者子任务之间的一致性,保证数学上是正确而不是衰减的。这样就带来了数学上和功效上的质量保障。

“由于这一系列的成果,我们感觉是在一个正确的路上在走,我们的确跟这个目标开始接近了。爬山也会经历这样一个类似的过程,我们开始向峰顶接近。”谈到为何会以登山作为类比,邢波认为,人工智能算法本身这个计算任务像登山,是有明确的目标的,本身有弹性、容错性、随机性。如果能够很好使用这些特征和机会的话,就可以获得事半功倍的结果。人工智能领域的发展也像登山,它有各种各样的起伏,有各种各样的思路的跳跃和重新的定位,一个好的解决方法,通常对于任务目标、数学模型、计算引擎有比较全面精确掌控和实现才能达到目的。而如果对它设置一个类似科幻的、不切实际的目标,或者是一个模糊的路径、错误的定位,都会导致挫折,就会像人工智能的前几次冬天一样。

“大家固然会说冬天和夏天是一个不可逆转的潮流,那我还是希望至少在我有生之年,不要再看到一个冬天,能够把人工智的辉煌继续下去。这就是我今天讲演的全部,但不是最后一章。8最后一章

这里有一个小小的后记。邢波是这样描述的:“我发觉人生很有意思,你做的每一件是好像最后的结果都有一个两面的反映,有些人会喜欢,有些人会不喜欢。比如说像人工智能,我们有很多人对它的结果很兴奋,有些人又相当恐惧。”

卡耐基梅隆大学邢波:为人工智能装上引擎

就此,邢波分享了他的观点。他认为人工智能和人类对决不是什么大得了不起的事,人类和机器对决自古就有,且还在发生。马车被火车战胜以后,固然有人惊呼,但是世界运转如故。大概在同一个时代有人发明了照相机,当时有人惊恐,以为照相机来了以后画家就失业了,但是现在画家还是活得好好的,甚至新的艺术形式也被创造出来了。人机大赛只不过是人类在技术上的里程碑,展示了人类智慧的力量和功能,我们可以以欢迎的心态接受它

至于它到底会不会强到把我们干掉的地步?邢波认为这也是不必担心的。人工智能和自然智能或者是人类智能走的路其实是非常不一样的。人类智能定义实际上不是单一的,它是一个泛化的、比较模糊、非常难以衡量的功能。而人工智能所集中的东西是单一的、明确的、可评测的功能。人工智能使用显性、简化的数学模型,可以获得理论、实际的边界,而人类的潜能还没有看到边界。邢波的观点是:只要是在有限、透明规则、特定任务下,机器超过人的水平只是时间问题。这是好事,因为它可以帮人类实现很多有价值的功能,成为人类的好助手,降低我们生活的成本,提高我们的效率。

卡耐基梅隆大学邢波:为人工智能装上引擎

但人工智能可以代替人吗?邢波笑言这是天方夜谭。人类现有的工程能力连造一个细菌都没法造出来,更不要说去实现人的思维和头脑。而且人的头脑有很多独特的功能,比如创造性思维、感情、常识、美感,这都是人工智能无法企及的

“我们历史上的伟人孔子、拿破仑、贝多芬、梅纽因、托尔斯泰、巴兰钦、普列赛斯卡娅和爱因斯坦,你觉得他们会被机器代替吗?

我想我们已经知道答案了。

文章转载请注明出处为 “未来论坛”微信账号(ID:futureforum)

未来论坛官网:www.futureforum.org.cn

·氧分子网(http://www.yangfenzi.com)延伸阅读:

分享给您的好友:

您可能还喜欢…

发表评论

电子邮件地址不会被公开。 必填项已用*标注

您可以使用这些HTML标签和属性: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>