文章主题:大数据文摘, 深度学习, Geoff Hinton
大数据文摘出品
坚持你所相信的,直到世界追上你的脚步。
Geoff Hinton由于背部受伤,已经坚持站立工作长达12年。有趣的是,这一情况恰好符合当前”站立工作”的潮流趋势,仿佛命运的安排让他成为了这一风潮的代表人物。
“我领先于潮流,”Hinton说。
Hinton的“领先于潮流”不仅仅局限于他所提出的技术,他在深度学习领域的成就更是被广泛认可。在那个所有人都对神经网络失去信心的年代,他坚定地将这一技术引入了主流学术界,从而引领了深度学习的发展潮流。
最近,知名财经媒体Bloomberg为这位被誉为“深度学习教父”的教授制作了一部特写纪录片。在仅仅8分钟的时间里,观众将见证这位风趣幽默的学者,从他在神经网络领域的初探,到如今成为该领域领军人物的40年传奇生涯。
为什么是AI教父?
在当今AI领域,Geoff Hinton的名字无人不晓。作为谷歌大脑研究小组的负责人以及多伦多大学的荣誉教授,他的成就可谓卓越。然而,正是他在多层神经网络技术方面的突破性贡献,使得他当之无愧地成为了今天人工智能圈的“教父”。
Hinton对AI的贡献有多大呢?
在学术界,Hinton于1986年提出利用反向传播算法对深度神经网络进行训练,这一理论的提出,被视为深度学习领域的一次重大突破,它为近年来人工智能的蓬勃发展奠定了坚实的基础。
在现实中,要归功于Hinton博士的研究成果,谷歌今天的语音识别技术已经能够在手机上将语音转换成文字,并在图片检索方面通过语音识别提供支持。
他的研究,彻底改变了人工智能,乃至整个人类发展的轨迹。
从研究大脑,到尝试制作一个
Geoff Hinton出生于一个学术氛围浓厚的家庭,他的父母都是数学家和经济学家,这使得他在成长过程中深受学术的影响。他自述道:“大约在我七岁的时候,我就意识到只有通过攻读博士学位,我才能够达到我的职业目标。”这句话中透露出的坚定决心,也反映出他从小就有着很高的自我要求和追求卓越的心态。
而最初把Hinton引上人工智能这条路的,是他对人脑的好奇。
Hinton很早就沉迷于大脑如何工作的问题。于是,他开始进入生理学,解剖大脑以了解其工作方式。
为满足求知欲望,他将目光投向心理学领域。然而,他并未满足于此,继续深入研究。最终,他选择运用计算机科学手段模拟大脑,涉足人工智能领域,从而开启了长达近40年的研究生生涯。
“我认为,如果你真的想了解一个非常复杂的装置,比如大脑,那你就制作一个。”
坚信神经网络:“其他人都错了”
尽管现在已经成为了人工智能的主流研究方法,神经网络在最初问世时,命途多舛。
在1956年,美国著名的认知心理学家弗兰克·罗森布拉特(Frank Rosenblatt)依托神经元理论,开创性地设计出一套模拟神经元的方法。该方法的基础构建在一个被称作神经元的单位群体之上。这些神经元单位被视作是微小的计算单元,却能模拟人脑的运算方式。类似于我们通过感官获取信息的过程,这些神经元也能捕捉到传入的数据并由此进行学习。因此,随着时间的发展,神经网络能够逐渐做出相应的决策。
但是,Rosenblatt的学习算法当时对于多层结构的神经网络不起作用。人工智能学者们也因此放弃了学习式软件的想法。他们转而使用逻辑来产生智能——比如下棋的能力。
几乎没人再相信神经网络的前景,也没人再研究神经网络。
除了Hinton。
“大脑是一个巨大的神经网络,因此,神经网络必须也是可以工作的,因为它在我们的大脑中起作用。”Hinton说。
“那是什么支持着你不放弃?”
“其他人都错了(everyone else is wrong)。”
离开五角大楼,成为“加拿大之光”
为了找到一个支持他研究神经网络的栖身之处,Hinton在美国辗转多地。但是,当时大部分的学术研究都是受到国防部支持。
而Hinton对于这样拿到自己的研究经费并不满意:“我不希望我的研究成果被用在一些不善意的目标上。”
的确,深度学习从诞生之日起,就与国防部的一些军事目的有着不可分割的渊源。
甚至直至今天依然如此——今年3月谷歌被曝光正参与Maven项目,向美国军方提供TensorFlow APIs和无人机图像识别技术,引起巨大争议和众多抗议,6月谷歌不得不承诺不将AI用于武器。这场声势浩大的争论甚至将战火燃到了李飞飞身上。
而关于AI伦理和技术人员责任的争论也从来没有停止过。
近两年,将算法用来自动识别一起犯罪是否属于团伙犯罪,或识别一个人是否是同性恋的研究屡见不鲜,算法的缔造者是否应该在研究之外分出心力,了解自己研究背后更深的影响呢?
在40年前,Hinton的选择或许已经给出了他的答案。
为了避免为五角大楼服务,Hinton最终落脚在加拿大的多伦多大学。这个国家欢迎他,也支持他的神经网络研究。“去这个文明的小镇继续研究对我来说非常有吸引力。”
而HIinton也没有让加拿大失望。
正因为Hinton和他的学生的研究,加拿大现在已经成为人工智能研究的重要力量之一,多家人工智能巨头都将他们的研究中心开在了多伦多,各种前沿人才为了追随Hinton的脚步,络绎不绝地来到这座北方国度:“Hinton将加拿大拉入了AI超级大国的版图。”
坚持你认为对的,直到世界追上你的脚步
在多伦多,Hinton和他的团队研究出了更深度的神经网络,以解决更复杂的问题。他们共同开发了一个多层神经网络,这个深度神经网络也被应用于多个方面。
比如有人用它在80年代就打造了一辆无人车并且开上了路。
而现在已经是深度学习的另一位领袖人物、Facebook的AI实验室负责人Yann LeCun则利用深度神经网络建立了一个可以识别手写数字的系统。这一系统最终实现了商用。
在当时,深度神经网络的前景似乎一片大好,但是,现实中的故事往往没有这么简单。
Hinton的研究再次遇到了瓶颈。
“我们当时并没有足够的数据,也没有足够的计算机运行能力,AI和计算机科学的从业者认为神经网络是一厢情愿的想法。”
但Hinton始终坚持着,尽管完全不被重视。
他坐在房间的最角落里参加学术会议,在大牛云集的人工智能会议上完全不被重视。甚至他自己也开始产生了怀疑:“有很多次我都觉得我不会继续这项工作了”。
直到这个世界开始慢慢追上他的脚步。
2006年,计算机的运行速度有了巨大的提高,超快速芯片的到来以及互联网上产生的大量数据使得Hinton的算法变得非常神奇。突然之间,计算机开始可以识别图像中的内容,可以识别语音,可以将一种语言翻译成另一种语言。
2012年,Geoffry Hinton和他的团队带着 AlexNet参加了那一年的 ImageNet ILSVRC 挑战赛,以惊人的优势获胜(错误率比第二名低了足足 10%)。这篇被 NIPS 2012 收录的论文被认为是深度学习热的开启。
同年,“神经网络”和“机器学习”等词汇也开始在纽约时报的头版出现。
“人们终于理解了这个概念,我感到很欣慰。”Hinton这样说。
推翻自己,胶囊网络的提出
尽管已经成为了深度学习的领袖人物,Hinton的脚步却从没有停歇。2017年10月26日,Hinton发表了一篇在AI圈掀起轩然大波的论文——Capsule Networks(胶囊网络)。
Hinton高喊,“卷积神经网络(CNN)的时代已经过去了!”,将他过去几十年的研究翻了过去。
感兴趣的读者可以查看论文。
论文链接:
https://arxiv.org/pdf/1710.09829v1.pdf
尽管胶囊网络现在仍然处在婴儿期,在训练庞大的数据集时,仍可能会遇到问题,但在未来,Hinton相信它还有发展的巨大潜力。
也许,这位深度学习教父还将再次改写深度学习的发展历程。
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!