特稿 >

行业洞察 >

罗恒:忽视Trick,将难以解决实际问题

罗恒:忽视Trick,将难以解决实际问题

地平线 丨 行业洞察

4364
20

2016-12-14

tuni

Xtecher特稿作者

关注

罗恒,地平线机器人技术资深算法研究员,负责深度学习模型压缩与加速,使算法能在嵌入式的芯片里更好地运行

罗恒曾师从AI巨头Yoshua Bengio开展博士后研究,2014年加入百度IDL,参与深度学习在搜索中应用、PaddlePaddle研发等工作。

罗恒对于深度学习有着自己独特的理解,他认为,Trick的利用是改善、解决实际问题的有效方法,尤其对于初入AI的同学,这是不可忽视的一点。


罗恒有些微胖,时常自嘲“要减肥”,藏在方框眼镜之后的一双眼睛睿智有神。


作为一名算法工程师,他的生活常常处于高速的脑力运转之中,这让他的每一秒时间都显得宝贵,走路疾步带风。

罗恒,负责模型压缩和加速方向


2011年,罗恒在上海交通大学博士毕业后,跟随Yoshua Bengio从事博士后研究。回忆起自己走上深度学习的历程,罗恒抚了抚眼镜,“那是段很有趣的经历”,似是做好了讲故事的准备。


师从AI大师Yoshua Bengio


研究生时,计算机专业的罗恒偶然了解到机器学习的知识,惊觉十分有趣,由此开始持续关注机器学习方面的学术动态。博士期间,罗恒看到了Yoshua Bengio教授关于深度学习的技术报告,尽管当时还不太懂深度学习,但他依然强烈地感受到,这可能机器学习接下来最大的突破。

“看Vapnik的书,觉得我自己没赶上这波(研究热潮),我就想,下一波是什么?当时就觉得深度学习,应该是下一波学术上的热潮,我就这样开始走上深度学习的研究之路。”


640-1.jpg

罗恒的博士后导师:Yoshua Bengio


Yoshua Bengio教授和Geoffrey Hinton、 Yann LeCun并称为当今人工智能“三巨头”,他们一同缔造了深度学习复兴,实现了人工智能的第三次研究热潮。他带领着一批极其优秀的学生开展机器学习的研究,在整个学术领域有着极大影响力(Google Scholar在2016年中期发现超过40000篇引文,H指数为84)。


Yoshua以严谨的风格著称,对于招收弟子,条件更是近乎苛刻,要想入他门下,历来十分困难。最早见Yoshua的时候,罗恒凭借自己的一篇深度学习论文,就敲开了这位大师招收门徒的大门,这篇论文就是《同时学习类别相关和类别无关特征》。


在这篇文章里,他的模型相较Hinton组相似的模型,在图像识别上具有更高的准确率,同时模型的大小只有Hinton组模型的四十分之一。这篇论文受到了Yoshua Bengio的极大认可,在和罗恒面谈之后,Yoshua将他收入自己门下,带领他前往加拿大从事博士后研究。


人机大战Alphago vs 李世石


在Yoshua的团队里做研究是种怎样的体验?大概就是可以和组里的牛人们思维碰撞,比如同门师弟、《Deep Learning》的第一作者Ian Goodfellow,他总是愿意分享他那些天才的点子是怎么来的;可以和常来访的杰出的学者沟通请教,比如罗恒有机会向Hinton演示他的实验结果,请教问题;更能早在2013年2月欢迎AlphaGo 程序的创造者DeepMind的来访,听他们讲关于实现人工智能的计划。


这样的研究氛围对罗恒影响很大,以至于回国后的他也渴望有一个地方能有这的氛围和对待学术及应用的态度,幸运的是,加入地平线的罗恒没有失望。

压缩和加速模型,实现嵌入式AI


博士后毕业后,本可以留在加拿大的罗恒却选择了回国发展,因为他看到,国内深度学习研究在工业界开始应用,这是难得的机会,可以将自己所学应用于实际,“我发现自己不但赶上了研究上的一波热潮,还赶上了实用的一波的热潮。”


罗恒深知深度学习下一波发展是从云走向端,使得各种智能模型在我们的身边唾手可得,这与致力于研发嵌入式人工智能的地平线的理念相契合。于是,2016年他加入了地平线,发挥所长,专攻神经网络模型的压缩和加速。


地平线要做的是高性能低功耗的IP开发,提供端到端、软硬结合的嵌入式人工智能解决方案,推进嵌入式人工智能产业生态链的搭建。这将让智能汽车、智能生活这类终端设备,能够在不联网的情况下也具有深度学习和推理决策的能力。在这个过程中,算法的模型压缩和加速是技术实现的必要一环。


要让嵌入式人工智能得以实现,让产品实现“高精度、高效率、高吞吐量、低功耗、低成本”的目标,算法的模型就必须要小,速度要快,并且要和芯片结合。从神经网络的角度来实现这样的目标,正是罗恒最沉迷也是最擅长的领域,也是他目前在地平线主要负责的事。地平线为他提供了充分的研究空间,让他能够带领一批优秀人才在深度学习领域深耕。


乐为人师,重视Trick素养


在地平线,大家都称罗恒为“罗老师”,这或许也是受到他的恩师Yoshua Bengio的影响。Yoshua Bengio是人工智能三巨头当中唯一一个依然坚持在学术岗位的深度学习大师,他投入在学术界,进行纯粹的学术研究,带头培养成千上万个科学家和工程师们。


罗恒从恩师那里传承了为人师表的精神,除了致力于应用研究,他对于人才培养也十分看重。在地平线,实习生的培养采用导师制,作为深度学习的mentor,罗恒也很好地把在老师那里体验的氛围带到了这里。


对于自己带的实习生,罗恒善于组织他们进行讨论和学习,悉心解答他们的疑惑,尤其注重他们Trick素养的提高。


“刚开始进入人工智能行业的同学往往觉得研究无从下手,虽然有很多理论的文章,但似乎对实际用处不大,常常感到迷惑。”和其他人埋头理论不一样,罗恒擅长带着他们转换思路,从Trick入手,利用这些Trick,更好地带领新人解决实际问题,比如利用训练好的神经网络对数据做采样,更快发现数据中的问题。


“机器学习的很多研究都是从理论出发,但实际上这样很难去描述一些现实的问题。而Trick是一种实用主义的方法,这从研究的角度看上去可能显得不那么优雅,但在很多实际问题上,忽视Trick都是不明智的。”Trick对于所有人来说,都是一种解决实际问题的好方法,对于刚入行的同学来说,更是如此。


除了自己带的实习生,罗恒也在其他方面扮演着导师的角色。在地平线举办的“大牛讲堂”活动中,他就曾担任过嘉宾导师,他的循循善诱和耐心教导,给参与活动的同学留下很深的印象,学生们夸他严谨认真又不失亲切,回答问题深刻却也易懂,受到广泛好评。


招纳新人,学术应用两手抓


在人工智能研究的大潮中,算法人才从来都是紧缺资源,罗恒一直期盼着有志同道合的人能够成为自己的伙伴,而他也会像自己的老师一样,带领着新生力量,投入到深度学习的研究当中。


这次的绝地武士实习生计划,模型的压缩和加速方向招收3名实习生,罗恒是mentor。他感到这是一种奇妙的转换,在六个月的时间里,他将带领实习生们共同追求学术上和应用上的目标。“实习生来到这里,和我们一起写代码,做实验,验证各种想法,有比较好的结果就写论文,同一个课题下,我们也会带领实习生尝试多种解决方法,在试错中获得进步。”


罗恒一直在等待着。


采访后记


总是有人形容罗恒“可爱”,我想,罗恒作为一名学者,自然是细致专业的,但他又是亲切淡然的,采访时,没有椅子就自己去搬,把沙发让出来,交流时大方、自信、专业。我想,这大概就是他“可爱”的地方吧,坚持神经网络的应用和学术研究,同时又诲人不倦,在他身上,体现了和Yoshua Bengio一致的品质,这种对深度学习的热爱和传承,如同这个学科的未来一样闪着光明。


当然,罗老师脸圆圆,眼圆圆,笑起来满是和蔼,让人想起叮当猫的样子,确实很可爱。在他那里,也有一个百宝袋,像是一个Trick集,各种各样的惊喜,正在上演。

打开微信“扫一扫”,打开网页后点击屏幕右上角分享按钮

账号登录

重置密码

还没有账号?立即注册>

账号注册

已有账号?立即登录>注册企业会员

重置密码

返回

绑定手机