特稿 >

科技快讯 >

重磅|Facebook放大招,训练时间1周降至1天,AI工程师高呼终于等到这一天

重磅|Facebook放大招,训练时间1周降至1天,AI工程师高呼终于等到这一天

AI100原创 丨 科技快讯

22988
3299

2017-06-09

作者 | 鸽子


随着深度学习在各行各业的应用日趋成熟,应用范围越来越多元,AI工程师也开始头疼起来:


数据量越来越多,需要应对的场景越来越细分,模型的训练求越来越复杂,因此,耗在上面的时间也越来越长。

 

有没有一些前沿的研究,能大大缩短工程师在模型训练上的时间呢?

 

有!

 

近日,Facebook人工智能实验室就提出了一种新方法,称其能大幅度减少机器视觉任务的模型训练时间,只要1个小时,就能训练完如ImageNet这样的超大规模数据集。

 

不过,准确来说,Facebook提出的这套方法,其实解决的是图像小批量(mini-batch)的大小的问题。

 

一般来讲,在模型训练中,介于目前的条件,批大小(batchSize)是有限制的,通常一次为256张图片,最多一次不能超过1024张图片,太大则会影响精度。

 

“我们日常在训练模型时,如果扩大batchSize,掉点就会很多,影响训练的精度,因为模型不收敛。”一位在国内从事多年深度学习的Y先生告诉AI100。

 

而如今Facebook的这套方法,妙就妙在,可以让批大小大大提升,至一次8192张图片,还不影响精度。

 

在保持精度的情况下,能将批大小大幅提高,这样直接带来的好处就是,系统就可以采用更多GPU来并行计算。而GPU数量的增多,将直接带来训练时间的大幅降低。

 

“以往在批大小不超过1024张图片的情况下,不能同时有很多GPU并行,32块就到头了,现在这套方法, GPU扩展到256块也没问题。以前原本要花一个星期的训练时间,现在一天就够了。”另一位接受AI100采访G先生兴奋地说到。

 

多名接受采访地行业技术大牛均表示,Facebook此举是干了一件所有人都想干,却一直没能干出来的大好事,这项技术很快会在各大公司应用开来。

 

“谁都不缺钱,缺的是时间,这个对于国内做深度学习的初创公司来说,意义简直太重大了。这绝对是件让整个行业拍手称快的兴奋事儿啊。”技术大牛纷纷表示终于等到这一天。

 

想要更加深入地了解Facebook的新技术,请查看该论文的具体内容。

 

论文地址


【本文来自投稿,文中观点不代表Xtecher立场。】

打开微信“扫一扫”,打开网页后点击屏幕右上角分享按钮

账号登录

重置密码

还没有账号?立即注册>

账号注册

已有账号?立即登录>注册企业会员

重置密码

返回

绑定手机