特稿 >

前沿热点 >

【CMU新成果】Panoptic Studio或改变动作捕捉技术

【CMU新成果】Panoptic Studio或改变动作捕捉技术

Xtecher原创 丨 前沿热点

26204
3783

2017-07-07

  大琴

Xtecher特稿作者

关注

最近,卡梅隆大学一直是在“搞”事情的节奏,新研发出Fingervison技术,让工业机器人拥有触觉,即使是剥香蕉,也是很温柔,震惊科技圈,各大媒体纷纷报道。这不,事情还没有结束,7月7号下午Techcrunch在其官网发文——《CMU researchers create a huge dome that can read body language》,公布了卡梅隆大学又一最新成果 Panoptic Studio,或改变动作捕捉技术。Xtecher第一时间将文章编译如下。


 CCC.GIF


Panoptic Studio是一款新型的身体“扫描仪”,由CMU卡梅隆大学的研究员发明。利用全新的技术,它可以通过扫描人体,理解人们在现实环境中的肢体语言。从表面来看,研究员Brown博士就像是将一个个真实的人体案件放在了扫描仪里面,同时它还可以防止他人自杀。扫描仪里面囊括了成百上千个参与者发来的视频,这些视频包括参与者的互动、交谈、辩论等等。


除了嵌入实景人物视频之外,这个团队甚至还发布了代码,帮助程序员实时了解人们身体的位置,这样对肢体识别、预测更有帮助。

 

Panoptic Studio利用一个巨大的球形圆顶系统对动作进行捕捉,其在圆顶部部署了480个VGA摄像头和31个高清摄像头以及10个Kinect传感器。这些设备同时跟踪工作室中的任何人、物、对象的移动,每一个细节都不放过。它们还可以给工作室内的参与者创造一个“线框”模型。而这些模型又可以向计算机展示各个参与者的想法。

 

研究员Yaser Sheikh表示,“我们交流的时候,使用肢体语言和用声音交流几乎一样多。而计算机或多或少都在肢体语言上存在盲区。”

 

在下面的视频当中,研究员们扫描了一群人,他们正在对一件物品进行讨价还价。此时,计算机可以识别各种不同的手和头,分辨出它们的位置,而且还能识别他们的口语交流,并能辨别人群中两个人是否是生气了、高兴了还是吵起来了。更有意思的是,研究员还能让计算机识别具体的指向,也就是说,你用手指指向某一特定的对象的话,系统就会知道你在说什么。



还有一个特别有趣的事就是Panoptic Studio系统可以帮助自闭症患者和阅读障碍的患者,实时解码他们的行为,帮助他们更好地生活。同时,Panoptic Studio还可以扫描运动场上的运动员,实时了解他们的具体位置。

 

实时跟踪多人,尤其实时跟踪特定社交场合中相互联系的个人,这在目前来说还存在一系列的挑战。使用简单计算机程序追踪群体中每个个体的效果可能不是很好,尤其是当这个群体在变大的时候。Sheikh博士和他的同事采用了一种“自下而上”的方法,首先将场景中的所有人身体的各个部位(手、臂、腿、脸等)进行定位,然后将这些部位与特定的个体联系起来。

 

虽然,目前CMU卡梅隆大学的Panoptic Studio系统看上去非常先进,但是对于服务于超级碗(Super Bowl)或者当地的一些地方,其还没有完全准备好。基于人们的肢体语言和行为的不同,您可以判断人们正在做什么,接下来又会发生什么,这看起来是一个非常好的方案。甚至,它还会告诉你,您的“扫描”行为可能打扰到这些小伙伴了呃。

 

“我们相机单次扫描一次就能从500个不同视角给您呈现人的手部,其中也包括相机自动识别的人手位置,”研究员Hanbyul Joo表示,“因为人的手部相对较小,大多数相机并不能对此进行识别或者标注。对于这项研究,我们只使用了31个高清相机,但仍然能构建一个庞大的数据集。”


动作捕捉技术已经走过了好几十年的道路,基本都是通过安装数百个传感器,跟踪上万个跟踪点,然后由计算机创建一个精确的数字文本。Xtecher认为,Panoptic Studio未来或能改变动作捕捉技术的现状,降低捕捉成本。该软件可以一次同时激活数个相关的摄像机组,研究人员可以同时捕捉超过10万个跟踪点,而且再也不用在对象身上安装几百个捕捉标记了。虽然目前还处于初期阶段,但还是非常有前景的。


原文链接:https://techcrunch.com/2017/07/07/cmu-researchers-create-a-huge-dome-that-can-read-body-language/

所有版权属于原作者,本文仅出于传播资讯目的翻译转载。

打开微信“扫一扫”,打开网页后点击屏幕右上角分享按钮

账号登录

重置密码

还没有账号?立即注册>

账号注册

已有账号?立即登录>注册企业会员

重置密码

返回

绑定手机