特稿 >

行业洞察 >

鲍虎军:VR之后,改变医疗的技术是混合现实MR

鲍虎军:VR之后,改变医疗的技术是混合现实MR

贝壳社 丨 行业洞察

56600
3988

2017-01-24

飞哥独霸天下

Xtecher特稿作者

关注

近日、由浙江大学、邵逸夫医院、浙江省健康产业联合会医疗器械专业委员会主办,浙江大学医疗器械(技术创新)联盟承办的“2016浙江省医疗器械创新西湖论坛”举行。浙江大学信息学部主任、CAD&CG国家重点实验室主任鲍虎军作题为“计算机视觉与虚拟现实在医疗中的应用”的主题演讲。


2.jpg

3.jpg

围绕MR的研究现状和发展趋势,鲍虎军表示:


● 数据采集、跟踪、呈现和交互技术,以及装置在精度、速率、分辨率、轻量化、裸眼、无线化、移动化、低干扰等方面有较大发展,有些日益普适和实用,有些仍有较大差距;


● MR应用日益深入广泛,但场景的规模和尺度不断扩大,对计算的精准性、智能性、交互性提出了新的要求,数据分析驱动的计算模式,成为主流解决方案。


● 借助云计算和移动计算平台,MR技术逐渐从高端模拟走向大众应用。如何把大规模的计算一部分搬到云上,一部分搬到端上,成为一个问题。


● MR与传感网络的结合日益紧密,虚实融合环境逐渐成为人在回路的数据汇聚、交互可视分析和决策的载体。


4.jpg

虚拟现实现在很热,20年前开始做AR(增强现实)/VR(虚拟现实)的时候,即使是专家,我们也很难给他们通俗的描述这个概念。现在大家都知道,虚拟现实并不是简单的将电视机戴在眼镜上。刚才大家都看了蔡秀军院长(浙江大学附属邵逸夫医院院长)演示的做手术的视频,原来是把手术画面显示在电视屏幕上,现在可以把屏幕上的信息直接投射在他的眼前,让他能够更精准的操控手术过程,感知手术环境。


5.jpg


所以,AR/VR绝对不是简单的把电视机搬到眼前变成眼镜。人是怎么感知世界的?人的感知系统有各种各样的感官,其中大部分是视觉信息,视觉信息在人类感知世界的过程中起了指导作用。


所以研究计算机的人,一直希望用一种新的技术手段发明一种普适硬件,借助计算模拟技术,欺骗我们的感官系统,创造出一个虚拟的世界,并进行体验和交互。这就是这个领域的初级目标,而终极目标则是希望延伸人的感知能力。


什么是VR?在这里我用15年前,申请“973”学术项目时的一个标准定义。我们希望综合运用计算机图形学、计算机视觉、心理学、传感器、网络通讯等多方面的技术,在计算机中创造一个与客观世界相一致的虚拟环境,通过自然的交互,逼真、实时地生成可能被用户直接感知的多通道信息,使用户产生一种身临其境的感觉。


虚拟现实(VR)技术具有三个基本的特征:第一是沉浸性(Immersion),比如蔡院长做手术的时候能让他实时沉浸、感受虚拟世界;第二是互动性(Interactivity),并不是简单的播放画面,还需要互动;第三是构想性(Imagination),当你看到虚拟影像以后,可以有很大的想象空间,这样的技术需要构建一个很复杂的虚拟环境。


从90年代中期开始,人们就在想,能不能构建一个很复杂的虚拟世界,让虚拟模型跟现实世界实现:虚实融合、实时交互、三维注册,这就产生了一个新的技术叫增强现实(AR)。


90年代中期,同时出现了另外一个词叫混合现实技术(MR),这种技术实际上是把真实世界和虚拟世界进行融合,把虚拟信息叠加到现实世界上产生虚实结合的效果。

111111111111.png

为什么虚拟现实技术现在在产业界、学术界以及政府层面都有很大的影响?首先,它促进了计算机学科的交叉和发展,作为一个交叉学科,涉及到新的软件、硬件、算法、技术。


其次,虚拟现实技术给人类认识世界提供了新的方法和手段:一是可以跨越时空,去经历和体验历史上早已发生或尚未发生的事件。二是可以突破生理限制,进入微观、宏观世界进行研究和探索。三是可以模拟现实当中代价巨大或因条件限制而很难实现的事件。四是可以随时随地提供透明精准的信息服务。


虚拟现实可以促进技术和社会的重大变革:一是工程实验、产品设计开发手段的变革,二是训练与决策方式的变革,比如医生,三是社会生活的变革。


MR技术的研究范畴可以分为四大块:第一是硬件,第二是内容创作,第三是交互技术,第四是具体的应用。


下面讲一下MR技术。首先是呈现技术,这里面有力触觉的呈现、嗅觉的呈现、视觉的呈现。比如具有力反馈的手套,让你抓取虚拟物体的时候产生力觉和触觉。右边的这个装置比较早,看起来也比较复杂,左边这个装置已经非常接近于普通的手套。嗅觉呈现方面,目前还没有商品化的嗅觉呈现技术。

7.jpg


视觉显示技术大家最熟悉,但需要注意的是,VR头盔技术进步,并不是原理层面的技术有很大变化,而是微电子技术和光学技术的进步。1968年的一篇博士论文,当时就设计了一个头盔,看起来还十分笨重。现在的头盔则能够直接把虚拟的影像放在你面前,HTC、Oculus都是这样的头盔。这些头盔最重要的技术是光学穿透,所谓的光学穿透实际上是把虚拟的影像投到光线屏上。


目前的虚拟现实头盔受到很大的限制,第一是图像质量的问题,视频穿透会受到分辨率的限制,光学穿透质量则高得多。现在最大的、共同的难题是视域非常窄,Oculus只有40度,导致医生当你戴着头盔去操作的时候,中间部分可以融合,其他地方都没有,导致色彩的变化,这是最大的限制。第二个问题是精度,精度不对,会导致虚拟手术刀和现实手术刀产生偏差,引起很大的问题。


另外一点,摄像机的传感器和真实图像之间有偏差,我们需要矫正。这里面包括亮度,光学传感往往比较暗,因为它被屏幕穿透以后相当于滤光灯的效果,视频穿透往往有一个问题,就是它的曝光程度,它可调但是曝光容易有问题。一般在手术室里面不主张用视频穿透,一旦出现问题传感器就黑屏了,光学穿透则不会出现这样的问题。


显示技术的普及应用,实际上存在很大的挑战。首先,硬件的舒适度:第一,抗疲劳,让人戴头显1个小时也很轻松,目前戴20分钟就会不舒服;第二,轻量化;第三,大视场;第四,高清晰度。其次,跟踪定位的精度。最后,移动计算效率,计算过程实际上非常复杂,怎么样在移动的环境下有效计算。


第二方面讲一个重要的技术:MR交互技术与系统。目前交互有很多,包括语音交互、操作道具、触控交互,其次还有医疗上很重要的体感交互,也就是用手势、姿态、表情来实现交互,甚至是用手指交互的时候,也能够传感肌肉的变化。


8.jpg


所以说,交互技术面临几个问题:第一,自然性,怎么样才能更自然,怎么样才能实现多种交互的融合。第二,鲁棒性(编者注:Robust的音译,为“健壮”之意,指的是:控制系统在一定(结构,大小)的参数摄动下,维持其它某些性能的特性。)第三,普适性,不能因人的声音不一样,或者动作姿态不标准,引发技术交互的失败。


下面讲讲感知信息怎么样合成。这其中有三个方面,第一是怎么样在特定场景表达,另一个怎么样把它高效建模起来,第三个怎么样把它实时呈现出来。这是VR三大方面的核心。


9.jpg


虚拟现实目前仍然需要解决几个关键的技术问题


● 虚拟对象和环境的高效几何物理建模


● 虚拟环境感知和信息的实时逼真合成


● 虚拟环境的实时三维注册和融合呈现


● 高效内容创作和场景数据的组织调度


医学应用方面:面临的合成技术挑战


● 如何提高建模智能性和模型的精确性


● 克服模型的逼真性与计算的实时性的矛盾


● 云与端如何协同,以满足交互需求(实现VR的无线化)


● 大尺度空间下的实时、高精度、鲁棒跟踪定位


MR技术的第一个应用,是重大装备和设施的设计、模拟、认证的一体化。比如设计一架战斗机的实物样机,通过样机的测试、评价、修正、再设计,不断的循环。一架战斗机原本需要做很多的实物样机,如何在工业阶段之前,做虚拟样机,做模拟,从而减少实物样机。比如,某个型号战斗机的模拟虚拟机,可以攻击,可以着陆。


MR技术的第二个应用,是虚拟训练和现实训练相结合,比如先在模拟机上面学车,然后再驾驶真实的驾校车辆。


MR技术的第三个应用,是信息的透明、精准服务。AR技术,可以把数据库的信息跟实物对象进行无缝的关联。比如:西门子公司把数字化工厂里面所有虚拟现实合在一起,比如阀门如果是装反的,数字模型实际上矫正很多设计上的错误。比如:在市政管理中,维修工头盔上戴着Pad,可以把路面地下管网直接显示在你的眼前,实现狭窄管道的穿透显示,既绕过了遮挡物,又降低了地下施工的危险性。


11.jpg


2016年10月,微软推出“黑科技”Holoportation,其功能是将某人的3D全息图像实时传送至其他地方,并能够实现实时互动。)


MR技术的最重要应用,第一个是辅助诊疗。比如,实现超声成像与人的视域内真实图像的融合显示:


22.jpg


(MR非常重大的一个应用,就是心理健康疾病的辅助治疗。心理健康疾病包括抑郁、焦虑、毒瘾、恐惧(恐高、恐飞等)。有大量的游戏专门用来治疗各种心理疾病。比如恐高症,可以专门设置一个虚拟的环境让你去玩,不断刺激大脑,逐渐适应这样一个高度,当你戴这个头盔的时候,沉浸式是非常强的。


还有疼痛管理,通过注意力分散疗法,降低严重皮肤烧伤患者的疼痛感知。华盛顿大学开发一个VR视频游戏SnowWorld,让患者拿雪球扔企鹅,聆听Paul Simon的歌曲。


33.jpg


创伤后应激障碍(PTSD)治疗:约1/6参加伊拉克战争的退伍军人患有忧虑症、PTSD。微软开发出一款基于X-BOX的全能战士游戏模拟伊拉克战争场景,在安全可控的实验条件下,回忆遇到的创伤事件,学习如何处理此类事件。


第二大应用是诊疗教育与训练。传统医学训练有两个弊端:一是医生通常在前几个手术时更容易犯错,二是缺乏医学训练的尸体。


虚拟模拟训练,可以随意重复,不会造成伤害;器官可绘制成透明,模拟心脏等运动;可模拟身体的功能,检测手术是否切割到血管等,提供逼真的环境。


微软HoloLens有一个合作项目,培训让学生去学习解剖学等信息量很大的内容。除了教学部分,还有操作部分。比如:结肠镜检查模拟、上消化道内镜检查模拟、腹腔镜检查模拟。医学模拟最大的难题是生理模型,比如器官软组织等。蒙特利尔大学开发了骨科手术的模拟训练系统,可以让学生学习把这个手术做好。


44.jpg


VR的第三个应用,是辅助手术,包括


● 术前规划:基于术前影像重构病人的组织结构模型


● 手术预演:排练复杂的手术过程


● 手术执行:提高手术的效率和精准性、减少患者的创伤和风险、在手术过程中辅助医生,如术中实时导航。


对于远程手术(Telesurgery)而言,有一项技术叫远程呈现(Telepresence),这使得医生可实时查看远程环境,并且远程抢救病人。


应用场景:交通事故伤员在远处的当地医院抢救,受伤的士兵在战场得到救治,以及一些无法移动的伤病人员,等等。



文章来源:贝壳社。


打开微信“扫一扫”,打开网页后点击屏幕右上角分享按钮

账号登录

重置密码

还没有账号?立即注册>

账号注册

已有账号?立即登录>注册企业会员

重置密码

返回

绑定手机