国产动画音乐分享组

增强体验(AE):VR之初心,VR+业态创新之关键

小康视界 2018-10-18 11:33:21



去年VR元年,今年VR两岁,昭示一个增强体验时代来临。VR产业,既是群雄并起,也是鱼龙混杂。VR的初衷是提高体验,但是,有很多VR系统体验质量极差,已经影响到了产业的健康发展。VR产业只有紧扣体验,不忘初衷,方得始终。


VR是一种全新的媒体。媒体是信息和体验的载体,经历了四个阶段。最早的媒体是岩画,人类最早的岩画刻了很多的手印和一只猪,记载了先祖狩猎收获的喜悦的体验,岩画、甲骨、竹简等远古媒体启蒙了人类文明。第二阶段是纸质媒体。解决了信息交流的便携性,使文明得以千年传承。第三阶段是电子媒体,解决了音视频高保真记录问题和信息交流的实时性问题,给了人类丰富多彩的体验。第四阶段,2016年被称为VR元年,人类将进入身临其境的VR媒体时代。在这四个发展阶段中,承载的重点,经过了从体验,到信息,再回到体验的交替,在VR媒体时代,体验越来越重要。



什么是VR带来的新体验。1994年,伯第亚(Burdea等用3IImmersionInteractionImagination)概括了虚拟现实的基本特征。其中沉浸性是知觉体验,是第一层次;交互性是行为体验,是第二层次;构想性是精神体验,是第三层次。



这三者相辅相成,沉浸的知觉体验、自如的行为体验、梦幻般的精神体验一起把人类体验,推向全新的增强体验(AEAugmentedExperience)。



在沉浸性和交互性两个维度上,媒体的体验可以划分为基本体验区和增强体验区。在沉浸性维度上,要从二维视频走向多维知觉;在交互性维度上,要从单向遥控、双向交互、多人交互,走向多模交互;在内容形式上,还要在3D、光场、仿真、电竞的基础上,走向VRAR、全息电视和全感官互联网。



现在的VR体验离期许的VR体验还有很长的路要走。沉浸性是近期研究重点,重点在于视觉体验;交互性是中期研究目标,既是传感器集成和人工智能问题,又是物理世界和虚拟世界融合问题;构想性是长期研究目标,是高级的脑认知问题。下面介绍一下这三个层次的相关技术进展。



首先是沉浸视觉体验,在超高清电视方面,我们进行了8K超高清电视内容的评估和制作研究,用了京东方的显示器,高2米,是目前全球最大尺寸。2米是什么概念?是一般门的高度,再大的话,门都进去了。再有,北京、上海的房价多贵呀,家里摆这么大个电视也太奢侈了。在这个意义上,8K VR头显非常有前途,但,大有大的烦恼,小有小的难处!除了技术之外,如果没有8K VR内容,8K头显的推广也是很难的。



在超高清传输方面,我们在125成果展上,展出了全链路的超高清电视系统,内容采用4K AVS实时编解码,形成了两个新的协议,融合传输协议实现了广播与通信协同,智能媒体传送协议SMT实现了多源聚合、多屏互动。这样的技术相信在VR直播中也是很有前途的,希望能够VR联盟和电信部门密切合作。



在超高清电影方面,李安最近执导的《比利-林恩》是电影科技的新的突破,4K超高清、120帧每秒的超高帧率、3D拍摄,带来更真、更震撼的视觉体验。这烤了电影百年传承,人才辈出,技术持续创新。而VR还处于青涩阶段,16日深圳警方破获了VR涉黄的案件,据说是网上出售VR眼镜,同时附送色情影片,据说很火。VR不能光靠多巴胺,更要有诗和远方!VR如何培育大咖,弘扬正能量,告别无奈的青涩,也是一个重要问题。



VR内容方面,产业界目前的VR主要是指360度全景视频,更牛一些的是再加上3D,这两类占了VR内容的99%。学术界在研究360度光场,这要产业化还有很长的路要走。未来这三者将综合在一起,实现自由沉浸立体视频,比如这扣篮,我们可以从场内的任何位置、任何时间、任何角度,都能够看到立体的效果。



在标准制定方面,IEEE1857AVS共同组织正在制定VR标准,主要目标是提升VR视频压缩效率、促进VR设备互联互通。



MPEG也正在制定沉浸媒体标准,HDR、点云、声场等等,计划在2021完成光场编码。



第二层次的体验是自如的交互体验,VR交互主要有两条路径,裸手交互和专用设备。VR交互设计的第一原则是稳定预期。裸手交互很酷,有专家认为这个不太靠谱,手势识别和操控很难做到准确稳定。另外,裸手不能给用户力的反馈。比方说,VR场景中有一个开关,摁下去,没有任何反应,不知道是摁得不对,还是是开关坏了,这样的话用户很容易疲劳、丧失信心。更形而上一点,有人之所以为人,就是人会使用工具,裸手交互在空中画来画去,太反人类了。相对而言,手柄和追踪器更靠谱些,即便如此,离稳定、准确还有很大的距离。



第三个层次是精神体验,目前的VR内容制作手段,尚无法使用户长时间融入情境。高度融入的VR情境迟早会到来。社会心理学研究表明,看动画片长大的二次元新新人类的人格跟前一辈很不一样。VR比动画融入感要强很多,如果长期融入VR情境, VR将如何重塑用户的人格结构?弗洛伊德的人格结构理论,有三个我,VR将改变本我,激发潜意识,自我,改变自我认同,可能会自我膨胀,超我,在VR空间中需要新的道德约束。VR技术带来的社会影响需要我们提前关注。

VR技术方面,2009年,赵沁平院士提出虚拟现实中的科学技术问题,最近又提出了VR/AR+ 下一程的6个关键问题,可以看出,体验质量评价是其中非常重要的问题。

目前的VR系统体验质量欠佳,有的设备糊、卡、晕现象严重,要改进系统,首先就要对QoE进行评价。VR体验质量涉及到系统的方方面面,现阶段最主要的就是要提高视觉体验和交互体验。提高视觉体验,首先就要有好的头显,8K,120Hz,<20ms时延,1K陀螺仪刷新率,是视网膜级别的VR头显的入门指标。还需要360度立体渲染、超高清内容生成;提高交互体验需要精准跟踪,可靠反馈,自然接口。

VR QoE评价主要挑战,在视觉体验方面,VR和传统视频不同:内容多维度,它除了时间、空间维度,还要包括头盔的6个自由度带来的视觉调整,VR的质量评价通常是无参考的,它沉浸感和舒适度之间的关系处理上,比传统的3D视频更为复杂。在交互体验方面,VR QoE评价的个体差异大、过程刻画难、虚实一致性、反馈有效性。再有就是测试方法上,在视频质量评价中,我们有标准。而VR的测试任务、测试环境、测试规范怎么给,远比视频质量评价要复杂。

VR QoE评价的科学问题,用户和VR系统通过刺激、体验和动作形成一个环路,刺激、体验和动作可以用马尔可夫决策过程来表示,总体体验可以是不同时刻体验的加权平均。VR QoE可以用神经科学中的自由能原理来刻画。人体为了达到稳定的平衡,神经系统通过预测控制,使得自由能趋向最小。体验质量评价可以等价为对给定行为过程和刺激过程的预测误差估计,预测误差通过自由能计算。



VR体验质量评价标准是一个VR产业发展的全局性问题,个人认为我们这个产业联盟应该承担起这样的任务。我们最近承担了国家重大科学仪器项目,我们也希望能够在VR 体验质量评价方面做点贡献。

关于VR产业,各位都是业界精英,作为高校老师,我仅有两个判断供各位参考。首先一个判断就是VR+产业处于爆发前夜,游戏、电影等VR核心业态还在孕育,期待爆款来点燃VR内容。这个估计还得由索尼这样的大厂来做,大厂欠消费者一款“VR+爆款。另外一个大的产业是高品质VR直播,这技术上还有困难,巨大带宽,超过1G,极低延时,编解码延时只能半帧,还有很多的技术需要突破。


第二个判断,就是现阶段的VR业态创新,重点是从已有的增强体验中,找到增强服务的切入点。特别是,受限条件下的增强服务,受限条件就意味着存在痛点,找准痛点,就能提供增值。比如,VR航空电影,痛点在于飞机座位拥挤,声音嘈杂,不可能提供大屏幕。SkylightsVR,就是瞄准了这个痛点,延拓了视角,并且头显轻,音质好。

这样的例子可以很多,比如VR看房购物实现了物理空间的延拓。VR军事训练,实现陆海空作战环境的仿真。VR精神治疗实现情境模拟,我们跟上海交大医学院合作,在恐高症、孤独症治疗方面,已经有很好的效果。

还有,AR单兵头盔实现多重信息叠加,形成作战的信息优势。AR座舱,这在飞船和深潜器中非常急需。AR医疗实现了生命体仿真,是医疗培训的急需。AR工业应用实现人机物融合,是工业4.0和中国制造2025的重要内容。

例子不胜枚举,归结起来,现阶段的VR业态创新关键在增强二字,受限环境就是痛点,也就更需要将增强体验转化为增强服务,瞄准痛点的增强服务,前景宽广!


Copyright © 国产动画音乐分享组@2017