增强现实AR混合现实MR虚拟现实VR扩展现实XR扩展现实技术开发

近年来,随着触摸显示技术、沉浸式技术和自然语言处理技术的发展,人机交互方式更加注重迎合人类自然感知。 机器的学习能力也正在向人类思维靠拢,比如态势报告、图像识别、深度学习等。 当前科技发展的亮点在于,科技不断进行适应性调整,以更好地满足人类的需求。 例如,扩展现实XR技术提供了多种体验,模糊了物理空间和模拟环境之间的界限,通过视觉、听觉、嗅觉和触觉信号为用户营造沉浸感。 作为一种“以技术为媒介的体验”,扩展现实XR结合了数字现实和生物现实,将信息带给人们并帮助他们快速洞察信息。 一方面,扩展现实XR技术可以在3D环境中显示数据,使其更接近人类实际观看和情景想象的体验; 另一方面,用户可以利用扩展现实XR技术将虚拟数字对象叠加到现实世界中,同时也可以将物理世界中的对象引入到虚拟世界中。

(1)扩展现实XR技术概念的提出

1、虚拟现实VR、增强现实AR、混合现实MR的发展

计算机仿真技术的不断发展给人类带来了许多沉浸式技术,其中增强现实、虚拟现实和混合现实为世人所熟知。 这些技术通过数字信息与真实环境不同程度的融合,为用户带来身临其境的体验。 全新的体验模式。 扩展现实技术的出现与当前流行的增强现实和虚拟现实技术的发展密不可分,但这两种沉浸式技术之间存在着显着的差异。

表1 虚拟现实VR和增强现实AR技术发展历史关键节点列表

表1列出了虚拟现实和增强现实技术发展的关键历史节点。 这两项沉浸式技术从文学构思到如今深入大众,已经经历了一百多年的发展历史。 从历史发展的角度来看,虚拟现实重在对真实情境的模拟; 增强现实更注重利用技术来扩展人类对现实环境的感知,以打破现实的“限制”。 因此,准确理解这两种技术的发展历史是构建扩展现实技术概念的必由之路。

增强现实AR

技术的交叉发展,使得增强现实技术和虚拟现实技术之间的技术界限日益模糊。 从形式上看,两者似乎分别在向现实和虚拟两个方向发展:增强现实增强了人类感知自身所生活的真实环境的能力; 虚拟现实侧重于人类在其创建的数字空间中感知真实环境的能力。 接近真实环境的感性体验。 最前沿可以预见的是,一个经过人工技术高度改造的虚实融合空间将会出现,其中现实与虚拟的界限已经变得模糊。 换句话说,技术生态系统的成熟导致了增强现实和虚拟现实技术的融合。 目前流行的混合现实MR技术是一种沉浸式技术,具有初级融合特征,特别强调现实世界、虚拟世界和数字信息的无缝融合[5]。

混合现实MR和增强现实AR的发展体现在从“三维注册”到“情境注册”的转变,即基于对当前用户位置、兴趣、需求等信息的充分感知,定制化为用户提供服务。 设计。 混合现实MR专注于用户自身和真实环境的全面智能感知,注册、合成和关联各种有意义的数据,为用户创造个性化的体验。 以“虚拟台灯”为例,混合现实MR技术不仅可以准确地“登记”台灯在现实空间中的位置,还可以准确感知何时需要打开或关闭,或调整其灯的位置。亮度根据用户需求。

混合现实MR针对虚拟现实VR的发展体现在其能够将现实世界的内容代入虚拟空间,实现虚拟环境的即时生成和构建,并与现实空间保持协作,提高体验的自由度。用户体验。 三者之间的主要技术差异如表2所示。微软的HoloLens和Magic Leap开发的混合现实设备可以代表当前增强现实和虚拟现实技术的融合。 但它仍然是一种以视觉为主要感知方式的显示设备,在体验方面仍然存在局限性。 这也为扩展现实技术的提出奠定了基础。

增强现实AR

表2 增强现实AR、虚拟现实VR和混合现实MR技术对比表

前沿的扩展现实XR技术将与人工智能技术、物联网技术高度融合,在其支持下,数字内容将以更加直观、可感知的形式出现在现实空间中。 扩展现实XR涵盖了实现虚拟现实、混合现实、增强现实、成像现实和其他现实的设备、软件、方法和体验。 其中“X”可以被视为 V(R)、A(R) 或 M(R) 的占位符,尽管它也代表未定义或可变的质量/数量。 因此,扩展现实XR的定义主要包括允许用户将数字对象带入现实世界的平台和内容,或者相反,将物理对象视为存在于数字场景中。

结合增强现实(AR)、虚拟现实(VR)、混合现实(MR)技术的特点以及扩展现实(XR)相关概念的定义,我们认为扩展现实(XR)应具备情境化的四大特征。意识、感官替代、直观交互和现实编辑。

(一)态势感知。 情境意识与现实意识不同。 它是现实意识的高阶形式,体现了从普适计算到认知计算的飞跃。 现实感知强调对周围环境的各种定量信息的数据采集、报告和处理。 情感感知的感知对象超越了对象本身的物质属性,包含了虚拟世界的数字信息。 例如,情感感知维睿网络用于感知体验过程中主体本身的心理反应。 这不仅需要环境数据和人体指标数据的处理,还包括定量经验领域相关指标的报告。 为用户提供最佳的情境体验。

(2)感觉替代。 感官替代带来了新的沉浸感。 人类感官将超越视觉,在扩展现实技术中发挥更加突出的作用。 扩展现实XR技术可以将物理世界和数字媒体融合起来,创造出现实世界的虚拟感和虚拟世界的真实感。 借助气压场、可变屏幕和特殊控制器等数字用户交互界面,触觉技术使人们能够体验现实生活中物体的触摸。 例如,当用户触摸虚拟宠物时,他们不仅可以看到它的动态反馈,还可以感受到它皮毛的触感。 因此,扩展现实技术应该使人类的五种感官能够以与物理世界相同的方式与计算机交互。

(3)直观的交互。 扩展现实技术追求的直观交互要求技术本身“隐形”。 传统的增强现实AR、虚拟现实VR和混合现实MR往往由于设备的限制而导致体验不佳。 人机交互领域的先驱 Bill Buxton 认为,与技术的交互应该是自然的,“不是作为设备操作员,而是作为人 [20]”。 从这个需求出发,直观交互的设计包括五个维度:手势交互、语音交互、姿势交互、眼动交互和脑机交互。

(4)编辑现实。 传统物理存在与虚拟对象的区别在于,物理对象通常是静态的,而虚拟对象是非静态的,可以随时变化,并且具有不同的属性。 扩展现实XR技术对于增强现实AR、虚拟现实VR和混合现实MR技术的重要发展在于它改变了物理对象的属性,使其成为非静态的,用户可以与真实环境进行双向对话。 因此,在扩展现实XR技术的支持下,物理物体实际上是可以被编辑的,用户可以在“出厂设置”后决定如何使用它。

(2)扩展现实XR技术的实现机制展望

1、基于技术构成的实施机制展望

高通发布了其历史悠久的扩展现实XR移动计算平台和扩展现实XR1芯片。 该公司的发展规划认为,增强现实AR、虚拟现实VR或混合现实MR的许多底层软设备技术实际上是相同的。 尤其是芯片相关的配套技术和软件开发套件。 因此,扩展现实XR技术的实现机制包括三种沉浸式技术的综合发展。 例如,高通在2017年发布的扩展现实XR报告中,提出了扩展现实XR耳机的概念图。

可见,扩展现实XR技术并不局限于终端设备。 图2中的扩展现实XR头显是一款专注于视觉的“瘦终端”设备,而扩展现实XR则包括技术环境中的沉浸感。 公式系统。 因此,针对高通公司的扩展现实XR技术展望,我们认为扩展现实XR技术的实现技术应包括:输入系统、处理系统、输出系统和泛在技术环境,如图3所示。扩展现实XR技术路线图,并结合当前增强现实AR、虚拟现实VR和混合现实MR发展过程中各种实现技术的特点,我们对扩展现实XR实现技术做出了前沿展望,如表4所示。

扩展现实XR技术实现了预期的技术路线图

2. 基于用户感官体验的实现技术展望

(1)视觉体验实现技术。 尖端的扩展现实显示技术将采用新型光学图像投影技术,外观将采用高度耐用的半透明材料[23]。 接近这一概念的显示媒体技术包括微软开发的HoloLens; Magic Leap将率先发布的增强现实系统中的显示设备; iOptik是Innovega开发的一种将光学设备与显示器分离的设备。 系统。 HoloLens利用全息波导技术将字母数字、符号和图形信息叠加到用户体验的现实世界中,将呈现给用户的高清全息图与其物理环境进行空间互连和固化; Magic Leap将发布采用基于光学器件的自适应光场显示技术,从其申请的“虚拟现实3D成像系统”的专利文件来看,该专利可以直接将图像投影到用户的视网膜上,无需显示介质。 显示技术。 Innovega头戴式显示系统的显示技术由配备高分辨率微型显示器或投影仪的头戴式显示器和iOPtik隐形头戴式显示器组成,该显示器可以将来自现实世界和媒体平台的光子聚焦到佩戴者的视网膜。 最前沿的扩展现实技术应该是向增强现实显示过渡的显示技术(全息波导、自适应光场、分离显示等),因为虚拟现实设备的主体是近眼立体3D显示器,仍然可能对用户的健康有害,造成潜在的有害后果。

表4 支持扩展现实XR技术实施的相关技术发展表

(2)听觉体验实现技术。 声音可以与扩展现实支持的其他感官体验集成,也可以独立存在。 早在 1991 年,艺术家 Janet Cardiff 就一直在创作“音频行走”项目,试图为用户带来独特的体验。 Detour 受到卡迪夫的启发,提供了一系列位置感知的增强型音频步行体验。 它主要利用智能手机的惯性测量单元和GPS全球定位系统,根据用户位置等信息的报告智能推送特定的音频内容,以促进同理心和理解。 扩展现实技术中使用的音频设备可以是骨传导耳机。 其原理是通过振动将声音从颌骨传递到内耳,因此不会遮挡周围的自然声音,达到“开耳聆听”的效果,这对于过去来说非常重要。 这对于以增强现实为目的的应用扩展现实技术来说是一大优势,但对于高度沉浸式的虚拟现实环境来说,这可能是“真实”噪声的干扰。 因此,环境定向声场对于扩展现实技术同样重要。 HyperSound的音频技术利用超声波以窄波束引导声音,并将其限制在特定位置,从而精确创建音频区域,让用户在公共空间创建“私人聆听区域”。 因此,扩展现实技术的声音解决方案应得到终端设备和环境的支持,打造丰富的三维听觉声场效果。 (3)触摸体验实现技术。 触觉体验实现技术多用于虚拟现实技术中,通过创造接近现实世界的触觉感知来分散用户对显示技术缺陷带来的不良体验的注意力。 正是由于虚拟现实技术开发商专注于解决视觉显示方面的技术障碍,导致触觉技术的发展滞后。 虚拟现实技术中的触觉设备主要包括:集成在操作杆中的振动反馈设备、触觉可穿戴设备(手套、靴子和背心等)、手写笔和触觉座套等。增强现实主要包括基于静电场、超声波振动等原理,以智能移动设备为载体的触摸屏和可变形屏幕,以及基于抗电振动技术和空气涡压缩姿态的非接触式触摸屏。 高品质的触觉体验技术仍然面临着巨大的挑战,包括人体的大触摸面积以及相关公司的专利封锁等。 在最前沿,扩展现实技术触觉实现的突破点将落在某种形式的神经触觉刺激上,例如Tesla Studio开发的Telsa Suit,它通过微电极模拟传入的神经纤维,并将其传送到用户的皮肤上。 传递微小电脉冲的模块化服装。

(4)数字味觉嗅觉体验实现技术。 味觉和嗅觉是唯一与大脑边缘系统直接相连的两种感觉,主要负责情绪和记忆。 数字品味的发展与人脑密切相关。 舌头受到电信号和热信号的刺激,使用户能够体验到酸、苦、甜和咸的味道,具体取决于通过电极的电流频率。 关于数字气味的实现技术,最令人印象深刻的是谷歌在2013年愚人节发布的“Google Nose”,它是一种捕捉和搜索气味的数字方法。 虽然是一个恶作剧,但对于前沿的扩展现实技术来说,其将数字香氛体验纳入技术体系的设计并不牵强。 另一个FEELREAL面罩可以连接到Oculus Rift虚拟现实VR耳机设备。 它本身由七个可移动的气味发生器组成,可将气味蒸发到用户的鼻子中。 它结合了三维视频游戏和视频情节来产生振动。 全面的体验。 开发者还设计了Feelreal SDK,为平台添加不同的气味和效果,以增强用户的沉浸式体验,但遗憾的是尚未完成其在众筹网站上的众筹计划。 综上所述,扩展现实技术支持用户的味觉和嗅觉体验。 基于神经科学家David Eagleman的想法,它直接提供实时数据并通过互联网传输到大脑,让用户直观地体验和感受这些数据,而不需要感官处理[34]。 这也是脑机交互的发展趋势之一。

(3) 扩展现实XR技术的内容开发和叙事指南

最前沿的是,扩展现实XR技术将是一种多感官参与的新媒体技术。 设备的轻量化将允许用户在以用户为中心的情境情境的帮助下,忽略技术的痕迹,直接沉浸在内容中。 在个性化体验驱动下,用户的沉浸式体验将进一步丰富。 存在感是衡量虚拟环境是否成功让用户沉浸其中的指标。 有学者将其定义为“媒介看似不可见或透明,其使用者和内容共享同一物理环境”的“不和谐幻象”。因此,这种直接逻辑决定了媒介本身应该消失,使用者不存在。不再认识到自己是面对媒体,而是站在“直接面对内容”的立场上。

突破技术格局的限制是前沿扩展现实技术应用设计时首先考虑的问题。 例如,视频理论家汤姆·甘宁将早期视频视为一种“吸引力视频”,并认为“使画面快速移动的机器令人着迷”。 来源而不是主题和故事的代表。” 超越创新和创造有意义的体验的一种方法是连接用户的环境。 扩展现实技术中的叙事策略有两个重点:一是强化;二是强化。 另一个是记忆。

(一)强化。 强化是指对目标用户群产生强烈情感的情境体验。 扩展现实XR技术通过“虚拟”与“真实”的融合,让目标用户群的情感增强体验更加深刻。 例如,当用户亲自去长城时,可以亲身感受到长城对我国历史的巨大影响。 强大的原始情感力量可以加深人们经历的影响。

(2)记忆。 记忆是一种更加个性化的强化策略,强调个人经历的情感和意义。 例如,扩展现实应用可以识别用户对特定事物的注意力,然后可以通过创建个性化情境来增强用户的体验。 又例如,当用户在某个时间长时间观看自己童年的照片时,扩展现实系统可以注意到这个细节,并在用户闲暇时间播放照片组的幻灯片。 这种体验是个性化的,但却能激发用户强烈的情感。

(三)扩展现实(extendedrealityXR)技术的应用领域

科研教育:增强现实AR、虚拟现实VR和混合现实MR在教育领域的应用主要分为知识教育、技能训练和学习活动有效性支持三个方面。 学生可以通过虚拟现实VR头戴式虚拟设备直观体验宏观、微观等模拟场景,教师可以通过中控设备实时调整课堂教学活动。 近年来,增强现实AR技术结合绘本教育出现在幼儿教育市场。 “兔兔乐”型增强现实AR互动绘本可以让孩子扫描涂鸦内容并在智能终端上立体呈现,并可配上动画。 、声音效果的产生可以激发孩子的体验兴趣,提高孩子的动手能力。

医疗健康领域:虚拟现实VR和增强现实AR技术在医疗培训方面各有侧重。 例如,虚拟现实VR可以最大程度地模拟真实的手术场景,但需要借助控制器来完成手术过程中复杂而精确的动作; 增强型Realistic AR技术可以为用户在训练过程中提供信息引导等辅助功能,但无法提供更好的手术临场感,而且在真实空间模拟手术也会带来训练成本较高等问题。

军事领域:沉浸式和增强现实技术已广泛应用于大多数国家的军事和国防领域,包括飞行员飞行模拟和训练、任务规划和演练、单兵态势感知共享等。扩展概念解释现实XR技术常用于军事领域的无人机训练:士兵通过观察显示屏、操作遥控设备来控制无人机,对目标点进行精准打击,完成从虚拟到现实的跨越。 。

工业和制造领域:基于传感器的物联网、智能工业机器人和增材制造技术快速发展。 这些技术与最前沿的扩展现实XR技术相结合,共同赋能第四次工业革命,将彻底改变传统工业流程。 实践证明,沉浸式视觉显示技术在多个领域得到有效推广和广泛应用。 这些技术与工业大数据一起,帮助工程师将科学、数学和经验证据充分应用于各种结构、机械和工艺。 在发明、创新、构建和完善的工作中,实现工业制造场景的智能人机交互和控制。 这种变化始于制造业。 例如,江铃汽车集团利用增强现实AR技术的工业解决方案,对整个发动机装配过程进行实时控制,包括装配前的零部件检查、装配过程中的视觉引导和员工指导等。 提醒、装配后系统验证等,提高发动机良率。

交通领域:扩展现实XR技术在交通领域的应用前景主要可分为驾驶员的驾驶辅助系统、乘客的乘坐体验系统、道路交通管理系统、空中管制系统等。

旅游:体验经济时代,随着游客体验需求的提高,传统旅游业依靠静态图片、视频等多媒体手段吸引顾客的方式已经不合时宜。 当前利用虚拟现实全景、增强现实AR等沉浸式技术为景区提供实景游览,可以为旅游业面临的宣传困境指明方向。 扩展现实XR技术可以还原名胜古迹的历史场景,为游客创造新的体验模式。

前沿展望:在扩展现实的新兴技术的推动下,我们不再受到过去物理环境的限制。 随着各种沉浸式体验的普及,扩展现实技术的真正意义在于它让任何距离不再是距离,是现实与虚拟无缝融合的必由之路。

本文来源于公众号“快看VR圈”