惊叹谷歌 Daydream 实验室中学习混合现实XR技能是何等体验

混合现实XR,如同仙境般神奇。在其中,我们得以远离喧闹的尘世,遨游于光怪陆离的虚拟世界。是否曾想过,我们是否能够在这个虚拟环境中轻松学习各种新技能呢?换句话说,当我们身处这里时,与现实世界相比学习新技能又有何异同之处呢? 

最近,官方博客上刊载了谷歌软件工程师Ian MacGillivray的一篇文章,分享了Daydream 实验室对于VR中交互学习的深刻思考。以下是我对原文进行的一些整理。

你可以通过各种途径了解到全世界美食的做法,但想成为真正的大厨,还需要去实际下厨。若是能够穿戴混合现实XR头盔,由大师教授下厨的技巧,想想都令人兴奋。将来的某一天,我们也许真的能够在混合现实XR环境中学习各种技能,如如烹饪。实际上,混合现实XR可以帮助我们轻松学习。

在谷歌Daydream 实验室中,

我们对混合现实XR中的交互式学习展开了一次探索。我们精心设计了一个试验:在虚拟环境中教人们制作咖啡。我们针对混合现实XR环境,制作了丰富多彩的教学原型,通过3D模型模拟浓缩咖啡机,操作方式与真实状况一致。我们还专门制作了详尽的教程,邀请用户们在混合现实XR中共同学习如何制作浓郁的咖啡。最后,我们会向每个用户提供一份详细的评测报告,评价他们的表现,包括咖啡品质等。与此同时,我们另外组织了一组学员,通过网络视频学习如何制作咖啡。两个小组都没有任何时间上的限制,直到能够在真实世界中制作美味的咖啡为止。但通过视频学习的小组通常会观看教程三遍,然而在混合现实XR环境下,学员进行了仅两次的学习就已经可以熟练掌握制作方法。我们发现一个令人兴奋的事实——在混合现实XR中学习,人们能够更加有效、更快地学习。经过混合现实XR训练的学员,显著减少了犯错的次数和制作浓缩咖啡所需的时间(虽然评委们并没有发现两个组别在咖啡品质上有什么区别)。虽然这只是一次早期的尝试,但这些结果令人欣喜不已。同时,这也启示我们设计未来的试验时需要注意的问题。

首先,我们不能再选择制作咖啡这种技巧性较强的任务。 虚拟环境中的震动触感是无法替代手感的,如果想要制作好一杯咖啡,需要能够准确地压实咖啡粉。此外,当混合现实XR环境中有人接触热蒸汽喷嘴时,无论我们做出多么清晰的警告提示,在现实世界中他们仍然会犯错,所以我们需要有专人在边上协助,时刻准备挡住手部接触热源的风险。这也说明对于某些技巧,混合现实XR技术还有很大的提升空间。

其次,混合现实XR训练应更加适合于移动物品、按下按钮等简单的操作,直到更好的追踪和触感手套成为主流。 如果数字模拟与所模拟的物品相差甚远,这样的混合现实XR技术对于真正学会这些技能并没有多少帮助。我们发现一个令人惊奇的现象——人们总是无法听从指令。

这一点在Daydream实验室制造的所有原型中都经常出现,但是在混合现实XR训练中,这个问题尤为严重。无论是在提示板上写下指令,还是在背板上显示指引,甚至用语音播报指令,都无法激起学员的积极参与。他们可能会满怀热情地听完指令,但最终在操作时却无从下手。我们甚至考虑过添加一个“提示”按钮,但他们觉得这是作弊,一旦熟练掌握几个步骤后就忘记了这个按钮的作用。最终,我们只能尝试将以上所有方法结合起来,并在场景中加入标记来引导学员。我们使用大型绿色箭头来指示下一个需要互动的物品,这可以在测试中使用。然而,我们深知这并不是最好的解决方法。

混合现实XR技术仍有很大的发展空间,未来,我们可以加入更多智能化的元素,如语音识别技术、动作追踪等,让学员能够更好地感知整体环境,更直观地了解学习需求,更高效地练习所需的技能。

px>学员参与情景操作的混合现实XR场景

我们还需要面对的一个问题是,在学员深度参与的混合现实XR场景中,有效融合指令仍需要大量努力。

尽管我们使用了一系列手段来提示,如提示板、背板、语音播报等,但学员依然难以理解如何操作场景中的各个元素。用大型绿色箭头来指示下一个需要互动的物品,能在一定程度上解决问题,但却并非最可靠的方法。

混合现实XR技术发展并不止于此,我们要不断探索更为先进的技术手段,如语音识别、动作追踪等,使得学员能够更加自然地参与场景互动,更为高效地提升学习效果。至此,我们所面临的挑战与机遇同在。

>混合现实XR场景中的学员探索

在这个充满机遇和挑战混合现实XR世界中,我们面对着许多关键性的问题,其中之一便是如何使学员更好地理解指令并参与操作。

我们不断尝试最新的技术手段,如语音识别、动作追踪等,但仍需更为直接和自然的方法。因此,我们采用了一种看似简单的方法,为学员提供提示灯泡图标,点击即可获得相关操作提示。

这样一个看似微小的灯泡图标,却蕴含着我们对学员培养的期许——即使在复杂的混合现实XR场景中,也能够轻松获得所需信息,而不必耗费大量时间去理解和试错。

我们相信混合现实XR技术发展必将为学员带来更为革命性的学习体验,我们也将一直致力于探索和拓展各项技术,让学习变得更为自然、直接、高效。他们喜欢这个交互方式。在混合现实XR的世界里,我们面临许多难题,而最令人烦恼的莫过于如何确保每位用户都能如愿以偿地顺利完成操作指南。最初我们曾试验过为用户提供提示灯泡图标,但我们最终发现,这无法追踪每个用户的所有步骤,这意味着我们需要给出更简单、更直观的方案。 我们不断探索创新的技术手段,例如动作追踪和语音识别,但这些却仍需更为直接和自然的方法。因此,我们采用了色彩分类的方式。在我们的混合现实XR教程中,红色表示重置,而绿色则是提示。 在我们开始进行建模之前,我们必须认真考虑并解决很多问题。在教程中,每个选择都会让路径数量呈指数级增加,这也意味着我们必须对每一种情况进行建模。但人们并不总是按照我们设定好的路径展开教程,所以我们必须把所有可能的情况都考虑进去。例如,在制作咖啡时,用户有可能在磨咖啡粉之前先蒸牛奶。为了规避这种问题,我们让系统追踪关键步骤是否完成,例如杯子里是否装有牛奶,而非按顺序追踪用户所做的所有步骤。 尽管搭建混合现实XR教程系统有诸多挑战与困难,但我们坚信这是个成功的开端,原因在于人们在该系统中得以接触、学习和掌握新的技能,而且还能够以自己喜欢的方式进行互动交流。我们将继续不断探索创新的技术手段,为用户提供更为自然、直接、高效的学习体验。在混合现实XR的教育世界中,我们追求的目标是什么呢?我们想要的,不仅仅是让学员在虚拟环境中练习新技能,更是希望他们能够得到充分的乐趣和享受。让每个学员都能够在学习的过程中体会到乐趣和愉悦,这是我们的最终目的。 在我们的混合现实XR环境中,我们提供给学员的并不是枯燥、死板的教学模式。相反,我们为他们打造了一个极为丰富多彩的虚拟世界,在这里,每个学员都可以以自己的喜好和兴趣去自由探索。 不仅如此,我们还让学员在完成虚拟操作后,去真实环境中亲身体验,这样他们就能更好地理解虚拟训练的环境和意义了。甚至有些学员完成了真实空间的练习后,还回来重新玩VR教程。 我们相信,混合现实XR技术将成为引领人们学习和掌握新技能的好助手。在这套系统中,人们在现实世界中做出的实践与学习,可以转化为虚拟环境中更精彩、更有成就感的练习和体验。每个人都能够在这里发现自己的潜能和能力,实现自我超越和提升。 因此,我们必须不断地增加自己的技能和专业素养,以便更好地引导和帮助那些想要学习新技能的人们。我们相信,通过不断地努力和追求,我们将会走在混合现实XR教育领域的最前沿,引领人们拥抱新的未来和时代。