下一个趋势 增强现实AR辅助手术将彻底改变医疗保健

近日,法国Pixee Medical公司的增强现实(AR)膝关节置换导航系统Knee+获得CE认证。 这是第一个被批准在全膝关节置换手术中使用增强现实(AR)的骨科导航系统。 增强现实技术在手术导航中的类似应用正在世界各地蓬勃发展。 增强现实辅助手术技术对于术前规划、术中指导和术后康复具有重要意义。 本文将对基本概念、技术原理、市场状况、主要公司和代表性产品进行解释,并对其未来发展进行讨论。

 

1. 基本概念

1.增强现实(AR)

增强现实(AR)是一种将计算机处理的虚拟模型图像叠加到真实场景上以增强真实场景的技术。 它增强人们对周围现实世界的感知,将模拟场景、物体和相关提示信息(如声音、视频、图形或GPS数据)融入到真实场景中,以达到增强的效果。 增强现实(AR)技术的基础学科是计算机视觉。 它使用显示器、相机和传感器等工具将数字信息叠加到现实世界上。

2. 手术导航系统

手术导航是一种将患者术前或术中的图像数据与患者的解剖结构精确匹配,在手术过程中跟踪器械,并以虚拟探头的形式实时更新和显示其在患者图像上的位置的技术。 手术导航让医生对器械位置一目了然,让手术更快、更精准、更安全。 经过多年的发展,手术导航已成为神经外科治疗的标准,并逐渐在其他领域得到普及。 目前,美国手术导航市场每年进行578,375例手术,预计到2025年将增长至718,224例。在美国,手术导航最常用于神经外科,约占总病例数的43.3%; 在欧洲,它最常用于全膝关节置换术(TKA)。

2、技术原理

增强现实手术导航系统包括三个核心:虚拟图像或环境建模、虚拟环境与真实空间配准、以及虚拟环境与真实环境相结合的显示技术。

1. 虚拟图像或环境建模

AR系统利用CT或MRI断层扫描和血管造影中解剖结构的颜色或纹理差异,在计算机中完成地下目标的3D重建。 非真实感渲染或倒置现实技术可以改善可视化和深度感知。

2. 虚拟环境与真实空间注册

配准可以通过多种手段来完成,基于框架技术的三维笛卡尔系统(Cartesian system)可以确定成像设备的位置和姿态。

3、虚拟环境与真实环境相结合的显示技术

显示技术大致可分为头戴式显示器(HMD)、增强型外部显示器、增强型光学系统、增强型窗口显示和图像投影。 使用HMD,虚拟环境可以叠加在用户视野下的现实世界上(光学透视),或者叠加在真实环境的视频源上(视频透视)。 增强显示器是简单的独立屏幕,可以在现实世界的视频上显示虚拟内容。 光学增强显示器是那些直接增强手术显微镜或双目观察镜的目镜的显示器。 窗口增强显示将半透明屏幕直接放置在手术部位上方,允许虚拟对象直接显示在真实对象上方的屏幕上。 可以使用投影仪将虚拟环境直接投影到患者身上。

现实增强技术_现实增强技术作用_ar增强现实/

3、市场情况

增强现实(AR)在医疗市场的应用增长强劲,年复合增长率预计高达33.36%,市场价值预计将从2018年的6.27亿美元增长至2024年的34.97亿美元。 AR技术因其广泛的应用范围而受到医生的广泛关注,从评估手术准备到微创手术和康复。 此外,根据Research and Markets的数据,到2025年,全球手术影像市场规模预计将达到17亿美元,预测期内复合年增长率为5.4%。 增强现实 (AR) 在医疗保健中的最新作用和整合正在增强手术体验。 实时可视化平台的快速发展也带来了更好的手术治疗。 此外,政府资助的增加、运动损伤发生率的上升以及老年人口的增加是推动全球手术成像市场增长的因素。 根据应用,市场分为神经外科、骨科和创伤外科、心脏和血管外科、普通外科和其他外科手术。

4、主要企业及代表产品

1. Pixee Medical 的 Knee+ 系统

ar增强现实_现实增强技术_现实增强技术作用/

Pixee Medical 于 2017 年 10 月在法国成立,目标是利用现有的先进计算机视觉和人工智能技术来创建高性能计算机辅助手术解决方案,同时在充满挑战的卫生系统环境中保持经济实惠。 。 Knee+ 最近获得了增强现实膝关节置换导航的 CE 认证。 这是第一个在全膝关节置换手术中使用增强现实 (AR) 的骨科导航系统。 该系统目前正在寻求 FDA 510(k) 批准。

Knee+ 专利技术结合了专有的计算机视觉和深度学习算法,可与现成的 AR 眼镜一起使用,以在手术过程中跟踪器械和植入物。 安装在智能眼镜中的导航软件与配备有可在高压灭菌器中消毒的标记的缩小尺寸的 MIS 仪器相结合。 尺寸和韧带平衡功能可以快速集成到产品中。 作为笨重且昂贵的机器人系统的替代方案,Knee+ 使用简单、经济高效,并且不需要术前 DICOM 或一次性设备。 未来的应用可能会被引入肩部和髋部手术中。

2. Augmedics 的 XVision Spine 系统

现实增强技术_现实增强技术作用_ar增强现实/

Augmedics是一家致力于开发手术治疗技术的公司,成立于2014年。第一个产品xvision-spine(XVS)系统是增强现实手术导航系统。 借助 XVS 系统,外科医生可以看到手术工具在皮肤和组织下的实时位置和轨迹,并在患者体内进行导航,使手术变得更容易、更快、更安全。 XVS 使用获得专利的透视光学器件将 3D 图像以及轴向和矢状平面实时投射到外科医生的视网膜上,具有手术精度和卓越的深度感知能力。

XVS 系统包括一个透明的近眼显示耳机,并具有传统导航系统的所有元素。 它实时准确地确定手术工具的位置,并将其叠加在患者的计算机断层扫描数据上。 然后,使用透明的近眼显示耳机将导航数据投射到外科医生的视网膜上,使外科医生能够同时观察患者并查看导航数据,而无需将眼睛转移到远程屏幕上。 芝加哥拉什大学医学中心进行的一项研究发现,XVision 可以将外科医生的准确率提高到令人印象深刻的 98.9%。 整个系统的精度约为1.4毫米,满足美国FDA小于2毫米的要求。

3、VOSTARS视频光学透视增强现实手术系统

ar增强现实_现实增强技术_现实增强技术作用/

VOSTARS 是由地平线 2020 计划资助的创新行动项目。 欧洲科学家开发的增强现实 (AR) 手术护目镜可以让 X 射线图像和所有关键数据与解剖结构完美 3D 叠加,同时自由移动。 VOSTARS视频光学透视增强现实手术系统将在外科医生的视野内方便地显示患者的麻醉数据、心率、体温、血压和呼吸频率。 手术精确度将显着提高,同时手术时间缩短(每三个小时手术节省 20 分钟)、麻醉时间和手术费用。 该项目计划于2022年实现量产。

该系统结合了两种现有的 AR 技术:视频透视 (VST) 和光学透视 (OST)。 单独使用 VST 或 OST 都不适合对活体患者进行手术。 Microsoft Hololens 等 OST 系统使用半透明镜子,通过将计算机生成的图像叠加到用户的视野中,为用户提供自然环境的直接视图。 Occulus Rift 等 VST 系统通过封闭的头戴式显示器 (HMD) 以及立体摄像头和屏幕让用户沉浸在虚拟世界中。

4. TrueVision®3D手术系统

TrueVision®3D Surgical 是数字 3D 可视化领域的全球领导者,也是显微外科手术的标杆。 TrueVision®成立于2003年,总部位于美国加利福尼亚州圣巴巴拉。 它通过自主研发的数字3D可视化平台帮助医生进行显微手术。 公司研发的智能、实时、3D可视化手术及计算机辅助引导平台已获得专利。

该系统使外科医生能够以 3D 形式记录手术过程并直播手术视频,使其成为一种新的教学工具。 公司开发的显微手术3D引导应用可以提高手术效率和患者治疗效果。 该系统可用于显微外科、眼科和神经科,并且可以与各种应用平台集成,在某些情况下还可以与机器人手术集成。 该系统被全球数百家主要医院和机构使用。

5、增强现实(AR)手术导航系统未来发展探讨

增强现实在临床手术中的应用跨越了计算机科学、计算机视觉、传感器、通信、临床医学、人体工程学等多个学科,技术涉及面广泛。 从下面的增强现实(AR)辅助手术路线图可以看出:未来跟踪技术和图像处理将更倾向于以深度学习为代表的智能技术,显示器和传感器将更倾向于以人工智能为代表的技术。与人体器官密切相关。 比如视网膜显示和人机共生技术。

ar增强现实_现实增强技术作用_现实增强技术/

与此同时,增强现实辅助手术的发展也存在挑战和障碍。 例如,对于某些显示技术来说,将3D虚拟物体显示为现实世界图像时存在挑战; 虚拟环境和真实环境之间的时间同步是所有 AR 系统面临的另一个挑战。 ,特别是快速的视角变化; 在操作过程中,有些情况下,图像合成需要专业的计算机团队来执行; 增强现实手术导航系统与相关设备和解决方案之间的兼容性和互操作性需要优化提高; 数据隐私问题等

结论

医疗手术导航是增强现实技术的重要应用之一。 在图像引导手术时代,增强现实 (AR) 技术代表了将引导系统集成到手术工作流程中的下一个前沿领域。 随着显示技术和交互技术的快速发展,增强现实(AR)将在现代外科手术室中发挥越来越重要的作用。