Apple Vision Pro 的未来在于医疗

苹果公司售价 3500 美元的 Vision Pro,与新鲜、医用级尸体的价格相比,简直是物超所值。(如果你需要知道的话,光是身体的成本可能就“高达 10000 美元”,还不包括冷藏和运输费用。)一些医疗机构已经开始使用这款无需实体人体的空间计算头显进行手术练习。用 Vision Pro 取代尸体只是其自 2024 年 2 月上市以来进入医疗领域的一个例子。

2025 年 1 月 30 日至 31 日,Sharp Healthcare 举办了首届空间计算医疗保健峰会,医疗提供者齐聚一堂,讨论他们如何使用空间计算,这项技术将数字对象嵌入到现实世界的实时画面中。这项技术既能让人们互相玩虚拟的“战舰”游戏,也能应用于从培训教育到对人体患者进行全面手术的各种场景。

盒子里的手术室

加州大学圣地亚哥分校外科系未来外科中心(Center for the Future of Surgery)的微创外科医生、代理主任 Ryan Broderick 博士解释说:“手术室是一个非常杂乱的地方。”“在一次手术中,房间里有五到六个屏幕。”这些屏幕还需要放置在生命体征监视器、氧气罐和其他医务人员等其他设备之间。

目前的拥挤布局会阻碍沟通,使检查重要生命体征成为一项耗时且对身体有害的任务。Broderick 说:“屏幕的摆放方式一点也不符合人体工程学,这可能导致外科医生的颈部和肩部劳损,以及受伤。”通过将显示器移入空间计算环境,信息会显示在外科医生和护士在特定时刻看向的任何地方。

UCSD 的研究审查委员会已经监督了 50 多场直播手术,其中主刀医生佩戴 Apple Vision Pro 设备以提供虚拟监视器。“现在,我已经将 Vision Pro 设置好,以便我和我的助手外科医生(通常是培训生)以及我们的器械护士都能在手术过程中佩戴头显,”Broderick 说。“我们每个人都有自己的虚拟监视器,放在房间的物理空间中,这样我们就可以以符合人体工程学的方式进行操作,而无需使用我们通常需要的那些额外的监视器。”减少疲劳是一件好事,尤其是考虑到外科医生最终可能需要佩戴这些设备进行长达 12 小时的手术。

在空间计算环境中进行培训

虽然 Vision Pro 的直播手术试验仍处于早期阶段,但这款头显已在医疗专业人员的培训场景中出现。苹果公司全球开发者关系及企业与教育市场副总裁 Susan Prescott 说:“波士顿儿童医院正在使用 Vision Pro 培训护士使用输液泵。”她提到的应用程序名为 CyranoHealth,它为常见的操作和情况提供了令人印象深刻的详尽培训场景。Prescott 还吹捧了“数字孪生”的出现,这些是极其详细的人类 3D 模型,在某些情况下可以替代手术培训中的尸体。

The team at Boston Children’s Hospital created CyranoHealth, an app that offers immersive, comprehensive training on new medical equipment for frontline workers.
波士顿儿童医院的团队创建了 CyranoHealth,这是一个为一线工作人员提供沉浸式、全面的新医疗设备培训的应用程序。苹果

虽然在患者和外科医生之间增加一层技术可能看起来很奇怪,但在许多情况下,这种情况已经存在。“手术培训的一部分,尤其是腹腔镜手术,是将你双手所做的事情和你所看到的东西分离开来,”Broderick 说。“你必须做出某些手势,在内部执行特定的动作,这些动作可能和你体外的动作不一样。但有了这个,我可以将监视器定位得更靠近 the operative anatomy。而且,这感觉与我的手部动作更加自然。”而且,由于监视器存在于空间计算环境中,所以这种设置无需在不同房间之间进行更改。

即时回放

Dr. Korn wearing Apple Vision Pro
Geordie Wood

执业医生也拥抱空间计算以进行继续学习。Sharp HealthCare 的眼科医生、Apple Vision Pro 在医学领域的主要倡导者之一 Tommy Korn 说:“手术后的复盘可能需要花费大量时间。”“大约需要 12 分钟。但现在,AI 软件可以对其进行解析,让我能够跳转到特定点并观察它们,同时呈现所有其他关键数据。”然后,学生可以回顾这些手术,并结合数据观察过程以进行情境化。

提供者还可以让同行审阅手术,通过 3D 显微镜等工具进行直接馈送,Korn 在手术过程中经常使用这种工具。“它会告诉我我完成手术需要多长时间,”Korn 说,“我可以判断我是否在某个部分花费了过多的时间。”头显可以显示注释、计时器、同步的生命体征、笔记和其他数据,使审阅会议更具成效。

一个头显

在大学和手术室使用的 Vision Pro 头显与您在苹果商店里能买到的型号是相同的,这正是苹果公司该设备计划的关键部分。苹果公司的 Susan Prescott 解释说:“我们制造 Vision Pro。”“有一些大多数消费者不需要的软件差异,比如 MDM(多设备管理)或 VPN,但 Vision Pro 对所有人来说都是一样的。”这种单一 SKU 的方法可能促成了 Vision Pro 在消费者市场有些波折的道路,3500 美元的标价和不熟悉的生态系统导致有报道称销量低于预期。虽然消费者市场与企业客户差异很大,但统一的产品对所有用户都有一些优势。

第一个变量是患者识别。手术室或任何医疗设施中的任何仪器都可能看起来很可怕或令人望而生畏。当医生戴上 Vision Pro 时,患者可能会将其识别为他们在商店里试用过的设备。一旦你用它玩过有趣的 AR 机器人棋盘游戏,一个设备能有多可怕呢?

西门子医疗(Siemens Healthineers)的Cinematic Reality等应用程序提供了详细的高分辨率解剖扫描,可用于培训和教育。这是真实的医疗数据,但其呈现方式如你所期望的面向消费者的应用程序一样,时尚直观。

Siemens Healthineers app pov
西门子医疗的 Cinematic Reality 应用程序提供了详细的交互式模型。西门子医疗

Broderick 在征得患者同意之前,会向每位患者清楚地解释手术过程。“我们向他们展示了在手术室里的样子以及在头显里会是什么样子,”他说。“我认为有一位患者对手术非常紧张,不想做任何与以往不同的事情,但其他人都非常支持,并对此感到非常舒适。”让患者戴上头显是让他们接受的一种有效方式。

从提供者的角度来看,拥有单一设备对于标准化研究和构建一个不会快速变化并需要匆忙、昂贵的升级的硬件平台至关重要,以免它们被滞留在过时且不安全的系统上。令人震惊的是,许多医疗机构和项目仍然依赖极其过时的硬件和软件(包括 Windows XP)。

空间计算在医疗领域的未来

Apple Vision Pro 问世仅一年,仍处于相对起步阶段,但许多提供者看到了尚未尝试的潜在用途。Broderick 认为其在持续指导方面的潜力,甚至在手术过程中。“如果外科医生戴着头显,遇到麻烦了,他们可以‘打电话给朋友’,那个专家外科医生可以看到视频流并提供反馈,”他解释说。或者,外科医生可以在事后与同事一起重看手术以进行进一步分析。

Broderick 还看到了将医学影像叠加在现实世界视图上的潜力。“所以,能够获取 CT 扫描或图像并创建三维模型,然后将其叠加在真实的解剖结构上,这可以真正指导手术,”他说。“你可以将其视为一项‘数字解剖’或‘数字填色’式的过程,这在未来将是不可思议的。”

但是人工智能呢?

虽然应用程序和 AI 指导将在空间计算进入医疗领域发挥重要作用,但苹果公司和进行测试的提供者相信,这些技术并非旨在通过自动化来取代提供者。Korn 解释说:“AI 可能会提出一些建议或简化一些流程。”“但最终,医生或临床医生,或者在这种情况下,人类仍然拥有控制权。”就像手术室里的其他机器人一样,它们是作为工具存在的。

Sharp 公司创新与教育中心的空间计算卓越中心(Spatial Computing Center of Excellence)现已正式开放,UCSD 以及许多其他大学和机构计划继续进行 Vision Pro 和空间计算整体领域的实地研究。据 Prescott 称,苹果公司正在比以往更快地倾听和回应来自这项研究的反馈。“我们已经对 Vision Pro 的软件进行了三次更新,这对我们来说是一个相当快的速度,”她说。每次更新都增加了用户在现实世界中提出的功能。每一次更新,那些虚拟的尸体都会变得更加逼真。

 

更多优惠、评测和购买指南

 
Stan Horaczek Avatar

Stan Horaczek

执行编辑,装备与评测

Stan Horaczek是《Popular Science》的执行装备编辑。他领导着一支热爱装备的作家和编辑团队,致力于寻找和介绍市场上最新、最好、最具创新性的电子产品和更多产品。


© .