康奈尔大学研发EchoMotion:智能手表超声波实现无摄像头全身追踪

康奈尔大学研发EchoMotion,用智能手表超声波实现全身追踪。该技术无需摄像头,保护隐私且能耗仅12毫瓦。在三星Galaxy Watch 6上测试,关节预测误差低于4英寸,校准后可降至6.1厘米。

康奈尔大学研发 EchoMotion:仅靠智能手表实现无摄像头全身追踪

美国康奈尔大学的研究人员开发出一项名为 EchoMotion 的新技术,首次实现了利用超声波和轻量级人工智能模型,通过现成的智能手表对人体的全身运动进行追踪。该研究由康奈尔大学未来互动智能计算机接口(SciFi)实验室主导,旨在解决传统全身追踪系统依赖复杂传感器或摄像头带来的隐私与成本问题。

校准后误差降至6.1厘米

相关论文《EchoMotion:通过使用主动声学传感的单一智能手表实现全身姿势跟踪》已发表在 ACM 期刊《互动、移动、可穿戴和无处不在的技术》上。据项目负责人之一、信息科学领域博士生 Saif Mahmud 介绍,这项技术一旦集成到商业可穿戴设备或虚拟现实(VR)系统中,可广泛应用于健身监测、日常活动记录以及身体康复进展评估。

基于声波的隐私保护与低功耗优势

现有的可穿戴设备通常依赖加速度计和陀螺仪等传感器,若要实现全身追踪,往往需要结合智能手机、耳机或 VR 头显等更复杂的硬件设置。部分方案虽能实现高精度追踪,但集成了摄像头,存在侵犯佩戴者及周围人群隐私的风险。

EchoMotion 则利用声波信号规避了这一问题。由于不需要在环境中安装摄像头,该技术有效保护了用户隐私。同时,声学信号产生的数据量远小于视频数据,使得处理过程更加轻便且低成本。Mahmud 指出,尽管大型语言模型备受关注,但 EchoMotion 展示了在可穿戴设备上运行微型 AI 模型如何彻底改变人机交互中的传感方式。

此外,该系统在能耗方面表现优异。原型测试显示,其传感能耗约为 12 毫瓦,仅为同类可穿戴相机功耗的四十分之一。团队已在商业设备上进行了大量适配工作,以确保 EchoMotion 易于部署。

技术原理:将回声转化为身体位置

在研发初期,研究人员制作了定制的 3D 打印腕表原型。该装置包含两个扬声器,用于发射超声波信号,使佩戴者处于无声波覆盖的区域;另外两个麦克风则负责接收肢体移动时反射回来的回声。

研究团队从 10 名志愿者身上收集了回声模式数据,每位志愿者佩戴手表完成了 18 次练习。基于这些数据,研究人员开发了一个深度学习模型,能够将回声模式转换为具体的身体运动轨迹。为了验证准确性,团队对比了从头到脚 12 个关键关节的预测位置与摄像机拍摄的实际身体姿势。

由于现有商业智能手表仅配备一对麦克风和扬声器,研究人员使用未经修改的 Samsung Galaxy Watch 6 对 EchoMotion 系统进行了进一步测试,并招募了 15 名新志愿者参与实验。结果显示,每个关节位置预测的平均误差低于 4 英寸(约 10 厘米)。经过一次 12 分钟的校准后,误差降低了三分之一,降至 6.1 厘米。同样的 AI 模型也在 Samsung Galaxy Watch 7 和 Google Pixel Watch 3 上成功运行。

环境挑战与未来应用展望

为了评估系统在实验室之外的实际表现,研究人员让 10 名新参与者佩戴智能手表,在小房间、狭窄走廊以及嘈杂的道路旁完成 18 种动作练习。数据显示,家具和环境噪音并未显著干扰系统性能,但在走廊中,由于其他人的回声干扰,系统表现略有下降。

Mahmud 预计,随着训练数据从数十个用户扩展到数千个用户,模型将更好地解释佩戴者的运动特征,从而提升其在拥挤环境中的鲁棒性。

目前,该团队正致力于开发基于 EchoMotion 的健身追踪功能,使个人健身代理能够计算用户的重复次数甚至纠正动作形式。此外,团队还在探索将 EchoMotion 与智能眼镜的第一人称视觉相结合。Mahmud 表示:“在不久的将来,通过智能手表或智能眼镜等可穿戴设备,私人代理将能够生成你全天活动的详细描述——包括你做了什么、吃了什么。这项工作使得身体追踪成为视觉感知的一部分。”

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读