一个CM通信gydF4y2Ba

研究突出了gydF4y2Ba

AuraRing:精确的电磁手指跟踪gydF4y2Ba

法尔希德·萨莱米·帕里兹、埃里克·惠特迈尔、肖维塔克·帕特尔著gydF4y2Ba
ACM通信，2022年10月，第65卷第10期，85-92页gydF4y2Ba
10.1145 / 3556639gydF4y2Ba
评论gydF4y2Ba

可穿戴计算平台，如智能手表和头戴式混合现实显示器，需要新的输入设备高保真交互。我们介绍了AuraRing，一种可穿戴磁跟踪系统，设计用于跟踪细粒度的手指运动。该硬件包括一个嵌入电磁发射器线圈的圆环和一个带有多个传感器线圈的腕带。通过测量手腕周围不同点的磁场，AuraRing估算出戒指的五个自由度。AuraRing只对模拟数据进行训练，不需要运行时监督训练，确保了用户和会话的独立性。它具有4.4毫米的动态精度，通过用户评估与光学地面真相测量。这个圆环完全独立，只消耗2.3兆瓦的电力。gydF4y2Ba

回到顶部gydF4y2Ba

1.简介gydF4y2Ba

新的计算平台与用户的耦合越来越紧密。可穿戴设备，如智能手表、智能戒指和头戴式混合现实设备，提供了前所未有的计算和信息的移动访问。随着计算平台从我们随身携带的设备发展到我们戴在身上的设备，对与显示分离的输入技术有了新的需求。这些输入设备必须是持续可用的和微妙的，以支持各种使用环境，同时实现健壮和有表现力的交互。gydF4y2Ba

当今许多最有效的输入设备依赖于手指或手持物体的持续追踪;智能手机和智能手表可以追踪手指的2D位置，鼠标可以追踪手部的2D位置，而像微软HoloLens 2这样的增强现实设备可以追踪手指的3D姿势。这些经过验证的输入技术与现有的基于传感器的追踪手指运动的研究形成了鲜明的对比，后者通常专注于离散的、基于手势的交互。gydF4y2Ba^{5gydF4y2Ba，gydF4y2Ba17gydF4y2Ba，gydF4y2Ba20.gydF4y2Ba}虽然手势识别很有用，但它只是移动可穿戴计算所需要的交互语言的一部分。对于诸如物体操作、绘图、滑动、基于滑动的文本输入或身体姿态重建等常见任务，支持绝对的、连续的、毫米级精度跟踪的输入设备将是最合适的。此外，在跟踪系统之上构建一个手势识别器，而不是直接从传感器流进行分类，可以使输入设备更加健壮和可扩展(例如，支持开箱即出的不同用户和上下文)。gydF4y2Ba

在这项工作中，我们展示了AuraRing，gydF4y2Ba^14gydF4y2Ba一个精确的毫米级环形跟踪系统。AuraRing由两个部分组成:一个无线的、独立的戒指和一个腕带，腕带可以实时跟踪戒指相对于腕带的绝对位置和方向。这种低功耗、电池驱动的戒指会在手部周围产生振荡磁场。当用户移动他们的手指和手腕时，这个磁场的相对位置和方向相对于腕带发生变化。嵌入腕带的传感器测量不同位置的电场，并利用这些测量值来估计戒指相对于腕带的位置。AuraRing是一个有效的5自由度(DoF)跟踪系统，也就是说，它跟踪三个位置组件(gydF4y2BaxgydF4y2Ba，gydF4y2BaygydF4y2Ba，gydF4y2BazgydF4y2Ba)和姿态的两个旋转分量(偏航和俯仰)。当戴上戒指时，AuraRing可以捕捉手腕和手指掌骨关节的屈伸和外展/内收。gydF4y2Ba

与之前的工作相比，我们的方法利用了常见的设备形状因素——一个腕带和一个戒指——而且不需要固定磁铁，gydF4y2Ba^3.gydF4y2Ba铁芯线圈,gydF4y2Ba^4gydF4y2Ba或磁力计gydF4y2Ba^3.gydF4y2Ba指尖。AuraRing利用了一种洞察力，即电磁线圈放在手指周围比放在手指上更好。我们的方法还在功率、范围、可移植性和跟踪精度方面提供了显著的改进。与典型的商用电磁跟踪系统相比，gydF4y2Ba^15gydF4y2BaAuraRing外形更小，耗电量约为2000倍。gydF4y2Ba

我们提出了两种利用该模型的跟踪解决方案——基于优化的方法和只对模拟数据进行训练的神经网络方法。我们演示了在运行时，AuraRing可以跟踪不同用户的手指运动，尽管设备在手腕和手指上的位置有微小的变化。gydF4y2Ba

AuraRing为跟踪直接或间接指向任务中的手指提供了灵活的解决方案。我们设想AuraRing既可以作为一个独立的输入设备使用，也可以与手腕跟踪解决方案串联使用。对于独立场景，AuraRing为智能手表或智能眼镜提供了丰富的输入源。有了AuraRing，用户可以用手指和手腕输入信息，同时保持手臂不动，放在身体旁边或放在桌上。这种能力在公共场合尤其有用，因为在公共场合，大手的动作会让人分心，也不被社会所接受。gydF4y2Ba

AuraRing还可以用来跟踪手指在头部空间相对于用户视觉的绝对位置。在混合现实场景中，精确的手和手指跟踪可以实现许多引人注目的应用(gydF4y2Ba图1gydF4y2Ba)．gydF4y2Ba

图1。AuraRing是一款五自由度的电磁跟踪器，可为AR、VR和可穿戴应用提供精确、准确和细粒度的手指跟踪。左图:用户在空中写“hello”。右图:使用AuraRing在智能眼镜上的音乐应用程序中播放歌曲。gydF4y2Ba

我们的主要贡献包括:gydF4y2Ba

1. 一种单轴发射机环和多传感器腕带的硬件架构，可以在紧凑的外形中实现低功率手指跟踪。gydF4y2Ba
2. 两种跟踪算法，包括基于物理的迭代方法和基于封闭神经网络的五自由度姿态估计方法。gydF4y2Ba
3. 在一个与会话无关的任务上显示动态跟踪精度为4.4毫米的系统描述和用户评估(gydF4y2Ba图1gydF4y2Ba)．gydF4y2Ba

回到顶部gydF4y2Ba

2.相关工作gydF4y2Ba

2.1.磁跟踪gydF4y2Ba

磁跟踪系统可以通过使用直流电(DC)或交流电(AC)产生磁场来表征。在直流跟踪系统中，磁传感器，通常是磁强计，测量由电磁铁或永磁体产生的磁场。这项技术在HCI社区中得到了广泛的应用，因为磁力计通常在可穿戴设备中发现，永久磁铁可以很容易地附着在身体上。麦金托什等。gydF4y2Ba^12gydF4y2Ba将永磁体贴在指尖上，与智能手表交互，通过磁力计测量磁场方向和强度。同样,uTrackgydF4y2Ba^3.gydF4y2Ba在拇指上贴一块永磁体，在手指上贴两个磁力计，以追踪拇指的3D姿势。FingerPadgydF4y2Ba^2gydF4y2Ba它还将磁铁固定在拇指上，但在食指上使用霍尔效应传感器网格来感知按压手势。依靠永磁体的磁跟踪系统具有尺寸和复杂性的优势，因为它们可以依靠现成的磁铁和磁力计。然而，这是以精确度为代价的。磁强计的精度和采样率通常是有限的，而且这样的系统必须克服来自地球磁场的干扰。因此，这种系统的操作范围通常被限制在几厘米。gydF4y2Ba

相反，交流磁跟踪依赖于一个或多个振荡磁场。交流电磁跟踪在实现精确的6自由度跟踪方面有着丰富的历史。gydF4y2Ba^{16gydF4y2Ba，gydF4y2Ba10gydF4y2Ba}典型的电磁跟踪系统包含一个发射机基站，该发射机基站具有一个三轴正交线圈发射机和一个或多个三轴接收器，通常使用正交线圈实现。通过线圈的振荡磁通感应出一个相同频率的振荡电压，该电压可以被放大和测量。滤波或同步检测用于将感兴趣的磁场与其他环境磁场(包括地磁场)隔离开来。最初的系统依赖于迭代方法来估计被跟踪对象的姿态。然而，最近的技术已经探索了提高性能的闭环解决方案。gydF4y2Ba^9gydF4y2Ba

AuraRing依靠近距离交流电磁跟踪实现腕带上戒指的精确跟踪。与基于永磁体的方法不同，AuraRing不容易受到来自地球地磁场的干扰，并且交流电流的使用显著提高了跟踪精度。由于AuraRing的工作距离约为10厘米，而且依赖于谐振线圈对，因此它比商用交流电磁跟踪设备消耗的电力要少得多，商用交流电磁跟踪设备通常需要几瓦的电力。短距离也大大减少了附近金属物体的干扰影响。gydF4y2Ba

2.2.其他手指追踪的方法gydF4y2Ba

除了磁跟踪方法，研究人员还利用其他传感技术来估计细粒度的手指运动。Kim等人使用来自手腕的红外照明来跟踪手部姿势。gydF4y2Ba^8gydF4y2Ba虽然这种方法可以实现全手跟踪，但形状因素限制了实用性。项目独奏曲gydF4y2Ba^20.gydF4y2Ba使用无线电频率信号识别细微的手指动作。gydF4y2Ba

基于摄像头的方法是手部和手指跟踪的常用方法。这些通常依赖于红外深度感应gydF4y2Ba^18gydF4y2Ba或者手上的记号。gydF4y2Ba^19gydF4y2Ba摄像头的独特位置形成了提供微妙输入的交互系统。gydF4y2Ba^{11gydF4y2Ba，gydF4y2Ba8gydF4y2Ba}LightRinggydF4y2Ba^7gydF4y2Ba它的目标与AuraRing最相似，分别使用陀螺仪、红外接近传感器和光学鼠标传感器来跟踪二维表面上的手指运动。AuraRing的不同之处在于，它可以跟踪手指的绝对5自由度姿势，并可用于曲面上的更多2D输入。gydF4y2Ba

回到顶部gydF4y2Ba

3.操作理论gydF4y2Ba

3.1.AuraRing物理gydF4y2Ba

磁跟踪一般是用磁强计来实现对永磁体的跟踪gydF4y2Ba^{3.gydF4y2Ba，gydF4y2Ba6gydF4y2Ba}或者用感应线圈来跟踪交流电。gydF4y2Ba^{10gydF4y2Ba，gydF4y2Ba13gydF4y2Ba，gydF4y2Ba15gydF4y2Ba，gydF4y2Ba16gydF4y2Ba，gydF4y2Ba21gydF4y2Ba，gydF4y2Ba22gydF4y2Ba}永磁体产生的静态磁场与地球的地磁场是分不开的——当工作距离超过几厘米时，这种效应就变得至关重要。为了隔离感兴趣的信号，AuraRing使用交流电磁线圈产生特定频率(32千赫)的磁场。麦克斯韦方程指出，当交流电流通过线圈时，就会产生交流磁场。中所描绘的一样gydF4y2Ba图2gydF4y2Ba在美国，AuraRing使用缠绕在戒指上的线圈在手部周围产生振荡磁场。根据法拉第定律，在这个振荡磁场的存在下，电压在其他传感器线圈中被感应。感应电压与通过传感器线圈的磁通变化率成正比，磁通变化率将作为传感器线圈相对于发射机线圈的位置和方向的函数而变化。gydF4y2Ba

图2。AuraRing使用环上缠绕的线圈在手部周围产生交流磁场，由嵌入腕带的三个三轴线圈测量。gydF4y2Ba

传统的6自由度电磁跟踪器使用3轴发射器和3轴传感器线圈，这在尺寸和电池寿命至关重要的环形结构中很难实现。然而，对于包裹在手指上的单轴空气芯线圈来说，环是一种方便的形式。使用单轴线圈使整个系统对沿磁轴的发射机滚动的变化不敏感;方便的是，在手指追踪场景中，这种移动在物理上是不可能的。为了弥补三个发射器轴的不足，AuraRing在腕带的已知位置嵌入了三个三轴传感器线圈。通过测量空间中不同点的磁场，AuraRing重构了圆环的3-DoF位置和2-DoF方向。gydF4y2Ba图2gydF4y2Ba说明了AuraRing发射机和传感器的配置以及本文所使用的坐标系统。gydF4y2Ba

3.2.磁场模型gydF4y2Ba

我们构建了一个基于物理的模拟来模拟系统在不同配置下的行为，例如改变传感器线圈的数量或位置。由于环的直径比环和腕带之间的距离小得多，我们使用标准磁场方程将环建模为偶极子发射器。这个磁场模型代表了跟踪问题的反面——它在给定环位置的情况下估计磁场，而跟踪问题在给定磁场测量的情况下寻求估计环的位置。这对模拟很有用，而且它也是第6.1节中讨论的基于优化的跟踪算法的基础。在本文中，我们采用这种表示法gydF4y2Ba^{一个gydF4y2Ba}vgydF4y2Ba来表示gydF4y2BavgydF4y2Ba向量的gydF4y2Ba一个gydF4y2Ba坐标系。的符号gydF4y2Ba对象的旋转转换gydF4y2Ba一个gydF4y2Ba来gydF4y2BaBgydF4y2Ba坐标系。在实践中，这些转换是使用四元数代数实现的，但是其他表示方式也很合适。gydF4y2Ba

该模型试图估计在每个传感器线圈上测量到的磁场矢量，gydF4y2Ba年代gydF4y2Ba_我gydF4y2Ba,在那里gydF4y2Ba年代gydF4y2Ba_我gydF4y2Ba表示感兴趣的传感器线圈。由于发射机嵌入在被跟踪对象内，我们首先进行一系列坐标系变换，将模型简化为具有已知闭合形式解的简单偶极子分析。让gydF4y2BadgydF4y2Ba为磁轴定向于的偶极坐标系gydF4y2BazgydF4y2Ba-方向，也就是沿着手指的方向gydF4y2Ba图2gydF4y2Ba)．这与环坐标系重合。让gydF4y2BawgydF4y2Ba作为腕带坐标框架，它包含多个传感器，gydF4y2Ba年代gydF4y2Ba_我gydF4y2Ba在位置gydF4y2Ba和方向gydF4y2Ba，如gydF4y2Ba图2gydF4y2Ba．这些变换在腕带坐标系中定义，并从腕带外壳和电子器件的3D几何结构中得知。gydF4y2Ba

给定偶极子/环相对于腕带的任何可能位置(gydF4y2Ba^wgydF4y2BadgydF4y2Ba)，以及传感器的几何形状gydF4y2Ba，我们首先计算传感器在偶极子坐标系中的位置:gydF4y2Ba

我们可以分解这个传感器位置向量，gydF4y2Ba,进入gydF4y2BaxgydF4y2Ba，gydF4y2BaygydF4y2Ba,gydF4y2BazgydF4y2Ba组件(参见gydF4y2Ba图2gydF4y2Ba)，计算偶极子与传感器之间的距离，gydF4y2Ba．然后在准静态假设下，用由毕奥-萨伐尔定律推导出的磁偶极子方程来计算每个传感器位置的期望磁场gydF4y2Ba．这个方程描述了标准偶极子周围任意点处的磁场。注意，为了简洁起见，我们省略了磁偶极子常数，因为我们只对相对场强感兴趣。gydF4y2Ba

这就得到了环/偶极坐标系中每个传感器的磁场矢量。为了估计每个传感器将测量什么，我们再次旋转，以计算传感器参照系中的磁场:gydF4y2Ba

回到顶部gydF4y2Ba

4.AuraRing硬件gydF4y2Ba

AuraRing系统由一个产生交流磁场的戒指和一个内置三个传感器的腕带组成，该腕带可以测量产生的磁场。gydF4y2Ba图3gydF4y2Ba描述AuraRing系统的组成部分。gydF4y2Ba

图3。AuraRing包含两个控制器和三个传感器板，嵌入腕带和一个环戴设备。gydF4y2Ba

4.1.环gydF4y2Ba

在设计AuraRing时，我们追求一种类似于用户已经习惯的设备形状因素的设计，以便为日常使用提供合理的发展路径。对于环基发射机，而不是附加一个铁芯线圈gydF4y2Ba^4gydF4y2Ba或永久磁铁gydF4y2Ba^{2gydF4y2Ba，gydF4y2Ba3.gydF4y2Ba}对于手指的顶部，我们设计了一个定制的电磁铁发射器与戒指的形状因子兼容。为了做到这一点，我们不得不在戒指上安装最少的数字电子设备，以确保轻薄的外形和最大限度地降低功耗。AuraRing的环由一个单轴低轮廓发射机线圈组成，发射一个以32.768 kHz振荡的磁场。发射线圈由600匝42 AWG磁铁线缠绕在直径20毫米的3d打印ABS环上组成。线圈的电感约为15 mH。gydF4y2Ba

4.2.腕带gydF4y2Ba

AuraRing腕带由三个传感器和两个控制器板组成，如图所示gydF4y2Ba图3gydF4y2Ba(右)。在较高的水平上，每个传感器板测量一个磁场，而控制板将这些测量转换为数字信号，并将它们发送给主机。gydF4y2Ba

该传感管道采用了经过验证的信号处理技术，用于Aura中的电磁跟踪应用。gydF4y2Ba^21gydF4y2Ba传感器板转换由环产生的磁场使用现成的三轴正交接收线圈(Grupo Premo 3DC15)。每个轴的信号被馈送到一个增益为44 dB的放大器(INA826)。然后，我们在全波桥式整流器配置中使用低噪声、低电压降肖特基二极管网络(SMS7630)来解调每个通道。这种无源配置以最小的功耗和复杂度有效地解调场。gydF4y2Ba

这些幅度信号被传递到控制板，在控制板上由SAR模数转换器(AD7265)对数据进行采样。最后，采样数据被传递到超低功耗MCU，在那里数据被收集并通过USB以472千赫发送到主机。gydF4y2Ba

回到顶部gydF4y2Ba

5.校准gydF4y2Ba

AuraRing的跟踪算法的核心是一个物理模型，如3.2节所述。这可以直接用于参数化的基于模型的跟踪算法(参见第6.1节)，也可以用于生成用于模型训练的合成数据(参见第6.2节)。然而，在物理模型能够准确描述AuraRing测量之前，我们必须了解许多参数，如通道增益和精确的传感器位置。在一个精确的制造环境中，这些参数很可能是基于对系统几何和电子的分析来设置的。然而，在我们的原型中，由于3D打印零件的公差和我们对电子元件的选择，我们选择通过收集和使用光学运动捕获系统的数据来经验地学习这些参数。这种校准是基于在受控环境中收集的数据的一次性过程。在这个过程之后，AuraRing就可以使用了，不需要任何额外的培训。在接下来的章节中，我们将描述我们的数据收集设置、校准模型和学习过程。gydF4y2Ba图4gydF4y2Ba显示校准过程的高级概述，以及它如何与运行时姿态估计任务相关。gydF4y2Ba

图4。AuraRing系统需要一次工厂校准，以匹配合成数据与测量结果。在实时情况下，迭代模型使用这种校准来细化位姿估计，神经网络模型直接回归到位姿。gydF4y2Ba

5.1.数据收集的设置gydF4y2Ba

我们用10个摄像头gydF4y2Ba^{一个gydF4y2Ba}光学运动捕捉系统(校准精度0.1mm)跟踪手腕和戒指的地面真实位置和方向。为了促进这一点，我们在两个设备上放置红外反反射标记，如图所示gydF4y2Ba图5gydF4y2Ba．这些标记被放置在临时3d打印适配器上，以确保它们保持在已知的位置。让gydF4y2Ba米gydF4y2Ba是运动捕捉系统对应的坐标系，gydF4y2BargydF4y2Ba是环的坐标系，并且gydF4y2BawgydF4y2Ba为腕带坐标系，定义见3.2节。在这里，我们区分环形框架(gydF4y2BargydF4y2Ba，在这里使用)和偶极框(gydF4y2BadgydF4y2Ba，用于磁场计算)。虽然这两帧理想情况下是一致的，但环的磁中心可能会轻微偏移，因为它是手绕环。动作捕捉系统报告腕带的姿势gydF4y2Ba和环gydF4y2Ba在240赫兹的运动捕捉坐标系中。PC上的Python软件将运动捕捉数据和AuraRing传感器数据都记录到磁盘上，以便进行离线分析。gydF4y2Ba

图5。我们在戒指和腕带上放置反反射标记来获得地面真相测量。gydF4y2Ba

我们首先对所有的运动捕捉数据进行预处理，使刚体坐标帧与gydF4y2BawgydF4y2Ba而且gydF4y2BargydF4y2Ba由设备几何定义的帧，如图所示gydF4y2Ba图2gydF4y2Ba．接下来，我们通过应用另一个坐标系变换来重建腕关节空间中的环的相对位姿。gydF4y2Ba

最后，我们将来自AuraRing (472 Hz)的传感器流与来自运动捕捉系统(240 Hz)的地面真实环姿势流同步。这种同步需要比较每个数据流中的相关事件，但原始传感器数据与地面真实姿态数据不相关。为了应对这一挑战，我们使用了Aura中的时间对齐技术。gydF4y2Ba^21gydF4y2Ba我们通过使用地真环位姿作为未校准磁场模型(第3.2节)的输入来对齐两个流，以近似每个传感器上的磁场，并将这些磁场与观测到的传感器值进行比较。由于该模型尚未校准，因此模拟的传感器流与观测数据并不完全匹配，但足够相关以实现校准目的。我们使用这些信号在记录的数据流的开始和结束处实现对齐。然后，我们通过插值到240赫兹对AuraRing信号进行重采样，以实现与地面真实信号的逐帧对齐。gydF4y2Ba

5.2.传感器模型参数gydF4y2Ba

AuraRing中的信号处理管道将入射磁场转换为数字值。对于给定的环形姿态，我们需要能够估计每个传感器报告的数字值。要做到这一点，需要额外的校准参数来定义gydF4y2Ba传感器模型gydF4y2Ba它描述了给定的姿势如何表现为传感器测量。这些参数模型效应，如每个线圈的灵敏度和传感器线圈在PCB上的相对位置。总的来说，它们捕获了运动捕获位置和有效磁源之间的偏移量，以及AuraRing模拟信号处理管道的影响。这些参数在设备的整个生命周期内应该保持不变。下面，我们将简要概述这些参数以及它们如何适合AuraRing传感器模型。gydF4y2Ba

5.2.1.坐标系偏移量。gydF4y2Ba由于制造公差，每个传感器相对于腕带坐标系的精确位置，gydF4y2Ba，与CAD设计的计算值并不完全一致gydF4y2Ba．由于传感器模型估计了传感器位置的磁场，因此传感器的位姿必须尽可能准确。因此，我们定义了偏移位置gydF4y2Ba和方向(gydF4y2BaRgydF4y2Ba_{我,抵消gydF4y2Ba}在腕带框架中细化每个传感器的姿态。这些松弛项应该很小——几毫米或几度的量级——但它们对跟踪性能有显著影响。下面的方程描述了松弛项如何与CAD测量一起使用，以获得精确的传感器位姿。gydF4y2Ba

我们用一个类似的技术来定义关于环坐标系的偶极坐标系，其中cgydF4y2Ba^rgydF4y2BadgydF4y2Ba而且gydF4y2Ba之间的偏移量gydF4y2BargydF4y2Ba而且gydF4y2BadgydF4y2Ba帧。同样，这样做是为了解释我们自己绕线圈的实际副作用。gydF4y2Ba

具体来说，未知参数为gydF4y2Ba(3项),gydF4y2BaRgydF4y2Ba_{我,抵消gydF4y2Ba}(四元数形式的4项)，gydF4y2Ba^rgydF4y2BadgydF4y2Ba(3项),gydF4y2Ba(四元数形式的4项)。gydF4y2Ba

5.2.2.模拟信号链建模。gydF4y2Ba然后我们使用3.2节中的模型进行计算gydF4y2Ba，为各传感器参考系中的磁场。然而，传感器和振幅解调管道并不代表一个完美的磁场测量。其一，基于整流器的解调方案只提供了沿每个轴的场强的无符号估计。此外，由于传感器线圈和放大器的灵敏度和制造公差不同，每个通道的增益略有不同。我们还模拟了噪声和二极管正向压降的影响。具体地说，我们估计传感器测量(gydF4y2BaxgydF4y2Ba_{我,我gydF4y2Ba})作为场的函数gydF4y2Ba信道增益(gydF4y2BaggydF4y2Ba_{我,我gydF4y2Ba})、噪声(gydF4y2BangydF4y2Ba_{我,我gydF4y2Ba})和偏差(gydF4y2BabgydF4y2Ba_{我,我gydF4y2Ba}),gydF4y2Ba我gydF4y2Ba={1,2,3}表示传感器和gydF4y2BajgydF4y2Ba= {gydF4y2Bax, y, zgydF4y2Ba}表示特定传感器的轴。gydF4y2Ba

对于给定的传感器线圈，gydF4y2Ba我gydF4y2Ba，有9个信号链参数需要学习:gydF4y2BaggydF4y2Ba_{我,我gydF4y2Ba}，gydF4y2BangydF4y2Ba_{我,我gydF4y2Ba},gydF4y2BabgydF4y2Ba_{我,我gydF4y2Ba}为gydF4y2BajgydF4y2Ba= {gydF4y2Bax, y, zgydF4y2Ba}。gydF4y2Ba

5.3.学习传感器模型参数gydF4y2Ba

我们分别为每个传感器学习23个参数集(14个来自坐标系偏移量，9个来自模拟信号链)，gydF4y2Ba我。gydF4y2Ba为了了解这些参数，我们收集了一个数据集，捕捉了环的广泛运动范围。其中一名作者戴着腕带，同时用另一只手在手周围的一个体积内自由移动和旋转环形发射机。在这个过程中，戒指和手腕的姿势被动作捕捉系统捕获，并按照前面描述的对齐。数据是在不佩戴戒指的情况下明确收集的，因此该数据集包含戒指的6自由度运动。否则，数据将受到特定用户的4自由度手腕和手指运动学的限制，可能会为该用户过度拟合这些参数。gydF4y2Ba

我们从这个数据集中抽取了30k帧的随机样本用于学习，并将问题描述为一个非线性优化问题，我们使用Ceres Solver解决该问题。gydF4y2Ba^1gydF4y2Ba我们学习每个传感器线圈独立的23个参数。在这样做的过程中，求解器寻求找到一个参数集，使观察到的传感器值和估计的传感器值之间的差异最小化，根据观察到的姿势和传感器模型计算。该求解器使用Levenberg-Marquardt信赖域算法进行最小化。gydF4y2Ba

在收敛后，这将产生一组参数，可用于估计传感器测量作为一个函数的位姿。gydF4y2Ba图6gydF4y2Ba显示了在应用这里提出的传感器模型之前和之后，该数据集上的传感器估计和实际测量之间的相关性。在应用传感器模型之前，估计值与实际测量值具有0.564的斯皮尔曼秩序相关性。应用传感器模型后，相关性增加到0.995，验证了模型的有效性。gydF4y2Ba

图6。一次性工厂校准过程是必要的，以匹配合成数据与AuraRing测量的数据。gydF4y2Ba

回到顶部gydF4y2Ba

6.跟踪算法gydF4y2Ba

总的来说，磁场模型和传感器模型代表了系统的正向模型，它们在给定环位的情况下估计传感器的值。为了在运行时跟踪环，我们必须解决相反的问题——在给定传感器值的情况下估计环位。我们实现了两种不同的跟踪算法来解决这个反向问题，并估计环的五自由度位姿。第一个是基于迭代优化的解决方案，第二个是近似于反向问题的封闭形式的解决方案的神经网络。gydF4y2Ba

6.1.方法1:迭代模型gydF4y2Ba

迭代模型类似于5.3节中讨论的学习校准参数的方法，但分别对每一帧进行操作。然而，不是估计校准参数，这些保持固定，求解器估计环的姿态。我们使用一个非线性优化器gydF4y2Ba^1gydF4y2Ba用Levenberg-Marquardt算法迭代找到最可能的姿势。当一个新的传感器数据包到达时，该求解器将观测到的传感器值与正向模型预测的传感器值之间的误差最小化(gydF4y2BaxgydF4y2Ba_{我,我gydF4y2Ba}10),方程。它最多允许运行100次迭代。对于第一帧，初始姿势状态设置为默认姿势，食指指向前方，不弯曲。对于后续帧，求解器使用前一帧的解作为初始状态。进一步提高速度和准确性可能使用卡尔曼滤波器主动估计下一个环位。gydF4y2Ba

6.2.方法2:基于神经网络的跟踪gydF4y2Ba

作为迭代模型的替代方案，我们还开发了针对反向问题的封闭形式近似，并针对低功率设备进行了优化。具体地说，我们训练了一个简单的神经网络，直接从磁测量中预测环的3自由度位置和2自由度方向。值得注意的是，我们只使用合成生成的数据来训练网络，消除了任何用户或会话依赖。gydF4y2Ba

6.2.1.生成训练数据。gydF4y2Ba神经网络对训练数据的质量特别敏感。在这种跟踪问题中，对跟踪空间的任何部分采样不足都会导致性能较差。对于这个问题，一个合适的神经网络近似要么需要大量的训练数据，要么需要较小但均匀分布的数据集。为了消除对运行时训练数据的依赖，并实现对训练数据采样分布的精确控制，我们完全从模拟磁和传感器模型生成的合成数据中训练网络，经过一次性校准。这消除了过度适合特定用户的手或特定训练课程的问题。我们在一个相对于手腕的体积内随机生成了不同的戒指姿势，这跨越了大多数成年人可能的戒指位置。具体来说，假设坐标系定义在gydF4y2Ba图2gydF4y2Ba，生成的数据覆盖的体积定义为- 70毫米XgydF4y2Ba< 90毫米，-125毫米YgydF4y2Ba< 60mm，−150mm ZgydF4y2Ba<−60毫米。我们还为每个点添加一个随机的3自由度旋转，以完成随机姿势的数据集。gydF4y2Ba

然后，我们使用传感器模型来估计每一个姿态下AuraRing传感器的值。由于AuraRing使用了3个三轴接收器，每个轴都可以与发射机同步或不同步，所以有2个gydF4y2Ba^9gydF4y2Ba=给定帧的512种可能的相状态组合。然而，由于我们传感器的空间几何结构和手的运动结构，这些状态中的大多数在正常使用中是不可实现的。例如，因为环总是位于腕带(负z方向)的前面，所有传感器的z通道将具有相同的相位。事实上，在检查生成的数据后，我们发现这512种组合中只有10种是可行的。我们从生成的数据集中删除任何不匹配这10个可行相状态之一的数据。由于训练只使用模拟数据，人们可以很容易地改变这些约束，甚至添加另一种状态，训练更大的网络来支持不同类型的跟踪任务。经过这个剔除过程后，数据集由166,465个点组成。gydF4y2Ba

6.2.2.神经网络的训练。gydF4y2Ba我们使用两个计算简单的两层前馈网络回归到一个位置矢量和环的二自由度方向。这两个网络都有一个包含128个节点的隐藏层，用于拟合一个函数，该函数将9个观测到的传感器值映射到一个三维位置向量和一个三维方向向量。我们使用方向向量来指定方向，以保持环的滚动不变。利用合成数据集在MATLAB中使用Levenberg-Marquardt算法进行训练。在Xeon E3-1240处理器的单核上进行CPU训练，大约需要6个小时。位置模型的平均训练误差为3.06 mm，方向模型的平均训练误差为5.45°。通过计算两个方向向量的夹角来计算方向误差。gydF4y2Ba

回到顶部gydF4y2Ba

7.系统评价gydF4y2Ba

7.1.用户评价步骤gydF4y2Ba

我们利用从我们邀请的使用AuraRing的用户收集的数据来评估每种模型的跟踪精度。我们这样做是为了在具有挑战性的条件下提供真实的性能评估，如不同的手尺寸、形状、灵活性、手和手指上设备的滑动，以及环境因素的变化。我们招募了14名手大小不同的参与者(5米，9英尺)，让他们戴上AuraRing，同时进行手腕和手指的全方位运动。数据收集是在10个摄像头的运动捕捉实验室中进行的，该实验室用于校准传感器模型。研究人员帮助参与者戴上腕带，并将戒指戴在右手的食指上。所有参与者的戒指和腕带之间的平均距离为12.3厘米(最小:10.8厘米，最大:14.3厘米)。操作过程中，环与腕带距离最近为8.1 cm，最远为15.6 cm。gydF4y2Ba

和以前一样，标记被放置在戒指和腕带的附件上，以方便光学追踪。参与者被要求自由自然地移动手腕和手指10分钟，同时确保锻炼所有可能的关节运动。在此期间，一个Python程序记录了地面真实姿态和磁传感器数据。总的来说，这导致了超过2小时的数据，包括超过170万个同步数据点。gydF4y2Ba

7.2.结果gydF4y2Ba

我们比较了迭代模型和神经网络模型的跟踪精度。的gydF4y2Ba表格gydF4y2Ba这里显示了使用每种算法的手指姿势的平均精度。中的累积分布函数(CDF)显示了完整的误差分布gydF4y2Ba图7gydF4y2Ba这将汇总所有12个参与者的数据。结果表明，迭代模型的平均跟踪误差为4.41 mm，神经网络模型的平均跟踪误差为6.07 mm。在定位方面，迭代模型跟踪手指的前向，平均误差为4.65°，神经网络跟踪的平均误差为8.35°。gydF4y2Ba

图7。使用迭代模型和神经网络模型在所有参与者中进行三维位置跟踪的CDF。gydF4y2Ba

表格使用迭代和神经网络模型分析12名参与者的位置和方向误差。gydF4y2Ba

回到顶部gydF4y2Ba

8.AuraRing功能gydF4y2Ba

AuraRing提供了一个连续的、精确的戒指跟踪系统，在此基础上可以构建一系列交互，如指向、敲击、手部姿势重建和自定义手势。例如，通过从戒指向前投射，我们可以跟踪指尖的位置，并在放在手前面的虚拟表面上实现2D绘图或手写识别。gydF4y2Ba图8gydF4y2Ba(左)展示了一个使用AuraRing的用户笔迹示例。gydF4y2Ba

图8。(左)AuraRing能够在2D或3D空间中绘图。(中)跟踪数据可以用来在太空中制作虚拟手的动画。(右)AuraRing能够测量高速事件，如敲击。(右上):9个原始传感器测量。(右下):记录数据的谱图。gydF4y2Ba

因为AuraRing提供了手腕和食指的信息，它可以用于在混合现实场景中重建手部姿势。我们实现了一个逆运动学解决方案，从估计的环形姿势估计手腕和手指关节的角度，并将这只手呈现给用户(gydF4y2Ba图8gydF4y2Ba中心)。gydF4y2Ba

AuraRing磁跟踪的速度和精度使可穿戴传感系统解锁了不常见的额外功能。凭借472赫兹的数据速率和远高于此的传感器带宽，AuraRing能够测量高速事件，如敲击物理表面。为了说明这一点,gydF4y2Ba图8gydF4y2Ba(右)显示了在空间中自由移动手指和手腕一段时间后，在桌面表面上的一系列不同强度的轻拍。手和手指的动作大多包含低频内容，而轻拍则因其宽带频谱而立即被识别出来。gydF4y2Ba

回到顶部gydF4y2Ba

9.结论gydF4y2Ba

在这项工作中，我们展示了AuraRing，一种可穿戴的戒指和腕带，能够实现精确、微妙和精确的手指跟踪。在戒指上使用最小、低功耗的电子设备，AuraRing可以在独立电池的支撑下运行大约一天。我们提出了两种跟踪方法，基于神经网络的方法和迭代模型。AuraRing只需要一次工厂校准过程，将其合成数据与传感器测量相匹配，并能以4.4毫米的平均误差跟踪。gydF4y2Ba

回到顶部gydF4y2Ba

回到顶部gydF4y2Ba

回到顶部gydF4y2Ba

数字图书馆是由计算机协会出版的。版权所有©2022 ACM, Inc.gydF4y2Ba

---

没有发现记录gydF4y2Ba