ACM通信
研究突出了
ThinSight:一种薄型交互表面技术
ThinSight技术可以感知靠近LCD表面的指尖和手，从而实现多点触摸交互。
图片来源:英国剑桥微软研究院
ThinSight是一种基于嵌入常规液晶显示器(LCD)内的光学传感器的薄型因子交互表面技术。这些增强了显示器的功能，使其能够感知表面附近的各种物体，包括指尖和手，从而实现多点触摸交互。光学传感还允许检测其他物理项目，允许使用各种有形对象进行交互。与现有的基于相机和投影仪的系统相比，ThinSight的一个主要优势是其紧凑的外形因素，使其更容易部署在各种设置中。我们描述了ThinSight硬件是如何嵌入在常规LCD后面的，允许在不降低显示能力的情况下进行传感，并通过一些概念验证硬件原型和应用程序说明了我们系统的功能。
1.简介
使用与显示器的单点接触的触摸输入是一种自然而成熟的人机交互技术。在过去几十年的研究中，3.最近的产品，如iPhone和微软Surface，已经展示了新奇和令人兴奋的交互技术和应用，如果多个同时接触点可以被检测到。
以这种方式提出了多种用于多点触摸感知的技术，其中一些扩展到除了指尖之外的物理物体的检测。基于光学传感的系统已被证明在捕获数据的丰富性和提供的灵活性方面特别强大。然而，到目前为止，这种光学系统主要是基于相机和投影仪，并需要一个大的光路在前面或后面的显示器。这通常会导致相对庞大的系统，这可能会影响在许多现实场景中的采用。虽然电容覆盖技术，如iPhone和戴尔XT平板电脑，可以支持薄的多触点，但它们仅限于感应指尖。
ThinSight是一种新型的交互式表面技术，它将光学传感器集成到薄型液晶显示器中。它能够成像多个指尖，整个手，和其他物体附近的显示表面如图图1．该系统基于嵌入在LCD后面的定制硬件，并使用红外(IR)光进行传感，而不会降低显示能力。
本文介绍了ThinSight电子器件及其改进后的液晶显示结构。我们介绍了我们已经开发的两个原型系统:一个多触控笔记本电脑和一个触摸和有形桌面(均显示在图1)．这些系统生成丰富的传感器数据，可以使用已建立的计算机视觉技术进行处理，以原型广泛的交互表面应用。
所示图1在美国，许多物理物体的形状，包括手指、刷子、表盘等，当它们靠近显示器时，可以“看到”，这使得它们可以增强多点触摸交互。此外，ThinSight允许使用主动红外指向设备(如触控笔)进行近距离或远距离交互，并通过显示器与其他电子设备进行基于红外的通信。
我们相信，ThinSight提供了未来显示技术的一瞥，如液晶显示器和有机发光二极管(oled)将以类似的方式廉价地将光学传感像素与红、绿、蓝(RGB)像素结合在一起，从而导致这种表面技术的广泛采用。
2.操作的概述
2.1.利用红外光通过液晶显示器成像
ThinSight的一个关键组成部分是一种被称为反向反射光传感器的设备。这是一个传感元件，它包含两个部分:一个光发射器和一个光学隔离光探测器。因此，它既能发光，同时又能检测入射光的强度。如果在光传感器的前面放置一个反射物体，一些发射的光将被反射回来，因此将被检测到。
ThinSight是基于二维网格的反反射光传感器，放置在LCD面板后面。每个光传感器发出的光都直接穿过整个面板。显示屏前的任何反光物体(比如指尖)都会反射一小部分光，这可以被检测到。图2描述了这样的安排。通过使用一个适当间隔的反向反射光传感器网格，均匀分布在显示器后面，因此可以检测到显示器表面上任意数量的指尖。生成的原始数据本质上是通过显示器可以看到的低分辨率灰度“图像”，可以使用计算机视觉技术进行处理，以支持触摸和其他输入。
ThinSight的一个关键方面是使用了在光谱的红外部分工作的反向反射传感器，主要有三个原因:
- 尽管红外光被LCD面板的层层衰减，但仍有一些通过显示屏。5这在很大程度上不受显示图像的影响。
- 一个人的指尖通常能反射大约20%的入射红外光，因此是一个相当不错的“反射物体”。
- 红外光对用户来说是不可见的，因此不会影响面板上显示的图像。
2.2.ThinSight的进一步功能
ThinSight不局限于检测与显示器接触的指尖;任何适当反射的物体都会引起红外光的反射，从而产生“轮廓”。这不仅可以用来确定物体在显示器上的位置，而且还可以在感知分辨率的限制下确定物体的方向和形状。此外，一个物体的底面可以用视觉标记条形码增强，以帮助识别。
除了通过物体的形状或某种条形码来检测被动物体外，还可以在物体中嵌入一个非常小的红外发射器。通过这种方式，物体可以传输表示其身份、状态或其他信息的代码，而ThinSight内置的红外探测器可以接收到这种数据传输。事实上，ThinSight自然支持与附近的电子设备(如智能手机和pda)之间基于ir的双向数据传输。通过调制发射的红外光，数据可以从显示器传输到设备。使用大显示器，可以以空间多路复用的方式支持多个同时双向通信通道。
最后，一种可以发射准直红外光束的装置可以用作指向装置，可以像触控笔一样靠近显示器表面，也可以从一定距离外。这样的指向装置可以用来支持与单个显示器或多个显示器进行新形式交互的手势。通过调制每个指向装置产生的光，可以区分多个指向装置。
3.Thinsight硬件
3.1.感应电子
描述的ThinSight电路板原型图3使用Avago HSDL-9100反反射红外传感器。这些设备是专门为近距离感应设计的，一个红外LED发射红外光和一个红外光电二极管产生的光电流随入射光的数量而变化。发射体和探测器的中心波长均为940 nm。
这些HSDL-9100设备的7 × 5网格在10mm的常规间距上安装在定制的70 × 50mm 4层印刷电路板(PCB)上。多个pcb可以平铺在一起，以支持更大的传感区域。红外探测器直接与PIC18LF4520微控制器上的数字输入/输出线连接。
PIC固件每次从一排探测器收集数据，构建一个“帧”的数据，然后通过USB通过虚拟COM端口传输到PC。为了将多个PCB连接到同一台PC上，它们必须同步，以确保一个PCB上的一排设备发出的IR不会对相邻PCB上的扫描产生不利影响。在我们的原型中，我们使用由其中一个pcb(指定的“主”)产生的帧和行同步信号来实现这一点，并由其他pcb(“从”)检测。
请注意，关于硬件的更多信息可以在完整的研究出版物中找到。7，10
3.2.LCD技术概述
要理解ThinSight硬件如何集成到显示面板中，了解典型LCD的结构和操作是很有用的。LCD面板由一堆光学元件组成，如图所示图4．在面板的前面是一层薄薄的液晶材料，夹在两个偏光器之间。两个偏振光互相正交，这意味着任何通过第一个偏振光的光自然会被第二个偏振光挡住，导致像素变暗。然而，如果在液晶材料的某个像素位置施加电压，当它通过晶体结构时，入射到该像素上的光的偏振会扭曲90°。结果，它以正确的偏振从晶体中出来，通过第二个偏振器。通常情况下，白光通过背光从后面穿过面板，红色、绿色和蓝色滤镜用于创建彩色显示。为了实现低轮廓的结构，同时保持整个显示屏的均匀照明，并降低成本，背光通常是一个大的“光导”，以透明的亚克力板的形式，位于整个LCD后面，从一个或多个侧面照亮。光源通常是冷阴极荧光灯管或白色led阵列。为了使照明的效率和均匀性最大化，可以在光导和LCD之间放置额外的材料层。增亮膜(BEF) "recycles" visible light at suboptimal angles and polarizations and a diffuser smoothes out any local nonuniformities in light intensity.
3.3.集成LCD面板
我们使用各种台式机和笔记本LCD面板构建了ThinSight原型，范围从17英寸到21英寸。其中两个显示在图5而且6．多达30个多氯联苯被平铺，以支持整个表面的传感。在大量pcb被平铺的情况下，基于FPGA的定制集线器电路被设计来收集和聚合从许多平铺传感器捕获的原始数据，并使用单个USB通道将这些数据传输到PC上。这些平铺的pcb直接安装在光导的后面。为了确保冷阴极不会引起任何来自亚克力光导的杂散红外光，我们在它和背光之间放置了一层狭窄的红外阻挡膜。我们在光导后面的白色反射镜上切了小洞，以符合每个红外发射和探测元件的位置。
在我们的实验中，我们发现在液晶面板中扩散器和BEF的组合通常会导致红外信号的过度衰减。然而，去除这些材料会显著降低显示图像:没有BEF，显示图像的亮度和对比度降低到不可接受的程度;在没有漫射器的情况下，图像似乎“漂浮”在背光的前面，与此同时，红外发射器和探测器的位置可以在整个显示器上以模糊的点阵列的形式看到。
为了完全隐藏红外发射器和探测器，我们需要一种材料，可以让红外通过，但不允许可见光通过，这样光传感器就不会被看到，但可以正常工作。传统的解决方案是使用所谓的“冷镜”。不幸的是，它们是用玻璃基板制作的，这意味着它们昂贵、坚硬、易碎，我们无法采购一个足够大的冷镜来覆盖整个桌面显示器。我们尝试了许多替代材料，包括描图纸、涂上乳胶漆的醋酸酯片、喷上糖霜、白色聚乙烯薄片和聚酯薄膜。其中大多数都是不合适的，要么是因为缺乏红外透明度，要么是因为光传感器在某种程度上可以通过它们被看到。我们确定的解决方案是使用3M的辐射光膜(零件号CM500)，它在很大程度上让红外光通过，同时反射可见光，而没有真正的冷镜的缺点。这与“0”级中性密度过滤器的使用相结合，这是一个视觉不透明但红外透明的扩散器，以均匀分布后照明，同时防止“浮动”效应。仔细应用辐射光膜是至关重要的，因为微小的缺陷(例如皱纹或气泡)对用户来说是非常明显的，因此我们把它叠层到一个薄的PET载体上。对LCD结构的最后一个修改是部署这些薄膜后面光导进一步提高了光学性能。所产生的LCD层堆叠如图所示图4正确的。
大多数LCD面板都不能抵抗物理压力，任何由触摸相互作用引起的扭曲通常会引起内部红外反射，导致“耀斑”。将辐射光膜和中性密度滤光片放置在导光板后面可以改善这种情况，我们还使用若干长度的挤压铝型材直接运行在LCD后面来加强ThinSight单元。
4.Thinsight操作
4.1.处理原始传感器数据
从单个红外探测器读取的每个值都被定义为代表入射光强度的整数。这些传感器值通过USB流到PC机上，原始数据经过几个简单的处理和过滤步骤，以生成可用于探测地表附近物体的红外图像。一旦生成了这个图像，就可以应用已有的图像处理技术来确定手指的坐标、识别手势和识别物体形状。
由于制造和装配公差的不同，光传感器之间的变化会在显示表面上产生一系列不同的值，即使在显示表面上没有物体存在。为了使传感器图像均匀和额外入射光(从附近物体反射过来的)的存在更加明显，我们减去一个在没有物体出现时捕获的“背景”帧，并相对于显示器覆盖白色反光纸时生成的图像进行规范化。
我们使用标准的双三次插值按预定义的因子(在我们当前的实现中为10)将传感器图像放大。对于较大的桌面实现，这将导致350 × 300像素的图像。可选的是，可以应用高斯滤波器进行进一步的平滑，得到如图所示的灰度“深度”图像图7．
4.2.透过薄视显示器
我们从原型中获得的图像相当丰富，特别是考虑到传感器阵列的密度。在屏幕附近的手指和手可以清楚地识别。通过显示器捕获的图像示例显示在图1，7而且8．
指尖在接近表面时，在图像中呈现出小斑点，随着它们靠近表面，强度增加。这就产生了同时感知触摸和悬停的可能性。到目前为止，我们只使用阈值法实现了触摸/非触摸区分。然而，我们可以可靠且一致地检测到各种肤色的触摸，误差在几毫米以内，所以我们相信消除悬停和触摸的混淆是可能的。
除了手指和手，光学传感允许我们通过显示器观察其他红外反射物体。图1演示了该显示器如何区分表面前面许多反射物体的形状，包括一整只手、手机、遥控器和一卷白胶带。我们在实践中发现，许多物体都能反射红外。
合乎逻辑的下一步是尝试通过在对象下面放置可视代码来惟一地识别对象。这些代码已被有效地用于桌面系统，如微软的Surface和各种研究原型12，28支持有形的交互。我们也开始了在ThinSight上使用这些代码的初步实验图9．
主动电子识别方案也是可行的。例如，含有红外发射器的廉价小型专用电子装置可以粘在需要识别的物体上或嵌入其中。这些发射器将产生一个信号定向到显示传感器的一小部分。通过发射调制红外，可以向显示器发送唯一的标识符。
4.3.通过ThinSight显示器进行通信
除了简单的识别，嵌入式红外发射机还为支持与显示器更丰富的双向通信提供了基础。理论上，任何红外调制方案，如广泛采用的IrDA标准，都可以被ThinSight支持。我们已经实现了一个直流平衡调制方案，它允许反向反射的物体感知发生与此同时数据传输。这不需要增加或改变传感器PCB，只需要改变微控制器固件。为了演示我们的原型实现，我们构建了一个基于低功耗MSP430微控制器的小型嵌入式红外收发器，参见图10．我们在从ThinSight像素传输的IR中编码3位数据，以控制安装在嵌入式接收器上的RGB LED。当用户触摸ThinSight显示器上的各种软按钮时，这反过来从ThinSight像素传输不同的3位代码，导致嵌入式设备上不同的颜色被激活。
理论上可以使用显示面上的不同列同时传输和接收不同的数据，从而支持与多个本地设备的空间多路双向通信和来自远程手势设备的数据接收。当然，如果使用了合适的寻址方案，也可以对不同设备之间的多路通信进行计时。我们还没有将这些多设备通信方案中的任何一个原型化。
4.4.与ThinSight交互
如本节前面所示，可以直接使用ThinSight感知和定位多个指尖。为了做到这一点，我们对处理过的数据进行阈值，以产生二值图像。其中的连接组件是隔离的，并计算每个组件的质心产生代表X, Y每根手指的坐标。然后可以应用一个非常简单的单应式映射将这些指尖位置(相对于传感器图像)映射到屏幕上的坐标。主要和次要轴分析或更详细的形状分析可以执行确定方向信息。稳健的指尖跟踪算法或光流技术28可以用来增加更强的启发式来识别手势。
使用这些已建立的技术，指尖被感知到几毫米以内，目前为23帧/秒。悬停和触摸都可以被检测到，并且可以通过定义适当的阈值来消除歧义。因此，用户不需要施加任何力来与显示器交互。然而，也可以通过计算触摸被检测到后指尖“斑点”的面积和强度的增加来估计指尖压力。
图1展示了两个使用ThinSight开发的简单应用程序。一个简单的照片应用程序允许使用已建立的多指操作手势对多个图像进行翻译、旋转和缩放。我们使用接触点之间的距离和角度来计算比例因子和旋转增量。为了演示ThinSight在多点触摸之外的一些功能，我们构建了一个示例绘画应用程序，允许用户使用指尖和真实的画笔直接在表面上绘画。后者之所以有效，是因为ThinSight可以检测到刷子反射红外的白色刷毛。油漆应用程序还支持更复杂的场景，即艺术家的调色板放置在显示表面上。虽然它是透明的，但它的底部有一个红外反射标记，可以被ThinSight检测到，从而在它下面呈现一系列油漆颜色。用户可以通过指尖或刷子“蘸”到调色板上的适当孔来改变颜色。我们使用一个简单的椭圆匹配算法来识别这个物体的存在，该算法在传感器图像中区分较大的调色板和较小的触点“blobs”。尽管ThinSight的分辨率有限，但它可以通过简单的轮廓形状信息来区分许多不同的物体。
5.讨论及未来工作
我们相信本文中提出的原型是一种用于薄显示器的多点触摸和有形感知的新方法的有趣的概念验证。我们已经描述了它的一些潜力;这里我们讨论一些在工作中发现的额外的观察和想法。
5.1.富达的传感
这个项目最初的目的只是检测指尖，以实现基于多点触摸的直接操作。然而，尽管原始传感器数据的分辨率很低，我们仍然可以检测到相当复杂的物体图像。目前，非常小的物体有时会在光传感器中间“消失”。然而，我们有许多想法来进一步提高保真度，既支持更小的对象，又使对象和视觉标记识别更实际。一个明显的解决方案是增加光传感器的密度，或者至少增加红外探测器的密度。另一个想法是测量不同照明条件下的反射光量，例如，从相邻传感器同时发射的光很可能引起足够的反射来检测更小的物体。
5.2.帧率
在ThinSight用于直接操作任务的非正式试验中，我们发现当前帧速率对用户来说是可以接受的。然而，较高的帧率不仅会产生响应性更强的UI(这对某些应用程序来说很重要)，而且会使时间滤波更加实用，从而减少噪声并提高亚像素精度。也可以在上面描述的许多不同的光照条件下对每个探测器进行采样，我们相信这将提高操作的保真度。
5.3.对照明条件的鲁棒性
ThinSight的反反射操作特性结合背景替换的使用似乎可以在各种照明条件下提供可靠的操作，包括有一些环境阳光的办公环境。减轻环境光的任何负面影响的一种常见方法是发射调制红外，并忽略检测到的信号中的任何非调制偏移，如果有必要的话，我们可以探索这种方法。
5.4.电力消耗
ThinSight功耗的最大贡献者是红外光的发射;因为当信号通过液晶面板的层时，它在两个方向上都被衰减，所以需要高强度的发射。对于移动设备，功耗是一个问题，我们有改进的想法。我们相信，通过优化其结构中使用的材料来提高液晶面板的红外传输性能是有可能的，但目前还没有这样做。此外，它还可以跟踪物体和指尖的位置，并将最频繁的红外辐射限制在这些区域。为了检测新的触点，显示屏的其余部分将被扫描得更少(例如23帧/秒)。
我们认为可以提高功耗和传感保真度的主要方法之一是使用更复杂的红外照明方案。我们一直在尝试使用丙烯酸涂层在上面的液晶显示器，并使用红外led作为边缘照明。这将允许我们使用标准的挫折感全内反射(FTIR)来感知多个触点，5但不是对象。然而，我们也实验了一种叫做endlighter的材料，它可以将FTIR方案扩展到漫反射照明，允许多点触摸和物体感知，使用的红外发射器比我们目前的设置少得多。该覆盖层还可以用于保护LCD免受触摸下的弯曲的双重目的。
6.相关工作
最近，随着iPhone和微软Surface的出现，交互界面领域获得了特别的关注。然而，这是一个有着20多年历史的领域。3.尽管有这种持续的兴趣，但显然缺乏现成的解决方案来检测多个手指和/或显示器表面上的物体。在这里，我们总结了这些领域的相关研究，并描述了少数商业化可用的系统。
6.1.基于成像系统
一种检测多点触摸和有形输入的方法是在表面前面或上面放置一个摄像机，并应用计算机视觉算法进行感知。早期的开创性工作包括克鲁格的视频办公桌13DigitalDesk,26它们分别使用停留时间和麦克风来检测用户何时真正接触到表面。最近的是视觉触控板17和C-Slate9使用放置在显示器上方的立体摄像头，以更准确地检测触摸。图像对之间的差异决定了手指在表面上的高度。PlayAnywhere28介绍了一些用于基于前投影视觉系统的附加图像处理技术，包括基于阴影的触摸检测算法、一种新的视觉条形码方案、纸张跟踪和用于双向交互的光流算法。
基于摄像头的系统，如上面所描述的，显然需要对被感知对象的直接视线，这在某些情况下会限制使用场景。遮挡问题在PlayAnywhere通过安装相机离轴缓解。一个自然的过程是安装相机后面显示。HoloWall18使用红外光源和在扩散投影面板后面装有红外通滤波器的相机，以探测前方的手和其他红外反射物体。该系统通过对红外图像进行简单的阈值处理，可以准确地确定接触区域。TouchLight27使用后投影到全息屏幕上，也从后面用红外光照亮。包括高分辨率成像功能在内的许多多点触控应用场景都已启用。汉5描述了一种简单而强大的基于FTIR的后投影表面高分辨率多点触摸传感技术。引人注目的多点触摸应用程序已经使用这种技术进行了演示。智能表22将同样的FTIR技术应用在桌面的外形上。
微软Surface和ReacTable12也使用后投影，红外光源和后方安装的红外摄像机来监控指尖，这一次是在水平桌面的形式。这些系统还能探测和识别表面带有红外反射标记的物体。
基于摄像头的系统生成的丰富数据提供了极大的灵活性。然而，正如威尔逊所讨论的28这种灵活性是有代价的，包括处理高分辨率图像的计算需求，对不利光照条件的敏感性和运动模糊问题。然而，也许更重要的是，这些系统需要摄像机放置在距离显示器一定距离的地方来捕捉整个场景，限制了它们的可移植性、实用性，并引入了设置和校准成本。
6.2.不透明的嵌入式传感
尽管基于摄像头的系统具有强大的功能，但上述所述的相关缺陷导致了许多并行的研究努力，以开发非基于视觉的多点触摸显示。一种方法是在表面后面嵌入某种多触点传感器，可以在其上投影图像。一种自然的技术是电容感应，通过指尖引入的与地面的电容耦合被检测出来，通常是通过监测安装在显示表面后面的导电板或电线的电荷泄漏率。
罗技(Logitech)和苹果(Apple)等一些制造商已经改进了标准的笔记本触控板，可以基于多个触点检测特定手势。然而，在这些系统中，使用两个或三个以上的手指通常会导致感知数据的模糊性。这就限制了他们所支持的手势。李等人。14使用电容感测与一些离散的金属电极排列在一个矩阵配置，以支持在更大的区域多点触摸。威斯曼25描述了一种复杂的电容式多点触控系统，该系统可生成手与不透明的传感表面交互的x射线图像，该传感表面可被投影。该作品的衍生品被Fingerworks商业化。
DiamondTouch4由行和列天线组成的网格，当用户接触表面时，这些天线发出电容耦合的信号。用户还通过椅子上的衬垫电容连接到接收器。通过这种方式，系统可以识别显示表面后面的哪些天线正在被触碰，哪个用户正在被触碰，尽管在两个点触碰表面的用户可能会产生歧义。的SmartSkin21系统由电容耦合的发射和接收天线网格组成。当手指接近交点时，这将导致耦合下降，通过测量来确定手指的接近度。该系统能够支持同一用户的多个接触点，并生成手部接触区域的图像。SmartSkin和DiamondTouch也支持物理对象，但只能在用户触摸时识别对象。Tactex提供了另一个有趣的不透明多点触摸传感器的例子，它使用传感器来测量多个接触点的表面压力。23
6.3.透明的覆盖
上述系统都有一个主要缺点:它们都依赖于正面投影进行显示。因此，显示的图像会被用户的手指、手和手臂打断，这可能会降低用户体验。此外，投影通常需要较大的投掷距离，这限制了可移植性。此外，如果完全支持对象检测，则只能以有限的方式检测物理对象。
解决显示和可移植性问题的一种替代方法是使用一个透明的传感覆盖层与一个自包含的(即，不投影的)显示，如LCD面板。DualTouch19使用现成的透明电阻触摸覆盖层来检测两个手指的位置。这样的叠加通常报告两个手指接触时的平均位置。假设一个手指首先接触，然后不移动，第二个接触点的位置就可以计算出来。Loviscach提供了一个扩展。16
飞利浦Entertaible15采用不同的“叠加”方法来检测多达30个接触点。红外发射器和探测器被放置在屏幕周围的边框上。红外光束的断裂可以探测到手指和物体。智能DViT22和惠普TouchSmart触摸屏电脑6利用摄像头在一个边框覆盖的角落，以支持感知两个手指或触控笔。在这样的视线系统中，遮挡可能是感知的一个问题。
《JazzMutant》中的Lemur音乐控制器11使用专有的电阻覆盖技术，可同时跟踪多达20个触点。最近，Balda AG和N-Trig20.都推出了电容式多点触控覆盖，分别应用于iPhone和戴尔XT。这些方法提供了一种强大的方法来感知多个手指触摸表面，但不能扩展到整个手的感知或有形的物体。
6.4.内在集成传感的需要
前面的章节介绍了许多多点触摸显示技术。基于摄像头的系统产生非常丰富的数据，但有许多缺点。不透明的传感系统可以更精确地探测手指和物体，但本质上依赖于投影。透明覆盖减轻了这种投影需求，但传感的保真度降低了。例如，支持指尖、手和物体的感知是很困难的。
解决所有这些需求的潜在解决方案是一类我们称为“内在集成”的传感技术。它们背后的常用方法是在整个显示表面上分布传感，将传感器与显示元素集成。哈德逊8报道了一款0.7英寸的单色显示屏原型，其中LED像素可兼作光传感器。当周围的像素都被照亮时，通过操作一个像素作为传感器，就有可能检测到从靠近显示器的指尖反射的光。主要缺点是在传感过程中使用可见光源和使用基于led的显示器的实用性。SensoLED对可见光采用了类似的方法，但这次是基于聚合物led和光电二极管。1”对角线传感聚合物显示器已经被演示。2
平面1和东芝24是首批开发集成了可见光光电传感器的液晶显示屏原型的公司之一，这种传感器可以检测到指尖或触控笔在显示屏上产生的阴影。光传感器和相关的信号处理电路直接集成到LCD基板上。要照亮手指和其他物体，要么需要一个外部光源在系统的轮廓上施加压力，要么屏幕必须均匀地发出明亮的可见光，而这反过来又会破坏显示的图像。
ThinSight的动机是建立在内在集成传感的概念上。我们已经扩展了上面的工作，使用不可见(IR)光源来允许同时显示和传感，在当前LCD和IR技术的基础上，使原型在短期内可行。另一个重要方面是支持更大更薄的触摸敏感显示屏，这比迄今为止内在集成的解决方案所提供的更大，从而使其更实用的原型多点触摸应用程序。
7.结论
在这篇文章中，我们描述了一种通过薄的形状因子显示器光学感知多个对象(包括指尖)的新技术。光学传感允许显示器捕获丰富的“类似照相机”的数据，并使用计算机视觉技术进行处理。这支持新型的人机界面，利用零力多点触摸和在薄的形状因子显示器上的有形交互，如在Buxton中描述的那些。3.我们已经展示了该技术如何与现成的LCD技术集成，使这种交互技术在现实环境中更加实用和可部署。
对于ThinSight硬件、固件和PC软件的潜在改进，我们有很多想法。除了这些渐进式的改进之外，我们还相信有可能过渡到一个集成的“传感和显示”解决方案，这将更直接和更便宜的制造。一个明显的方法是将光学传感器直接集成到LCD背板上，正如早些时候报道的，这一领域的早期原型已经开始出现。24或者，聚合物光电二极管可以与聚合物oled组合在同一衬底上2得到类似的结果。这种方法的最大优点是，只需在可见的RGB显示像素之间添加“感测像素”，就可以以极低的增量成本将传感元素数组与显示器组合在一起。这将从本质上“免费”增加光学多点触控输入的显示，使这项令人兴奋的技术得以真正广泛采用。
致谢
我们感谢Stuart Taylor、Steve Bathiche、Andy Wilson、Turner Whitted和Otmar Hilliges提供的宝贵意见。
参考文献
1.嵌入AMLCD面板中的光学传感器:设计与应用。在美国07年学报》上(加利福尼亚州圣地亚哥，2007年8月4日)，ACM，纽约，纽约。
2.Bürgi, L.等。基于单片集成聚合物光电二极管和聚合物的光学接近和触摸传感器发光二极管。Org。电子。7(2006)。
3.我所知道和喜爱的多点触控系统(2007)，http://www.billbuxton.com/multitouchOverview.html．
4.Dietz, P, Leigh, D. DiamondTouch:一种多用户触摸技术。在第十四届ACM用户界面软件与技术年会论文集(2001年11月1114日，佛罗里达州奥兰多)，UIST’01。ACM,纽约,219226年。
5.基于挫折感全内反射的低成本多点触控传感。在十八人会议记录th用户界面软件和技术ACM年度研讨会(2005年10月2326日，华盛顿州西雅图)，UIST '05。ACM,纽约,115118年。
6.惠普TouchSmart触摸屏电脑,http://www.hp.com/united-states/campaigns/touchsmart/．
7.Hodges, S.， Izadi, S.， Butler, A.， Rrustemi, A.， Buxton, B. ThinSight:用于薄型显示器的多功能多点触摸传感。在20国会议记录th用户界面软件和技术ACM年度研讨会(纽波特，RI, 2007年10月0710日)，UIST '07。ACM,纽约,259268年。
8.哈德逊,S.E. 2004。使用发光二极管阵列作为触摸敏感的输入和输出器件。在第十七届会议的会议记录th用户界面软件和技术ACM年度研讨会(2004年10月2427日，新墨西哥州圣达菲)，UIST’04。ACM,纽约,287290年。
9.伊扎迪，S.等。C-Slate:一个多触点和物体识别系统，用于使用水平表面进行远程协作。在IEEE横向交互人机系统研讨会(罗德岛，2007年10月)，IEEE桌面，2007,IEEE, 310。
10.伊扎迪，S.等。与建立一个薄的形式因素触摸和有形桌面的经验。在IEEE横向交互人机系统研讨会(阿姆斯特丹，荷兰，2008年10月)，桌面2008,IEEE, 181184。
11.JazzMutant狐猴。http://www.jazzmutant.com/lemur_overview.php．
12.Jordà， S.， Geiger, G.， Alonso, M.， Kaltenbrunner, M. The reacTable:探索现场音乐表演和桌面有形界面之间的协同作用。在第一届有形与嵌入式互动国际会议论文集(巴吞鲁日，洛杉矶，2007年2月1517日)。TEI ' 07。ACM,纽约,139146年。
13.人工现实2,Addison-Wesley Professional(1991)。ISBN 0-201-52260-8
14.李，S，巴克斯顿，W，史密斯，k。一款多点触控三维触敏平板电脑。SIGCHI公牛16(1985年4月)，2125。
15.van Loenen, E.等。娱乐性:针对社交游戏体验的解决方案。在有形游戏工作室，IUI会议(2007)。
16.Loviscach, J.两指输入，标准触摸屏。在第20届ACM用户界面软件与技术年会论文集(Newport, RI, USA, 2007年10月0710)。尤伊斯特' 07。ACM，纽约，纽约，169172。
17.视觉触控板:一种双手手势输入设备。在第六届国际多模态接口会议论文集(宾夕法尼亚州州立学院，2004年10月1315日)，ICMI '04。ACM,纽约,289296年。
18.松下，N.， Rekimoto, J. 1997。HoloWall:设计手指、手、身体和物体敏感墙。在第十届ACM用户界面软件与技术研讨会论文集(1997年10月1417日，加拿大阿尔伯塔省班夫)，UIST '97。ACM,纽约,209210年。
19.2000年，日本，日本，日本，日本。双触摸:一种手写pda的双手界面。在第十三届ACM用户界面软件与技术年会论文集(2000年11月0608日，美国加利福尼亚州圣地亚哥)，UIST’00。ACM，纽约，纽约，211212。
20.N-trig duo-touch传感器,http://www.n-trig.com/．
21.SmartSkin:在交互表面上徒手操作的基础设施。在计算机系统中人为因素的SIGCHI会议论文集:改变我们的世界，改变我们自己(明尼阿波利斯，明尼苏达州，2025年4月，2002年)，CHI '02。ACM,纽约,113120年。
22.智能技术,http://smarttech.com(2009)。
23.Tactex控制公司。阵列传感器。http://www.tactex.com/products_array.php．
24.松下，T.液晶手指阴影感应，http://www3.toshiba.co.jp/tm_dsp/press/2005/05-09-29.htm．
25.手跟踪，手指识别和多点触控表面的和弦操作。特拉华大学博士论文(1999)。
26.《在数字办公桌上与纸张互动》。CACM 36， 7(1993) 8696。
27.TouchLight:一种用于基于手势交互的成像触摸屏和显示器。在第六届国际多模态接口会议论文集(宾夕法尼亚州州立学院，2004年10月1315日)，ICMI '04。ACM,纽约,6976年。
28.PlayAnywhere:一个紧凑的交互式桌面投影视觉系统。在第18届ACM用户界面软件与技术年会论文集(2005年10月2326日，华盛顿州西雅图)，UIST '05。ACM,纽约,8392年。
脚注
本文的原始版本出现在2007年ACM用户界面软件和技术研讨会论文集作为“ThinSight:用于薄形状因子显示器的多功能多点触摸传感”和在2008年IEEE水平交互人机系统研讨会论文集作为“构建一个轻薄的触摸和有形桌面的经验”。
DOI: http://doi.acm.org/10.1145/1610252.1610277
数据
图1。ThinSight为薄显示器带来了表面计算的新功能。左上:用多根手指在笔记本电脑原型上进行照片处理(注意屏幕被颠倒成平板电脑的样式)。右上:放在ThinSight桌面原型上的一只手、手机、遥控器和一卷磁带，最右边是相应的传感器数据。注意所有的物体是如何通过显示器成像的，潜在地不仅允许多点触摸，而且允许有形的输入。左下和右下:一个例子，展示了如何使用这种传感来支持数字绘画，使用多个指尖，一个真实的画笔和一个有形的调色板来改变油漆颜色。
图2。ThinSight的基本原理。一组反向反射光传感器被放置在液晶显示器后面。其中每一个都包含两个元素:一个发射体通过面板照射红外光;还有一个探测器，它可以捕捉屏幕前的指尖等物体反射的任何光线。
图3。顶部:传感器PCB的正面，显示7 × 5红外光传感器阵列。使每个探测器成为可能的晶体管在每个光传感器的右边都是可见的。底部:传感器PCB的背面只有一个PIC微控制器，一个USB接口和fet来驱动行和列的红外发光二极管。在我们的ThinSight笔记本电脑中使用了3个这样的pcb，而在桌面原型中有30个。
图4。左边显示的是典型的LCD边缘照明架构。液晶显示器由一堆光学元件组成。白光光源通常位于面板背面的一个或两个边缘。白色的反射器和透明的光导将光导向面板的前方。薄膜有助于均匀地散射光线，提高亮度。然而，它们也会导致红外光的过度衰减。在ThinSight中，如图所示，薄膜被替换并放置在光导的后面，以减少衰减，也减少了触摸时LCD弯曲所引起的噪音。传感器和发射器被放置在最终堆叠的底部，与反射器上的孔对齐。
图5。我们的笔记本原型。上图:三个pcb平铺在一起，安装在一块亚克力板上，总共提供105个传感像素。在最左边的白色反射镜上也有小孔。左下:一个孔被切在笔记本电脑的盖子，以允许pcb被安装在LCD后面。这提供了横跨笔记本电脑屏幕中心的感知功能。右下:原型机的侧视图，显示在其铰链上被翻转成平板电脑的样式。
图6。从侧面和后面看ThinSight桌面硬件。30个pcb(在一个5 × 6网格中)是平铺的，用带状电缆连接到一个集线板上，用于聚合数据和跨平铺通信。这在整个表面总共提供了1050个离散感测像素。
图7。左边是ThinSight传感器的原始数据，右边是插值和平滑后的数据。注意，原始图像的分辨率非常低，但包含足够的数据来生成右边相对丰富的图像。
图8。使用ThinSight可以很容易地感知指尖。左:用户将五个手指放在显示屏上操作照片。右:当手指按左图所示的位置放置时传感器数据的特写。对原始传感器数据进行:(1)插值放大，(2)归一化，(3)阈值化得到二值化图像，最后(4)通过连通分量分析得到指尖位置。
图9。一个2英寸直径的视觉标记和处理后的ThinSight图像的例子。
图10。使用ThinSight与使用IR的设备通信。左上:嵌入式微控制器/IR收发器/RGB LED设备。左下:触摸ThinSight显示屏上的软按钮，指示嵌入式设备上的RGB LED变为红色(右下)。右上:遥控器用于从远处向显示器发送信号，然后向RGB设备发送IR命令，使LED变为蓝色。
©2009 acm 0001-0782/09/1200 $10.00
允许为个人或课堂使用本作品的全部或部分制作数字或硬拷贝，但不得为盈利或商业利益而复制或分发，且副本在首页上附有本通知和完整的引用。以其他方式复制、重新发布、在服务器上发布或重新分发到列表，需要事先获得特定的许可和/或付费。
数字图书馆是由计算机协会出版的。版权所有©2009 ACM, Inc.
没有发现记录