ACM通信
研究突出了
Illumiroom:超越电视屏幕的沉浸式体验
IllumiRoom增强了电视周围的物理环境，以增强互动体验。
信贷:WebProNews
IllumiRoom是一个概念验证系统，它将投影光环绕在电视周围，将视频游戏和电影体验从电视屏幕带入现实世界。IllumiRoom使用3D扫描和投射光来改变房间的外观，诱导明显的运动，扩展视野，并实现全新的游戏体验。我们的系统完全是自校准的，可以在任何房间工作。我们对可能的投影可视化的设计空间进行了详细的探索，并展示了从游戏内容中触发和驱动这些可视化的方法。我们还会从两组目标用户(10名玩家和15名游戏设计师)中提供特定反馈;为提高电视之外的游戏和电影体验提供了见解。
1.简介
今天，电视仍然是客厅娱乐的焦点。尽管多年来视觉和音频质量有所提高，但我们观看的内容(如游戏、电影、电视节目)仍被困在电视屏幕内。由此产生的体验受到屏幕物理尺寸的限制，忽略了周围的物理环境。
在这篇论文中，我们提出了一种新的方法来增强观看体验，模糊屏幕上内容和周围房间之间的界限(见图1)．我们将视觉体验扩展到电视屏幕之外，使用投影仪覆盖周围物理环境的广阔区域(例如，您的客厅)。类似于焦点+上下文显示，3.电视提供传统的高分辨率游戏体验，而投影仪为用户的周边视觉提供低分辨率信息。与之前的工作相比，我们没有在平面的白色投影屏幕上进行投影。相反，我们捕捉现有房间的外观和几何形状(如家具、地毯、墙纸)，并使用这些信息来创建新颖的、交互式的视觉体验。
特别是，我们的工作研究了外围的投影可视化如何否定、包含或增强物理环境，从而增强电视屏幕上显示的内容。我们称之为可视化外围投射的幻想。IllumiRoom使用这些幻想改变房间的外观，诱导表观运动，扩展视野(FOV)，并实现全新的虚拟物理游戏体验。IllumiRoom完全是自校准的，只需要用户将投影仪对准他们的电视，它可以在任何房间工作。这个概念可以被开发成带有从头设计的游戏内容的下一代游戏主机，或者它可以成为现有主机的“附加组件”，让玩家编写脚本来“修改”他们最喜欢的游戏。虽然我们的讨论重点是互动电子游戏，但同样或类似的幻觉也可以用于增强电影和电视内容。
2.激动人心的情景
为了说明IllumiRoom背后的想法，想象一下坐在你的客厅里，在电视上玩视频游戏。当游戏开始时，房间会神奇地变成卡通形象。房间的颜色变得过饱和，你的书架上出现了卡通的边缘，与电子游戏中的阴影相匹配。你在游戏中遇到一个敌人，突然一颗子弹飞向你的角色，然后从电视中飞了出来。敌人向你投掷手榴弹。手榴弹从电视机里滚出来，从你的咖啡桌上弹开，在你的客厅里爆炸，弹片穿过你的书架。当你受到爆炸的伤害时，整个客厅似乎都在晃动。这只是IllumiRoom提供的众多体验之一。
3.背景
IllumiRoom使用了一种叫做投影映射将游戏体验从电视带到你的客厅。通常情况下，视频投影仪被用来在平面的白色屏幕上显示图像(例如，PowerPoint演示文稿)。投影映射将这些视频投影仪指向非平面物体，改变日常物体的外观。使用动画和交互渲染，日常物品可以通过投影光变得栩栩如生。7，1820.
在学术界，许多项目已经证明了使用投影仪来增强工作环境，16，18，24甚至是游戏体验。4，11，24之前的工作探索了适应非白色投影表面的方法，通过一种叫做辐射补偿的过程，19例如，将窗帘或建筑外立面变成几乎理想的投影表面(例如，Bimber等人)。5
在过去的十年里，投影地图的流行程度激增，12用于建筑物的户外广告、现场娱乐的特效和艺术装置。目前，艺术家可以通过渲染特定场景和投影仪位置的视频来创造惊人的效果。受这些艺术作品的启发，IllumiRoom生成实时的交互式幻象，自动适应任何房间、任何电视和任何游戏。
3.1.在外围显示
大尺寸、高分辨率显示器可能很贵。为了以更低的成本创造沉浸式显示器，Baudisch等人提出关注+上下文(F + C)显示,3.它有一个高分辨率的计算机显示器(焦点)被一个低分辨率的投影屏幕(上下文)包围。这种显示配置与人类视觉系统的设置相匹配。与眼球中心相比，周边视觉对运动高度敏感，但在区分颜色和形状方面相对较差。21这是由于受体密度较低和在中央凹外受体类型的分布变化所致。周边视觉在运动感知中起着重要作用10并增加沉浸感。22在IllumiRoom中，较小的显示器服务于中心凹的高分辨率功能，而投影仪服务于低分辨率，运动敏感的外围。
外围视觉的刺激也可以通过一个非常大的显示器来解决，F+C屏幕，3.一个山洞的设置中,8，15甚至是低分辨率的led阵列9(例如飞利浦Ambilight电视)。23按照这些思路，BBC最近的一个项目探索了使用投影仪和电视的F+C无源胶片体验，14但没有任何3D场景知识或交互性。IllumiRoom将这些想法推进到高分辨率投影内容，动态适应房间的外观和几何形状。IllumiRoom不依赖单独的投影屏幕，而是根据用户现有的客厅调整投影，并展示了大量可能的外围投影幻象。
4.IllumiRoom系统
我们对完全开发的IllumiRoom系统的设想包括放置在用户的咖啡桌上的超宽视场设备，投影在电视周围的大片区域上图2一个)．该设备将无线连接到下一代游戏机，作为辅助显示器。超宽视场可以通过超短抛射投影仪获得，或者通过将标准投影仪与球形/抛物面镜耦合(因为外围内容不需要统一的像素长宽比)。房间的几何形状可以通过深度传感器或结构光扫描获得(这只需要一个网络摄像头)。2，5，11
我们目前的概念验证原型使用了一个商品宽视场投影仪(InFocus IN126ST)和一个用于Windows传感器的微软Kinect(见图2 b)．原型受Kinect和投影仪视场(57°水平视场)的限制。因此，当用户坐在电视机前的沙发上时，该系统安装在用户头部的上方和后方。
Kinect传感器捕捉场景的颜色和几何形状，在校准过程中使用，并渲染外围投影幻象，以物理逼真的方式响应客厅家具(类似于Benko等人的想法，4威尔逊et al。24)．为了使幻觉与屏幕上的内容和物理环境紧密匹配，需要仔细校准系统。IllumiRoom系统的校准是全自动的，可以确定投影仪与深度传感器的相对位置以及电视在投影仪图像中的位置。因此，设置只需要投影仪和深度相机的位置，以覆盖电视周围的区域。
自动校准投影格雷码序列2在投影仪和Kinect的彩色摄像头之间建立紧密的对应关系。使用Kinect的默认参数，我们将这些对应转换为3D点。然后求解投影仪的内、外参数。由于镜面表面没有深度数据，比如闪亮的黑色电视，我们使用2D单应性图恢复电视的位置，在屏幕的每个角落显示虚拟标记。重要的是要注意校正只需要发生一次。IllumiRoom可以很容易地扩展以连续捕捉几何图形，实现对客厅的特殊变化，如移动家具和人。
4.1.辐射补偿
IllumiRoom项目是在现有的客厅家具上进行的，因此不能依赖于白色平坦的投影表面。使用辐射补偿5，19给定现有表面颜色和几何形状的知识，投射的光可以被调制以达到所需的颜色。然而，这一过程受到投影仪的亮度、动态范围和色基的限制，以及现有的表面颜色、材料和几何形状。因此，一些想要的表面颜色是无法实现的。例如，在我们的物理环境中，一个饱和的红色物体不能用我们的低成本商品投影仪显示饱和的绿色。
因此，所有的错觉都利用了它们发生在周边视觉的事实。在近距离观察时看似不真实的幻觉，在使用者的周边视觉中可能相当有效。大多数错觉并不试图精确地再现一个场景，而是旨在在周边引入运动。此外，巧妙地修改现有的表面颜色可能比完全替换颜色更有效。
修改表面颜色而不是房间表面几何形状的错觉与观看位置无关，因此可以由房间内的任何位置的多个用户观看。增加或修改房间几何形状的幻觉本质上依赖于观看位置，从房间内固定的点观看时效果最好。一般来说，随着房间的家具变得更加复杂，实际上修改几何形状的效果对观看位置更加敏感。
5.IllumiRoom幻想
我们设想，IllumiRoom系统支持各种各样的外围投影幻象，仅受限于游戏设计师的想象力。我们拥有我们认为代表设计空间主要维度的原型幻象(下一节将讨论)。这只是对设计空间的初步调查，并非详尽无遗。我们概述了用于创建幻象的技术，并描述了实现的幻象。通过演示最能理解这些错觉(观看在线视频:http://youtu.be/L2w-XqW7bF4)．
我们将幻象呈现为设计空间中的不同点。然而，大多数幻象可以组合在一起，为游戏设计师形成丰富而灵活的调色板。
5.1.关注+上下文
增加用户沉浸感最明显的方法是将电视屏幕上的内容延伸到房间中，用游戏的现实取代物理现实。我们称之为F + C全(见图3一)．这本质上是焦点+上下文显示，3.但使用非平面，非白色的投影表面，带有辐射补偿。如上所述，补偿现有表面颜色的能力是有限的，因此这种效果依赖于这样一个事实，即用户将直接关注电视屏幕而不是周边。
接下来的错觉,F + C边缘，提供外围内容的最大对比度表示，只显示黑白边缘信息(图3 b)．这种错觉对房间内的环境光更加强烈，并增加周边光流。
F + C分段将游戏扩展到电视机周围的后墙(图3 c)．虽然房间里的家具可能不太适合投影，但大多数电视至少有一部分被平坦的浅色墙壁包围，这提供了一个理想的、独立于视图的投影表面。这个后壁可以通过一个递归的RANSAC平面拟合程序找到，17植入了电视的位置。我们的原型目前依赖于一个手动指定的图像掩码来识别后墙。
虽然之前的幻想将所有游戏信息都渗透到物理环境中，但有时可能会采用更微妙的方法。例如，当观看一部恐怖电影时，反派的缺席会创造一种沉浸感和悬疑感的氛围，然后他们突然出现。当所有的信息都随时呈现时，就没有悬念或惊喜的机会。与F + C选择性只有某些游戏元素不受电视的影响(图3 d)．例如，第一人称射击游戏可能只会从电视中释放武器火力或爆炸。或者，在游戏中有选择地显示代表其他角色或关键道具的标记，从而增加其重要性。
这些幻觉增加了沉浸感，诱导了明显的运动，并提供了关于游戏内容的额外信息。F+C幻象都需要访问视频游戏的渲染过程。
5.2.外围流
如果我们无法进入渲染过程，只要我们掌握了游戏摄像机的运动信息，就仍然可以通过周边视觉流诱导出表观运动。在网格（图4一)，一个无限的网格随着游戏中的运动而移动。当用户移动或向左或向右看时，网格向相反的方向移动。当用户向前或向后移动时，网格会放大或缩小。
同样的,星际（图4 b)通过移动3D点来匹配游戏摄像机的移动，从而创建外围流。根据游戏摄像头的位置和方向，在电视和用户之间的虚拟空间中随机生成点数。
5.3.彩色增强
物理环境可以被增强以配合游戏的主题或情绪。例如，通过简单地将表面的颜色投影到自身上，房间的颜色可能会过度饱和，就像一幅卡通画，6然后绘制轮廓边缘黑色(图5)．类似的颜色也可以去饱和度，以创造一种黑白的，“黑色电影”的外观。我们把更复杂的纹理替换技术(例如，程序纹理)留给以后的工作。
5.4.结构位移
想象一下，视频游戏或电影中发生了一次威力巨大的爆炸，震动了你的整个房间。IllumiRoom可以使用投射光来修改房间中物体的外观，使它们看起来移动，改变大小，或以更极端的方式扭曲。由于投影仪补偿表面颜色的能力有限，如果位移小且短暂，这些错觉是最有效的。径向摆动（图6)在“力场”涟漪效应中扭曲了房间的表面几何形状。这种错觉在扩展的径向正弦波中取代了原来的表面纹理。
5.5.照明
在完全控制照明的情况下，物理环境中的照明可能会发生改变。19，20.房间照明可以根据游戏中的情绪或主题而改变。例如，空间场景的外观可以通过点光源和强烈的阴影来实现。的照明效果尝试将物理环境的照明条件与虚拟环境(图7)．我们的原型实现了柔和的阴影和一个单点光源，匹配游戏中最近的点光源。
5.6.物理相互作用
在《F+C》中，游戏中的选择性元素(游戏邦注:如子弹)将打破屏幕屏障并飞向物理环境中;然而，它与环境没有物理上的相互作用。反弹想象游戏中的某个元素离开虚拟环境，与物理现实互动。在我们的原型中，手榴弹从电视中滚出，然后根据使用房间几何的物理模拟在物理环境中反弹和滚动(图8)．从设计角度来看，需要注意的是，设计师并不知道手榴弹离开电视后会去哪里，因为它将适应用户房间的3D几何形状。
在雪下的雪与物理环境相互作用，在房间的表面短暂聚集。类似于星际，雪会根据用户在虚拟环境中的移动而移动，允许用户在雪中行走或开车(图8 b)．我们的原型模拟了雪的积累，通过旋转表面，朝上的正常逐渐变白。
6.设计空间
可能的外围投影幻觉的范围与电子游戏或电影中的视觉效果的范围一样大。为了更好地理解幻觉的全部范围，我们确定了设计空间的主要维度。幻觉是由三个主要因素定义的:幻觉的目标、与物理现实的联系或分离、与游戏内容的抽象程度。
6.1.幻想的目标
外围投影幻象可以通过多种方式增强游戏体验。所有提出的幻想都试图通过增加视场来增加用户的沉浸感。所有这些幻象都增加了用户的存在感，让用户觉得自己“身在游戏中”。此外，幻觉还可以诱导明显的动作，提供额外的信息和内容，创造氛围或主题感，并支持全新的物理虚拟游戏机制。这些目标并不是相互排斥的，一个幻觉可以支持多个目标。
6.2.连接到现实
IllumiRoom使设计师能够探索现实-虚拟连续体的整个光谱;13通过否定、包括或增加周围的物理环境。设计师可以否定物理环境，让客厅消失;从而使用户沉浸在一个完全虚拟的环境中(例如，F+C满，F+C边，网格，星场)．或者游戏可以基于现实，通过包含物理环境和有选择地将虚拟对象引入物理现实中(例如，F+C Seg, F+C Sel, Bounce, Snow)．最后，IllumiRoom实现了一个独特的中间地带，在那里物理环境被增强以匹配虚拟环境，创建一个混合现实，不清楚什么是真实或虚拟(例如，外观，照明，径向摆动)．
6.3.抽象
幻想可以依赖或独立于潜在的游戏内容。例如，如果我们将游戏内容扩展到电视之外，那么这种错觉就完全取决于游戏内容(游戏邦注:例如，F+C Full, F+C Edges, F+C Seg, F+C Sel, Bounce)．然而，如果我们展示的是抽象的可视化，如移动的网格，那么外围的幻觉就独立于游戏内容(例如，网格，星场，雪，外观，照明,径向摆动)．
7.触发器
幻想可以通过多种方式与游戏内容联系起来。理想情况下，《IllumiRoom》将直接整合到下一代主机中，并为《IllumiRoom》设计新游戏。我们设想一个API，它可以触发幻觉、改变表面外观、控制房间照明、将物体插入物理环境等。在我们的原型中，为了使系统能够与众多游戏一起工作，IllumiRoom系统是独立于游戏示例的组件，并且发送网络消息来共享信息。
如果游戏的源代码是可用的，那么游戏可以很容易地修改以触发效果。游戏事件可以通过简单的网络信息触发幻象的开启和关闭。玩家在虚拟世界中的位置和方向可以被发送去驱动周边流错觉。游戏可以通过使用更宽的视场进行第二次渲染来支持F+C错觉。在我们的原型中，这些信息通过共享内存中的纹理发送到IllumiRoom系统。
虽然大多数游戏的源代码可能不容易获得，但许多幻觉可以通过其他方式控制。例如，周边流错觉只需要测量玩家/摄像机的移动。通过对渲染游戏(如光流)的实时图像分析，可以获得近似。在我们的原型中，任何游戏图像都可以使用视频捕获卡(DeckLink Intensity Pro)进行捕获，然后通过光流技术进行分析以驱动错觉。
大量的游戏状态可能仅从用户通过控制器的输入中推断出来。考虑到游戏和控制器映射的知识，控制器输入可能直接映射到幻象。例如，如果游戏是第一人称射击游戏，玩家按下控制器上的“右触发器”按钮，那么玩家就必须在射击径向摆动错觉可能被激活。在我们的原型中，控制器的输入和游戏发送给控制器的振动器输出可以驱动幻觉。这适用于任何游戏。我们设想用户编写和共享他们最喜欢的游戏的“mod”，以与IllumiRoom系统一起工作。
在我们的原型中，游戏运行在与IllumiRoom系统相同的PC上。GlovePIE通过网络消息拦截并发送游戏控制器输入到IllumiRoom系统。控制器上的振动触觉输出是通过使用带有Arduino的Xbox控制器来捕获的。
8.用户评价
我们通过对最终用户“玩家”和专业游戏设计师的两项用户研究来评估IllumiRoom的概念。在这两项用户研究中，我们主要感兴趣的是在设计空间的不同维度上确定用户感知。就像电影或电子游戏不存在“最佳视觉效果”一样，我们也不期待找到“最佳错觉”。相反，我们寻找每种技术的优缺点。我们在这里总结了研究结果，详细信息请读者参阅全文。
8.1.最终用户的反馈
我们招募了10名参与者(年龄在2030岁，其中两名女性)，他们熟悉用Xbox手柄玩第一人称射击游戏。每个用户都与我们的11个幻想进行互动，我们将其与匹配的游戏内容相匹配，从而创造出完整的沉浸式体验。我们使用了各种开源游戏:《Red Eclipse》，《SuperTuxKart》，Unity3D的赛车例子，以及为之定制的DirectX应用反弹。见视频(http://youtu.be/L2w-XqW7bF4)来获取完整的体验。
对于每个错觉，用户首先只与电视上的游戏内容互动，然后错觉被激活。在以随机顺序观看了每个错觉后，参与者使用卡片分类任务在不同维度上对错觉进行评级和排名。首先是“整体满意度”，然后是对以下提示的回应“这很有趣”，“我觉得恶心”，“我觉得我在移动”，“我觉得我在游戏世界中”，以及“游戏和物理世界感觉像是分开的空间”。
参与者对幻象和IllumiRoom的概念反应非常积极图9．正如预期的那样，没有一个“获胜”的幻觉，而是在设计空间的不同维度上具有优势的一系列幻觉。参与者发现F+C错觉对游戏玩法最有用，因为它们自然提供了额外的游戏信息。例如，一位用户评论说F + C选择性“在寻找道具时非常有用，它让你只看到你周围重要的游戏片段。”
然而，F+C错觉也会让用户不知所措或更容易晕车。一位用户评论道F + C全，“当时发生了很多事情。看到你周围发生的一切真的很酷，但特别是在这样一款快节奏的游戏中，太多事情同时发生了。”的F + C选择性和F + C分段幻想似乎代表了沉浸感、添加内容信息和平衡用户舒适度之间的中间地带。正如一位用户所说F + C选择性“在所有这些内容中，这将是最有用、最有沉浸感的，而且不会分散注意力。”同样的,对网格和星际，许多用户评论说，他们有了更强的运动感，但错过了F+C错觉的上下文信息。
外观在创造游戏氛围方面做得很好。正如一位用户所说:“它的外观太棒了。就像这可能只是在某人的客厅里一直存在的一种影响。这真是太酷了。”径向摆动这是另一种“神奇”效果，“让你感觉自己在游戏中做着什么。”然而，一些用户表示，这种效果令人反感，因为“在现实世界中，你所有的东西都在颤抖。”正如一名用户所言:“这似乎是一个你应该保留到真正有影响力的时刻。所以我不想一直这样。”
照明为一些用户创造了更好的沉浸感和存在感。比起其他游戏，这款游戏更能让我感受到自己置身于游戏世界中。”为反弹许多用户提到了《使命召唤》等游戏中的手榴弹指示器，“大多数时候我根本看不到手榴弹……他们总是杀了我，所以这是一个好主意。”的雪错觉为用户创造了氛围感和运动感;然而，大多数用户并没有注意到与几何图形的物理交互。这是因为雪在撞击后很快“融化”了。一名用户评论说，他们“真的希望它能堆得更多……如果它堆积起来了，那就意味着我玩了多长时间，那就太酷了。”
8.2.游戏设计师的反馈
除了玩家，我们还从游戏设计师那里获得了关于我们的幻想的非正式反馈(N= 15)。我们将这些幻象展示给三组，每组由5名游戏设计师或游戏美术师组成。每位参与者都拥有5年以上的游戏行业经验。
虽然每个游戏设计师都有不同的偏好，但我们从中提取了设计师之间的共性。一般来说，游戏设计师是这么想的F + C全一开始让人印象深刻，但“可能不会持续很久。”他们认为最有希望的错觉是那些能改变情绪的错觉。外观)，改变了玩家的真实感(径向摆动)，或者有选择地展示游戏内容而不会让人不知所措(F+C选择性，F+C分段，反弹)．他们表达了对需要与游戏紧密协调的幻觉的担忧(照明);因为他们担心如果幻想与游戏内容不完美匹配，会破坏用户的幻想。因此，他们看到了雪和星际，它们与源内容的联系要松散得多。他们都建议可以使用IllumiRoom的游戏(游戏邦注:如《极限竞速》、《天际》、《光晕》和《传送门》)，并热情地表示他们希望在家里也有这样的设置。
8.3.扩展电影和视频
虽然我们的讨论主要集中在互动式视频游戏上，但IllumiRoom也可以扩展电影和电视的观看体验。这种全景视频内容可以显示在电视周围使用F + C技术(例如,F + C全)．例如,图10 c展示了我们录制的一场冰球比赛，“焦点”视频紧紧地抓住球员，捕捉他们的动作，而“环绕”视频则让观众沉浸在球场和比赛现场球迷的实时全景中。或在图10 d，我们演示了一场现场时装秀，“聚焦”视频捕捉t台上的模特，“环绕”视频以抽象的视觉效果为特色，与服装的主题相匹配。
为了开始实验这样的视频体验，我们建造了一个定制的双摄像头装置，包括两个标准的1080p视频摄像头:一个窄视场“聚焦”摄像头和一个使用广角镜头的宽视场“环绕”摄像头。另外，IllumiRoom视频内容可以用超高分辨率(4K)相机捕捉，或者可以推断传统视频内容(例如，助手等人，1诺维和Bove)。15我们在IllumiRoom中录制和观看这种双源视频的经验让我们相信，通过创造性地结合两种视频源，可以实现一套全新的电影效果。
9.结论
在本文中，我们提出了一个概念验证系统，用于增强电视周围的物理环境，以创建更神奇的沉浸式体验。我们展示了11个外围投影幻象，展示了设计空间的多样性。然后我们从玩家和游戏设计师那里获得关于设计空间维度的错觉反馈。虽然我们没有正式比较IllumiRoom系统与标准电视设置的体验，但两个用户组非常积极的反馈表明，这种方法有很大的希望。
我们在设计空间中探索了11个点，但还有许多外围投影幻觉有待探索。我们只是触及了虚拟环境和物理环境之间共享物理表示的可能的表面(例如，反弹)．此外，虽然我们分别研究了每个幻觉，但未来的工作应该研究幻觉的组合，以及游戏设计师如何使用这些幻觉。由于我们的一些幻想扭曲了现实，未来的工作应该探索用户愿意在自己的客厅里把他们对现实的概念推进到什么程度。
另一个有前途的方向是进一步探索视频内容(如电视节目或完整长度的故事片)的错觉。最新的邦德电影中的手榴弹会在你的客厅里爆炸吗?如何编写这样的内容?研究电影导演应该如何处理电影的固定性质和实时系统融入用户客厅的随机性是很重要的。
此外，我们连接内容和幻象的方法并不详尽。应该可以使用其他线索(如音频)来触发幻觉。例如，电影中的一声巨响可能会引发径向摆动错觉。像这样简单的技术可以让用户“修改”现有的电影和游戏，并共享脚本。
最后，在IllumiRoom系统进入每个客厅之前，必须确定系统的最终形状因素、成本和计算需求。虽然关于游戏和电影在电视之外的未来还有许多未解之谜，但我们希望我们已经证明了这些问题值得回答。
参考文献
1.助手，A, Avraham, T, Schechner, Y.多尺度超宽中心凹视频外推。在IEEE组成, 2011年。
2.用编码结构光技术解决对应问题的最新进展:综述。模式识别31， 7(1998)， 963982。
3.Baudisch, P, Good, N, Stewart, P.焦点+上下文屏幕:将显示技术与可视化技术相结合。在ACM尤伊斯特, 2001年。
4.Benko, H.， Jota, R.， Wilson, ad .。在ACM CHI,2012年。
5.奥巴马州的宾伯、艾默林、T.克莱默，用智能投影仪进行嵌入式娱乐。IEEE计算机381(2005年1月)，1626。
6.比伯，O，岩井，D.叠加动态范围。ACM反式。图形275(2008年12月)，1。
7.宾伯(Bimber)、拉斯卡尔(Raskar)。空间增强现实:融合现实和虚拟世界。正义与发展党彼得斯,2005年。
8.Cruz-Neira, C.， Sandin, D.， DeFanti, T.基于环绕屏幕投影的虚拟现实:CAVE的设计和实现。在ACM SIGGRAPH, 1993年。
9.高希，A.， Trentacoste, M.， Seetzen, H.， Heidrich, W.来自虚拟环境的真实照明。在欧洲图形学渲染研讨会, 2005年。
11.Jones, B.， Sodhi, R.， Campbell, R.， Garnett, G.， Bailey, B.，构建你的世界并在其中玩耍:与复杂物体上的表面粒子互动。在IEEE ISMAR, 2010年。
12.琼斯，B.， Sodhi, R.， Karsch, K.， Casperson, M.投影映射中心，2014。http://projection-mapping.org．
13.米尔格拉姆，P.， Takemura, H.， Utsumi, A.， Kishino, F.增强现实:现实-虚拟连续统一体上的一类显示。SPIE 2351，遥操作器网真技术282,(1995)。
14.米尔斯，P.，谢赫，A.，托马斯，G.，德本汉姆，P.环绕视频。在网络和电子媒体峰会, 2011年。
15.Novy, d.e.， Bove, V.M.无限乘九，2013。http://obm.media.mit.edu．
16.无处不在的显示投影仪:一种创建无处不在的图形界面的设备。在ACM主要, 2001年。
17.Quirk, P.， Johnson, T.， Skarbez, R.， Towles, H.， Gyarfas, F.， Fuchs, H.投影显示的ransac辅助显示模型重建。在IEEE虚拟现实, 2006年。
18.Raskar, R.， Welch, G.， Cutts, M.， Lake, A.， Stesin, L.， Fuchs, H.未来的办公室:基于图像建模和空间沉浸式显示的统一方法。在ACM SIGGRAPH, 1998年。
19.Raskar, R.， Welch, G.， Low, k.k.， Bandyopadhyay, D.着色灯:用基于图像的照明使真实物体具有动画效果。在欧洲制图技术研讨会, 2001年。
20.Raskar, R, Ziegler, R, Willwacher, T.动态的卡通立体模型。在ACM NPAR, 2002年。
22.Tan, d.s.， Gergle, D.， sccupelli, P.， Pausch, R.在相似的视角下，较大的显示器提高了空间性能。在ACM CHI, 2003年。
23.weffer - albu, A.， de Waele, S.， Hoogenstraaten, W.， Kwisthout, C.使用先进Ambilight的沉浸式电视观看。在IEEE ICCE, 2011年1月。
24.威尔逊，a.d.，本科，H.，伊扎迪，S.， Hilliges, O.用Beamatron可操纵的增强现实。在ACM尤伊斯特,2012年。
脚注
本文的原始版本题为“IllumiRoom:交互体验的外围投影幻象”，并发表在2013年计算系统中人为因素的ACM SIGCHI会议论文集．
http://glovepie.org/glovepie.php．
数据
图1。IllumiRoom是一个概念验证系统，它增强了电视周围的物理环境，以增强互动体验。我们探索投影可视化的设计空间，可以否定、包含或增强周围的物理环境。(a)通过对物理环境的3D扫描，我们可以(b)直接扩展游戏的视场，(c)有选择地渲染场景元素，(d)增强物理环境的外观，这里是作为一个卡通。观看在线视频:http://youtu.be/L2w-XqW7bF4。
图2。我们对产品化的IllumiRoom系统的设想包括一个超宽视场设备，它安装在咖啡桌上(a)，并将内容投射到电视周围的区域。(b)我们目前的概念验证原型使用一个现成的投影仪和一个Kinect传感器。
图3。在电视周围投射更广阔的游戏内容可以增加沉浸感。(一)F + C全:完整的游戏内容通过辐射补偿投射到周围的家具上。(b)F + C边缘:只投射游戏内容边缘的高对比度版本。(c)F + C分段:游戏内容只投射到平坦的后墙上。(d)F + C选择性:选择性的游戏内容(如子弹)从电视中流出。
图4。通过显示抽象的周边视觉流，可以在不访问游戏渲染的情况下诱导表观运动。(一)无限网格随着游戏的摄像机移动。(b) 3 d星际球的移动与游戏的摄像机。
图5。外观:物理环境的外观可以被增强(a)，以配合游戏的主题。(b)卡通超饱和颜色和剪影边缘。(c)黑白(去饱和)色。
图6。径向摆动:为了产生“力场”涟漪效应，物理表面纹理被径向扩展的正弦模式所取代。
图7。照明:将物理环境的光照和阴影与虚拟环境中的光照进行匹配。
图8。虚拟对象可以真实地与物理对象进行交互。(一)反弹一颗手榴弹从电视机里滚出来，在客厅里弹来弹去。(b)在雪，飘落的雪花会根据用户在游戏中的移动而移动，并与物理环境相互作用。
图9。对用户研究中评估的每个错觉的平均评级。参与者对“总体满意度”进行了打分，并对李克特五分制的五个问题进行了回答，从“非常不同意”到“非常同意”。
图10。IllumiRoom还可以用于全景电影和视频。(a)一个用于捕捉F+C视频的定制双摄像头装置(a).全景视频内容可以显示在现有客厅家具的顶部(b).体育游戏可以直接扩展，提供额外的背景(C).更抽象的内容可以使用在外围，如这些围绕时装t台视频的抽象可视化(d)。
数字图书馆是由计算机协会出版的。版权所有©2015 ACM, Inc.
没有发现记录