ACM通信gydF4y2Ba

研究突出了gydF4y2Ba

局部拉普拉斯滤波器:基于拉普拉斯金字塔的边缘感知图像处理gydF4y2Ba

作者:Sylvain Paris, Samuel W. Hasinoff, Jan KautzgydF4y2Ba
ACM通信，2015年3月，Vol. 58 No. 3, page 81-91gydF4y2Ba
10.1145 / 2723694gydF4y2Ba
评论gydF4y2Ba

拉普拉斯金字塔是图像多尺度分解的普遍方法，广泛用于图像分析。然而，由于它是由空间不变的高斯核构造的，拉普拉斯金字塔被广泛认为不适合表示边缘，以及边缘感知操作，如边缘保持平滑和色调映射。为了解决这些问题，人们提出了大量的替代技术和表示方法，例如，各向异性扩散、邻域滤波和专门的小波基。虽然这些方法已经证明了成功的结果，但它们以额外的复杂性为代价，通常伴随着更高的计算成本或需要对生成的结果进行后处理。在本文中，我们展示了最先进的边缘感知处理使用标准拉普拉斯金字塔。我们用像素值上的一个简单阈值来描述边缘，这允许我们区分大规模的边缘和小规模的细节。在此基础上，我们提出了一套图像滤波器，以实现边缘保持平滑、细节增强、色调映射和反向色调映射。我们的方法的优点是它的简单和灵活，只依赖于简单的点非线性和小高斯卷积;不需要优化或后处理。正如我们所展示的，我们的方法产生了持续高质量的结果，没有削弱边缘或引入晕。gydF4y2Ba

回到顶部gydF4y2Ba

1.简介gydF4y2Ba

拉普拉斯金字塔被用于分析不同尺度的图像，应用范围很广，比如压缩，gydF4y2Ba^6gydF4y2Ba纹理合成,gydF4y2Ba^18gydF4y2Ba和协调。gydF4y2Ba^32gydF4y2Ba然而，这些金字塔通常被认为是一个糟糕的选择，在应用中，图像的边缘起着重要的作用，例如，边缘保持平滑或色调映射。金字塔所建立的各向同性、空间不变、光滑的高斯核被认为几乎与边缘不连续相对立，而边缘不连续是精确定位和本质上的各向异性。此外，水平的抽取，即分辨率的连续降低2倍，经常被批评引入混叠伪影，导致一些研究人员(如Li等人)。gydF4y2Ba^21gydF4y2Ba)，建议省略。这些争论经常被引用为更复杂的方案的动机，如各向异性扩散，gydF4y2Ba^{1gydF4y2Ba，gydF4y2Ba29gydF4y2Ba}附近的过滤器,gydF4y2Ba^{19gydF4y2Ba，gydF4y2Ba34gydF4y2Ba}edge-preserving优化,gydF4y2Ba^{4gydF4y2Ba，gydF4y2Ba11gydF4y2Ba}和edge-aware小波。gydF4y2Ba^12gydF4y2Ba

虽然拉普拉斯金字塔可以使用简单的图像调整程序来实现，但其他方法依赖于更复杂的技术。例如，双边滤波器依赖于一个空间变化的核，gydF4y2Ba^34gydF4y2Ba基于优化的方法(如fatal等，gydF4y2Ba^13gydF4y2BaFarbman et al .,gydF4y2Ba^11gydF4y2BaSubr et al .,gydF4y2Ba^31gydF4y2Ba和Bhat等人。gydF4y2Ba^4gydF4y2Ba)最小化空间上的不均匀能量，其他方法为每个新图像建立专用基函数(如Szeliski，gydF4y2Ba^33gydF4y2Ba法塔尔,gydF4y2Ba^12gydF4y2Ba和fatal等人。gydF4y2Ba^15gydF4y2Ba)．这种额外的复杂程度也常常与实际的缺点有关。由于过程的迭代性质，各向异性扩散的参数很难设置，邻域滤波器往往会使边缘过锐化，gydF4y2Ba^5gydF4y2Ba而基于优化的求解方法由于求解算法的复杂性，其可扩展性较差。虽然这些缺点中的一些可以在后处理中得到缓解，例如，双边过滤的边缘可以平滑，gydF4y2Ba^{3.gydF4y2Ba，gydF4y2Ba10gydF4y2Ba，gydF4y2Ba19gydF4y2Ba}由此引起额外的计算和参数设置，直接产生良好效果的方法是较好的选择。在本文中，我们证明了最先进的边缘感知滤波器可以用标准拉普拉斯金字塔实现。我们将我们的方法表述为过滤输出的拉普拉斯金字塔结构。对于每个输出金字塔系数，我们渲染一个滤波后的全分辨率图像，根据相同尺度下对应的局部图像值进行处理，使其具有所需的属性，然后从滤波后的图像中构建一个新的拉普拉斯金字塔，然后将相应的系数复制到输出金字塔中。这种方法的优点是，虽然在任何地方都可以生成具有所需属性的图像，但通常更容易在本地获得该属性。例如，全局细节增强通常需要非线性图像分解(如fatal等，gydF4y2Ba^14gydF4y2BaFarbman et al .,gydF4y2Ba^11gydF4y2Ba和Subr等人。gydF4y2Ba^31gydF4y2Ba)，但是增强像素附近的细节可以用一个简单的以像素强度为中心的s形对比曲线来完成。这种局部变换只在像素附近达到预期的效果，但足以估计输出的精细尺度拉普拉斯系数。我们对每个系数独立地重复这个过程，并将金字塔折叠以产生最终的输出。gydF4y2Ba

我们通过分析其对步骤边缘的影响来激发这种方法，并表明，边缘可以从小规模的细节与颜色差异的简单阈值进行区分。我们提出了一个算法gydF4y2BaOgydF4y2Ba（gydF4y2BaNgydF4y2Ba日志gydF4y2BaNgydF4y2Ba)的复杂性gydF4y2BaNgydF4y2Ba像素。虽然我们的算法不像其他技术那样快，但它可以实现以前工作难以获得的视觉上引人注目的结果。我们通过实现一系列边缘感知滤波器来演示我们的方法，如边缘保持平滑、细节增强、色调映射和反向色调映射。我们提供了大量的结果，包括大幅度的图像转换。它们中没有一个显示出光晕，因此表明只使用拉普拉斯金字塔确实可以获得高质量的无光晕结果，而这在以前被认为是不可能的。gydF4y2Ba

的贡献。gydF4y2Ba这项工作的主要贡献是一种灵活的方法，通过简单的逐点操作拉普拉斯金字塔来实现边缘感知图像处理。我们的方法建立在对图像边缘如何在拉普拉斯金字塔中表示以及如何在局部方式中操纵它们的新理解之上。在此基础上，我们设计了一套边缘感知滤波器，产生高质量的无光晕结果(gydF4y2Ba图1gydF4y2Ba)．gydF4y2Ba

回到顶部gydF4y2Ba

2.相关工作gydF4y2Ba

Edge-aware图像处理。gydF4y2Ba边缘感知图像处理已经受到了广泛的关注，我们会参考书籍和调查来进行深入的介绍。gydF4y2Ba^{1gydF4y2Ba，gydF4y2Ba20.gydF4y2Ba，gydF4y2Ba27gydF4y2Ba}最近，几种方法已经证明了令人满意的结果和良好的性能(例如，Chen等，gydF4y2Ba^7gydF4y2BaFarbman et al .,gydF4y2Ba^11gydF4y2Ba法塔尔,gydF4y2Ba^12gydF4y2BaSubr et al .,gydF4y2Ba^31gydF4y2BaCriminisi et al .,gydF4y2Ba^8gydF4y2Ba他等。gydF4y2Ba^17gydF4y2Ba卡斯和所罗门gydF4y2Ba^19gydF4y2Ba)．我们的实际贡献是提供始终如一地获得至少同样好的结果的过滤器，具有易于设置的参数，可以只用基本的图像大小调整例程实现，是非迭代的，不依赖于优化或后处理。特别是，不同于梯度域方法(如fatal等。gydF4y2Ba^13gydF4y2Ba)时，我们不需要解可能引入不可积梯度场伪影的泊松方程。从概念的角度来看，我们的方法是基于图像金字塔的，并且本质上是多尺度的，这区别于以两尺度分解表示的方法(例如，Chen等人，gydF4y2Ba^7gydF4y2BaSubr et al .,gydF4y2Ba^31gydF4y2Ba和He等人。gydF4y2Ba^17gydF4y2Ba)．gydF4y2Ba

Pyramid-based edge-aware过滤。gydF4y2Ba正如前面所描述的，金字塔并不是用保留边缘的方式过滤图像的典型代表，只有少数沿着这些线的技术被提出。第一种方法是直接缩放拉普拉斯金字塔的系数;然而，这通常会产生光晕。gydF4y2Ba^21gydF4y2Ba虽然在医学成像(如Vuylsteke和Schoeters)的背景下，光晕可能是可以容忍的，gydF4y2Ba^36gydF4y2Ba和Dippel等人。gydF4y2Ba^9gydF4y2Ba)，它们在摄影中是不可接受的。gydF4y2Ba

法塔尔等。gydF4y2Ba^13gydF4y2Ba通过使用高斯金字塔来计算应用于图像梯度的缩放因子来避免光晕。他们通过解泊松方程来重建最终的图像。相比之下，我们的方法直接操作图像的拉普拉斯金字塔，而不需要全局优化。法塔尔等。gydF4y2Ba^14gydF4y2Ba使用多尺度图像分解来合并多个图像进行细节增强。它们的分解是基于双边滤波器的重复应用。他们的方法类似于建立一个拉普拉斯金字塔，但没有减少层次，并使用一个空间变化的核而不是高斯核。然而，他们的研究与我们有很大的不同，因为他们关注多图像的组合和速度。本着类似的精神，Farbman等人。gydF4y2Ba^11gydF4y2Ba用最小二乘格式代替双边滤波计算多尺度保边分解。这项工作也不同于我们，因为它主要关注的是一个新的基于优化的过滤器的定义和应用。在色调映射的背景下，Mantiuk等人。gydF4y2Ba^23gydF4y2Ba用高斯金字塔模型模拟人类的感知。最终的图像是优化过程的结果，这偏离了我们只处理金字塔的目标。gydF4y2Ba

法塔尔gydF4y2Ba^12gydF4y2Ba描述特定于每个图像的小波基。他明确地考虑边来定义基函数，从而降低了金字塔层次之间的相关性。从概念的角度来看，我们的工作和fatal的是互补的。他设计的金字塔中，边缘不产生相关系数，而我们试图更好地理解这种相关性，以在滤波过程中保持它。gydF4y2Ba

李等人。gydF4y2Ba^21gydF4y2Ba演示一个基于一组通用的空间不变小波的色调映射算子，反驳这种小波不适合边缘感知处理的流行观点。他们的方法依赖于一种校正方案，以保持系数之间的空间和尺度内相关性，他们还主张以全分辨率计算金字塔的每一级，以防止混叠。然而，当应用于拉普拉斯金字塔时，需要强烈的修正来避免光晕，这阻止了局部对比度的大幅增加。相比之下，在这项工作中，我们表明拉普拉斯金字塔可以产生广泛的边缘感知效果，包括极端细节放大，而不引入光晕。gydF4y2Ba

高斯金字塔与高斯尺度空间的概念密切相关，高斯尺度空间是由一系列不断增大的高斯核对图像进行滤波而定义的。虽然这些方法也涉及到由边缘产生的尺度之间的相关性，但它们主要用于分析的目的(例如，WitkingydF4y2Ba^37gydF4y2Ba和Witkin等人。gydF4y2Ba^38gydF4y2Ba)．gydF4y2Ba

高斯金字塔和拉普拉斯金字塔的背景。gydF4y2Ba我们的方法是基于标准的图像金字塔，我们简要地总结了其构造(更多的细节，请参阅伯特和阿德尔森gydF4y2Ba^6gydF4y2Ba)．给定一个图像gydF4y2Ba我gydF4y2Ba,它的gydF4y2Ba高斯金字塔gydF4y2Ba是一组图像{gydF4y2BaGgydF4y2Ba_lgydF4y2Ba}叫做gydF4y2Ba水平gydF4y2Ba，表示图像分辨率逐渐降低的版本，其中高频细节逐渐消失。在高斯金字塔中，最底层是原始图像，gydF4y2BaGgydF4y2Ba_0gydF4y2Ba＝gydF4y2Ba我gydF4y2Ba,gydF4y2BaGgydF4y2Ba_{lgydF4y2Ba＋1gydF4y2Ba}= downsample (gydF4y2BaGgydF4y2Ba_lgydF4y2Ba)是低通版本的gydF4y2BaGgydF4y2Ba_lgydF4y2Ba有一半的宽度和高度。滤波和抽取过程是迭代的gydF4y2BangydF4y2Ba时间，通常直到关卡gydF4y2BaGgydF4y2Ba_ngydF4y2Ba只有几个像素。的gydF4y2Ba拉普拉斯算子的金字塔gydF4y2Ba是一个密切相关的结构，其级别{gydF4y2BalgydF4y2Ba_lgydF4y2Ba}表示不同空间尺度的细节，将图像分解成大致分开的频带。拉普拉斯金字塔的层次是由细节定义的，这些细节区分了高斯金字塔的连续层次，gydF4y2BalgydF4y2Ba_lgydF4y2Ba＝gydF4y2BaGgydF4y2Ba_lgydF4y2Baupsample (gydF4y2BaGgydF4y2Ba_lgydF4y2Ba+ 1)，其中upsample(·)是一个算子，它使用平滑核将每个维度的图像大小加倍。最顶层的拉普拉斯金字塔，也被称为gydF4y2Ba剩余gydF4y2Ba，定义为gydF4y2BalgydF4y2Ba_ngydF4y2Ba＝gydF4y2BaGgydF4y2Ba_ngydF4y2Ba对应的是图像的一个小版本。拉普拉斯金字塔可以gydF4y2Ba倒塌gydF4y2Ba通过递归应用来重建原始图像gydF4y2BaGgydF4y2Ba_lgydF4y2Ba＝gydF4y2BalgydF4y2Ba_lgydF4y2Ba+ upsample (gydF4y2BaGgydF4y2Ba_{lgydF4y2Ba＋1gydF4y2Ba}),直到gydF4y2BaGgydF4y2Ba_0gydF4y2Ba＝gydF4y2Ba我gydF4y2Ba是恢复。gydF4y2Ba

回到顶部gydF4y2Ba

3.拉普拉斯金字塔的边处理gydF4y2Ba

边缘感知处理的目的是修改输入信号gydF4y2Ba我gydF4y2Ba要创建一个输出gydF4y2Ba我gydF4y2Ba的大的不连续gydF4y2Ba我gydF4y2Ba也就是说，它的边缘保持不变，因此它们的侧面保持相同的整体形状。例如，显著边缘的振幅可以增加或减少，但边缘过渡不应该变得更平滑或更尖锐。以这种边缘感知方式处理图像的能力对于以空间变化的方式操作图像的技术尤其重要，如图像增强或色调映射。在这些应用中，没有考虑到边缘会导致分散注意力的视觉假象，如光晕、边缘偏移或梯度反转。在接下来的讨论中，为了说明，我们集中在我们寻求减少边缘振幅的情况下，当增加边缘振幅时，辐角是对称的。gydF4y2Ba

在这项工作中，我们通过颜色空间中相应的不连续的大小来表征边缘，这取决于应用程序;我们假设边缘产生的变化比纹理产生的变化大。该模型类似于许多现有的边缘感知滤波技术(如Aubert和Kornprobst)gydF4y2Ba^1gydF4y2Ba和Paris等人。gydF4y2Ba^27gydF4y2Ba）;我们将在后面讨论这个假设对我们结果的影响。由于这种大小上的差异，代表边缘的拉普拉斯系数也往往比那些由纹理引起的系数大。一种朴素的方法来降低边缘振幅同时保持纹理截断这些大的系数。虽然这创造了一个较小振幅的边缘，但它忽略了这些大系数的实际“形状”，并将相同的较低的值分配给所有这些系数。这将产生一个过度光滑的边缘，如gydF4y2Ba图2gydF4y2Ba．gydF4y2Ba

直观地说，一个更好的解决方案是缩小对应于边缘的系数，以保持它们的轮廓，并保持其他系数不变，以便只有边缘被改变。然而，如何分离这两种系数尚不清楚，因为不同轮廓的边缘在尺度上产生不同的系数。另一方面，根据我们的模型，边缘在图像空间中很容易识别;颜色差异阈值足以区分边缘和纹理变化。这是我们方法的一个关键方面:我们生成新的金字塔系数通过主要工作在gydF4y2Ba输入图像gydF4y2Ba而不是直接改变金字塔系数。gydF4y2Ba

我们的算法的整体设计源自于这一见解:我们构建了所需输出图像特定的近似gydF4y2Ba每个金字塔系数gydF4y2Ba．这是与现有文献的一个主要区别。而以前的技术是在优化方面制定的(例如，Farbman等。gydF4y2Ba^11gydF4y2Ba)、偏微分方程(如Perona和MalikgydF4y2Ba^29gydF4y2Ba)，或当地平均(如Tomasi和ManduchigydF4y2Ba^34gydF4y2Ba)，我们通过计算这些局部图像逼近和标准图像金字塔操作来表达我们的滤波器。在实践中，我们使用输入的本地处理版本重新计算每个金字塔系数的值，并将所有这些新系数值合并到最终结果中。对于位置的每个系数(gydF4y2Bax, ygydF4y2Ba)和水平gydF4y2BalgydF4y2Ba，我们首先确定输入图像中该系数所依赖的区域。例如，为了减少边缘的振幅，我们夹紧该区域的所有像素值，以便与平均值的差值不超过用户提供的阈值。处理后的图像具有所期望的特性，即边缘现在在振幅上受到限制，最多是阈值的两倍。这也有一个副作用，扁平化的细节通过边缘。正如我们下面讨论的，这些细节并没有丢失，它们实际上是由金字塔系数以另一边的边缘为中心，如图所示gydF4y2Ba图3gydF4y2Ba．然后，我们计算处理后的图像的拉普拉斯金字塔，以创建捕捉这一特性的系数。特别地，这给出了系数的值(gydF4y2Bax, ygydF4y2Ba，gydF4y2BalgydF4y2Ba)我们所寻求的。另一种解释我们方法的方法是，我们局部过滤图像，例如，通过局部对比度下降，然后确定相应的系数在拉普拉斯金字塔。我们重复这个过程，这样金字塔中的每个系数都被计算出来。gydF4y2Ba

细节保存。gydF4y2Ba正如前面提到的，在这一点上，一个合理的担忧是，被箝位的图像在阈值区域丢失了细节，这反过来可能会导致最终输出的损失。然而，细节的丢失并不会影响到我们的最终结果。直观上，被夹住的细节位于“边缘的另一边”，并由其他系数表示。将该方案应用于所有金字塔系数准确地表示边缘每一侧的纹理，同时捕捉边缘振幅的减少(gydF4y2Ba图3gydF4y2Ba)．此外，夹紧只影响一半的边缘，通过结合“边缘两侧”的系数，我们的方法重建了一个与输入图像非常相似的边缘轮廓，也就是说，输出轮廓不会受到过度平滑的影响。通过检查金字塔系数，我们的方案满足了我们的初始目标，即边缘系数被缩小，而表示纹理的其他系数被保留(gydF4y2Ba图2gydF4y2Ba)．gydF4y2Ba

回到顶部gydF4y2Ba

4.当地的拉普拉斯算子的滤波gydF4y2Ba

现在，我们将在前一节中获得的直觉形式化并介绍gydF4y2Ba当地的拉普拉斯算子的滤波gydF4y2Ba，我们提出了一种基于拉普拉斯金字塔的边缘感知图像处理新方法。文中给出了一个直观的概述gydF4y2Ba图4gydF4y2Ba伪代码见算法1。gydF4y2Ba

在局部拉普拉斯滤波中，通过构造拉普拉斯金字塔{来处理输入图像gydF4y2BalgydF4y2Ba［gydF4y2Ba我gydF4y2Ba']}的输出，每次一个系数。对于每个系数(gydF4y2Bax, ygydF4y2Ba，gydF4y2BalgydF4y2Ba)时，我们生成一个中间图像gydF4y2Ba通过应用逐点单调重映射函数gydF4y2BargydF4y2Ba_{ggydF4y2Ba，gydF4y2Ba}(·)到原始全分辨率图像。这个重映射函数(其设计我们稍后讨论)依赖于高斯金字塔的局部图像值gydF4y2BaggydF4y2Ba＝gydF4y2BaGgydF4y2Ba_lgydF4y2Ba（gydF4y2Bax, ygydF4y2Ba)和user参数gydF4y2Ba用来区分边缘和细节。我们计算中间图像的金字塔{gydF4y2BalgydF4y2Ba［gydF4y2Ba}，并将相应的系数复制到输出{gydF4y2BalgydF4y2Ba［gydF4y2Ba我gydF4y2Ba']}。在计算完输出金字塔的所有系数后，我们对输出金字塔进行折叠以得到最终结果。gydF4y2Ba

该算法的直接实现产生了复杂性gydF4y2BaOgydF4y2Ba（gydF4y2BaNgydF4y2Ba^2gydF4y2Ba),gydF4y2BaNgydF4y2Ba表示图像中像素的数量，因为每个系数都意味着另一个金字塔的构造gydF4y2BaOgydF4y2Ba（gydF4y2BaNgydF4y2Ba)像素。然而，通过只处理需要评估的次金字塔，这种成本可以以一种直接的方式降低gydF4y2BalgydF4y2Ba_lgydF4y2Ba［gydF4y2Ba）（ggydF4y2BaydF4y2Bax, ygydF4y2Ba所示),gydF4y2Ba图4gydF4y2Ba．这个次金字塔的底部位于一个gydF4y2BaKgydF4y2Ba×gydF4y2BaKgydF4y2Ba次区域gydF4y2BaRgydF4y2Ba输入图像的gydF4y2Ba我gydF4y2Ba,在那里gydF4y2BaKgydF4y2Ba＝gydF4y2BaOgydF4y2Ba（2gydF4y2Ba^lgydF4y2Ba）;对于使用标准5锥插值滤波器构建的拉普拉斯金字塔，可以表明gydF4y2BaKgydF4y2Ba= 3 (2gydF4y2Ba^{lgydF4y2Ba+ 2gydF4y2Ba}1).将事实与水平放在一起gydF4y2BalgydF4y2Ba包含gydF4y2BaOgydF4y2Ba（gydF4y2BaNgydF4y2Ba/ 2gydF4y2Ba^lgydF4y2Ba)系数，每一级都需要操纵gydF4y2BaOgydF4y2Ba（gydF4y2BaNgydF4y2Ba)系数的总和。因为有gydF4y2BaOgydF4y2Ba(日志gydF4y2BaNgydF4y2Ba)的层次，我们算法的整体复杂度为gydF4y2BaOgydF4y2Ba（gydF4y2BaNgydF4y2Ba日志gydF4y2BaNgydF4y2Ba)．稍后我们将看到，一些应用程序只需要处理固定数量的层，或者将次金字塔的深度限制为固定值，从而进一步降低了算法的复杂性。gydF4y2Ba

灰度图像的重映射函数。gydF4y2Ba我们假设用户提供了一个参数gydF4y2Ba使强度变化小于gydF4y2Ba应考虑精细尺度的细节和较大的变化是边缘。作为这个函数的中心点gydF4y2BaggydF4y2Ba＝gydF4y2BaGgydF4y2Ba_lgydF4y2Ba（gydF4y2Bax, ygydF4y2Ba)，它表示在我们计算输出金字塔系数的位置和尺度上的图像强度。直观上，像素比gydF4y2Ba来gydF4y2BaggydF4y2Ba应该作为细节处理，那些比gydF4y2Ba边角应加工成边角。我们通过定义两个函数来区分它们的处理方法gydF4y2BargydF4y2Ba_dgydF4y2Ba而且gydF4y2BargydF4y2Ba_egydF4y2Ba,这样gydF4y2BargydF4y2Ba（gydF4y2Ba我gydF4y2Ba) =gydF4y2BargydF4y2Ba_dgydF4y2Ba（gydF4y2Ba我gydF4y2Ba)如果|gydF4y2Ba我gydF4y2BaggydF4y2Ba|gydF4y2Ba而且gydF4y2BargydF4y2Ba（gydF4y2Ba我gydF4y2Ba) =gydF4y2BargydF4y2Ba_egydF4y2Ba（gydF4y2Ba我gydF4y2Ba否则)。因为我们需要gydF4y2BargydF4y2Ba单调递增，gydF4y2BargydF4y2Ba_dgydF4y2Ba而且gydF4y2BargydF4y2Ba_egydF4y2Ba也必须有这个属性。此外，为了避免产生虚假的不连续，我们限制gydF4y2BargydF4y2Ba_dgydF4y2Ba而且gydF4y2BargydF4y2Ba_egydF4y2Ba通过要求它而连续gydF4y2BargydF4y2Ba_dgydF4y2Ba（gydF4y2BaggydF4y2Ba±gydF4y2Ba) =gydF4y2BargydF4y2Ba_egydF4y2Ba（gydF4y2BaggydF4y2Ba±gydF4y2Ba)．gydF4y2Ba

这个函数gydF4y2BargydF4y2Ba_dgydF4y2Ba通过改变数值周围的振荡来修改精细尺度细节gydF4y2BaggydF4y2Ba．在我们的应用程序中，我们对称地处理正面和负面的细节，让我们这样写:gydF4y2Ba

在哪里gydF4y2BafgydF4y2Ba_dgydF4y2Ba是一个从[0,1]映射到[0,1]的平滑函数，它控制如何修改细节。这个公式的优点是它只依赖于细节|的振幅gydF4y2Ba我gydF4y2BaggydF4y2Ba相对于参数|gydF4y2Ba，即|gydF4y2Ba我gydF4y2BaggydF4y2Ba|/gydF4y2Ba= 1对应用户自定义参数的最大振幅细节。类似地,gydF4y2BargydF4y2Ba_egydF4y2Ba是一个修改边缘振幅的函数，我们再次以对称的方式表示:gydF4y2Ba

在哪里gydF4y2BafgydF4y2Ba_egydF4y2Ba是在[0，)上定义的光滑非负函数。在这个配方,gydF4y2BargydF4y2Ba_egydF4y2Ba仅取决于高于用户阈值的振幅gydF4y2Ba，即|gydF4y2Ba我gydF4y2BaggydF4y2Ba|gydF4y2Ba．这个函数gydF4y2BafgydF4y2Ba_egydF4y2Ba控制如何修改边缘的振幅gydF4y2Ba+gydF4y2BafgydF4y2Ba_egydF4y2Ba（gydF4y2Ba一个gydF4y2Ba)成为具有振幅的边缘gydF4y2Ba+gydF4y2BafgydF4y2Ba_egydF4y2Ba（gydF4y2Ba一个gydF4y2Ba)．对于我们之前的一维范围压缩的例子，剪切边缘对应于gydF4y2BafgydF4y2Ba_egydF4y2Ba= 0，将所有边的振幅限制为gydF4y2Ba．有用的特定选择gydF4y2BargydF4y2Ba_dgydF4y2Ba而且gydF4y2BargydF4y2Ba_egydF4y2Ba将在下一节中描述，并在gydF4y2Ba图5gydF4y2Ba．gydF4y2Ba

(1)和(2)式中定义的函数形式的优点是它们保证gydF4y2BargydF4y2Ba是连续的和增加的，并且设计一个特定的过滤器归结为定义两个点的功能gydF4y2BafgydF4y2Ba_dgydF4y2Ba而且gydF4y2BafgydF4y2Ba_egydF4y2Ba每个人都有明确的角色:gydF4y2BafgydF4y2Ba_dgydF4y2Ba控制细节的放大或衰减gydF4y2BafgydF4y2Ba_egydF4y2Ba控制边缘的放大或衰减。gydF4y2Ba

扩展到彩色图像。gydF4y2Ba要处理颜色，可以只处理亮度通道，并在图像处理后重新引入色度(第5.3节)。然而，我们的方法也自然地扩展到彩色图像，让我们直接处理3D向量表示，例如，RGB或CIE-Lab通道。算法1仍然适用，我们只需要更新gydF4y2BargydF4y2Ba_dgydF4y2Ba而且gydF4y2BargydF4y2Ba_egydF4y2Ba，用粗体表示向量:gydF4y2Ba

单位(gydF4y2BavgydF4y2Ba) =gydF4y2BavgydF4y2Ba/||gydF4y2BavgydF4y2Ba| |如果gydF4y2BavgydF4y2Ba0gydF4y2Ba而且gydF4y2Ba0gydF4y2Ba否则。这些方程将细节定义为一个半径球内的颜色gydF4y2Ba集中在gydF4y2BaggydF4y2Ba边缘是外面的颜色。他们也没有改变角色gydF4y2BafgydF4y2Ba_dgydF4y2Ba而且gydF4y2BafgydF4y2Ba_egydF4y2Ba，让相同的1D函数在灰度情况下修改细节和边缘，在颜色上产生类似的效果。对于颜色通道均相等的图像，这些公式简化为式(1)(2)的灰度公式。gydF4y2Ba

回到顶部gydF4y2Ba

5.应用程序和结果gydF4y2Ba

我们现在演示如何使用我们的方法实现实际的图像处理应用，并讨论实现细节。首先，我们解决边缘保持平滑和细节增强，其次是色调映射和相关工具。我们用之前文献中使用的图像来验证我们的方法gydF4y2Ba^{10gydF4y2Ba13gydF4y2Ba，gydF4y2Ba27gydF4y2Ba}并证明我们的方法产生了无工件的结果。gydF4y2Ba

5.1.实现gydF4y2Ba

我们用伯特和阿德尔森定义的金字塔，gydF4y2Ba^6gydF4y2Ba基于5 × 5核。在2.26 GHz Intel Xeon CPU上，我们使用单个线程在大约一分钟内处理100万像素的图像。通过将中间金字塔的深度限制在最多5层，并将映射应用到max(0，gydF4y2BalgydF4y2Ba3)而不是总是从全分辨率图像开始。这相当于在处理粗金字塔级别时将重映射应用到图像的下采样版本。所得到的图像在视觉上与PSNR在30到40 dB的全金字塔过程没有区别。虽然这种性能比以前的工作慢，但我们的算法是高度数据并行的，可以很容易地利用多核架构。使用OpenMP，我们在8核机器上获得了8倍的加速，将运行时间降低到4秒。gydF4y2Ba

5.2.详细的操作gydF4y2Ba

为了修改图像的细节，我们定义了一个s形的逐点函数，这是经典的用于局部对比度处理的函数。为此，我们使用功率曲线gydF4y2BafgydF4y2Ba_dgydF4y2Ba() =gydF4y2Ba，其中> 0是用户定义的参数。大于1的值平滑细节，小于1的值增加对比度(gydF4y2Ba图5gydF4y2Ba而且gydF4y2Ba6gydF4y2Ba)．为了将我们的注意力限制在图像的细节上，我们将边缘修改函数设置为标识符gydF4y2BafgydF4y2Ba_egydF4y2Ba（gydF4y2Ba一个gydF4y2Ba) =gydF4y2Ba一个gydF4y2Ba．gydF4y2Ba

在细节操作上下文中，参数gydF4y2Ba控制如何在什么幅度的信号变化应该被视为边缘，并因此被保留。大的值允许过滤器改变信号的更大部分，并产生更大的视觉变化(gydF4y2Ba图7gydF4y2Ba)．在其基本形式中，细节操作适用于所有尺度，但也可以通过将处理限制到金字塔级别的子集来控制哪些尺度会受到影响(gydF4y2Ba图6c、d、egydF4y2Ba)．虽然这种控制是离散的，但变化是渐进的，如果需要连续控制，可以在两个层次子集的结果之间插入。我们的结果gydF4y2Ba图6gydF4y2Ba而且gydF4y2Ba7gydF4y2Ba与Farbman等人的结果相比较。gydF4y2Ba^11gydF4y2Ba；然而，我们不需要复杂的机械多分辨率预处理共轭梯度求解器。注意，我们对彩色图像的特殊扩展允许我们增强颜色对比度(gydF4y2Ba图6gydF4y2Ba，gydF4y2Ba7gydF4y2Ba,gydF4y2Ba8gydF4y2Ba)．gydF4y2Ba

减少噪声放大。gydF4y2Ba在纹理增强的其他技术中，增加细节的对比度可能会使有损图像压缩产生的噪声和伪影更明显。我们通过限制最小的放大来缓和这个问题。在我们的实现中，whengydF4y2Ba< 1，我们计算gydF4y2BafgydF4y2Ba_dgydF4y2Ba() =gydF4y2Ba+ (1gydF4y2Ba),gydF4y2Ba是一个平滑的阶跃函数，如果小于最大强度的1%，则为0，如果大于2%，则为1，其间有平滑过渡。本文及有关资料的所有结果均用该函数进行了计算。gydF4y2Ba

5.3.语气操纵gydF4y2Ba

我们的方法还可以用于降低高动态范围(HDR)图像的强度范围，根据压缩大规模变化的标准色调映射策略，同时保留(或增强)细节。gydF4y2Ba^35gydF4y2Ba在我们的框架中，我们通过定义一个点状函数来修改边缘振幅，gydF4y2BafgydF4y2Ba_egydF4y2Ba（gydF4y2Ba一个gydF4y2Ba) =gydF4y2Ba一个gydF4y2Ba,在那里gydF4y2Ba0是一个用户定义参数(gydF4y2Ba图5gydF4y2Ba)．gydF4y2Ba

在我们的色调操作实现中，我们只处理图像强度通道，并保持颜色不变。gydF4y2Ba^10gydF4y2Ba我们计算强度图像gydF4y2Ba和颜色比例gydF4y2Ba，在那里gydF4y2Ba我gydF4y2Ba_rgydF4y2Ba，gydF4y2Ba我gydF4y2Ba_ggydF4y2Ba,gydF4y2Ba我gydF4y2Ba_bgydF4y2Ba是RGB通道。我们对强度对数(gydF4y2Ba我gydF4y2Ba_我gydF4y2Ba)，gydF4y2Ba^35gydF4y2Ba用自然对数。对于色调映射，我们用gydF4y2Ba1，以便细节被保留或增强，以及gydF4y2Ba< 1，使边被压缩。这将产生新的值log(gydF4y2Ba我gydF4y2Ba＇gydF4y2Ba_我gydF4y2Ba)，然后必须将其映射到可显示范围[0,1]。我们重新映射结果日志(gydF4y2Ba我gydF4y2Ba＇gydF4y2Ba_我gydF4y2Ba)，首先偏移其值使其最大值为0，然后缩放它们，使它们覆盖用户定义的范围。gydF4y2Ba^{10gydF4y2Ba，gydF4y2Ba21gydF4y2Ba}在我们的实现中，我们用99.5和0.5个百分位估计了一个稳健的最大值和最小值，并且我们设置了比例因子，使线性强度的输出动态范围为100:1。最后，我们将强度乘以颜色比率(gydF4y2Ba_rgydF4y2Ba，gydF4y2Ba_ggydF4y2Ba，gydF4y2Ba_bgydF4y2Ba)获得输出RGB通道，然后伽马正确的指数为1/2.2显示。我们发现，固定输出动态范围不仅使其易于实现一致的外观，而且限制了系统。因此，gydF4y2Ba而且gydF4y2Ba参数具有类似的作用，它们都控制渲染图像中局部和全局对比度的平衡(gydF4y2Ba图9gydF4y2Ba)．从实际的角度来看，我们建议保持gydF4y2Ba固定和改变斜率gydF4y2Ba在0和1之间，局部对比度占大部分的动态范围，而全局对比度占主导地位。除非另有说明，我们使用gydF4y2Ba= log(2.5)，在我们的实验中给出了一贯良好的结果。由于我们工作在对数域，这个值对应于像素强度之间的比率。它不依赖于场景的动态范围，只假设输入的HDR图像按比例测量亮度。gydF4y2Ba

我们的音调映射操作符建立在以前工作的标准元素的基础上，这些元素可以替换为其他元素。例如，可以使用sigmoid将强度映射到显示范围gydF4y2Ba^30.gydF4y2Ba或使用不同的颜色管理方法(例如，Mantiuk等。gydF4y2Ba^24gydF4y2Ba)．此外，我们没有像通常在照片编辑软件中那样添加任何额外的“美化曲线”或增加饱和度。我们的方法产生一个干净的输出图像，如果需要，可以用这种方式进行后处理。gydF4y2Ba

范围压缩是一个很好的测试案例，它展示了基于金字塔的过滤器的能力，因为它涉及到很大的修改。对于高压缩，即使是细微的不准确性也会变得可见，特别是在高对比度的边缘。在我们的实验中，我们没有观察到混叠或过度锐化的工件，即使在其他方法受到影响的情况下(gydF4y2Ba图10gydF4y2Ba而且gydF4y2Ba11gydF4y2Ba)．我们还通过产生较低的全球对比结果(gydF4y2Ba= 0)和高局部细节(gydF4y2Ba= 0.25)。一般而言，我们的方法所产生的结果并没有出现任何特别的问题(gydF4y2Ba图12gydF4y2Ba)．我们比较夸张的rendition我们的方法与Farbman等人。gydF4y2Ba^11gydF4y2Ba和Li等人。gydF4y2Ba^21gydF4y2Ba我们的方法在没有光环的情况下产生一致的结果，而其他方法要么产生光环，要么不能夸大细节(gydF4y2Ba图13gydF4y2Ba)．gydF4y2Ba

我们遇到的一个典型的困难是，有时天空与其他元素相互作用，形成高频纹理，这些纹理被我们的细节增强过滤器(gydF4y2Ba图8 bgydF4y2Ba而且gydF4y2Ba14gydF4y2Ba)．这种“误解”在所有没有语义理解场景的低级过滤器中都很常见，通常需要用户反馈来纠正。gydF4y2Ba^22gydF4y2Ba

我们也使用坡度值来实验反色调映射gydF4y2Ba大于1可以增加正常图像的动态范围。由于我们操作的是对数强度，粗略地说，线性动态范围得到的指数gydF4y2Ba．在这些范围扩展的结果上应用我们的色调映射算子，可以得到接近原始的图像，通常PSNR在25到30 dB之间gydF4y2Ba= 2.5。这表明我们的逆色调映射很好地保留了图像内容。虽然对HDR监视器的全面研究超出了本文的范围，但我们相信，我们的简单方法可以补充其他相关技术(例如，masa等人。gydF4y2Ba^25gydF4y2Ba)．样品HDR结果在补充材料中提供。gydF4y2Ba

5.4.讨论gydF4y2Ba

虽然我们的方法可能会在存在过多的噪声或使用极端参数设置时失败(例如，gydF4y2Ba蕾娜gydF4y2Ba图片在补充材料有一个高水平的噪音)，我们发现我们的过滤器是非常稳健的，并表现良好的广泛的设置。gydF4y2Ba图15gydF4y2Ba显示了应用于同一图像的各种参数值，结果始终令人满意，高质量，无晕;补充材料中提供了更多这样的例子。虽然边缘感知处理的目标可能是不明确的，但我们获得的结果表明，我们的方法允许我们用直观的参数和简单的实现实现许多边缘感知的效果。我们的方法目前的缺点是它的运行时间。我们可以缓解这个问题，感谢我们的算法的多尺度性质，允许我们生成快速预览，忠实于全分辨率的结果(gydF4y2Ba图16gydF4y2Ba)．此外，该算法具有高度的并行性，可以用于快速的GPU实现。除了这些实际的方面，我们的主要贡献是更好地刻画图像的多尺度特性。与照片编辑相关的许多问题都基于图像的这些属性，我们相信更好地理解可以带来超出本文所演示的应用之外的好处。gydF4y2Ba

回到顶部gydF4y2Ba

6.结论gydF4y2Ba

链接到最近的工作。gydF4y2Ba我们在2011年的ACM SIGGRAPH会议上首次介绍了这项工作。与我们原来文章的主要区别是第3节，现在主要关注边缘的定性属性。Paris等人对这些性质进行了正式讨论。gydF4y2Ba^28gydF4y2Ba从那时起，我们还扩展了这项工作，使用了一种快速算法，使局部拉普拉斯滤波器变得实用，分析了它们与双边滤波器的关系，应用于摄影风格转移的梯度直方图转移，并与现有技术(如引导滤波器)进行了额外的比较。gydF4y2Ba^17gydF4y2BaAubry等人对这些结果进行了描述。gydF4y2Ba^2gydF4y2Ba

虽然局部拉普拉斯滤波器可以减少图像细节，Xu等人。gydF4y2Ba^{39gydF4y2Ba，gydF4y2Ba40gydF4y2Ba}已经表明，他们没有完全删除它们，并提出了完全抑制应用程序细节的过滤器，如卡通渲染和马赛克纹理删除。通过解决极端细节去除问题，这项工作是对局部拉普拉斯滤波器的补充，在极端细节增加时表现良好。Hadwiger et al。gydF4y2Ba^16gydF4y2Ba介绍了一种专门的数据结构来有效地处理非常大的图像，并演示了它在局部拉普拉斯滤波中的应用。gydF4y2Ba

关闭报告。gydF4y2Ba我们提出了一种新的基于拉普拉斯金字塔的边缘感知图像处理技术。它概念简单，允许广泛的边缘感知过滤器，并始终产生无工件的图像。我们在大量不同的图像和参数设置上展示了高质量的结果，证实了该方法的鲁棒性。我们的结果打开了多尺度图像分析和编辑的新视角，因为拉普拉斯金字塔以前被认为不适合处理边缘。鉴于金字塔结构的广泛使用和对边缘感知处理的需求，我们相信我们的新见解可以在图像编辑及其相关应用领域产生广泛的影响。gydF4y2Ba

回到顶部gydF4y2Ba

致谢gydF4y2Ba

我们感谢Ted Adelson, Bill Freeman和Frédo Durand的鼓舞人心的讨论和鼓励;艾伦·埃里克森gydF4y2Ba猎户座gydF4y2Ba形象;以及匿名审稿人的建设性意见。这项工作得到了NSERC博士后奖学金、Quanta T-Party、NGA NEGI-1582-04-0004、MURI Grant N00014-06-1-0734以及微软、谷歌和Adobe的礼物的部分支持。我们感谢Farbman等人和Li等人对比较的帮助。gydF4y2Ba

回到顶部gydF4y2Ba

回到顶部gydF4y2Ba

回到顶部gydF4y2Ba

回到顶部gydF4y2Ba

回到顶部gydF4y2Ba

数字图书馆是由计算机协会出版的。版权所有©2015 ACM股份有限公司gydF4y2Ba

---

没有发现记录gydF4y2Ba