遮挡反光下拍照无压力—台大提出新型遮挡去除模型还你清晰视界

2020-04-24 16:31

将门创投

关注

在拍照时不期而遇的遮挡会让照片的效果大打折扣，从窗户玻璃的反光到雨滴的遮挡都在影响着清晰的成像，而去除这些恼人的遮挡也是计算机视觉领域的重要研究内容。

最近来自台大、谷歌等机构的研究人员提出了一种基于前景背景运动差异的学习方法，通过深度学习交替光流场估计和图像重建实现了高质量的遮挡去除和前景、背景的重建，同时还利用在线优化的方法提高了对于多种真实场景的适应能力。

从反射遮挡中获取清晰的图像

从反光的玻璃或遮挡的前景中获取清晰的图像一直是计算机视觉领域的研究热点之一，从反光或者遮挡物体的混合图像中获取清晰的图像将有助于提升包括机器人感知、安防监控等多种视觉应用等性能。

目前解决这一问题的方法主要集中于单张图像去除和多帧去除两个角度。基于单帧的方法充分利用包括图像先验和离焦线索的方法来对遮挡部分进行识别和重建。虽然取得了优异的结果，但是从遮挡／反射混合的图像中分离出清晰的背景和前景却在根本上是一个病态问题，通常需要对场景有着更高级别的语义理解。实际使用中当面临分布外图像时，基于学习的算法会发生严重的退化。

为了解决这些问题，研究人员开始利用多帧图像来处理遮挡反射问题。对于相机来说，拍照时背景和遮挡物具有不同的深度，通过小幅度运动拍摄的多帧照片将有利于分离出两层结构间的不同运动。已经有很多工作充分利用运动线索来对前景遮挡进行去除，但对于对于多帧视频处理需要消耗大量的计算资源，同时也需要满足严格的光照连续性假设和精确的运动估计结果。虽然研究人员开始利用无模型的3DCNN来解决这些问题，但却无法在真实输入序列中获得与优化方法可比拟的效果。

为了实现更为迅速、高效、高精度的遮挡去除和重建结果，在这一工作中研究人员提出了一种结合深度学习与优化方法多帧的遮挡去除方案。在优化思路的启发下，本文由粗到精地交替估计稠密运动和重建前景／背景图像。对于稠密运动的显式建模使得算法可以渐进地重建出前景和背景层。

本文的方法没有构建手工的目标函数来构建图像，而是采用了基于学习的方法来融合流反射变换图像来适应不满足光照连续性和光流估计误差。在通过合成数据集对模型进行训练后，为了提高针对真实序列的生成质量，研究人员还增加了在线优化过程来对结果进行提升。

下图显示了算法的整体流程，这一渐进式的模型通过由粗到精的过程，经过L层的处理不断提升生成结果的质量。