将三维形貌转为艺术简体画？神经轮廓算法助力绘制三维形状精准轮廓

2020-05-25 14:16

针对图像分支，研究人员使用了图像迁移网络模块来绘制对应的线条表示。其输入包含了给定视角下的深度图和六个不同尺度的渲染结果，它们一同堆叠在一起同时输入到类似pix2pixHD的编解码器中，得到图像分支的线条结果。

随后将几何分支和图像分支的线稿图通过最大化的方式合并在一起最终得到线稿绘制结果。阈值参数对于几何线条的去留十分重要，它决定了几何线条以多大的程度为最终图像做出贡献。研究人员在测试的时候将计算这一阈值，由于不同的三维模型在渲染时可能有不同的几何线条组合，研究人员使用了神经排序模块NRM来为绘制的线稿评分，在测试时阈值t就被用于对NRM分值进行优化。

实验和结果

为了对这一模型进行训练，由于缺乏大规模的针对三维形状的手绘线稿，研究人员通过合成的方法生成了自己的数据集。针对每一个形状，利用不同的阈值和线条的结合生成一系列线稿，随后请志愿者对结果进行选择，通过多人多次投票的方法来选出最好的线稿结果作为基准。下图显示了本文中使用了众包软件，从多个结果中基于人类投票选择得到基准线稿数据。

研究中所使用的数据来自于ShapeNet、Models Resource和Thingi10K等数据集，在数据集中针对每一个类别进行采样避免类别间的不均衡，移除了重复和低分辨率的形状，并修正了网格面元和连接的缺陷，最终得到了23，477个形状。

为了生成候选的线稿图案，研究人员针对每一个3D模型选择了两个随机相机位姿，在一系列约束下每个相机生成256中可能的合成线稿结果。同时他们还利用了Canny算子和保边滤波器来对三维形状渲染的图像进行处理，这种方法针对形状在每个视点下得到了256个可能的线稿结果，并从中选出8个最独特的线稿。在获得了一系列线稿数据的基础上，项目利用亚马逊的MTurk系统来利用众包方式选出针对每个形状在特定视角下效果最好的线稿作为基准数据。