码隆科技提出跨越时空的样本配对，解决深度度量学习痛点

2020-07-16 09:48

将门创投

关注

六、对比 SOTA

与最近的深度度量学习方法对比，我们在四个检索数据库上效果均大幅提升，这里仅列出 VehicleID 的效果，其他数据集的效果见原论文。

简单来说，不同于部分文章中使用更好的网络结构，更大的输出维度，或者更大的 mini－batch 来提升效果，强行 SOTA。我们列出 XBM 在 64 的 mini－batch 在不同的主干网络下及各种维度下的效果，其效果一直是最好的。

七、可视化

更多可视化见论文补充材料，有更多实例说明效果。　

八、总结与展望

第一，本文提出的 XBM 方法能够记住过去的特征，使得模型的训练不再仅仅依靠当前 mini－batch 的样本，而是可以跨越时空进行样本配对。从而用极小的代价，提供了巨量的样本对，为 pair－based 的深度度量学习方法取得了巨大的效果提升。这种提升难例挖掘效果的方式，也是突破了过去两个传统思路：加权和聚类，并且效果也更加简单、直接，很好地解决了深度度量学习的痛点。

第二，其实 Memory 机制并不是本文原创，但是用 Memory 来做难例挖掘是一个全新的尝试。同样在 CVPR 2020 获得 Oral，也是由 Kaiming He 作为一作的 MoCo 也是这种思路。本文的方法其实可以认为是 MoCo 在ｍ＝0 的特例，Kaiming 通过动量更新 key encoder，可以直接控制住特征偏移。作者认为，这种方法还会在很多任务带来提升，不局限于 Kaiming 的自监督表示学习，以及此前我们一直关注研究的度量学习（或者说监督表示学习）。

第三，在本文中，虽然 XBM 在所有的 pair－based 的方法都有提升，但是明显在对比损失（Contrastive Loss）上提升最大，具体原因待考。另外，我们也把在无监督表示上表现很好的 infoNCE 方法用到了深度度量学习，但效果并不显著。作者认为这两个问题的答案是同一个，且有值得深究的价值，希望在后续研究中进行进一步跟进探索。