Contextual Based image inpainting infer, match, and translate

Posted by Ein Blog on January 6, 2019

Contextual-based Image Inpainting: Infer, Match, and Translate

2018 ECCV

inpainting + 风格迁移

思路:分为推断和迁移,和之前那篇不同的是,将refinement问题作为学习问题。

定义了一个“patch-swap”层,来传递高频的纹理信息:使用外部与待替换patch最相似的 特征来替换。

补全用的Loss介绍过很多次了,是perceptual+ad loss。

Match部分:使用3*3的patch,在feature map上,计算他们的相似度。

这个操作可以用卷积并行完成。

Loss:perceptual + ad 训练中使用gt作为输入来训练第二阶段会好很多。