Ein Blog

简单,可依赖

Python 使用记录(cv2、numpy、plt)(长期更新)

Python 使用记录(cv2、numpy、plt) 最为一名CVer,python-opencv当然经常使用,但没人去系统地学习它(性价比低),虽然很简单,但每次使用都是“问题+google”,重复查询时间还挺多的,为了减少无用开发时间,一些常用的但总记不住的api,一些被我踩过坑,记录在此,长期更新。 OPENCV cv2.imread() cv2.IMREAD_COLOR...

令人拍案叫绝的wasserstein gan

令人拍案叫绝的Wasserstein GAN 本文转载自知乎用户郑华滨的文章。本文后续:Wasserstein GAN最新进展:从weight clipping到gradient penalty,更加先进的Lipschitz限制手法 在GAN的相关研究如火如荼甚至可以说是泛滥的今天,一篇新鲜出炉的arXiv论文《Wasserstein GAN》却在Reddit的Machine ...

Shift Net image inpainting via deep feature rearrangement

Shift-Net: Image Inpainting via Deep Feature Rearrangement 思想:base on U-net结构,在解码器特征上引入了引导损耗,以最小化完全连接层之后的解码器特征与缺失部分的 gt 编码器特征之间的距离。利用这种约束,可以使用缺失区域中的解码器特征来指导已知区域中的编码器特征的移位。 引导损失 guidance loss : ...

Spg Net segmentation prediction and guidance network for image inpainting

SPG-Net: Segmentation Prediction and Guidance Network for Image Inpainting 2018 Baidu 现有的基于生成模型的方法没有利用分割信息来控制对象的形状,这通常会导致对边界的影响。 思路:语义分割+语义预测+语义辅助生成 分为 Segmentation Prediction Network (SP-Net...

Image inpainting for irregular holes using partial convolutions

Image Inpainting for Irregular Holes Using Partial Convolutions 2018 NVIDIA开始搞事了 现有的基于深度学习的图像修复方法在损坏的图像上使用标准卷积网络,在有效像素以及掩蔽孔中的替代值(通常是平均值)上使用卷积操作。这样是有问题的,通常会导致诸如颜色差异和模糊之类的伪影。 本文想提出已一种“部分卷积”,在没有后处理...

Generative image inpainting with contextual attention

Generative Image Inpainting with Contextual Attention 2018 CVPR Adobe 也搞事了 明确地利用周围的图像特征作为参考,从而做出更好的预测。 思路:包括了两个阶段,第一个阶段利用简单的空洞卷积网络,粗略地预测缺失内容。第二阶段利用上下文注意力模块,使用未缺失区域patch的特征来处理生成的区域。 补全网络的基础是Gl...

Contextual Based image inpainting infer, match, and translate

Contextual-based Image Inpainting: Infer, Match, and Translate 2018 ECCV inpainting + 风格迁移 思路:分为推断和迁移,和之前那篇不同的是,将refinement问题作为学习问题。 定义了一个“patch-swap”层,来传递高频的纹理信息:使用外部与待替换patch最相似的 特征来替换。 补全...

Globally and locally consistent image completion

Globally and Locally Consistent Image Completion SIGGRAPH 2017 思想:不仅用一个全局判断,也用一个 local 的判别器来判别生成的质量。 细节:将mask作为一个 channel 作为输入,输出补全好的图像。 全局判别:为了增大感受野,采用了空洞卷积。下图解释了why。 局部判别:输入被补好的区域,判断为假的,...

High Resolution image inpainting using multi Scale neural patch synthesis

High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis Adobe Research 出品 思想:结构预测+风格迁移(解决高频生成问题)+多尺度(解决高分辨率问题)。 在利用深度生成模型进行图像补全时,往往会存在生成“模糊”图像的问题,这一般是L2损失导致的,context encoders...

Context encoders feature learning by inpainting

Context Encoders: Feature Learning by Inpainting 2016 CVPR 在深度学习-图像补全领域最经典的文章,后面很多文章都是基于它改进的。 思想:卷积自编码,输入带miss区域的图像,输出补全后的图。 细节:channel-wise的全连接,用于获取全局信息。 损失函数:两部分组成,一是回归损失,一是对抗损失。如果没有对抗损失,会...