惊呆了!监控也会骗人了,视频对象一秒删除

链接:https://github.com/zllrunning/video-object-removal

你是否经常拍一段视频,然后被不认识的行人、卡车或者其他可移动的东西抢了镜头?如果是拍照大多数人都知道如何P图把这些无关紧要的东西去掉,但是如果这些障碍物出现在视频里就是另外一回事了,很多人都无从下手。

常规的视频对象去除需要一定专业的视频编辑技能,而且很耗时,但是,这个Github项目可以让这项操作变得简单快速,从下面这张图,你就可以清楚看出来它是如何操作的,首先,要在清除的对象(在本例中为行人)周围绘制一个典型的边界框:


该系统会自动跟踪标记框线内的视觉信息,然后执行“修复”,以此来填补移除掉的对象留下的痕迹。



这里还有更多示例:


岁说这个项目确实很厉害,但是去除技术还不能称之为完美,从上面的动图不难看出,背景越简单,修复效果越好,但是有的视频难免会出现不够对齐或者重影之类的问题尤其的图片纹理复杂的情况下。

这个GitHub项目的灵感来自两篇CVPR论文:《Fast Online Object Tracking》和《Segmentation: A Unifying Approach (SiamMask) and Deep Video Inpainting》

SiamMask是一种简单的多任务学习方法,SiamMask可以仅基于初始化的边界框来生成对象分割蒙版,并以每秒55帧的速度旋转边界框。该系统在VOT-2018(Visual Object Tracking)挑战赛中建立了实时对象跟踪的最新技术成果。

而Deep Video Inpainting则是为视频中的图像填充内容,该框架旨在使用基于图像的编码器/解码器模型合成视频中的未知区域,让图像更为真实。




目前video-object-removal已经在Github上标星 2.1K ,累计分支 340 (Github地址: https://github.com/zllrunning/video-object-removal ),感兴趣的伙伴们可以尝试一下。

--- EOF ---