欧易

欧易(OKX)

国内用户最喜爱的合约交易所

火币

火币(HTX )

全球知名的比特币交易所

币安

币安(Binance)

全球用户最多的交易所

视频P图新SOTA:推理速度快近15倍,任意分辨率可上演人像消失大法

时间:2022-10-12 00:24:42 | 浏览:435

众所周知:视频是可以P的。这不,在CVPR 2022收录的论文中,就出现了这么一个P图神器,它可以分分钟给你上演各种人像消失大法,不留任何痕迹。去水印、填补缺失更是不在话下,并且各种分辨率的视频都能hold住。正如你所见,这个模型如此丝滑的

众所周知:视频是可以P的

这不,在CVPR 2022收录的论文中,就出现了这么一个P图神器,它可以分分钟给你上演各种人像消失大法,不留任何痕迹。


去水印、填补缺失更是不在话下,并且各种分辨率的视频都能hold住。

正如你所见,这个模型如此丝滑的表现让它在两个基准数据集上都实现了SOTA性能

△ 与SOTA方法的对比

同时它的推理时间和计算复杂表现也很抢眼:

前者比此前的方法快了近15倍,可以在Titan XP GPU上以每帧0.12秒的速度处理432 × 240的视频;后者则是在所有比较的SOTA方法中实现了最低的FLOPs分数

如此神器,什么来头?

改善光流法

目前很多视频修复算法利用的都是光流法 (Optical flow)

也就是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性,找到上一帧跟当前帧之间存在的对应关系,从而计算出相邻帧之间物体的运动信息。

这个方法的缺点很明显:计算量大、耗时长,也就是效率低。

为此,研究人员设计了三个可训练模块,分别为流完成 (flow completion)特征传播 (feature propagation)和内容幻想(content hallucination),提出了一个流引导(flow-guided)端到端视频修复框架:

E2FGVI

这三个模块与之前基于光流的方法的三个阶段相对应,不过可以进行联合优化,从而实现更高效的修复过程。

具体来说,对于流完成模块,该方法直接在mask viedo中一步完成操作,而不是像此前方法采用多个复杂的步骤。

对于特征传播模块,与此前的像素级传播相比,该方法中的流引导传播过程在特征空间中借助可变形卷积进行。

通过更多可学习的采样偏移和特征级操作,传播模块释放了此前不能准确进行流估计的压力。

对于内容幻想模块,研究人员则提出了一种时间焦点Transformer来有效地建模空间和时间维度上的长程依赖关系。

同时该模块还考虑了局部和非局部时间邻域,从而获得更具时间相关性的修复结果。

作者:希望成为新基线

定量实验:

研究人员在数据集YouTube VOS和DAVIS上进行了定量实验,将他们的方法与之前的视频修复方法进行了比较。

如下表所示,E2FGVI在全部四个量化指标上都远远超过了这些SOTA算法,能够生成变形更少(PSNR和SSIM)、视觉上更合理(VFID)和时空一致性更佳(Ewarp)的修复视频,验证了该方法的优越性。

此外,E2FGVI也具有最低的FLOPs值(计算复杂度),尽管训练是在432 × 240分辨率的视频上进行,它的HQ版本做到了支持任意分辨率。

定性实验:

研究人员首先选择了三种最有代表性的方法,包括CAP、FGVC(基于光流法)和Fuseformer(入选ICCV 2021),进行对象移除(下图前三行)和缺失补全(下图后两行)的效果比较。

可以发现,前三种方法很难在遮挡区域恢复出合理的细节、擦除人物也会造成模糊,但E2FGVI可以生成相对真实的纹理和结构信息。

此外,它们还选用了5种方法进行了用户研究,结果大部分人都对E2FGVI修复后的效果更满意。

综上,研究人员也表示,希望他们提出的方法可以成为视频修复领域新的强大基线。

作者介绍

E2FGVI由南开大学和海思合作完成。

一作Li Zhen为南开大学博士生,共同一作Lu ChengZe也来自南开。

通讯作者为南开大学计算机学院教授程明明,主要研究方向是计算机视觉和图形学。

目前,E2FGVI的代码已经开源,作者也提供了Colab实现,未来还将在Hugging Face给出demo。

论文地址:
https://arxiv.org/abs/2204.02663

GitHub主页:
https://github.com/MCG-NKU/E2FGVI

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

相关资讯

短视频营销SaaS系统,短视频营销获客系统,短视频从0到1运营攻略

短视频是时下当之不让的“流量霸主”,中国互联网络信息中心(CNNIC)今年2月发布的第47次《中国互联网络发展状况统计报告》显示,截至2020年12月,我国网络视频用户规模达9.27亿,占网民整体的93.7%。其中短视频用户规模为8.73亿

聚量数说短视频获客系统,短视频营销系统,短视频SEO解决方案

作为国内最早落地开发运营短视频营销系统(SaaS)的厂商,聚量数说®已成功合作、运营代理商300余家,终端合作客户5000余家有医美行业、工业制造业、汽车行业、零售行业等行业标杆客户,完成用户短视频营销(SaaS)的搭建,并通过视频高频制作

短视频获客、短视频营销系统、短视频SEO营销系统——聚量数说

当下,短视频行业格局大成,短视频产品以势不可挡的姿态闯入消费者的生活,成为大众娱乐不可替代的渠道和方式。2021年4月20日,聚量数说科技围绕“短视频新风向——短视频营销获客系统”,邀请了各企业领导与全国优秀合作伙伴齐聚厦门国际会展酒店参加

短视频制作、短视频获客系统、短视频SEO营销系统—聚量数说科技

昨天,我在互联网上下载了几种视频材料和图片资料,想临时做一个视频。于是我问一个朋友,让他与我分享一款简单的快捷适合我的新手小白操作的视频剪辑操作方法!然后他推荐给我一种方法,该方法是用现在世面上比较流行的一款无门坎专业视频制作的软件。这是我

“法国小姐”P图太猛被警告:你们参加的是“法国小姐”比赛,而非P图大赛

来源:环球时报【环球时报记者 赵风英】她们已经是法国最美的女人,但仍求助P图美化自己!据《法兰西西部报》23日报道,2022年度“法国小姐”选美比赛的总决赛将于12月11日举行,候选佳丽个个面容姣好、身材出众,但当中还有不少人为了更美在社交

“法国小姐”P图太猛被警告:你们参加的不是P图大赛

来源:环球时报【环球时报记者 赵风英】她们已经是法国最美的女人,但仍求助P图美化自己!据《法兰西西部报》23日报道,2022年度“法国小姐”选美比赛的总决赛将于12月11日举行,候选佳丽个个面容姣好、身材出众,但当中还有不少人为了更美在社交

这哪里是P图,简直是毫无痕迹地换头!深扒那些常见P图app里,不为人知的神技能

最近的假期有点多,小仙女们出去玩,拍照才是正经事。然而残酷的现实表明,照片中的人,距离脑海中美得惊心动魄的自己,还有很长的路要走啊!!!不过正所谓三分天注定、七分靠打拼,想拍出一张好照片,剩下的90分就得后期P图了。但只会一键美颜的你,加上

P图大神“用力过猛”,看P图后效果,网友:糟糕,是心动的感觉

为了让照片看起来更加完美,很多人在拍照以后都会用PS或者修图软件对照片进行加工改造。对于P图小白来说,调一下对比度或者加个滤镜就算是P图了,但对于P图大神来说,整个修图过程好比进行一项浩大的工程,从美白,瘦脸到放大眼睛,拉长双腿,每个步骤都

视频P图新SOTA:推理速度快近15倍,任意分辨率可上演人像消失大法

众所周知:视频是可以P的。这不,在CVPR 2022收录的论文中,就出现了这么一个P图神器,它可以分分钟给你上演各种人像消失大法,不留任何痕迹。去水印、填补缺失更是不在话下,并且各种分辨率的视频都能hold住。正如你所见,这个模型如此丝滑的

短视频获客系统是什么?短视频获客系统有哪些功能?

短视频获客系统作为现在企业在进行宣传时最常用的一种系统,它究竟具有什么优势呢?接下来就让我们一起来了解一下。什么是短视频获客系统?顾名思义,短视频获客系统就是通过设置系统关键词来获得指定视频或者是某位大V博主主页的视频进行大数据的分析筛选。

直推获客抖音询盘获客系统|短视频询盘获客|短视频获客软件

抖音询盘获客系统有效果?短视频询盘获客怎么样?短视频获客系统靠谱吗?抖音获客怎么做?短视频获客软件怎么选择?现在短视频获客是企业商家新的一轮获客利器,选择时请认准正规的公司合作。抖音询盘系统与短视频询盘系统是同一个系统只是叫法不同。询盘只是

抖感短视频自主获客系统,亮相2022中国企业短视频峰会

由抖感(中国)主办,帮帮团新媒体、潜龙同城私董会、福州商和会、魏氏基金会、胡子有约、福州易企管、壹明传媒等联合发起的2022中国企业短视频峰会于8月26日在福州台江威斯汀酒店隆重举行。会议吸引了200余名企业家老板共赴现场,福州市环保建材协

抖亿客短视频SEO排名获客系统如何优化抖音短视频SEO排名

AD20210923权威统计数据显示,截至2021年12月,短视频用户规模9.34亿人,使用率90.5%。预计截至2022年12月,短视频用户规模将达9.85亿人,使用率将达92.4%。抖亿客短视频营销SEO排名获客系统-抖音推广获客系统-

短视频询盘获客系统、短视频营销获客系统是如何成为企业增长引擎

短视频时代,内容驱动已经成为用户管理与营销增长的有效途径。内容制作和量化和企业如何提效降本,随之成为每个企业的必要思考。11月5日,以“新系统、新内容”为主题的短视频营销获客峰会在成都举办,百位来自企业广告主的营销高层和传媒广告界的资深数字

商业智能丨短视频获客系统,全新短视频营销ToB、ToC运营新体系

自2017年到现在,随着云计算、大数据、人工智能、5G与短视频行业等一批新行业、新技术的发展与应用,越来越多的企业将数字化融入经营战略中去,短视频企业也不例外。如何利用数据的力量实现营销、SaaS、服务,三维一体的驱动, ToB、ToC运营

友情链接

网址导航 SEO域名抢注宝宝起名网妈妈知道币圈宠物医院大全网中医养生网智能门锁品牌网三亚亚龙湾旅游网明星排行榜建材市场资讯网芭提雅旅游网朗姆酒品牌网儿童玩具批发资讯网南红玛瑙眉山新闻头条网英菲尼迪轿车网迪奥奢侈品劳斯莱斯汽车网助听器品牌网
PS抠图网-初学者ps抠图步骤、ps教程入门抠图、photoshop在线修图、免费的ps修图软件、下载ps修图软件免费版、下载ps修图软件免费版、美图秀秀网页版入口、美图秀秀下载官网、秀秀app下载免费版下载新版、美图秀秀最新版本、美图秀秀最新官方版下载资讯。
PS抠图网 mamahai.com ©2022-2028版权所有