欧易

欧易(OKX)

国内用户最喜爱的合约交易所

火币

火币(HTX )

全球知名的比特币交易所

币安

币安(Binance)

全球用户最多的交易所

没有绿幕,AI也能完美视频抠图,发丝毕现,毫无违和感|CVPR

时间:2022-10-12 00:04:16 | 浏览:584

在阳台上给小姐姐拍个视频:再把她P到喷泉广场:需要几步?现在,无需绿幕,AI 就能搞定这件事。就像这样,随便用手机给小姐姐拍张照片,再在同一地点拍张不带人像的背景图。深度神经网络就能自动分析出 alpha 遮罩和前景色,把小姐姐的发丝都抠得

在阳台上给小姐姐拍个视频:

再把她P到喷泉广场:

需要几步?

现在,无需绿幕,AI 就能搞定这件事。

就像这样,随便用手机给小姐姐拍张照片,再在同一地点拍张不带人像的背景图。

深度神经网络就能自动分析出 alpha 遮罩和前景色,把小姐姐的发丝都抠得根根分明。

视频也是如此。

让憋着笑的同事在实验室白板前表演一段广播体操,再给背景板单独来一张,就可以无中生有把同事“转移”到大厅里,引来路人围观了。

这是来自华盛顿大学的一项最新研究,无需绿幕,无需手动创建 Trimap,一个具有对抗性损失的深度神经网络,就能准确预测遮罩,给照片视频抠图。

论文已经中了 CVPR 2020,代码即将开源。

深度抠图网络 + 鉴别器网络

那么,这样的抠图特技是如何炼成的?

研究人员表示,是具有对抗性损失的深度网络 + 判断合成质量的鉴别器。

深度抠图网络

研究人员先在 Adobe Matting 数据集中的非透明对象子集上对深度神经网络 G 进行了监督训练。

输入是带人像的照片 I 和照片中的背景 B’,以及人像软分割 S 和 运动先验 M(仅对视频而言)。

需要注意的是,在真实环境中,B’ 是通过在真实背景的前景区域随机加入噪声而生成的。

依据输入,网络会预测出 alpha 遮罩 α 和前景图像 F。

研究人员提出用背景切换块(Context Switching block,CS block)来取代基于残差块的编码器-解码器。

有什么不同?

举个例子,当人的一部分与背景相匹配的时候,网络会将更多精力放在该区域的细分线索上。

G 网络有四个不同的编码器,分别适用于 I,B’,S 和 M 四种输入。每个编码器分别生成256个通道的特征图。

通过 1×1 卷积,BatchNorm 和 ReLU,I 中的图像特征分别与 B’,S 和 M 结合,每一对组合都会生成 64 通道特征。

最后,将这 3 个 64 通道特征与原始的 256 通道图像特征组合在一起,生成编码后的特征,并传递到由残差块和编码器组成的其余网络。

在未标记真实数据上的对抗训练

CS block 和数据增强的结合,可以有效弥合真实图像与 Adobe数据集创建的合成图像之间的差距,但真实图像中仍然有存在一些难点:

  • 将手指、手臂、头发周围的背景痕迹复制到遮罩中;

  • 分割失败;

  • 前景色的重要部分与背景颜色接近;

  • 人像照片和背景照片之间没有对准。

为了应对这些问题,研究人员还提出了一种自监督方案,从未标记的真实数据(真实图像 + 背景)中学习。

用深度抠图网络 G 的单独副本 GReal 组成对抗网络,对抗网络会生成类似于 GAdobe 输出的遮罩,而鉴别器网络 D 会判别结果的真假。

研究人员使用真实输入(手机拍摄)联合训练 GReal 和 D,并用 GAdobe 来提供监督。

与SOTA方法的对比

研究人员将新方法与以下几种 SOTA 方法进行了定性比较:

  • 基于 Trimap 的 Context Aware Matting (CAM)和 Index Matting(IM);

  • 自动遮罩算法 Late Fusion Matting(LFM);

不难看出,效果改进着实明显。

你觉得怎么样?不妨mark一下,坐等开源。

毕竟有些大胆的想法,可能已经在酝酿了,是吧?

传送门

项目地址:
http://grail.cs.washington.edu/projects/background-matting/

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

相关资讯

抠图大师都在用的三款抠图工具!AI抠图太智能了!不会PS也没关系

作为自媒体打工人,经常碰到处理图片需要抠图,在日常生活中,普通人也经常遇到这种情况:比如更换证件照颜色、照片背景过于杂乱,都需要把人像或者物品抠下来,换一张背景~如果手动抠图,不仅浪费时间,而且技术根本达不到完美抠图的效果!所以今天就给大家

抠图软件,电脑免费抠图神器,AI智能抠图换背景,图片一键去背景

抠图软件,电脑免费抠图神器,AI智能抠图换背景,图片一键去背景工具。本文分享一个电脑端免费使用的:图片抠图去背景在线工具-remove。抠图软件首先,准备好需要去除背景的图片;抠图软件然后打开这款抠图工具,选择上传图片;或者直接用鼠标将图片

不会抠图?快速精细抠图方法,PS通道+调整边缘抠图的详细说明

这里介绍一种快速抠图的方法,快速完成,不需要一点点抠细节。其实抠图原理大都差不多,抠图用到的工具也无非那么几种,通道、色彩范围、套索工具、魔术棒、调整边缘等等。这里主要用的是通道、色阶和调整边缘。我们先看一下抠好的图。现在我们来说明一下整体

四种ps抠图方法,简单又高效(全套抠图教程+抠图插件免费送)

在学习PS技能的过程中,抠图是最让人头疼的。下面教大家快速抠图的一个方法。抠图作为学习PS和设计,必须掌握的一门技巧,同时也是运用场景最多的一个技巧,需要我们认真学习和掌握。学会今天这篇教程中的抠图方法,相信朋友们在抠图的时候会更加得心应手

PS抠图技巧大全,初学者从何学起抠图工具和掌握抠图技巧

PS抠图是指什么??有什么用途!PS抠图是指利用photoshop的快速选择工具选取图片中的一个部分并闭合起来,然后将闭合部分截取出来的过程。例如将人合成到一副风景画就是用Photoshop把含有人的图片将人从图片中抠出来(抠图),然后把人

完美抠图王冰冰!字节实习生开发的AI,实现4K60帧视频实时抠图

鱼羊 明敏 发自 凹非寺量子位 报道 | 公众号 QbitAI看这一头蓬松的秀发,加上帅气的动作,你以为是在绿幕前拍大片?No、No、No这其实是AI拿来视频实时抠图后的效果。没想到吧,实时视频抠图,现在能精细到每一根发丝。换到alpha通

PS扣图教程:七种抠图方法,非常好用又高效附:PS抠图视频教程

PS中可以抠图的工具有很多,针对不同的图采用不同的抠图方法。今天分享这七种抠图方法,对于学习PS的新手来说,非常好用又高效。PS抠图视频教程+PS2020安装包放在结尾了!从易到难,循序渐进,下面开始分享:第一种:套索工具对于有复杂背景,但

短视频营销SaaS系统,短视频营销获客系统,短视频从0到1运营攻略

短视频是时下当之不让的“流量霸主”,中国互联网络信息中心(CNNIC)今年2月发布的第47次《中国互联网络发展状况统计报告》显示,截至2020年12月,我国网络视频用户规模达9.27亿,占网民整体的93.7%。其中短视频用户规模为8.73亿

聚量数说短视频获客系统,短视频营销系统,短视频SEO解决方案

作为国内最早落地开发运营短视频营销系统(SaaS)的厂商,聚量数说®已成功合作、运营代理商300余家,终端合作客户5000余家有医美行业、工业制造业、汽车行业、零售行业等行业标杆客户,完成用户短视频营销(SaaS)的搭建,并通过视频高频制作

短视频获客、短视频营销系统、短视频SEO营销系统——聚量数说

当下,短视频行业格局大成,短视频产品以势不可挡的姿态闯入消费者的生活,成为大众娱乐不可替代的渠道和方式。2021年4月20日,聚量数说科技围绕“短视频新风向——短视频营销获客系统”,邀请了各企业领导与全国优秀合作伙伴齐聚厦门国际会展酒店参加

短视频制作、短视频获客系统、短视频SEO营销系统—聚量数说科技

昨天,我在互联网上下载了几种视频材料和图片资料,想临时做一个视频。于是我问一个朋友,让他与我分享一款简单的快捷适合我的新手小白操作的视频剪辑操作方法!然后他推荐给我一种方法,该方法是用现在世面上比较流行的一款无门坎专业视频制作的软件。这是我

PS抠图方式有很多,蒙板抠图又快又干净,你喜欢哪一种?

哈,各位小伙伴,欢迎大家再次来到视频制作那些事儿,今天给大家分享的是PS中非常吃香的抠图方法-蒙版抠图。概述众所周知,PS中的抠图方法那是相当多的,比如说最常用的通道抠图,最简洁的选择主体,最时尚的选择并遮住,钢笔、快速选择、魔棒以及我们今

别再用手动抠图啦!学会这个一键抠图方法,100张图片只用5分钟

最近许多朋友向我反馈他们在抠图时,选择逐个定点手动抠图的方式,总会出现抠图效果存在毛边和抠图不到位的情况,所以想寻求有没有什么简单且效果不错的抠图方法!经过我询问公司的美工同事,得到以下这三个抠图方法,今天就分享出来,让大家以后不再被“抠图

不知道怎么抠图?教你几个简单容易的抠图方法

好用的电脑抠图软件?这还真问到我擅长的部分了。别急,看下去,今天给你推荐电脑端口的五个好用的抠图工具。记得点赞然后放在收藏夹吃灰昂~1.Photokit链接在此:Photo Editor | Free Image Editing Onlin

抠图怎么抠?抠图的方法分享

抠图怎么抠?这个问题,相信这个问题很多小伙伴都不太陌生了,日常我们在处理照片的时候,经常会遇到,那么大家都知道,抠图对于老设计师来说,那就是信手拈来,对于新的设计师来说,就是难上加难,很多小伙伴不知道该如何去抠图,怎么去抠图,不用担心,小编

友情链接

网址导航 SEO域名抢注宝宝起名网妈妈知道币圈荆门新闻资讯网佳贝艾特羊奶粉衡阳新闻头条网今日威海郑州新闻资讯网木地板品牌网柏林旅游网口腔医院排名网淄博烧烤网运动健身资讯网小说阅读网萧氏免费取名网美食城资讯网温州鞋业人才网海尔空调资讯网
PS抠图网-初学者ps抠图步骤、ps教程入门抠图、photoshop在线修图、免费的ps修图软件、下载ps修图软件免费版、下载ps修图软件免费版、美图秀秀网页版入口、美图秀秀下载官网、秀秀app下载免费版下载新版、美图秀秀最新版本、美图秀秀最新官方版下载资讯。
PS抠图网 mamahai.com ©2022-2028版权所有