欧易

欧易(OKX)

国内用户最喜爱的合约交易所

火币

火币(HTX )

全球知名的比特币交易所

币安

币安(Binance)

全球用户最多的交易所

AI视频抠图有多强?无需「绿幕」,也可达影视级效果

时间:2022-10-12 00:06:46 | 浏览:1681

今天一大早就被网友们安利了一个热门AI项目。听说,它可以带你周游世界,还能让AngelaBaby多拍几部电视剧。这是啥情况??仔细一了解,原来是一款AI视频抠图神器,一大早就冲上了GitHub热榜。官方介绍说,这个AI神器可以让视频处理变得

今天一大早就被网友们安利了一个热门AI项目。

听说,它可以带你周游世界,还能让AngelaBaby多拍几部电视剧。

这是啥情况??

仔细一了解,原来是一款AI视频抠图神器,一大早就冲上了GitHub热榜。

官方介绍说,这个AI神器可以让视频处理变得非常简单且专业,不用「绿幕」,也能达到逼真、毫无违和感的合成效果。

果然,打工人的“周游世界”只有AI能实现了[泪目]。

其实,视频抠图AI已经出现过不少,但这一款确实让人觉得很惊艳。先来看下它演示Demo。

你能看出公路背景和大海背景的视频,哪一个是AI合成的吗?

连撩起的头发都看不出一点破绽。

而且就算疯狂跳舞也没有影响合成效果。

再来看下它背后的抠图细节,不仅精确到了头发,甚至还包括浮起的碎发......

动态效果也是如此,疯狂甩头也能实时捕捉细节。

这项超强AI抠图神器来自香港城市大学和商汤科技联合研究团队,论文一作还是一位在读博士生张汉科。

接下来,我们来看下它背后的技术原理。

目标分解网络MODNet

关键在于,这个AI采用了一种轻量级的目标分解网络MODNet( Matting Objective Decomposition Network),它可以从不同背景的单个输入图像中平滑地处理动态人像。

简单的说,其功能就是视频人像抠图。

我们知道,一些影视作品尤其是古装剧,必须要对人物的背景进行后期处理。为了达到逼真的合成效果,拍摄时一般都会采用「绿幕」做背景。因为绿色屏幕可以使高质量的Alpha 蒙版实时提取图像或视频中的人物。

另外,如果没有绿屏的话,通常采用的技术手段是光照处理法,即使预定义的Trimap作为自然光照算法输入。这种方法会粗略地生成三位图:确定的(不透明)前景,确定的(透明)背景以及介于两者之间的未知(不透明)区域。

如果使用人工注释三位图不仅昂贵,而且深度相机可能会导致精度下降。因此,针对以上不足,研究人员提出了目标分解网络MODNet。

如图所示,MODNet由三个相互依赖的分支S、D和F构成。它们分别通过一个低分辨率分支来预测人类语义(SP)、一个高分辨率分支来聚焦纵向的边界细节(DP),最后一个融合分支来预测Alpha Matte (αp)。

具体如下:

  • 语义估计(Semantic Estimation):采用MobileNetV2[35]架构,通过编码器(即MODNet的低分辨率分支)来提取高层语义。

  • 细节预测(Detail Prediction):处理前景肖像周围的过渡区域,以I,S(I)和S的低层特征作为输入。同时对它的卷积层数、信道数、输入分辨率三个方面进行了优化。

  • 语义细节融合(Semantic-Detail Fusion):一个融合了语义和细节的CNN模块,它向上采样S(I)以使其形状与D(I,S(I))相之相匹配,再将S(I)和D(I,S(I))连接起来预测最终αp。

另外,基于以上底层框架,该研究还提出了一种自监督策略SOC(Sub-Objectives Consistency)和帧延迟处理方法OFD(One-Frame Delay )。

其中,SOC策略可以保证MODNet架构在处理未标注数据时,让输出的子目标之间具有一致性;OFD方法在执行人像抠像视频任务时,可以在平滑视频序列中预测Alpha遮罩。如下图:

实验评估

在开展实验评估之前,研究人员创建了一个摄影人像基准数据集PPM-100(Photographic Portrait Matting)。

它包含了100幅不同背景的已精细注释的肖像图像。为了保证样本的多样性,PPM-100还被定义了几个分类规则来平衡样本类型,比如是否包括整个人体;图像背景是否模糊;是否持有其他物体。如图:

PPM-100中的样图具有丰富的背景和人物姿势。因此可以被看做一个较为全面的基准。

那么我们来看下实验结果:

图中显示,MODNet在MSE(均方误差)和MAD(平均值)上都优于其他无Trimap的方法。虽然它的性能不如采用Trimap的DIM,但如果将MODNet修改为基于Trimap的方法—即以Trimap作为输入,它的性能会优于基于Trimap的DIM,这也再次表明显示MODNet的结构体系具有优越性。

此外,研究人员还进一步证明了MODNet在模型大小和执行效率方面的优势。

其中,模型大小通过参数总数来衡量,执行效率通过NVIDIA GTX1080 Ti GPU上超过PPM-100的平均参考时间来反映(输入图像被裁剪为512×512)。结果如图:

上图显示,MODNet的推理时间为15.8ms(63fps),是FDMPA(31fps)的两倍。虽然MODNet的参数量比FDMPA稍多,但性能明显更好。

需要注意的是,较少的参数并不意味着更快的推理速度,因为模型可能有较大的特征映射或耗时机制,比如,注意力机制(Attention Mechanisms)。

总之,MODNet提出了一个简单、快速且有效实时人像抠图处理方法。该方法仅以RGB图像为输入,实现了场景变化下Alpha 蒙版预测。此外,由于所提出的SOC和OFD,MODNet在实际应用中受到的域转移问题影响也较小。

不过遗憾的是,该方法不能处理复杂的服装和模糊的运动视频,因为这些内容不涵盖在训练数据集内。下一阶段,研究人员会尝试通过附加子目标(例如光流估计)的方法来解决运动模糊下的视频抠图问题。

更多论文内容可参见:
https://arxiv.org/pdf/2011.11961.pdf

引用链接:

https://www.youtube.com/watch?v=PqJ3BRHX3Lc&feature=youtu.be

https://github.com/ZHKKKe/MODNet

https://syncedreview.com/2020/11/26/do-we-really-need-green-screens-for-high-quality-real-time-human-matting/

https://www.reddit.com/r/MachineLearning/comments/k1sttd/r_do_we_really_need_green_screens_for_highquality/

雷锋网雷锋网雷锋网

相关资讯

AI视频抠图有多强?无需「绿幕」,也可达影视级效果

今天一大早就被网友们安利了一个热门AI项目。听说,它可以带你周游世界,还能让AngelaBaby多拍几部电视剧。这是啥情况??仔细一了解,原来是一款AI视频抠图神器,一大早就冲上了GitHub热榜。官方介绍说,这个AI神器可以让视频处理变得

抠图大师都在用的三款抠图工具!AI抠图太智能了!不会PS也没关系

作为自媒体打工人,经常碰到处理图片需要抠图,在日常生活中,普通人也经常遇到这种情况:比如更换证件照颜色、照片背景过于杂乱,都需要把人像或者物品抠下来,换一张背景~如果手动抠图,不仅浪费时间,而且技术根本达不到完美抠图的效果!所以今天就给大家

抠图软件,电脑免费抠图神器,AI智能抠图换背景,图片一键去背景

抠图软件,电脑免费抠图神器,AI智能抠图换背景,图片一键去背景工具。本文分享一个电脑端免费使用的:图片抠图去背景在线工具-remove。抠图软件首先,准备好需要去除背景的图片;抠图软件然后打开这款抠图工具,选择上传图片;或者直接用鼠标将图片

不会抠图?快速精细抠图方法,PS通道+调整边缘抠图的详细说明

这里介绍一种快速抠图的方法,快速完成,不需要一点点抠细节。其实抠图原理大都差不多,抠图用到的工具也无非那么几种,通道、色彩范围、套索工具、魔术棒、调整边缘等等。这里主要用的是通道、色阶和调整边缘。我们先看一下抠好的图。现在我们来说明一下整体

四种ps抠图方法,简单又高效(全套抠图教程+抠图插件免费送)

在学习PS技能的过程中,抠图是最让人头疼的。下面教大家快速抠图的一个方法。抠图作为学习PS和设计,必须掌握的一门技巧,同时也是运用场景最多的一个技巧,需要我们认真学习和掌握。学会今天这篇教程中的抠图方法,相信朋友们在抠图的时候会更加得心应手

PS抠图技巧大全,初学者从何学起抠图工具和掌握抠图技巧

PS抠图是指什么??有什么用途!PS抠图是指利用photoshop的快速选择工具选取图片中的一个部分并闭合起来,然后将闭合部分截取出来的过程。例如将人合成到一副风景画就是用Photoshop把含有人的图片将人从图片中抠出来(抠图),然后把人

完美抠图王冰冰!字节实习生开发的AI,实现4K60帧视频实时抠图

鱼羊 明敏 发自 凹非寺量子位 报道 | 公众号 QbitAI看这一头蓬松的秀发,加上帅气的动作,你以为是在绿幕前拍大片?No、No、No这其实是AI拿来视频实时抠图后的效果。没想到吧,实时视频抠图,现在能精细到每一根发丝。换到alpha通

PS扣图教程:七种抠图方法,非常好用又高效附:PS抠图视频教程

PS中可以抠图的工具有很多,针对不同的图采用不同的抠图方法。今天分享这七种抠图方法,对于学习PS的新手来说,非常好用又高效。PS抠图视频教程+PS2020安装包放在结尾了!从易到难,循序渐进,下面开始分享:第一种:套索工具对于有复杂背景,但

短视频营销SaaS系统,短视频营销获客系统,短视频从0到1运营攻略

短视频是时下当之不让的“流量霸主”,中国互联网络信息中心(CNNIC)今年2月发布的第47次《中国互联网络发展状况统计报告》显示,截至2020年12月,我国网络视频用户规模达9.27亿,占网民整体的93.7%。其中短视频用户规模为8.73亿

聚量数说短视频获客系统,短视频营销系统,短视频SEO解决方案

作为国内最早落地开发运营短视频营销系统(SaaS)的厂商,聚量数说®已成功合作、运营代理商300余家,终端合作客户5000余家有医美行业、工业制造业、汽车行业、零售行业等行业标杆客户,完成用户短视频营销(SaaS)的搭建,并通过视频高频制作

短视频获客、短视频营销系统、短视频SEO营销系统——聚量数说

当下,短视频行业格局大成,短视频产品以势不可挡的姿态闯入消费者的生活,成为大众娱乐不可替代的渠道和方式。2021年4月20日,聚量数说科技围绕“短视频新风向——短视频营销获客系统”,邀请了各企业领导与全国优秀合作伙伴齐聚厦门国际会展酒店参加

短视频制作、短视频获客系统、短视频SEO营销系统—聚量数说科技

昨天,我在互联网上下载了几种视频材料和图片资料,想临时做一个视频。于是我问一个朋友,让他与我分享一款简单的快捷适合我的新手小白操作的视频剪辑操作方法!然后他推荐给我一种方法,该方法是用现在世面上比较流行的一款无门坎专业视频制作的软件。这是我

杨幂悬浮、张翰脑袋缺一角,影视剧10大“抠图”事故,给我看笑了

#头条创作挑战赛#抠图,如今已经成为了各大影视剧必备的技能之一,有的为了满足剧情需要、有的为了给不敬业的演员打掩护,有的纯粹为了省钱……可惜不是所有抠图都完美无缺,因此产生的影视剧事故,也成了一个个个滑稽的“彩蛋”。《宫锁心玉》后期先扣一个

PS抠图方式有很多,蒙板抠图又快又干净,你喜欢哪一种?

哈,各位小伙伴,欢迎大家再次来到视频制作那些事儿,今天给大家分享的是PS中非常吃香的抠图方法-蒙版抠图。概述众所周知,PS中的抠图方法那是相当多的,比如说最常用的通道抠图,最简洁的选择主体,最时尚的选择并遮住,钢笔、快速选择、魔棒以及我们今

别再用手动抠图啦!学会这个一键抠图方法,100张图片只用5分钟

最近许多朋友向我反馈他们在抠图时,选择逐个定点手动抠图的方式,总会出现抠图效果存在毛边和抠图不到位的情况,所以想寻求有没有什么简单且效果不错的抠图方法!经过我询问公司的美工同事,得到以下这三个抠图方法,今天就分享出来,让大家以后不再被“抠图

友情链接

网址导航 SEO域名抢注宝宝起名网妈妈知道币圈深圳房产信息网悬空寺旅游攻略苏泊尔豆浆机评测网小糊涂仙酒股票网防城港新闻资讯网林志颖歌迷网图阿普塞旅游网暑假旅游攻略网浴霸品牌网柳州新闻资讯网宏宇瓷砖资讯网盏记燕窝龙岩沉缸酒资讯网天然九眼天珠白洋淀旅游攻略
PS抠图网-初学者ps抠图步骤、ps教程入门抠图、photoshop在线修图、免费的ps修图软件、下载ps修图软件免费版、下载ps修图软件免费版、美图秀秀网页版入口、美图秀秀下载官网、秀秀app下载免费版下载新版、美图秀秀最新版本、美图秀秀最新官方版下载资讯。
PS抠图网 mamahai.com ©2022-2028版权所有