欧易

欧易(OKX)

国内用户最喜爱的合约交易所

火币

火币(HTX )

全球知名的比特币交易所

币安

币安(Binance)

全球用户最多的交易所

与神经网络相比,你对P图一无所知

时间:2022-10-12 00:47:11 | 浏览:3114

栗子 发自 凹非寺量子位 出品 | 公众号 QbitAI“大神,可以帮我把羊蜜街拍P成我的脸么?哦对,不光是这样,还要像羊蜜哟…”从一张照片里取出某个元素,再把它神不知鬼不觉地混入另一张图片里,似乎是一件很有难度的事情。毕竟,分分钟就会产生

栗子 发自 凹非寺

量子位 出品 | 公众号 QbitAI

“大神,可以帮我把羊蜜街拍P成我的脸么?哦对,不光是这样,还要像羊蜜哟…”

从一张照片里取出某个元素,再把它神不知鬼不觉地混入另一张图片里,似乎是一件很有难度的事情。毕竟,分分钟就会产生魔性的拼贴效果,不管是手动操作,还是AI的计算。

而如果“另一张图片”是指人类的画作,就更加不容易了。

不过,康奈尔大学和啊逗比的大神们生产了一种算法,能把各种物体融合进画作里,且毫无PS痕迹。

大量艺术家的心血,甚至艺术家自己,都惨遭它的毒手:

要啥自行车

蒙娜憨莎·豆

毕加炳

给你买了个biao

樊 · 蔡康永 · 高

是什么算法,如此丧心病狂?

记住这个名字:Deep Painterly Harmonization。

在康奈尔和啊逗比的P图大神们看来,现存的全局风格化算法都太弱了。

它们确实能搞定整张照片的风格迁移。把画作和被画传染的图片摆在一起,可能不会看出太大的问题。

介绍一下,这是我的新装备

但要像上图这样,把美队的盾牌融合到意大利画家Onofrio Bramante的作品里,微小的差异看上去就会很明显。全局风格迁移的表现也比较谦虚 (如左三) 。

无论是去除边界线、匹配色彩还是细化质地,都很难让粘贴部分拥有画作的原始风格。

我们不一样

于是,这群大神觉得,他们需要搭建局部风格化的神经网络。

大的方略就是,把画作相关部分 (神经元响应) 的特征统计,迁移到外来物体的对应位置上——关键在于选择,哪些东西才是应该迁移的。

Gatys有只几何猫

小伙伴们以Gatys团队发表的风格迁移技术为基础,用VGG搭建了一个two-pass算法,还额外引入了一些风格重建损失 (Reconstruction Losses) 来优化结果。

来来来,算法详情要一步一步看。

第一步 (First Pass):粗略图像协调 (单一尺度)

大致调整外来元素的色彩和质地,和画中语义相似的部分对应。要在神经网络的每一层,分别找到相邻最近的神经补丁,和粘贴部分的神经元响应匹配起来。

卷福丽莎,迷人的眼神

退一步,海阔凭鱼跃。先不需要太纠缠图像的质量,因为一定程度上牺牲品质,团队就可以设计出一个强大的算法,适应多种多样的画风。

用Gram矩阵来计算风格重建损失,便可以将粗略协调的版本优化一下。

不计风格损失的后果

这里得到的是一个中间产物,不过风格已经和原画作很相似了。

第二步 (Second Pass):高品质细化 (多尺度)

有了第一步的基础,此时开始对图像质量提出严格要求,便是顺理成章。

这一步,先要在一个负责捕捉质地属性的中间层集中火力,生成一个对应关系图 (correspondence map) ,来剔除空间异常值 (spatial outliers)。

你沉在,我昏黄的画布里

然后,对拥有空间一致性的对应图进行上采样 (upsample) ,进入神经网络更加精细的层次里。这样可以保证,对每一个输出位置来说,所有尺度上的神经元响应,都来自画中的同一位置。

如此一来,画面便能拥有更加连贯的质感,看上去自然许多。

后处理

经过Two-Pass算法的洗礼,中大尺度上看,图像质量几乎无懈可击;但在精细尺度上,可能还有不够准确的情况存在。也就是说,可远观而不可__焉 (填空题:10分)。

于是,后处理也要两步走:

色度降噪

高频失真的现象,主要作用在色度通道,对亮度并没有太大影响。

发现了这一特点,团队将图像转换成CIELAB色彩空间;再在Guided Filter里,以亮度通道作为向导,来过滤ab色度通道。

工作还是生活,这是一个问题

这个方法有效改善了高频色彩失真的情况,但有可能捅出更大的漏洞。然后…

补丁合成

就有了第二步,来确保输出的每个补丁都出现在画面中。用PatchMatch给每一个补丁找到相似的补丁。再为所有画风重叠的补丁取平均值,以此重构output,就可以保证画面里不要生出新的内容。

不过,这里的副作用是会柔化细节,于是又要请出Guided Filter把图像分成底层 (Base Layer) 和细节层 (Detail Layer) ,来削弱柔化效果。

画风虐我千百遍,我,选择狗带

局部迁移疗效显著

实验结果表明,转移一些区域特征统计的集合,要比转移很多独立位置的特征统计,效果要好得多。神经网络反应的对应关系图帮了大忙。

局部风格迁移的算法,保障了统计学意义上的空间一致性和跨尺度一致性。得到天衣无缝的拼图质量,这两个“一致性”功绩斐然。

金拱门的八度人生

以后,拼图少年们大概可以抛弃全局风格迁移算法了。放眼局部,你的脑洞可以绽放得惨无人道。

不过,比起难以察觉的入侵,我还是醉心于这种360度全死角的魔性p图。

万能的拷贝,万能的粘贴

更酸爽的论文传送门:

http://www.cs.cornell.edu/~fujun/files/painting-arxiv18/deeppainting.pdf

这篇论文的作者包括:Fujun Luan(栾福军)、Sylvain Paris、Eli Shechtman、Kavita Bala等人。他们还把代码开源了,还能看到更多触目惊心的例子:

https://github.com/luanfujun/deep-painterly-harmonization

顺便提一下,论文一作栾福军,2015年本科毕业于清华,目前在康纳尔大学攻读博士学位。曾在Facebook、Face++、Adobe等公司实习。

艺术照小哥哥一直在钻研视觉的玄妙。

比方说曾经被誉为“下一代PS”的Deep Photo Style Transfer,也是栾福军的研究成果。Deep Photo能实现像素级的风格迁移。

也是非常酷炫。

One More Thing

如果你暂时不方便去GitHub上围观,我们还搞了一个小型AI高手P图展。在量子位公众号(ID:QbitAI)对话界面,回复“高手”二字,即可开始参观。

— 完 —

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ"ᴗ" ի 追踪AI技术和产品新动态

相关资讯

网络推广是什么?网络营销的方式,网络营销推广怎么做?

随着科技知识的进步与社会经济的发展,我们现在已经步入了网络营销时期,网络营销已经渗透到了我们社会生活与生产的各个领域。在网络时代,作为市场经济主体的企业应该顺应潮流,努力塑造网络营销中的企业文化,保证企业发展的凝聚力,把握正确的前进方向,

什么是网络营销?网络营销和网络推广有什么区别?

网络营销跟网络推广一样吗?不一样的,营销的概念是要大于推广的,那网络营销到底是什么?与网络推广又有着怎样的区别?网络营销具体包含哪些内容?今天帝佑科技小编就来讲述给大家。Marketing或E-Marketing简单来说,是建立在互联网的基

“法国小姐”P图太猛被警告:你们参加的是“法国小姐”比赛,而非P图大赛

来源:环球时报【环球时报记者 赵风英】她们已经是法国最美的女人,但仍求助P图美化自己!据《法兰西西部报》23日报道,2022年度“法国小姐”选美比赛的总决赛将于12月11日举行,候选佳丽个个面容姣好、身材出众,但当中还有不少人为了更美在社交

“法国小姐”P图太猛被警告:你们参加的不是P图大赛

来源:环球时报【环球时报记者 赵风英】她们已经是法国最美的女人,但仍求助P图美化自己!据《法兰西西部报》23日报道,2022年度“法国小姐”选美比赛的总决赛将于12月11日举行,候选佳丽个个面容姣好、身材出众,但当中还有不少人为了更美在社交

这哪里是P图,简直是毫无痕迹地换头!深扒那些常见P图app里,不为人知的神技能

最近的假期有点多,小仙女们出去玩,拍照才是正经事。然而残酷的现实表明,照片中的人,距离脑海中美得惊心动魄的自己,还有很长的路要走啊!!!不过正所谓三分天注定、七分靠打拼,想拍出一张好照片,剩下的90分就得后期P图了。但只会一键美颜的你,加上

P图大神“用力过猛”,看P图后效果,网友:糟糕,是心动的感觉

为了让照片看起来更加完美,很多人在拍照以后都会用PS或者修图软件对照片进行加工改造。对于P图小白来说,调一下对比度或者加个滤镜就算是P图了,但对于P图大神来说,整个修图过程好比进行一项浩大的工程,从美白,瘦脸到放大眼睛,拉长双腿,每个步骤都

与神经网络相比,你对P图一无所知

栗子 发自 凹非寺量子位 出品 | 公众号 QbitAI“大神,可以帮我把羊蜜街拍P成我的脸么?哦对,不光是这样,还要像羊蜜哟…”从一张照片里取出某个元素,再把它神不知鬼不觉地混入另一张图片里,似乎是一件很有难度的事情。毕竟,分分钟就会产生

SEO从业心得:网络优化不是在制造“网络垃圾”

我从事seo优化工作也差不多有2年时间了,刚接触的时候根本不懂什么是seo,对seo充满了各种的好奇,直到通过百度百科了解到“什么是seo”后才让我醍醐灌顶,也是因为对seo浓烈的爱好,最后不断的在一些微信公众号及各大搜索引擎寻找seo的一

网络安全进乡村,共筑基层“防火墙”,秀洲区网络安全宣传周启动

来源:【嘉兴日报-嘉兴在线】网络安全为人民,网络安全靠人民。今天下午,2022年秀洲区网络安全宣传周启动仪式在新塍镇沙家浜村举行,启动仪式拉开了秀洲区网络安全主题宣传系列活动序幕。安全是发展的前提,发展是安全的保障。前期,秀洲区遴选了6家单

开启“网络货运”新时代!石龙区着力打造网络货运数字经济产业园

平报融媒记者 闫增旗巨幅大屏上不断闪动的数据实时显示着货物热度分布图、车辆热度分布图、货源热度图、路线热度图等;宽敞的开放办公区,工作人员正在忙着调度车辆,审核新注册的车主、货主资质,进行在线结算……7月7日上午,位于石龙区的河南网络货运数

首届周口市网络文明大会暨网络综合治理体系建设工作推进会在川汇区召开

8月31日下午,首届周口市网络文明大会暨网络综合治理体系建设工作推进会在川汇区召开。市委宣传部、市委网信办有关负责同志出席会议,各县市区文明办、县市区委网信办负责人以及“周口好网民”获奖代表参加会议。此次会议以“弘扬时代新风 建设网络文明”

凝聚网络力量讲好潍城故事潍坊市潍城区召开网络媒体座谈会

齐鲁网·闪电新闻4月29日讯 近日,潍坊市潍城区召开网络媒体座谈会,就如何更好地宣传潍城、加强网络文明建设等事宜进行讨论交流。潍城区新媒体协会成员、自媒体代表参加了座谈会,座谈会主题为“凝聚网络力量 讲好潍城故事”。会上,大家积极交流发言表

朔州平鲁区:网络安全宣传营造清朗网络空间

日前,朔州平鲁区围绕“网络安全为人民,网络安全靠人民”主题,结合实际,高规格谋划部署,高标准组织推进,有效推动网络安全宣传活动走深走实、出新出彩,着力营造清朗网络空间。  “今天学到了不少网络安全知识,希望以后能多上上课!”“经常会接到一些

C++基础语法梳理:计算机网络丨网络层(知识详解)

计算机网络各层作用及协议网络层IP(Internet Protocol,网际协议)是为计算机网络相互连接进行通信而设计的协议。ARP(Address Resolution Protocol,地址解析协议)ICMP(Internet Cont

网络推广平台有哪些,如何做网络推广?

一,搜索推广。报价促销.如资金状况允许,可考虑做报价排名,迅速把公司产品信息排在前面,浏览率高,成交机会自然就多。但烧钱是非常大的,投入100,000可以带来数十个客户。2.软文营销(低成本百度、360搜索霸屏排名):利用关键字进行优化,让

友情链接

网址导航 SEO域名抢注宝宝起名网妈妈知道币圈济州岛旅游网生肖虎运势网流星雨资讯网灭蚊灯品牌网空气净化器资讯网催乳师培训网杭州亚运会资讯网法国香水品牌网燕京啤酒A股票今日衡水散文精选网甘肃旅游网揭阳新闻资讯网陨石资讯网刘若英歌迷网
PS抠图网-初学者ps抠图步骤、ps教程入门抠图、photoshop在线修图、免费的ps修图软件、下载ps修图软件免费版、下载ps修图软件免费版、美图秀秀网页版入口、美图秀秀下载官网、秀秀app下载免费版下载新版、美图秀秀最新版本、美图秀秀最新官方版下载资讯。
PS抠图网 mamahai.com ©2022-2028版权所有