欧易

欧易(OKX)

国内用户最喜爱的合约交易所

火币

火币(HTX )

全球知名的比特币交易所

币安

币安(Binance)

全球用户最多的交易所

深度学习「一键P图」:为原画无缝添加新元素

时间:2022-10-12 00:42:10 | 浏览:2770

把照片中的一个元素「复制粘贴」到绘画作品上,很简单?Nonono… 要想成品不像拼贴画,二者风格一致甚至融为一体可没有那么容易~来自康奈尔大学和 Adobe Research 的研究者提出一种 two-pass 算法,轻松实现快速无痕 P「

把照片中的一个元素「复制粘贴」到绘画作品上,很简单?Nonono… 要想成品不像拼贴画,二者风格一致甚至融为一体可没有那么容易~来自康奈尔大学和 Adobe Research 的研究者提出一种 two-pass 算法,轻松实现快速无痕 P「画」。

  • 论文链接:
    https://arxiv.org/abs/1804.03189

  • 项目GitHub:
    https://github.com/luanfujun/deep-painterly-harmonization

引言

图像合成是创建新视觉内容的关键操作。它帮助艺术家将现有材料合成新的作品,Man Ray 和 David Hockney 等艺术家使用该技术创造了很多杰出作品。合成可用于不同的语境中。照片拼贴等应用希望有明显的拼合痕迹,但其他应用希望使合成不易被人察觉,例如将一个对象添加到图像中,使之好像原本就在图像中一样。

人们开发了很多工具进行照片合成,如移除边界层 [PGB03]、匹配颜色 [XADR12] 或匹配细密结构 [SJMP10]。但是,没有适合绘画的工具。如果我们想在绘画作品上添加对象,选择就很有限了。你可以手动绘制该对象或使用绘画引擎 [CKIW15],但这需要时间和技巧(并没有几个人会)。为照片设计的算法对于绘画生成的结果低于标准,因为它们无法处理绘画作品的画刷纹理和抽象化。使用现有的绘画风格化算法效果也不好,因为它们是为全局风格化设计的,而我们想要寻求的是颜色、纹理和结构属性的局部协调。

本论文中,研究者解决了这些挑战,使得人们可以将图像中的对象复制到绘画作品中,且合成作品看起来就像原作一样。研究者基于绘画风格化方面的近期研究 [GEB16] 构建方法,以协调粘贴过来的对象的外观,使之与原画作匹配。研究者的策略是将绘画作品的神经反应相关数据迁移到对象中,主要贡献是如何确定哪些数据需要迁移。与之前研究类似,本论文使用 VGG 神经网络 [SZ14] 的反应作为推动该过程的数据。本论文展示了空间一致性和尺度间一致性的重要性。即,迁移来自画作小片区域的数据比使用大量独立位置得到的结果更好。此外,保存网络层之间的神经反应关联性还可以提升输出质量。为了达到这两个目标,研究者引入了一种 two-pass 算法:第一阶段达到单一尺度的大致协调,作为第二阶段的起点,来实现精细的多尺度改善。图 1(右)显示本文方法与相关技术的对比结果。

图 1:本论文提出的方法可以将元素与画作合成到一起,并使元素与画作相协调。左侧是给出的画作和元素,研究者展示了未调整的剪切复制结果、深度图像类比(Deep Imange Analogy)[LYY∗ 17] 和本论文提出方法的合成结果。

研究者在多个样本上执行了该方法。绘画合成是一项要求很高的任务,因为合成的风格要和原作风格一致,否则一眼就可以看出来。因此,单独看效果还不错的全局风格化技术结果在合成语境中可能不太好,因为合成元素和原作并列在一起,很容易就能看出细微差别。研究者进行了一项用户调研,结果显示其算法产生的合成结果通常被认为就是原作。

绘画协调算法(Painterly Harmonization Algorithm)

研究者设计了一种 two-pass 算法以达到绘画协调。之前的研究使用单程方法,如 Gatys et al. [GEB16] 将整个风格图像匹配到整个输入图像中,然后在格拉姆矩阵上使用 L2 范数来重建最终结果。Li & Wand [LW16a] 使用最近邻进行匹配,在激活向量上使用 L2 范数来重建最终结果。在早期实验中,研究者发现此类单程策略在本论文研究背景中效果并没有那么好,结果未达到预期。于是研究者开发了一种 two-pass 方法,第一阶段进行大致协调,第二阶段精细化视觉质量(算法 1)。

第一阶段生成了一个接近期望风格的中间结果,但是研究者这时的意图并不是输出最高质量的输出。研究者放松了对质量的要求,设计了一个鲁棒算法,该算法可以处理大量不同的风格。这一阶段通过执行粘贴区域颜色、纹理属性与画作语义类似区域的对应属性的粗略匹配,达到了大致的协调。研究者找到独立于每一网络层的最近邻神经 patch(算法 3)来匹配粘贴区域和背景的神经反应。这提供了中间结果(图 2b),对于第二阶段来说是一个更好的起点。

第二阶段中,研究者从中间结果开始,聚焦于改善视觉质量。直观来看,由于中间图像和风格图像在视觉上是非常接近的,因此研究者对输出质量的要求更加严格。研究者研究捕捉图像局部纹理属性的单个中间层,生成一个对应映射,可用于移除空间异常值。之后研究者对该空间一致映射执行上采样,以获取网络的更精细层级,从而确保在每个输出位置上,任意尺度的神经反应都来自画作的同一位置(算法 4)。这使得纹理更连贯流畅,结果看起来更好(图 2c)。

图 2:从差异巨大的输入和风格图像开始(a),研究者首先协调粘贴元素的整体外观(b),并细化结果,以精细化匹配纹理,移除伪影(c)。

绘画估计器

上述算法有两个影响输出风格属性的重要参数——风格和直方图权重(ws 和 whist)。我们观察到,不同的参数集根据风格化程度的不同为不同画作给出了最佳结果。例如,立体主义绘画往往包含多面的小区域,这些区域具有强烈而锐利的笔触,而文艺复兴鼎盛时期和巴洛克时期的绘画则更写实。研究者没有为每个输入调整参数,而是开发了一个训练过的权重估计器,使其权重选择方法更加鲁棒。

研究者训练一个绘画估计器来预测算法的优化参数,以便在背景画作风格更强烈时使用允许更深风格改变的参数,反之亦然。为了训练这种估计器,研究者将参数值分成三个类别(「弱」、「中」、「强」),并手动将每个绘画风格归入其中一个类别。表 1 显示了绘画风格的子集及其类别和权重值(其他风格在补充材料中)。

表 1:所选艺术风格的权重。其他艺术风格和参数权重详见补充文档。最后的权重是使用本文研究者训练的绘画估计器网络对不同艺术风格计算出的线性插值。TV 权重是根据绘画图像的噪声水平单独计算的(第 4 部分)。

研究者从 wikiart.org 收集了 8 万幅绘画作品,并调整 VGG-16 网络 [SZ14] 对 18 种不同风格进行分类。训练结束后,去掉最后一个分类层,在基于风格类别的 softmax 层上使用加权线性插值输出 ws 和 whist 的浮点值,ws 和 whist 表示风格化程度。然后在优化中使用这些参数值(如表 1 所示)。

图 7:在蒙娜丽莎(b)上粘贴 Ginevra de" Benci(a)的脸时,泊松混合 [PGB03] 无法匹配二者的纹理(c),Mulitscale Harmonization [SJMP10] 添加纹理但没有复现画作裂缝(d),Image Melding [DSB∗ 12] 添加裂缝,但不是处处添加,例如右侧眼睛下方没有裂缝(e)。相比之下,本论文的结果在各处都产生了裂缝(f)。

图 8:「编辑与否」用户调查的结果。绘画分类率越高,表明协调效果越好,因为用户无法识别研究者所做的编辑。大图标表示每个类别的平均值。

图 9:「对比」用户调查的结果。在四种算法中,本研究的算法通常是最受欢迎的。

图 10:热气球(左上)的典型对象协调结果。

论文:Deep Painterly Harmonization

论文链接:
https://arxiv.org/abs/1804.03189

摘要:将图像中的一个元素复制粘贴到绘画作品中是一项难度很高的任务。在这一情境下,使用照片合成技术获得的结果欠佳,看起来像拼贴画。现有的全局绘画风格化算法在局部使用时性能也不好。我们使用一种专用算法解决了这些问题,该算法仔细确定要被迁移的局部数据。我们确保空间和尺度内数据的一致性,并展示了二者是生成高质量结果的关键。为了处理画作的不同抽象水平和类型,我们引入了一种技术,根据具体画作调整迁移参数。我们展示了该算法生成的结果显著优于照片合成或全局风格化技术,它使原本比较困难的有创造性的绘画编辑成为可能。

相关资讯

“法国小姐”P图太猛被警告:你们参加的是“法国小姐”比赛,而非P图大赛

来源:环球时报【环球时报记者 赵风英】她们已经是法国最美的女人,但仍求助P图美化自己!据《法兰西西部报》23日报道,2022年度“法国小姐”选美比赛的总决赛将于12月11日举行,候选佳丽个个面容姣好、身材出众,但当中还有不少人为了更美在社交

“法国小姐”P图太猛被警告:你们参加的不是P图大赛

来源:环球时报【环球时报记者 赵风英】她们已经是法国最美的女人,但仍求助P图美化自己!据《法兰西西部报》23日报道,2022年度“法国小姐”选美比赛的总决赛将于12月11日举行,候选佳丽个个面容姣好、身材出众,但当中还有不少人为了更美在社交

这哪里是P图,简直是毫无痕迹地换头!深扒那些常见P图app里,不为人知的神技能

最近的假期有点多,小仙女们出去玩,拍照才是正经事。然而残酷的现实表明,照片中的人,距离脑海中美得惊心动魄的自己,还有很长的路要走啊!!!不过正所谓三分天注定、七分靠打拼,想拍出一张好照片,剩下的90分就得后期P图了。但只会一键美颜的你,加上

P图大神“用力过猛”,看P图后效果,网友:糟糕,是心动的感觉

为了让照片看起来更加完美,很多人在拍照以后都会用PS或者修图软件对照片进行加工改造。对于P图小白来说,调一下对比度或者加个滤镜就算是P图了,但对于P图大神来说,整个修图过程好比进行一项浩大的工程,从美白,瘦脸到放大眼睛,拉长双腿,每个步骤都

潘集区政府党组理论学习中心组学习会,暨深化“三个以案”警示教育专题学习研讨会举行

4月27日上午,区政府党组理论学习中心组学习会暨深化“三个以案”警示教育专题学习研讨会举行,区政府党组书记、区长宋立敏出席会议并讲话,区政府党组成员李旭、曹多杰、程晓玲、盛星、段传策参加会议,副区长王亮,副县级干部余子兰列席会议。会上,传达

深度学习「一键P图」:为原画无缝添加新元素

把照片中的一个元素「复制粘贴」到绘画作品上,很简单?Nonono… 要想成品不像拼贴画,二者风格一致甚至融为一体可没有那么容易~来自康奈尔大学和 Adobe Research 的研究者提出一种 two-pass 算法,轻松实现快速无痕 P「

秀洲区委理论学习中心组举行“运河湾新城城市设计规划”专题学习会

来源:【嘉兴日报-嘉兴在线】今天下午,“秀水大讲堂”暨区委理论学习中心组举行“运河湾新城城市设计规划”专题学习会,邀请秀洲区城市总设计师、上海同济大学城市设计研究院常务副院长匡晓明通过视频作关于运河湾新城城市设计规划的专题讲座。区委书记徐鸣

庄继艳主持定海区委理论学习中心组学习会并讲话

2018-08-20 10:21 | 浙江新闻客户端 | 通讯员 乐晨宇 郑震定海区委理论学习中心组8月17日举行专题学习会,传达学习习近平总书记对浙江工作的重要指示精神以及省委十四届三次全会精神,推进“八八战略”再深化、改革开放再出发,积

区政府党组理论学习中心组学习暨政府常务会召开

襄城融媒讯(通讯员叶丽莉 记者魏婧茹)8月30日,襄城区召开区政府党组理论学习中心组集中学习和区政府常务会议,传达学习中央和省、市有关文件精神,并就当前重点工作进行研究部署。会议对前一阶段疫情防控工作表示肯定,人员流调和数据排查细致缜密,连

中原区委召开常委会(扩大)会议暨区委理论学习中心组2022年第九次集体学习会议

8月4日下午,中原区委召开常委会(扩大)会议暨区委理论学习中心组2022年第九次集体学习会议。区领导李晓雷、邓英文、刘守斌、马素华、曹勇、闫凯、赵洪印、刘斌、李华、施小武等区委理论学习中心组成员及区四大班子办公室和各街道主要负责同志参加会议

遂平县委党史学习教育巡回指导组到花庄镇督导检查党史学习教育工作

映象网讯(记者 黄向阳 见习记者 刘秋芬 通讯员 李晓楠)7月22日上午,遂平县委党史教育第六巡回指导组一行4人在组长孟庆贺的带领下,到花庄镇督导检查党史学习教育工作开展情况。花庄镇党委书记张华杰,花庄镇党委副书记王忠良,花庄镇组织委员代迎

淮南市潘集区政府党组理论学习中心组学习(扩大)会议召开

10月9日上午,区政府党组理论学习中心组学习(扩大)会议在区政府政务中心召开。区政府党组书记、区长闪健出席会议并讲话,区领导程晓玲、夏多明、段传策出席会议,各乡镇街道、区直有关部门负责同志列席。会上,集中学习了习近平总书记在中央人才工作会议

迎江区人民检察院召开党组理论学习中心组(扩大)学习会议

9月28日,迎江区人民检察院召开2022年度第10次党组理论学习中心组(扩大)学习会议,进一步深入学习《习近平谈治国理政》第四卷。党组书记、检察长李志勤主持会议,院领导班子成员及各部门负责人参加会议。会议传达学习了习近平总书记近期重要讲话精

潍坊市潍城区:探索创新“学习强国”学习平台“3+X”宣传推广模式

建在群众家门口的“学习强国”!这是潍城区今年以来打造“学习强国”、推动全民学习的服务理念。针对如何更广泛地宣传推广、更有效地提升群众参与积极性,潍城区探索创新了“平台打造”“队伍建设”“校地联合”和评选激励、文化惠民等特色活动相融合的“3+

寒亭区政府党组理论学习中心组开展集体学习研讨

9月30日下午,寒亭区政府党组理论学习中心组在金融大厦开展集体学习研讨。与会领导集体学习了《习近平在辽宁考察时强调 在新时代东北振兴上展现更大担当和作为 奋力开创辽宁振兴发展新局面》;《求是》杂志上的重要文章《新发展阶段贯彻新发展理念必然要

友情链接

网址导航 SEO域名抢注宝宝起名网妈妈知道币圈音乐培训网龙岩沉缸酒资讯网唐嫣影迷网正品莆田鞋官网咖啡培训网美赞臣奶粉评价网霸王茶姬会员日曲靖新闻头条网雀巢咖啡品鉴网正典燕窝今日潍坊装修公司资讯网羊驼宠物网日语自学网网球运动网
PS抠图网-初学者ps抠图步骤、ps教程入门抠图、photoshop在线修图、免费的ps修图软件、下载ps修图软件免费版、下载ps修图软件免费版、美图秀秀网页版入口、美图秀秀下载官网、秀秀app下载免费版下载新版、美图秀秀最新版本、美图秀秀最新官方版下载资讯。
PS抠图网 mamahai.com ©2022-2028版权所有