欧易

欧易(OKX)

国内用户最喜爱的合约交易所

火币

火币(HTX )

全球知名的比特币交易所

币安

币安(Binance)

全球用户最多的交易所

英伟达又突破想象力!一句话实时P图「创世纪」,在线Demo可玩

时间:2022-10-12 00:25:12 | 浏览:423

在“一句话生成照片”这件事上,英伟达又一次突破了大伙的想象力。他们最新的AI模型GauGAN2,不仅能根据字词生成逼真风景照,还能实时用文字P图!输入一句“海浪击打岸边石”,立刻输出一张逼真照片:从单词到短语,这只AI全都能get!那感觉,

在“一句话生成照片”这件事上,英伟达又一次突破了大伙的想象力。

他们最新的AI模型GauGAN2,不仅能根据字词生成逼真风景照,还能实时用文字P图

输入一句“海浪击打岸边石”,立刻输出一张逼真照片:

单词短语,这只AI全都能get!

那感觉,简直是要山得山,要水得水:

要是觉得哪部分你不喜欢,直接打字就能“P图”:

上面这些效果,都是英伟达这个叫做“GauGAN2”的模型做出来的,而它的“完整版”功能,还远不止这些。

从草图到文字,都能生成风景照

GauGAN2的绘制模式,一共分为三种。

第一种,打字生成图片。

我们先试了一下单个词组,“阳光(sunshine)”,生成如下图片:

加上限定词in the forest后,AI立刻就将场景换到了树林里,变成光洒在树林中的场景:

再多来点限定词也没问题。

像“冬日树林中的阳光”,输入in winter后,眼前本来郁郁葱葱的树林立刻“全秃了”,换成了雪景下的一幕:

这效果,u1s1(有一说一)确实不错。

还能输出不同style的风景图,例如输入“大山(mountain)”一词,立刻要山有山,还能给你换不同风格:

当然,这些不同的风景照也都能继续生成新细节,在mountain后加上“beside a river”就能生成山水:

第二种,“打字P图”,直接用文字编辑部分图像。

只需要把想替换掉的部分圈出来,输入你想要的东西,就能立刻造出各种新颖的风景图:

嗯……英伟达给出的这个demo,思路也是非常清奇了,“浮在空中的城堡”:

第三种,用涂鸦生成风景照。

这是上一代GauGAN2(2019年英伟达推出的GauGAN)的看家本领。

例如,要是想实现下面这样的“一片天空两个太阳”,就完全可以在通过文本生成的图像上,自己手动再加一个。

这几种玩法叠加在一起,简直让网友们脑洞大开。

像外媒ZDNet就恶搞出来了一种神奇的玩法,在已有的风景上画个人头:

然后让GauGAN2根据已有的画面,再重新生成图画,就会得到如下“人头海岛”的神奇景观:

不过这可能也对个人画技有所要求,在我们的灵魂画风下,效果看上去就有些……不太聪明的亚子。

那么,生成这一系列风景照的GauGAN2,背后究竟用了什么原理?

它与OpenAI今年发布的DALL·E和CLIP,又究竟有什么区别?

与DALL·E有什么不同?

2019年,英伟达GauGAN2的“前身”GauGAN正式开源。

当时的它,还只拥有其中一个能力,就是将涂鸦直接变成风景画,就像「神笔马良」一样,还推出了对应的软件Canvas:

当然,这时GauGAN已经能随意改变画面风格了,从白天黑夜到春夏秋冬的气质都能稳稳“拿捏”:

据英伟达介绍,GauGAN采用了一种基于空间适应标准化(SPADE)算法。

SPADE算法不仅使用随机的输入图像,还采用了一种被称作“分割图”的图像。在分割图中,每一个像素都会被归类,来生成更接近于真实的图像,这种模式被称作“图对图翻译”。

△GauGAN的技能点(狗头)

现在,英伟达将GauGAN升级成了GauGAN2,后者一共采用了1000万张高质量的图片、在英伟达Selene超算上进行训练,这台超算在Green500排行榜上排到世界第二。

生成这些风景画的效果和“手法”,是不是感觉有点熟悉?

没错,大多数人看到GauGAN2的第一眼,可能都会觉得它和OpenAI的DALL·E+CLIP有点像。

今年年初,OpenAI用DALL·E和CLIP两个模型,做了个“图像版”GPT-3,同样能用一句话生成图片。

不过,这两个模型生成的内容其实不太一样。

GauGAN2专注于生成风景照,DALL·E+CLIP则更多地生成具体的物体,例如一把椅子或者一个闹钟等。

这与它们的原理差异也有关系,GauGAN2更加注重“单词与视觉效果”之间的关系,例如“冬天”这种模糊的状态词给照片带来的效果;DALL·E+CLIP则更注重“文字-图像”这种有明确对应关系的物体效果。

据英伟达介绍,GauGAN2不同于“文本-图像”和“分割图像-图像”一类的模型,它所能产生的照片种类更多,质量也会更高。

不过,偶尔也会出现点bug…

比如给出“沙滩(beach)”一词后,有些生成的画面中出现了语言无法描述的事物。

对此,英伟达表示,他们在训练中“完全没有用到任何人像照片”。(所以可能是偶然?)

但这样一来,网友想要的“瑞克摇(Rick roll)”和“鬼畜视频生成”,GauGAN2大概也是没办法实现了。

但是能生成仿佛梦境中才能见到的画面,也吸引了不少人来试玩。

这不,有人就晒出了自己生成的抽象画大作,并表示自己非常喜欢这个模型:

还有人表示,GauGAN2给出了一些建筑设计的新idea啊。

也有网友觉得这种能够自动生成景观的功能,未来Adobe可能也会用上。

或许就是下一个画手利器?

最后,GauGAN2在浏览器上就能试玩,欢迎大家留言讨论自己的体验感受~

GauGAN2试玩Demo地址:
http://gaugan.org/gaugan2/

参考链接:
[1]https://twitter.com/NVIDIAAI/status/1462835802266902535
[2]https://blogs.nvidia.com/blog/2021/11/22/gaugan2-ai-art-demo/?ncid=so-twit-261232-vt16#cid=nr01_so-twit_en-us
[3]https://venturebeat.com/2021/11/22/nvidias-latest-ai-tech-translates-text-into-landscape-images/
[4]https://www.zdnet.com/article/the-absurd-beauty-of-hacking-nvidias-gaugan-2-ai-image-machine/
[5]https://blogs.microsoft.com/ai/drawing-bot/
[6]https://www.nvidia.com/en-us/studio/canvas/

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

相关资讯

“法国小姐”P图太猛被警告:你们参加的是“法国小姐”比赛,而非P图大赛

来源:环球时报【环球时报记者 赵风英】她们已经是法国最美的女人,但仍求助P图美化自己!据《法兰西西部报》23日报道,2022年度“法国小姐”选美比赛的总决赛将于12月11日举行,候选佳丽个个面容姣好、身材出众,但当中还有不少人为了更美在社交

“法国小姐”P图太猛被警告:你们参加的不是P图大赛

来源:环球时报【环球时报记者 赵风英】她们已经是法国最美的女人,但仍求助P图美化自己!据《法兰西西部报》23日报道,2022年度“法国小姐”选美比赛的总决赛将于12月11日举行,候选佳丽个个面容姣好、身材出众,但当中还有不少人为了更美在社交

这哪里是P图,简直是毫无痕迹地换头!深扒那些常见P图app里,不为人知的神技能

最近的假期有点多,小仙女们出去玩,拍照才是正经事。然而残酷的现实表明,照片中的人,距离脑海中美得惊心动魄的自己,还有很长的路要走啊!!!不过正所谓三分天注定、七分靠打拼,想拍出一张好照片,剩下的90分就得后期P图了。但只会一键美颜的你,加上

P图大神“用力过猛”,看P图后效果,网友:糟糕,是心动的感觉

为了让照片看起来更加完美,很多人在拍照以后都会用PS或者修图软件对照片进行加工改造。对于P图小白来说,调一下对比度或者加个滤镜就算是P图了,但对于P图大神来说,整个修图过程好比进行一项浩大的工程,从美白,瘦脸到放大眼睛,拉长双腿,每个步骤都

抠图,上色,变清晰,有了这些免费P图工具,你也能搞定

呃,大家平时应该跟图片打过不少交道吧。平时出去玩的时候得拍照片,网上冲浪的时候要找一些图片或者表情包,生活或者工作中,可能还要时不时抠抠图。。。老实说,图片处理起来还挺麻烦的。想要实现一些效果,得动用一些专业的图像处理软件,比如 PS 软件

过度P图有多可怕,看完这些网恋翻车现场,我悟了

都说“摄影穷三代,单反毁一生”。对于很多小白摄影爱好者来说,要我买相机、买镜头,收入太低;要我认真学参数、学光影、学构图,对不起,上班太忙;但是如果你让我磨皮美白精修,那我重拳出击。最近,互联网上兴起了不少“P图”技术的比拼,博主先放出一张

网友P图把同学脖子都P歪了,结果被日本漫画家当成了素材

我还蛮喜欢在网上看各种P图的,既有诸位网友发出来求大神们帮忙P的,也有自己P完之后分享到网上来的。这些P图有几种类型,一种是故意朝着搞笑层面P的,P成了特别可笑的版本,让人忍俊不禁;一种是朝着美美哒的P的,毕竟爱美之心人皆有之嘛,好些妹子汉

P图技巧:这种夏日调色风格,妹子看了都说好

如果要说拍了照片不P图,那你一定会觉得这张照片少了点什么,用现在一点的话来说就是没有灵魂的。看过了那么多的P图滤镜,单纯换个颜色确实少了点意思,你有没有想过自己也能打造一种夏日奶油风?赶快拿起你的设备跟我一起学吧!首先我们看看效果:看完之后

论文P图等于造假?图像处理你踩过多少“雷”

文 | 《中国科学报》记者 胡珉琦近年来,图片造假可谓是最易发生学术不端行为的重灾区,因此导致的撤稿风波一浪高过一浪。针对目前覆盖范围最广的撤稿观察网站(Retraction Watch)的案例分析显示,截至2021 年1 月 20 日,以

孩子学生照被P图,美国多名家长控诉:这是在制造相貌焦虑

【文/观察者网 张照栋】 美白牙齿、磨平皮肤、去除瑕疵、P掉雀斑…… 据《纽约邮报》当地时间10月26日报道,美国多名家长控诉学校给学生照P图,并且这一趋势越来越低龄化。甚至一位患有听力障碍的3岁幼童的助听器,也在学生照中被P掉。学生家长们

拉歪的栏杆、七根脚趾、发油的鼻子,我发现了明星P图的证据

​现在这修图美颜遍地的环境里,不管是普通人还是明星,P图都是很正常的事,可要是被大家抓住了P图的马脚,那可就尴尬了。一、赵露思赵露思是小圆脸,上镜很容易显胖显肿,于是瘦脸就成了她必备的修图项目。毫无顾忌地液化推脸,她的脸型确实修成了瓜子脸,

“你这背景太假了”是什么梗?引发全网P图大赛

“你这背景太假了!” 近日,新疆尉犁一小伙直播时被网友质疑背景太假,其发布的证明视频被网友“疯狂二创”,各类创意制作令人忍俊不禁,相关话题也冲上热搜。面对大家的集体打假,小伙丝毫不慌,不但捡起地上的石头玩起了“打水漂”,还下河洗了头、刷了牙

拯救不开心,这16幅趣味P图,让人笑得好大声

创意在任何一个时代都不会过时,它可以变废为宝,让腐朽变得神奇,让普通的事物变得有趣起来,在我们接触到的许多艺术种类中,创意都不会缺席,绘画是一种创意,雕塑也属于一种创意,不过,在现当代最受欢迎的创意形式就是处理图片,也就是我们常说的“P图”

男生第一P图怪,红出圈了

阿屯在长沙IFS商场的LV店门前,几位等待进店的青年男女排起了队,队伍中的阿屯格外显眼。他身穿一件黄色风衣,因为没有洗漱,一束翘起的头发招摇地矗立在头上,邋遢的形象在一群都市丽人中显得格格不入。LV的工作人员靠近阿屯,用试探性的语气问,「您

我,朋友圈P图师,月入十万

最近大火的《Tinder诈骗王》你们都看了吧,我一个朋友也看了。这片子把我朋友看emo了,因为她前段时间也被网恋对象骗了。 堪称【杀猪盘级别教科书】,许久没有看过这么得劲的纪录片了。/豆瓣截图 我说咋?他向你借钱了?她说那倒没有,就是面基时

友情链接

网址导航 SEO域名抢注宝宝起名网妈妈知道币圈必胜客会员福利网电饭煲品牌网天门山旅游网挪威旅游网母婴品牌网武汉交友婚恋网NBA赛程网伊利股份A股捷安特自行车美食菜谱网平潭岛旅游攻略地铁出行网飞猪旅行资讯网户外露营地官网深南电路A股
PS抠图网-初学者ps抠图步骤、ps教程入门抠图、photoshop在线修图、免费的ps修图软件、下载ps修图软件免费版、下载ps修图软件免费版、美图秀秀网页版入口、美图秀秀下载官网、秀秀app下载免费版下载新版、美图秀秀最新版本、美图秀秀最新官方版下载资讯。
PS抠图网 mamahai.com ©2022-2028版权所有