人工智能生成绘画指南 2.0

酒醉红尘宴

更新于2022年7月27日

用文字和代码画画。
如果五年前有人说完全不会画画也能创作出视觉作品，大部分的人可能会觉得他疯了。但是在这五年，技术飞速发展，它已经不再是一个可爱的新鲜玩具。已经成长成一个让人措手不及的事物。接下来的时间，它会指数级别的发展，可能要不了一两年，我们就能被用文字提示自动生成的动画震撼。
在过去的三个月一直在接触人工智能生成绘画，从一开始的兴奋，震惊，到现在终于平静下来了。所以做一个小的总结，来聊一聊AI生成绘画是什么？有哪些生成工具？能做什么？可能会带来的影响以及可创意从业者应该怎么做？
AI生成绘画是什么？

这篇文章说的AI生成绘画主要指的是，通过对抗神经网络VQGAN CLIP 吧文字语言和图像进行关联学习，从而实现只通过一段文字就能生成对应的图像的技术。目前的算法基本上都来自于openai，目前的生成工具因为算法和训练模型的不同，生成的图像的风格和特点也各有差别和优缺点。
这里推荐一个AIART的免费教程：https://github.com/johnowhitaker/aiaiart?utm_campaign=The Checkpoint&utm_medium=email&utm_source=Revue newsletter
帮助理解AI绘画原理的一些资源：
https://www.vox.com/23150422/text-to-image-ai-deep-learning
https://www.youtube.com/watch?v=344w5h24-h8
https://www.economist.com/interactive/briefing/2022/06/11/huge-foundation-models-are-turbo-charging-ai-progress
https://www.youtube.com/watch?v=SVcsDDABEkM

AI生成绘画的工具有哪些？

目前市面上的生成工具我大致分为三类：
入门体验版：以Dream by wombo为主

目前最热门的入门级的AI绘画应用是dream，这个APP很好入门也是免费的，只是生成的图像功能相对简单，而且像素偏低。除了这个还有nightcafe也是做的比较早，网站形式功能比dream强大很多，不过需要付费。
1 Dream by wombo

目前最火的AI绘画APP。覆盖全平台，支持网页，安卓，和苹果。目前免费。缺点是功能相对单一，像素低。


2 night coffee

做的最早最完善的AI绘画工具。其实就是把DD这类的模型包装了一下，只有网站，功能跟DDV5差不多了。也是部分免费，限制性使用。缺点是性价比不如DDV5。


3 starryai

口碑还不错的AI绘画APP。支持安卓，和苹果。每天免费5张图。比wombo出的图好点。


专业版：一些google colab上的开源程序

1  disco diffusion

目前国内最火的是DD，也就是disco diffusion，有比较完善的教程，社群支持，工具本身也很强大稳定。国内见到的大部分AI绘画作品都是用DD做的，因为它的教程最多。
colab：https://colab.research.google.com/github/alembics/disco-diffusion/blob/main/Disco_Diffusion.ipynb#scrollTo=TitleTop
使用文档：https://docs.google.com/document/d/1l8s7uS2dGqjztYSjPpzlmXLjl5PM3IGkRWI3IiCuK7g/edit
全网最全使用教程（隐空间旅行者指南）：https://sweet-hall-e72.notion.site/A-Traveler-s-Guide-to-the-Latent-Space-85efba7e5e6a40e5bd3cae980f30235f
全网最全使用教程（隐空间旅行者指南）中文版进行中https://dousha0228.notion.site/3567895e34dd481694f43188d1511b56
相关艺术家：
https://twitter.com/Somnai_dreams somnai  是DD的作者，同时也在MidJourney工作。https://twitter.com/inigma_a  的作品也不错，推特上有很多。

我用DD制作的塔罗牌系列


2 pytti

国外很火但是国内并不太熟悉，也有十分完整的使用文档和说明。
colab：https://colab.research.google.com/github/pytti-tools/pytti-notebook/blob/main/pyttitools-PYTTI.ipynb使用文档：https://docs.google.com/document/d/1vXuzSpAxg2YijIE4uN14S5MoM5c98JpEXernsMoLjIM/edit#heading=h.4sg1gnlvqssq
相关艺术家：https://twitter.com/unltd_dream_co
Unlimited Dream 的一些作品


3 JAX CLIP Guided Diffusion

风格很独特的一款，模型比较多，适合平面抽象几何风格，可批量处理。huemin用它做了很多浮世绘风格的作品。
colab：https://colab.research.google.com/drive/1hcDA5skuzk2IoC0wkQam4i-5k7c7iR1T?usp=sharing#scrollTo=zxGgJmRzq3Cs
使用文档：https://docs.google.com/document/d/11HWN5e57taWdpyZlW5s6gqzrwMsLlmOQivyJncOPPhE/edit
相关艺术家：https://twitter.com/huemin_art huemin用jax做的相关作品


AI绘画colab程序笔记本合集

https://docs.google.com/document/d/1ON4unvrGC2fSEAHMVb4idopPlWmzM0Lx5cxiOXG47k4/edit
顶级AI生成工具


1 dalle2

openai出品，可以媲美真实照片的生成质量，目前已经开始支持商用，不过还是邀请制。
官网：https://openai.com/dall-e-2/
相关介绍：https://www.zhihu.com/zvideo/1496565511983353856
相关测评：最强人工智能DALL·E测评 | 它真的有那么强么 | 跟midjourney比较谁更厉害？_哔哩哔哩_bilibili
最强人工智能DALL·E测评2 | 3D立体图标VS无限放大动画_哔哩哔哩_bilibili
DALL·E 2 关键词指南
https://docs.google.com/document/d/11WlzjBT0xRpQhP9tFMtxzd0q6ANIdHPUBkMV-YB043U/edit
DALL·E 2 gallery 里面出了dalle使用手册
https://dallery.gallery/
DALL·E 2 官方GitHub
https://github.com/openai/dalle-2-preview/blob/main/system-card.md
DALL·E 2  论坛
https://www.reddit.com/r/dalle2/

2 midjourney

目前可以玩到的仅次于dalle2的AI绘画工具，是DD开源项目作者Somnai参与的另一个项目，在处理人物和语义匹配上比DD做的好很多。我目前玩的最多的一款。
目前已经全面开放：可通过官方邀请链接直接加入 discord.gg/midjourney
官网：https://www.midjourney.com/app/
官方文档：https://midjourney.gitbook.io/docs/
相关测评：逗砂：顶级AI绘画程序：midjourney 内测与思考
midjourney超详细使用教程（上）| 1分钟学会用人工智能画图 | 如何获取midjourney邀请码_哔哩哔哩_bilibili
https://docs.google.com/document/d/1XUT2G9LmkZataHFzmuOtRXnuWBfhvXDAo8DkS--8tec/edit  关键词编写手册
海辛教程 https://mp.weixin.qq.com/s/yl5-zbfNBTp0yZpXyAV8SA
https://mp.weixin.qq.com/s/djP9hY28JDIG6vRbvUUmMA
台湾的教程  https://www.youtube.com/watch?v=jrkpMJ323Yo  
Midjourney AI 技巧收集（台湾）
https://docs.google.com/spreadsheets/d/1GuAeSFtICsjQEwsRP2f--IayDxW9Dl0SCLOVov56FMc/edit?userstoinvite=smilevenuswww%40gmail.com#gid=1862105056  
公开笔记 https://upbeat-chipmunk-df5.notion.site/Midjourney-8575717b0f7e44fb8268bf596a586760  
台湾社群分享 https://www.youtube.com/watch?v=D0-YcEOxn5w
mid提示词生成器 https://promptomania.com/prompt-builder/
私人模式  https://weirdwonderfulai.art/resources/midjourney-private-mode/
肖像画教程 https://www.betchashesews.com/2022/06/05/midjourney-portraits/
艺术家推荐：
https://twitter.com/NekroXIII
nekroxlll用mid做的作品：


Mohrbacher
https://twitter.com/bugmeyer    https://www.twitch.tv/petemohrbacher/videos  MJ直播录屏
https://twitter.com/Riabovitchev
https://twitter.com/Somnai_dreams 开发者 创始人
3 Imagen

google下场做的一款对标dalle2的语义生成图像的应用，看起来比dalle2还要厉害。但是目前连内测入口都没有。
官网：https://imagen.research.google/
一些相关作品


AI生成艺术可以给我们带来什么？

艺术的民主化

大大降低了人们制作视觉作品的门槛，在我分享了一些AI生成艺术之后很多人联系我，大部分并不是艺术设计的从业者，但是他们都会需要跟插画师或者设计师沟通，而他们并不会画画，这让沟通有的时候变得特别的困难，大家都希望能够通过画面来表达自己的想法，但是并不是所有人都有时间精力和天赋去进行系统的绘画训练。而这个技术让这一切变成了可能。
创作者的助手和新的尝试

已经有很多原画师开始用AI来制作作品的demo，可以减少前期脑暴的时间，并且可以快速出图跟客户或者上级沟通。以往的创作过程前期也是需要大量的素材的收集和参考，现在素材可以自己生成了。另外，即使是专业的画师，也不可能精通所有的风格，但AI不一样，它可以通过深度学习，模仿古今中外所有的画风，甚至融合这些画风，画师可以借此来拓宽自己的界限。
AI生成艺术的作品现在已经有很多发布出来成为NFT的作品，这个在国外已经有很多了。


俄罗斯的首饰设计品牌monolama还联合过数字艺术家做过一个深度学习系列的胸针。


而我自己也尝试过用AI生成的图来制作系列丝巾。还有更多的融合和尝试等着我们去发现。
代替图库用在PPT和文章配图

我觉得最应该有危机感的不是艺术家而是图库公司，如果你能够用文字生成对应的图片，为什么还需要用图库？这个应用太广泛了，PPT的配图，公众号文章的配图，小说的插画配图等等。
今天还看到有艺术家使用mid生成的图像，用substance 3D做成材质球，他表示这将对材质创作产生巨大的影响。
相关文章：https://80.lv/articles/a-collection-of-materials-created-with-midjourney/
人工智能是否会造成威胁？

作为一个从事创意艺术行业并有人工智能知识的人来说：是的，它肯定会对我们的工作造成威胁，但并不是你想象的那样。
三百年前摄影术诞生，99%的肖像画被摄影取代，一部分艺术家被迫寻找新的表现形式，印象派，野兽派，抽象主义应运而生，艺术家不再开始追求那些绘画能做到，但是摄影做不到的事情；另一部分本该成为画师的人成为了摄影师，通过摄影来表达自己，为他人服务。几十年前计算机投入使用时，人们也一样担忧，但今天，由于这些计算机，我们创造了更多的就业机会，完成了更多的工作。人工智能只是另一种工具，它如何使用取决于使用它的人。
那么为什么它是一种威胁呢？它将造成破坏，传统工作将被淘汰，但会产生新的工作。所以人工智能无法取代艺术家，那些能够驾驭人工智能，或者在技术的夹缝中找到了新的表现形式的，会成为下一个时代的艺术家。
有个很好的例子可以说明这一切，在围棋领域几年前阿法狗战胜了柯洁，柯洁说他仿佛看到了围棋上帝，人类在围棋上永远无法战胜AI，觉得AI时代的围棋特别的无趣。另一边，天资一般的韩国棋手申真谞，通过不断的跟AI下棋，学会了很多新的思路，并且打败柯洁拿到了世界冠军。
在艺术设计领域也是一样，面对人工智能对绘画近乎碾压的技术，我看到了两种截然不同的观点。一种是兴奋的去尝试学习如何利用它更好的为自己的作品服务，比如已经有很多游戏原画师用AI生成的图片来做demo和灵感参考，还有插画师会结合手绘和AI的图片进行二次创作。另一种是觉得这些都不是艺术，是无价值的电子垃圾，然后开始例举传统艺术多么高贵，又或者开始恐惧，觉得自己之前学的一切都失去了意义。
我觉得三体里有一句特别适合用来回答，人工智能是否能取代艺术家这个问题，那就是：“弱小和无知不是生存的障碍，傲慢才是。”
创作者如何利用好科技？

每一次科技的进步，都会翻天覆地的改变艺术与设计。
其实从来就没有一项艺术可以脱离科技独善其身，所谓的传统艺术在几百年前都是那个时候的前沿尝试。古典主义绘画的生动和真实基于无数艺术家解刨尸体积累的知识，文艺复兴时期的绘画，需要有几何学、数学、解剖学、生物学和土木工程等学科的支撑。而抽象派的风格也是摄影术出现后的探索。
Neri oxman 创作的一个关于创意力循环图表是这么展示的。科学家生产工程师所使用的知识，工程师生产设计师使用的实用程序，设计师生产被艺术家感受到的行为变化；艺术生产对世界的新观念，从而获得了关于世界的新信息，并激发了新的科学探究。


作为艺术设计的从业者，如果想要接触这些技术，最重要的其实是不要太把自己当成一个艺术家或者设计师，不要让专业变成束缚自己的壁垒。国外同时会艺术设计和代码编程的艺术家和设计师非常的多，而且很多工具的使用其实并不需要你真的具备完善的编程知识。比如AI生成艺术就有很多操作简单的软件，哪怕是复杂一些的disco diffusion 也并不需要你真的去写代码，知道怎么调整参数就行了。而且随着这个领域的发展，会有越来越多更简单更好上手的工具出现。
这些工具的学习，不会比高中数学更加复杂。但是如果你会编程，当然是更好的事情，这样一来你就可以自己创作使用的软件工具，而不是只能使用他人创造好的工具。保持好奇心，不要给自己设限，在最前沿的这部分没有教程，规则，和既定的学习路径。

其它AI工具资源

1  3D_Photo_Inpainting
一款可以将2D照片用AI算法转换成3D视频的程序，也是开源在colab上。https://colab.research.google.com/github/fzantalis/colab_collection/blob/master/3D_Photo_Inpainting.ipynb
2 artbreeder

一款AI捏脸软件，网上大部分的卡通真人化的都是用这个做的。https://www.artbreeder.com/
3 ai-art.tokyo

一款AI风格迁移软件，可以上传照片生成相关风格化图片。https://ai-art.tokyo/en/
4 time-travel-rephotography

一个由华人研究员参与的老照片修复类项目，可以完美的把黑白老照片上的人脸修复成现代的逼真彩照。https://time-travel-rephotography.github.io/?utm_campaign=The Checkpoint&utm_medium=email&utm_source=Revue newsletter
5 NVIDIA Canvas

英伟达做的一款涂鸦生成照片的人工智能应用。可免费在官网下载。https://www.nvidia.com/en-us/studio/canvas/
6 CogVideo
通过语义自动生成视频动画的AI模型。https://github.com/THUDM/CogVideo
7 AI ART 资源汇总

上面类似的资源还有很多大家可以自己去看。https://pharmapsychotic.com/tools.html

父子同台竞技

新事物的出现，让人们产生两种截然不同的情绪，有人抱持悲观消极，有人抱持乐观适应，显然他们看到的未来是不同的，也必将走向自己预测的那个未来，采取什么样的态度非常重要，在这一点上，这篇文章所表达的有建设性的建议，十足可取，谢谢分享。乐观的人，只会重新适应新环境新事物，活得更好。

喧了个荒

colab程序怎么用啊？

从前那故事

[赞]汇总的非常棒，感谢~

三千疯人院

谢谢喜欢[抱抱]

胡剑辉

文章写得真好，头脑足够清醒。AI通过深度学习可以超越人类；以人类的狡猾，可以学习Al，反超越[大笑]。这也是三体里重要的思想之一。

伊剑

太感谢了[可怜]真的非常全面细心

西安房抵车抵客户经理

写的真好，下班回家就试试

品牌投资方

有没有二次元一点的?

大巴撒

元芳你怎么看？