AI创意绘画与视频制作 基于Stable Diffusion和ControlNet

本书针对Stable Diffusion的使用给出了详细的说明，并通过多种艺术风格的案例介绍了软件的使用技巧，并对提示词的使用，给出了大量案例。 书中对于制作高品质、高精度图像也给出了很多可供参考的方案 ，详细介绍了ControlNET插件的原理及其在精细化图像如手部绘制等方面的运用。 介绍了使用Deforum、LoopBack和FILM制作动画与短视频的技巧，以及使用Depthap、EbSynth、TemporalKit生成丝滑动画的多种技巧。 AI创意绘画一书结合了作者长期研究虚拟人和AI绘画技术的成果 ，从原理、技术与创意三个方面介绍了AI绘画与短视频制作的 技术要点，对于希望运用AI创作的读者是一本极好的入门教程 。

本书将带领读者探索AI绘画和短视频创作的奇妙世界。本书详细介绍StableDiffusion的基本概念、原理及其主要功能的使用，阐述如何使用提示词生成创意无限的图像，如何使用ControlNet插件对图像进行精细调整，如何使用StableDiffusion结合各类插件和第三方应用进行视频制作。书中精选了大量案例，介绍了AI工具文生图、图生图的创作技巧，以及当前主流短视频平台中使用StableDiffusion制作短视频所需的热门技术工具，如Deforum、LoopBackWave、DepthMap、TemporalKit和EbSynth等。本书内容丰富，理论与实践并重，既适合初学者作为自学参考书，也适合设计师、数字媒体从业者作为参考手册，同时还可以作为高等院校数字媒体等相关专业的教学用书。

马健健，上海交通大学程硕士，先后供职于平安、惠普、美国强 生等国内外知名公司，担任软件架构和数据分析技术经理，拥有 十余年丰富的软件开发架构和技术管理经验。目前就职于上海某 知名外资公司担任数据平台技术经理，主要负责大数据处理、机 器学习应用和数据挖掘方面的研究和实施工作，长期研究AI绘画 与虚拟人技术，制作了大量AI绘画和视频作品，出版《虚拟偶像 AI实现》一书。

第1章概述1
1.1为什么使用StableDiffusion1
1.2AI图像生成模型介绍2
1.3从小白到AI艺术家4
1.4总结4
1.5练习4
第2章人工智能与图像生成技术5
2.1人工智能的发展历程5
2.2图像生成技术的基本原理6
2.2.1深度神经网络图像生成技术6
2.2.2StableDiffusion的关键组件7
2.3深度学习框架PyTorch基础9
2.4AIGC技术框架介绍10
2.4.1GAN对抗网络10
2.4.2VAE变分自编码器12
2.4.3NeRF辐射神经网络12
2.4.4CLIP对比性语言－图像预训练模型12
2.4.5CodeFormer人脸清晰化模型13
2.5总结14
2.6练习14
第3章StableDiffusion技术15
3.1StableDiffusion的基本概念和原理15
3.2安装StableDiffusionWebUI18
3.3StableDiffusion的界面24
3.4StableDifussion的模型25
3.5生成多个角色同框28
3.6Inpaint绘制34
3.7Outpaint绘制37
3.8修复面部细节39
3.9总结42
3.10练习42
第4章ControlNet的使用43
4.1ControlNet的基本概念43
4.2ControlNet的安装44
4.3ControlNet的使用方法45
4.4ControlNet中的模型50
4.4.1案例一：不同模型下的效果51
4.4.2案例二：不同模型下的效果56
4.4.3ControlNet中的Inpaint63
4.5总结65
4.6练习65
第5章结合StableDiffusion和ControlNet进行AI绘画创作66
5.1StableDiffusion和ControlNet结合使用的优势66
5.2使用ControlNet生成不同角度的图像67
5.3ControlNet和LatentCouple结合使用69
5.4ControlNet生成线稿图76
5.5使用LoRA进行高阶参数微调生成精细图像79
5.6ControlNet对光线的控制84
5.7DepthLibrary修复手部88
5.8总结93
5.9练习93
第6章Prompt提示词设计94
6.1什么是Prompt94
6.2Prompt的基本构成97
6.2.1主语97
6.2.2修饰语104
6.3正向提示词和反向提示词127
6.4人物服装类提示词135
6.5角色铠甲类提示词148
6.6动物图像的生成154
6.6.1老虎154
6.6.2鸟类156
6.6.3狮子158
6.6.4凤凰159
6.6.5熊猫160
6.7参数的使用162
6.7.1CFGScale（提示词引导系数）162
6.7.2Samplingmethod（采样方法）163
6.7.3Seed（种子）166
6.7.4Samplingsteps（稳定扩散）168
6.7.5分辨率169
6.8总结170
6.9练习170
第7章StableDiffusion与ControlNet绘画实例171
7.1通过ControlNet生成漫画171
7.2通过StableDiffusion和ControlNet绘制360°全景图像177
7.3生成QR二维码182
7.4生成卡通风格的小屋184
7.5总结186
7.6练习186
第8章动画的制作187
8.1使用Deforum插件制作动画188
8.1.1什么是Deforum188
8.1.2安装Deforum188
8.1.3相关参数介绍189
8.1.4Deforum里的数学公式192
8.1.5Deforum制作无限循环动画193
8.2使用LoopBackWave来制作丝滑动画200
8.2.1什么是LoopBackWave200
8.2.2安装LoopBackWave200
8.2.3LoopBackWave脚本的使用200
8.3使用FILM对动画进行补帧204
8.3.1什么是FILM204
8.3.2安装FILM206
8.3.3FILM工具的使用208
8.4使用DepthMap生成3D绘画实现动画效果209
8.4.1什么是DepthMap209
8.4.2安装DepthMap209
8.4.3相关参数介绍210
8.4.4DepthMap插件的使用212
8.5使用EbSynth和TemporalKit实现高质量丝滑效果213
8.5.1安装TemporKit213
8.5.2使用TemporKit生成关键帧214
8.5.3使用EbSynth生成风格化图像序列217
8.6总结220
8.7练习220