Stable Diffuion AI绘图,使用ControlNet控制绘图中人物动作姿态

你一定看过很多AI绘图，自己可能也尝试过进行简单AI绘图，似乎感觉就像扔色子，角色无法控制。可能觉得AI绘图不过如此，事实真的如此么？

Stable Diffusion其实只是AI绘图的地基，在上面构建的各类插件才是AI绘图可能引发绘画变革的根源，这些插件汇集近年AI发展的成果。（本文只讲结论，不涉及原理，请放心阅读）

ControlNet，由美国斯坦福大学提出的，一种通过添加额外条件，来控制扩散模型的神经网络的方法。Stable Diffusion 是一种扩展模型，ControlNet也是模型，ControlNet模型可以控制Stable Diffusion输出想要的图像。跟前边介绍的通过LoRA模型微调大模型的思想类似。

ControlNet可以有多种模型来控制Stable Diffusion模型的输出，今天只使用其中的一种，OpenPose。一说Pose，应该都很清楚，摆Pose，就是人物摆的动作姿态。这里又要提到OpenPose了，OpenPose是一个人体姿态识别的开源项目，由美国卡耐基梅隆大学主导，也是一种神经网络模型。

一句话简要概括，使用ControlNet通过预先训练的OpenPose模型加上节点图来控制Stable Diffusion输出图片。

OpenPose节点长啥样可以看下图：

这是个躺坐的人，为啥是躺坐看下面的图

各个节点的定义看下面的图：

这不是中医经脉哈

关于ControlNet插件安装和OpenPose编辑器安装这里不做叙述，网上很多相关视频教程。要点是插件安装好后需要下载训练好的模型control_sd15_openpose.pth，放到models\ControlNet下，另外OpenPose编辑器建议posex和openpose editor都安装，前者可以编辑3d的openPose，后者可以直接从图片生成，AI绘图时勾选enable打开ControlNet，ControlNet里的model选择control_sd15_openpose。

有了上面的了解，我们就可以控制人物的姿态了，为了提高点绘图难度，我做了个跪坐的姿势。制作办法有下面3种：

• 用OpenPose editor载入个这个动作的图片，然后微调 （推荐）
• 自己摆pose，手机照下来然后用OpenPose editor载入图片，然后微调。（推荐）
• 自己在posex慢慢编辑，这个办法摆出来的可能没有那么自然，出来的图崩了的可能性大。因为毕竟不是动作捕捉，不过胜在任意动作都能编辑。

跪坐的OpenPose节点图

下边开始展示生成的图片，把之前使用的各种角色Lora都用上

先来汉服小姐姐

再来2B小姐姐

再来个不知名动漫小姐姐：

还有爱丽丝

蒂法因为裙子太短，不适合这个姿势，已经删掉了。

有AI绘图的问题都可以跟贴哦。