Stable Diffusion 前期推敲体块模型测试(通过改变controlnet 权重及迭代次数)
这次设定了一个特定的使用场景,就是在前期体块模型的时候,有了大致的某些角度的体块模型,想要由这些体块模型来通过AI找到一些灵感,我们的需求就是可以大致控制输入的体块形态,输出的图像在输入图像的基础上有一定的变化给予建筑师一些不一样的灵感。
首先我们在Rhino里面简单地拉一个体块模型,并且导出一张截图。

将其置入controlnet进行预处理,生成如下

经过咒语(prompt)的调试,先调出一个比较满意的生成图,在此基础上,通过控制controlnet权重和迭代步数两个变量来观察生成图的变化,生成下图:

我们将controlnet的权重分别设置为1.0,0.8,0.6,0.4,0.2,将迭代步数分别设置为20步,30步,40步。
我们可以看到,当权重为1.0时,建筑的形体基本按照预处理的图片进行还原,当权重为0.8,0.6时,建筑形体在原先的基础上开始有了变化,但是总体上还是在可控的范围之内(比如说塔楼的交错、裙房的交错、裙楼中间的链接有了一些变化),当权重为0.4,0.2时,建筑形体就开始变得不可控了(比如说生成了另外的塔楼,原先塔楼的体量关系改变巨大),与最开始输入的内容有了很大的区别。



迭代步数的不同也会产生出不同的形体效果。



总而言之,将controlnet的权重调整至0.8~0.5之间会得到有变化但可控的形体,而改变迭代步数也会得到不同的形体,两者可以配合使用。但是所得到的形体其来源都是原始的大模型及Lora模型,所以一个合适的基础模型确定了整个形体的底色。比如说我对生成图的塔楼立面不是特别满意,可能是底模型里面没有我想要的建筑立面。
个人感觉SD是可以在前期体块推敲阶段给建筑师一定灵感的启发的,有时候AI通过学习自主变化出来的东西会给人以惊喜。
另外把设置的参数截图附在最后,供大家一起学习探讨:



