Hi there 👋

大家好,今天给大家分享下stable diffusion webui(下列均使用sd替代) + lora的使用体验. 背景 本文面向读者为有一定动手,信息检索能力的玩家. 由于篇幅限制,本文不展开介绍sd的安装.侧重介绍lora模型以及如何查找合适lora模型,以及使用对应的模型 详细信息请查阅:stable diffusion的安装 另外:本文需要读者拥有科学上网环境,因为某些网站需要代理访问 因为时间仓促,写得比较简单,本文可能后续会继续更新. 作者 ​ miiliways,欢迎加v:0xfffo ,一起在群里聊天,讨论技术 开发环境: win11 + wsl2(ubuntu)+rtx系列显卡 lora介绍 Lora(Low-Rank Adaptation of Large Language Models)模型是通过制定少量图片经过训练构成的小模型，可以和大模型结合使用，干涉大模型产生的结果。 安装 安装基础lora模型 1.下载基础模型 https://huggingface.co/swl-models/chilloutmix-ni/blob/main/chilloutmix-Ni.safetensors 下载完毕后得到chilloutmix.satetensors 把这个文件放置在stable-diffusion-webui/models/Stable-diffusion/下 2.下载lora调整模型 这里我推荐这个网站,全世界各地网友把自己训练的模型,上传到这里[Civitai](https://civitai.com) 这里我们随便找一个lora进行测试Cute_girl_mix4 | Stable Diffusion LORA | Civitai 这里下载这个模型(cuteGirlMix4_v10.sadetensors)后,把它放到stable-diffusion-webui/models/lora/下 启动sd webui 选择指定基础模型 生成图片 这里为了方便,我们直接使用页面上的推荐参数,并且填写到我们自己的页面对应位置上 这里我们看到的是,生成的图像(右边)和原图相比并不是非常一致,这里笔者怀疑是由于我们的基础模型不一样导致的 这里要注意的一点是,页面上lora:mix4:0.5 要改成lora:cuteGirlMix4_v10:0.5,这里规则为<lora:model_name:weight> model_name即为我们刚才下载的cuteGirlMix4_v10. weight为参考模型权重 结尾 其实我们可以看到生成一张图片现在已经非常简单了. 1.下载stable diffusion 2.下载基础模型 3.下载lora模型 4.填写prompt 5.生成图片 后续笔者考虑会出一个桌面程序,支持程序内直接支持lora模型选择,下载等.方便大家的操作. 彩蛋时间🥳 关于生成福利图片 就以刚才的lora页面为准.Cute_girl_mix4 | Stable Diffusion LORA | Civitai...