简单记录一下尝试StableDiffusion XL 1.0的过程

尝试SD XL

升级了webui，然后从huggingface上下载官方模型base和refiner。貌似官方在发布1.0后过了两天，又添加了个使用v0.9vae的版本。还要下载sdxl_vae.safetensors.

不过我不太确定webui上vae怎么用，一定要选上嘛？我看网上说的流程是

  1. use base, text to img
  2. use refiner+vae with chosen image from last step, img to img

据称“base和refiner这二个模型，都可以单独生成图片，Base更注重模型的内容生成，refiner更注重细节的补充。官方建议是先跑base再跑refiner”

不过我尝试了XL发现还是有些奇怪，有的图片

于是我去C站找一些别人用SDXL 1.0作为Base Model调的微调模型，比如这个XXMix_9realisticSDXL:

  • 触发词Trigger Words：xxmix girl woman
  • 由于模型是基于1024x1024的画幅进行训练的，因此其他比例的图片可能会导致较高的错误率。

试着模仿模型作者的这个生成图片做了一些尝试：

portrait of a woman,polaroid

xxmix_girl,portrait of a woman,polaroid,film, graininess,smile,cold,dark theme,<lora:xxmix0731girl:0.4>
Negative prompt: (worst quality, low quality, illustration, 3d, 2d, painting, cartoons, sketch), tooth, open mouth,
Steps: 28, Seed: 3358145702, Sampler: DPM++ SDE Karras, CFG scale: 10

中间这一张还做成了双联，体现了关键词polaroid, film。

以后想研究研究SD XL和一开始的SD的论文。